TabularDataset 클래스

데이터 세트에서 정의한 파일 스트림을 로컬 경로로 다운로드합니다.

download(stream_column, target_path=None, overwrite=False, ignore_not_found=True)

매개 변수

반환

데이터 세트에서 지정된 열을 삭제합니다.

시간 열이 삭제되면 반환된 데이터 세트에 대해서도 해당 기능이 삭제됩니다.

drop_columns(columns)

매개 변수

반환

지정된 식과 일치하는 레코드만 남겨두고 데이터를 필터링합니다.

filter(expression)

매개 변수

반환

설명

식은 열 이름으로 데이터 세트를 인덱싱하여 시작합니다. 다양한 함수와 연산자를 지원하며 논리 연산자를 사용하여 결합할 수 있습니다. 결과 식은 데이터 끌어오기가 발생할 때 정의되는 위치가 아니라 각 레코드에 대해 지연 계산됩니다.

   dataset['myColumn'] > dataset['columnToCompareAgainst']
   dataset['myColumn'].starts_with('prefix')

작업 영역의 이 데이터 세트 또는 동일한 데이터 세트에 대해 제출된 최신 프로필 실행에서 데이터 프로필을 가져옵니다.

get_profile(workspace=None)

매개 변수

반환

작업 영역에서 이 데이터 세트 또는 동일한 데이터 세트와 연결된 이전 프로필 실행을 반환합니다.

get_profile_runs(workspace=None)

매개 변수

반환

지정된 열을 유지하고 데이터 세트에서 다른 모든 열을 삭제합니다.

시간 열이 삭제되면 반환된 데이터 세트에 대해서도 해당 기능이 삭제됩니다.

keep_columns(columns, validate=False)

매개 변수

반환

데이터 세트에서 로컬 파일로 정의한 파일 스트림을 탑재하기 위한 컨텍스트 관리자를 만듭니다.

mount(stream_column, mount_point=None)

매개 변수

반환

분할된 데이터는 복사되고 대상에서 지정한 대상으로 출력됩니다.

파티션 형식으로 출력된 데이터 경로에서 데이터 세트를 만들고, 이름이 제공되면 데이터 세트를 등록하고, 파티션을 사용하여 새 데이터 경로에 대한 데이터 세트를 반환합니다.

   ds = Dataset.get_by_name('test') # indexed by country, state, partition_date

   # #1: call partition_by locally
   new_ds = ds.partition_by(name="repartitioned_ds", partition_keys=['country'],
               target=DataPath(datastore, "repartition"))
   partition_keys = newds.partition_keys # ['country']

   # new_ds can be passed to PRS as input dataset

partition_by(partition_keys, target, name=None, show_progress=True, partition_as_file_dataset=False)

매개 변수

반환

데이터 세트의 레코드를 지정된 백분율에 따라 임의로 두 부분으로 분할합니다.

첫 번째 데이터 세트에는 총 레코드의 약 percentage 과 나머지 레코드의 두 번째 데이터 세트가 포함됩니다.

random_split(percentage, seed=None)

매개 변수

반환

지정된 개수로 데이터 세트의 맨 위에서 레코드를 건너뜁니다.

skip(count)

매개 변수

반환

실험 실행을 제출하여 데이터 프로필을 계산합니다.

데이터 프로필은 열 형식, 누락 값 등과 같은 데이터에 대한 유용한 정보를 제공하여 입력 데이터를 이해하고 변칙 및 누락된 값을 식별하는 데 매우 유용할 수 있습니다.

submit_profile_run(compute_target, experiment, cache_datastore_name=None)

매개 변수

반환

데이터 세트의 맨 위에서 지정된 개수로 레코드 샘플을 가져옵니다.

take(count)

매개 변수

반환

데이터 세트의 임의 레코드 샘플을 지정된 확률로 대략적으로 가져옵니다.

take_sample(probability, seed=None)

매개 변수

반환

지정된 시작 시간 후에 타임스탬프를 사용하여 TabularDataset를 필터링합니다.

time_after(start_time, include_boundary=True, validate=True)

매개 변수

반환

지정된 종료 시간 전에 타임스탬프를 사용하여 TabularDataset를 필터링합니다.

time_before(end_time, include_boundary=True, validate=True)

매개 변수

반환

지정된 시작 시간과 종료 시간 사이에 TabularDataset를 필터링합니다.

time_between(start_time, end_time, include_boundary=True, validate=True)

매개 변수

반환

최근 데이터의 지정된 기간(양)만 포함하도록 TabularDataset를 필터링합니다.

time_recent(time_delta, include_boundary=True, validate=True)

매개 변수

반환

현재 데이터 세트를 CSV 파일이 포함된 FileDataset으로 변환합니다.

결과 데이터 세트에는 현재 데이터 세트의 데이터 파티션에 해당하는 하나 이상의 CSV 파일이 포함됩니다. 이러한 파일은 다운로드하거나 읽을 때까지 구체화되지 않습니다.

to_csv_files(separator=',')

매개 변수

반환

데이터 세트의 데이터를 지연적으로 읽을 수 있는 Dask DataFrame을 반환합니다.

to_dask_dataframe(sample_size=10000, dtypes=None, on_error='null', out_of_range_datetime='null')

매개 변수

반환

데이터 세트의 모든 레코드를 pandas DataFrame으로 로드합니다.

to_pandas_dataframe(on_error='null', out_of_range_datetime='null')

매개 변수

반환

현재 데이터 세트를 Parquet 파일이 포함된 FileDataset으로 변환합니다.

결과 데이터 세트에는 현재 데이터 세트의 데이터 파티션에 해당하는 하나 이상의 Parquet 파일이 포함됩니다. 이러한 파일은 다운로드하거나 읽을 때까지 구체화되지 않습니다.

to_parquet_files()

반환

데이터 세트의 모든 레코드를 Spark DataFrame으로 로드합니다.

to_spark_dataframe()

반환

데이터 세트에 대한 타임스탬프 열을 정의합니다.

with_timestamp_columns(timestamp=None, partition_timestamp=None, validate=False, **kwargs)

매개 변수

반환

설명

이 메서드는 타임스탬프로 사용할 열을 정의합니다. 데이터 세트의 타임스탬프 열을 사용하면 데이터를 시계열 데이터로 처리하고 추가 기능을 사용할 수 있습니다. 데이터 세트가 둘 다 timestamp (used to be referred as fine_grain_timestamp) 있고 partition_timestamp (used to be referred as coarse grain timestamp) 지정된 경우 두 열은 동일한 타임라인을 나타내야 합니다.

타임스탬프 열을 반환합니다.

반환