TabularDataset クラス

データセットによって定義されたファイル ストリームをローカル パスにダウンロードします。

download(stream_column, target_path=None, overwrite=False, ignore_not_found=True)

パラメーター

戻り値

指定した列をデータセットから削除します。

時系列列が削除されると、返されたデータセットに対応する機能も削除されます。

drop_columns(columns)

パラメーター

戻り値

データをフィルター処理して、指定された式に一致するレコードのみを残します。

filter(expression)

パラメーター

戻り値

注釈

式は、列の名前を使用してデータセットにインデックスを付けることで開始されます。 さまざまな関数と演算子をサポートし、論理演算子を使用して組み合わせることができます。 結果の式は、データ プルが発生したときにレコードが定義されている場所ではなく、各レコードに対して遅延評価されます。

   dataset['myColumn'] > dataset['columnToCompareAgainst']
   dataset['myColumn'].starts_with('prefix')

ワークスペース内のこのデータセットまたは同じデータセットに対して送信された最新のプロファイル実行からデータ プロファイルを取得します。

get_profile(workspace=None)

パラメーター

戻り値

ワークスペース内のこのデータセットまたは同じデータセットに関連付けられている以前のプロファイル実行を返します。

get_profile_runs(workspace=None)

パラメーター

戻り値

指定した列を保持し、データセットから他のすべての列を削除します。

時系列列が削除されると、返されたデータセットに対応する機能も削除されます。

keep_columns(columns, validate=False)

パラメーター

戻り値

データセットによってローカル ファイルとして定義されたファイル ストリームをマウントするためのコンテキスト マネージャーを作成します。

mount(stream_column, mount_point=None)

パラメーター

戻り値

パーティション分割されたデータがコピーされ、ターゲットによって指定された宛先に出力されます。

出力されたデータ パスからパーティション形式でデータセットを作成し、名前が指定されている場合はデータセットを登録し、パーティションを含む新しいデータ パスのデータセットを返します

   ds = Dataset.get_by_name('test') # indexed by country, state, partition_date

   # #1: call partition_by locally
   new_ds = ds.partition_by(name="repartitioned_ds", partition_keys=['country'],
               target=DataPath(datastore, "repartition"))
   partition_keys = newds.partition_keys # ['country']

   # new_ds can be passed to PRS as input dataset

partition_by(partition_keys, target, name=None, show_progress=True, partition_as_file_dataset=False)

パラメーター

戻り値

データセット内のレコードをランダムに 2 つの部分に分割し、指定された割合でほぼ分割します。

最初のデータセットには、合計レコードの約 percentage が含まれており、2 番目のデータセットには残りのレコードが含まれます。

random_split(percentage, seed=None)

パラメーター

戻り値

指定したカウントでデータセットの先頭からレコードをスキップします。

skip(count)

パラメーター

戻り値

実験実行を送信してデータ プロファイルを計算します。

データ プロファイルは、列の種類、欠損値などのデータに関する有用な情報を提供することで、入力データを理解し、異常や欠損値を特定するのに非常に役立ちます。

submit_profile_run(compute_target, experiment, cache_datastore_name=None)

パラメーター

戻り値

指定したカウントでデータセットの先頭からレコードのサンプルを取得します。

take(count)

パラメーター

戻り値

データセット内のレコードのランダムなサンプルを、指定された確率でほぼ取得します。

take_sample(probability, seed=None)

パラメーター

戻り値

指定した開始時刻後にタイム スタンプ列で TabularDataset をフィルター処理します。

time_after(start_time, include_boundary=True, validate=True)

パラメーター

戻り値

指定した終了時刻より前のタイム スタンプ列で TabularDataset をフィルター処理します。

time_before(end_time, include_boundary=True, validate=True)

パラメーター

戻り値

指定した開始時刻と終了時刻の間で TabularDataset をフィルター処理します。

time_between(start_time, end_time, include_boundary=True, validate=True)

パラメーター

戻り値

TabularDataset をフィルター処理して、最近のデータの指定した期間 (量) のみを格納します。

time_recent(time_delta, include_boundary=True, validate=True)

パラメーター

戻り値

現在のデータセットを CSV ファイルを含む FileDataset に変換します。

結果のデータセットには、現在のデータセットのデータのパーティションに対応する 1 つ以上の CSV ファイルが含まれます。 これらのファイルは、ダウンロードまたは読み取りを行うまで具体化されません。

to_csv_files(separator=',')

パラメーター

戻り値

データセット内のデータを遅延読み取りできる Dask DataFrame を返します。

to_dask_dataframe(sample_size=10000, dtypes=None, on_error='null', out_of_range_datetime='null')

パラメーター

戻り値

データセットから pandas DataFrame にすべてのレコードを読み込みます。

to_pandas_dataframe(on_error='null', out_of_range_datetime='null')

パラメーター

戻り値

現在のデータセットを Parquet ファイルを含む FileDataset に変換します。

結果のデータセットには、現在のデータセットのデータのパーティションに対応する 1 つ以上の Parquet ファイルが含まれます。 これらのファイルは、ダウンロードまたは読み取りを行うまで具体化されません。

to_parquet_files()

戻り値

データセットから Spark DataFrame にすべてのレコードを読み込みます。

to_spark_dataframe()

戻り値

データセットのタイムスタンプ列を定義します。

with_timestamp_columns(timestamp=None, partition_timestamp=None, validate=False, **kwargs)

パラメーター

戻り値

注釈

このメソッドは、タイムスタンプとして使用する列を定義します。 データセットのタイムスタンプ列を使用すると、データを時系列データとして扱い、追加の機能を有効にすることができます。 データセットに timestamp (used to be referred as fine_grain_timestamp) と partition_timestamp (used to be referred as coarse grain timestamp) の両方が指定されている場合、2 つの列は同じタイムラインを表す必要があります。

タイムスタンプ列を返します。

戻り値