Dataset クラス

アクティブまたは非推奨のデータセットをアーカイブします。

archive()

戻り値

注釈

アーカイブ後、データセットを使用しようとするとエラーが発生します。 誤ってアーカイブされた場合は、再アクティブ化によってアクティブ化されます。

指定したパスにあるファイルを分析し、新しいデータセットを返します。

static auto_read_files(path, include_path=False, partition_format=None)

パラメーター

戻り値

注釈

ファイル形式と区切り記号を自動的に検出する場合は、このメソッドを使用します。

データセットを作成したら、 get_profile を使用して、検出された列の種類と各列の概要統計を一覧表示する必要があります。

返されたデータセットはワークスペースに登録されていません。

現在のデータセットのプロファイルを別のデータセット プロファイルと比較します。

これは、2 つのデータセット間の概要統計の違いを示しています。 パラメーター 'rhs_dataset' は "右側" を表し、単に 2 番目のデータセットです。 最初のデータセット (現在のデータセット オブジェクト) は、"左側" と見なされます。

compare_profiles(rhs_dataset, profile_arguments={}, include_columns=None, exclude_columns=None, histogram_compare_method=HistogramCompareMethod.WASSERSTEIN)

パラメーター

戻り値

注釈

これは、登録済みのデータセット専用です。 現在のデータセットのプロファイルが存在しない場合は、例外を発生させます。 登録されていないデータセットの場合は、profile.compare メソッドを使用します。

登録済みのデータセットのスナップショットを作成します。

create_snapshot(snapshot_name, compute_target=None, create_data_snapshot=False, target_datastore=None)

パラメーター

戻り値

注釈

スナップショットは、基になるデータのポイントインタイム サマリー統計と、データ自体のオプションのコピーをキャプチャします。 スナップショットの作成の詳細については、「 https://aka.ms/azureml/howto/createsnapshots」を参照してください。

名前でデータセットのスナップショットを削除します。

delete_snapshot(snapshot_name)

パラメーター

戻り値

注釈

これを使用して、不要になったスナップショットに保存されたデータによって消費されるストレージを解放します。

別のデータセットによってワークスペース内のアクティブなデータセットを非推奨にします。

deprecate(deprecate_by_dataset_id)

パラメーター

戻り値

注釈

非推奨のデータセットでは、警告が使用されるとログに記録されます。 データセットを非推奨にすると、そのすべての定義が非推奨になります。

非推奨のデータセットは引き続き使用できます。 データセットの使用を完全にブロックするには、それをアーカイブします。

誤って非推奨になった場合は、再アクティブ化によってアクティブ化されます。

現在のデータセットとrhs_datasetを比較します。

diff(rhs_dataset, compute_target=None, columns=None)

パラメーター

戻り値

バイナリ ファイルから未登録のメモリ内データセットを作成します。

static from_binary_files(path)

パラメーター

戻り値

注釈

バイナリ データのストリームとしてファイルを読み取る場合は、このメソッドを使用します。 読み取られたファイルごとに 1 つのファイル ストリーム オブジェクトを返します。 画像、ビデオ、オーディオ、またはその他のバイナリ データを読み取る場合は、このメソッドを使用します。

get_profile と create_snapshot は、このメソッドによって作成されたデータセットに対して想定どおりに機能しません。

返されたデータセットはワークスペースに登録されていません。

区切りファイルから、未登録のメモリ内データセットを作成します。

   # Create a dataset from delimited files with header option as ALL_FILES_HAVE_SAME_HEADERS
   dataset = Dataset.Tabular.from_delimited_files(path=(datastore, 'data/crime-spring.csv'),
       header='ALL_FILES_HAVE_SAME_HEADERS')

   df = dataset.to_pandas_dataframe()

static from_delimited_files(path, separator=',', header=PromoteHeadersBehavior.ALL_FILES_HAVE_SAME_HEADERS, encoding=FileEncoding.UTF8, quoting=False, infer_column_types=True, skip_rows=0, skip_mode=SkipLinesBehavior.NO_ROWS, comment=None, include_path=False, archive_options=None, partition_format=None)

パラメーター

   archive_options = ArchiveOptions(archive_type = ArchiveType.ZIP, entry_glob = '*10-20.csv')

戻り値

注釈

使用するオプションを制御する場合は、このメソッドを使用して区切りテキスト ファイルを読み取る必要があります。

データセットを作成したら、 get_profile を使用して、検出された列の種類と各列の概要統計を一覧表示する必要があります。

返されたデータセットはワークスペースに登録されていません。

Excel ファイルから、未登録のメモリ内データセットを作成します。

static from_excel_files(path, sheet_name=None, use_column_headers=False, skip_rows=0, include_path=False, infer_column_types=True, partition_format=None)

パラメーター

戻り値

注釈

このメソッドを使用して、Excel ファイルを .xlsx 形式で読み取ります。 各 Excel ファイルの 1 つのシートからデータを読み取ることができます。 データセットを作成したら、 get_profile を使用して、検出された列の種類と各列の概要統計を一覧表示する必要があります。 返されたデータセットはワークスペースに登録されていません。

JSON ファイルから未登録のメモリ内データセットを作成します。

static from_json_files(path, encoding=FileEncoding.UTF8, flatten_nested_arrays=False, include_path=False, partition_format=None)

パラメーター

戻り値

pandas データフレームから、未登録のメモリ内データセットを作成します。

static from_pandas_dataframe(dataframe, path=None, in_memory=False)

パラメーター

戻り値

注釈

Pandas データフレームを Dataset オブジェクトに変換するには、このメソッドを使用します。 データはメモリからのデータであるため、このメソッドによって作成されたデータセットを登録できません。

in_memoryが False の場合、Pandas DataFrame はローカルで CSV ファイルに変換されます。 patが DataReference 型の場合、Pandas フレームはデータ ストアにアップロードされ、データセットは DataReference に基づいて作成されます。 ''path' がローカル フォルダーの場合、削除できないローカル ファイルからデータセットが作成されます。

現在の DataReference がフォルダー パスでない場合は例外を発生させます。

Parquet ファイルから、未登録のメモリ内データセットを作成します。

static from_parquet_files(path, include_path=False, partition_format=None)

パラメーター

戻り値

注釈

Parquet ファイルを読み取る場合は、このメソッドを使用します。

データセットを作成したら、 get_profile を使用して、検出された列の種類と各列の概要統計を一覧表示する必要があります。

返されたデータセットはワークスペースに登録されていません。

SQL クエリから、未登録のメモリ内データセットを作成します。

static from_sql_query(data_source, query)

パラメーター

戻り値

データセットの新しいプロファイルを生成します。

generate_profile(compute_target=None, workspace=None, arguments=None)

パラメーター

戻り値

注釈

同期呼び出しは、完了するまでブロックされます。 get_resultを呼び出して、アクションの結果を取得します。

ワークスペースに既に存在するデータセットを取得するには、その名前または ID を指定します。

static get(workspace, name=None, id=None)

パラメーター

戻り値

注釈

nameまたはidを指定できます。 次の場合は例外が発生します。

• nameとidの両方が指定されていますが、一致しません。

• 指定した name または id を持つデータセットがワークスペースに見つかりません。

ワークスペースに登録されているすべてのデータセットを取得します。

get_all()

パラメーター

戻り値

データセットのすべてのスナップショットを取得します。

get_all_snapshots()

戻り値

ワークスペースに保存されているデータセットを取得します。

get_by_id(id, **kwargs)

パラメーター

戻り値

登録名でワークスペースから登録済みデータセットを取得します。

get_by_name(name, version='latest', **kwargs)

パラメーター

戻り値

データセットの特定の定義を取得します。

get_definition(version_id=None)

パラメーター

戻り値

注釈

version_idが指定されている場合、Azure Machine Learning はそのバージョンに対応する定義の取得を試みます。 そのバージョンが存在しない場合は、例外がスローされます。 version_idを省略すると、最新バージョンが取得されます。

データセットのすべての定義を取得します。

get_definitions()

戻り値

注釈

AzureML ワークスペースに登録されたデータセットには複数の定義を含めることができます。各定義は、 update_definitionを呼び出すことによって作成されます。 各定義には一意の識別子があります。 現在の定義は、作成された最新の定義です。

未登録のデータセットの場合、定義は 1 つだけ存在します。

前に計算したデータセットの概要統計を取得します。

get_profile(arguments=None, generate_if_not_exist=True, workspace=None, compute_target=None)

パラメーター

戻り値

注釈

Azure Machine Learning ワークスペースに登録されているデータセットの場合、このメソッドは、まだ有効な場合は get_profile を呼び出すことによって、以前に作成された既存のプロファイルを取得します。 データセットで変更されたデータが検出された場合、または get_profile する引数がプロファイルの生成時に使用されたものと異なる場合、プロファイルは無効になります。 プロファイルが存在しないか無効になっている場合、 generate_if_not_exist は新しいプロファイルが生成されるかどうかを判断します。

Azure Machine Learning ワークスペースに登録されていないデータセットの場合、このメソッドは常に generate_profile 実行され、結果が返されます。

名前でデータセットのスナップショットを取得します。

get_snapshot(snapshot_name)

パラメーター

戻り値

このデータセットから指定された数のレコードをプルし、DataFrame として返します。

head(count)

パラメーター

戻り値

ワークスペース内のすべてのデータセット ( is_visible プロパティが False のデータセットを含む) を一覧表示します。

static list(workspace)

パラメーター

戻り値

アーカイブされたデータセットまたは非推奨のデータセットを再アクティブ化します。

reactivate()

戻り値

ワークスペースにデータセットを登録し、ワークスペースの他のユーザーが使用できるようにします。

register(workspace, name, description=None, tags=None, visible=True, exist_ok=False, update_if_exist=False)

パラメーター

戻り値

指定されたサンプリング戦略とパラメーターを使用して、ソース データセットから新しいサンプルを生成します。

sample(sample_strategy, arguments)

パラメーター

戻り値

注釈

サンプルは、このデータセットによって定義された変換パイプラインを実行し、サンプリング戦略とパラメーターを出力データに適用することによって生成されます。 各サンプリング メソッドでは、次の省略可能な引数がサポートされています。

• top_n

  • 省略可能な引数。

    • n、整数型。 サンプルとして上位 N 行を選択します。

• simple_random

  • 省略可能な引数。

    • 確率を float と入力します。 各行が選択される確率が等しい単純なランダム サンプリング。 確率は 0 ~ 1 の数値にする必要があります。

    • seed、float と入力します。 乱数ジェネレーターによって使用されます。 再現性を高める場合に使用します。

• 成層

  • 省略可能な引数。

    • columns, list[str]. と入力します。 データ内の strata 列の一覧。

    • seed、float と入力します。 乱数ジェネレーターによって使用されます。 再現性を高める場合に使用します。

    • fractions,type dict[tuple, float]. タプル: 階層を定義する列値は、列名と同じ順序にする必要があります。 Float: サンプリング中に階層にアタッチされる重み。

次のコード スニペットは、さまざまなサンプル メソッドの設計パターンの例です。

   # sample_strategy "top_n"
   top_n_sample_dataset = dataset.sample('top_n', {'n': 5})

   # sample_strategy "simple_random"
   simple_random_sample_dataset = dataset.sample('simple_random', {'probability': 0.3, 'seed': 10.2})

   # sample_strategy "stratified"
   fractions = {}
   fractions[('THEFT',)] = 0.5
   fractions[('DECEPTIVE PRACTICE',)] = 0.2

   # take 50% of records with "Primary Type" as THEFT and 20% of records with "Primary Type" as
   # DECEPTIVE PRACTICE into sample Dataset
   sample_dataset = dataset.sample('stratified', {'columns': ['Primary Type'], 'fractions': fractions})

このデータセット定義で定義された変換パイプラインを実行して、Pandas データフレームを作成します。

to_pandas_dataframe()

戻り値

注釈

メモリ内で完全に具体化された Pandas DataFrame を返します。

このデータセット定義で定義された変換パイプラインを実行できる Spark DataFrame を作成します。

to_spark_dataframe()

戻り値

注釈

返される Spark データフレームは実行プランに過ぎず、Spark データフレームは遅延評価されるため、実際にはデータは含まれません。

ワークスペース内のデータセット変更可能な属性を更新し、ワークスペースから更新されたデータセットを返します。

update(name=None, description=None, tags=None, visible=None)

パラメーター

戻り値

データセット定義を更新します。

update_definition(definition, definition_update_message)

パラメーター

戻り値

注釈

更新されたデータセットを使用するには、このメソッドによって返されるオブジェクトを使用します。

現在のデータセット定義を返します。

戻り値

注釈

データセット定義は、データの読み取りと変換の方法を指定する一連の手順です。

AzureML ワークスペースに登録されたデータセットには複数の定義を含めることができます。各定義は、 update_definitionを呼び出すことによって作成されます。 各定義には一意の識別子があります。 複数の定義を使用すると、以前の定義に依存するモデルやパイプラインを中断することなく、既存のデータセットを変更できます。

未登録のデータセットの場合、定義は 1 つだけ存在します。

データセットの現在の定義のバージョンを返します。

戻り値

注釈

データセット定義は、データの読み取りと変換の方法を指定する一連の手順です。

AzureML ワークスペースに登録されたデータセットには複数の定義を含めることができます。各定義は、 update_definitionを呼び出すことによって作成されます。 各定義には一意の識別子があります。 現在の定義は、作成された最新の定義であり、その ID はこれで返されます。

未登録のデータセットの場合、定義は 1 つだけ存在します。

データセットの説明を返します。

戻り値

注釈

データセット内のデータの説明を指定すると、ワークスペースのユーザーは、データが何を表し、どのように使用できるかを理解できます。

データセットがワークスペースに登録されている場合は、データセットの ID を返します。 それ以外の場合は、None を返します。

戻り値

Azure ML ワークスペース UI で登録済みのデータセットの可視性を制御します。

戻り値

注釈

返される値:

• True: データセットはワークスペース UI に表示されます。 既定値。

• False: ワークスペース UI ではデータセットが非表示になります。

未登録のデータセットには影響しません。

データセット名を返します。

戻り値

データセットの状態を返します。

戻り値

注釈

状態の意味と効果は次のとおりです。

• アクティブ。 アクティブな定義は、まったく同じように聞こえるもので、すべてのアクションをアクティブな定義に対して実行できます。

• 非推奨になりました。 非推奨の定義は使用できますが、基になるデータにアクセスするたびに警告がログに記録されます。

• アーカイブ。 アーカイブされた定義を使用してアクションを実行することはできません。 アーカイブされた定義に対してアクションを実行するには、再アクティブ化する必要があります。

データセットに関連付けられているタグを返します。

戻り値

データセットがワークスペースに登録されている場合は、そのデータセットを返します。 それ以外の場合は、None を返します。

戻り値

作成用ファクトリ FileDataset

のエイリアス TabularDatasetFactory