FileDataset クラス

datacache_storeとデータセットにマップされた DatacacheConsumptionConfig を作成します。

as_cache(datacache_store)

パラメーター

戻り値

ダウンロードするモードを設定して DatasetConsumptionConfig を作成します。

送信された実行では、データセット内のファイルがコンピューティング 先のローカル パスにダウンロードされます。 ダウンロード場所は、引数の値と実行コンテキストのinput_datasets フィールドから取得できます。 入力名が自動的に生成されます。 カスタム入力名を指定する場合は、as_named_input メソッドを呼び出してください。

   # Given a run submitted with dataset input like this:
   dataset_input = dataset.as_download()
   experiment.submit(ScriptRunConfig(source_directory, arguments=[dataset_input]))


   # Following are sample codes running in context of the submitted run:

   # The download ___location can be retrieved from argument values
   import sys
   download_location = sys.argv[1]

   # The download ___location can also be retrieved from input_datasets of the run context.
   from azureml.core import Run
   download_location = Run.get_context().input_datasets['input_1']

as_download(path_on_compute=None)

パラメーター

注釈

データセットが 1 つのファイルのパスから作成される場合、ダウンロード場所はダウンロードされた 1 つのファイルのパスになります。 それ以外の場合、ダウンロード場所は、ダウンロードしたすべてのファイルの外側のフォルダーのパスになります。

path_on_compute /で始まる場合は、絶対パスとして扱われます。 /で始まらない場合は、作業ディレクトリに対する相対パスとして扱われます。 絶対パスを指定した場合は、そのディレクトリに書き込む権限がジョブにあることを確認してください。

モードを hdfs に設定します。

送信された synapse 実行では、データセット内のファイルがコンピューティング 先のローカル パスに変換されます。 hdfs パスは、引数の値と os 環境変数から取得できます。

   # Given a run submitted with dataset input like this:
   dataset_input = dataset.as_hdfs()
   experiment.submit(ScriptRunConfig(source_directory, arguments=[dataset_input]))


   # Following are sample codes running in context of the submitted run:

   # The hdfs path can be retrieved from argument values
   import sys
   hdfs_path = sys.argv[1]

   # The hdfs path can also be retrieved from input_datasets of the run context.
   import os
   hdfs_path = os.environ['input_<hash>']

as_hdfs()

注釈

データセットが 1 つのファイルのパスから作成されると、hdfs パスは単一ファイルのパスになります。 それ以外の場合、hdfs パスは、マウントされているすべてのファイルの外側のフォルダーのパスになります。

モードをマウントに設定して DatasetConsumptionConfig を作成します。

送信された実行では、データセット内のファイルがコンピューティング 先のローカル パスにマウントされます。 マウント ポイントは、実行コンテキストの引数値とinput_datasets フィールドから取得できます。 入力名が自動的に生成されます。 カスタム入力名を指定する場合は、as_named_input メソッドを呼び出してください。

   # Given a run submitted with dataset input like this:
   dataset_input = dataset.as_mount()
   experiment.submit(ScriptRunConfig(source_directory, arguments=[dataset_input]))


   # Following are sample codes running in context of the submitted run:

   # The mount point can be retrieved from argument values
   import sys
   mount_point = sys.argv[1]

   # The mount point can also be retrieved from input_datasets of the run context.
   from azureml.core import Run
   mount_point = Run.get_context().input_datasets['input_1']

as_mount(path_on_compute=None)

パラメーター

注釈

データセットが 1 つのファイルのパスから作成されると、マウント ポイントは単一のマウントされたファイルのパスになります。 それ以外の場合、マウント ポイントは、マウントされたすべてのファイルの外側のフォルダーのパスになります。

path_on_compute /で始まる場合は、絶対パスとして扱われます。 /で始まらない場合は、作業ディレクトリに対する相対パスとして扱われます。 絶対パスを指定した場合は、そのディレクトリに書き込む権限がジョブにあることを確認してください。

データセットによってローカル ファイルとして定義されたファイル ストリームをダウンロードします。

download(target_path=None, overwrite=False, ignore_not_found=False)

パラメーター

戻り値

注釈

target_path /で始まる場合は、絶対パスとして扱われます。 /で始まらない場合は、現在の作業ディレクトリを基準とした相対パスとして扱われます。

メタデータ列名を指定して、ファイル メタデータ式を取得します。

サポートされているファイル メタデータ列は、Size、LastModifiedTime、CreationTime、Extension、CanSeek です

file_metadata(col)

パラメーター

戻り値

データをフィルター処理して、指定された式に一致するレコードのみを残します。

filter(expression)

パラメーター

戻り値

注釈

式は、列の名前を使用してデータセットにインデックスを付けることで開始されます。 さまざまな関数と演算子をサポートし、論理演算子を使用して組み合わせることができます。 結果の式は、データ プルが発生したときにレコードが定義されている場所ではなく、各レコードに対して遅延評価されます。

   (dataset.file_metadata('Size') > 10000) & (dataset.file_metadata('CanSeek') == True)
   dataset.file_metadata('Extension').starts_with('j')

datacache_storeで指定された要求されたレプリカにデータセットをハイドレートします。

hydrate(datacache_store, replica_count=None)

パラメーター

戻り値

データセットによってローカル ファイルとして定義されたファイル ストリームをマウントするためのコンテキスト マネージャーを作成します。

mount(mount_point=None, **kwargs)

パラメーター

戻り値

注釈

マウントのライフサイクルを管理するために、コンテキスト マネージャーが返されます。 マウントするには、コンテキスト マネージャーを入力し、マウントを解除するには、コンテキスト マネージャーから終了する必要があります。

マウントは、ネイティブ パッケージ libfuse がインストールされている UNIX または UNIX 系のオペレーティング システムでのみサポートされます。 Docker コンテナー内で実行している場合、docker コンテナーは –privileged フラグで開始するか、 –cap-add SYS_ADMIN –device /dev/fuse で開始する必要があります。

   datastore = Datastore.get(workspace, 'workspaceblobstore')
   dataset = Dataset.File.from_files((datastore, 'animals/dog/year-*/*.jpg'))

   with dataset.mount() as mount_context:
       # list top level mounted files and folders in the dataset
       os.listdir(mount_context.mount_point)

   # You can also use the start and stop methods
   mount_context = dataset.mount()
   mount_context.start()  # this will mount the file streams
   mount_context.stop()  # this will unmount the file streams

target_path /で始まる場合は、絶対パスとして扱われます。 /で始まらない場合は、現在の作業ディレクトリを基準とした相対パスとして扱われます。

データセット内のファイル ストリームをランダムに 2 つの部分に分割し、指定された割合でほぼ分割します。

返される最初のデータセットには、ファイル参照の合計数の約 percentage が含まれており、2 番目のデータセットには残りのファイル参照が含まれています。

random_split(percentage, seed=None)

パラメーター

戻り値

指定した数でデータセットの先頭からファイル ストリームをスキップします。

skip(count)

パラメーター

戻り値

指定した数でデータセットの先頭からファイル ストリームのサンプルを取得します。

take(count)

パラメーター

戻り値

データセット内のファイル ストリームのランダムなサンプルを、指定された確率でほぼ取得します。

take_sample(probability, seed=None)

パラメーター

戻り値

データセットによって定義された各ファイル ストリームのファイル パスの一覧を取得します。

to_path()

戻り値

注釈

ファイル のパスは、ファイル ストリームのダウンロードまたはマウント時のローカル ファイルの相対パスです。

データセットの作成にデータ ソースがどのように指定されたかに基づいて、共通のプレフィックスがファイル パスから削除されます。 例えば次が挙げられます。

   datastore = Datastore.get(workspace, 'workspaceblobstore')
   dataset = Dataset.File.from_files((datastore, 'animals/dog/year-*/*.jpg'))
   print(dataset.to_path())

   # ['year-2018/1.jpg'
   #  'year-2018/2.jpg'
   #  'year-2019/1.jpg']

   dataset = Dataset.File.from_files('https://dprepdata.blob.core.windows.net/demo/green-small/*.csv')

   print(dataset.to_path())
   # ['/green_tripdata_2013-08.csv']