FileDataset 类

创建映射到datacache_store和数据集的 DatacacheConsumptionConfig。

as_cache(datacache_store)

参数

返回

创建一个 DatasetConsumptionConfig，该模式设置为下载。

在提交的运行中，数据集中的文件将下载到计算目标上的本地路径。 可以从参数值和运行上下文的input_datasets字段检索下载位置。 我们将自动生成输入名称。 如果要指定自定义输入名称，请调用as_named_input方法。

   # Given a run submitted with dataset input like this:
   dataset_input = dataset.as_download()
   experiment.submit(ScriptRunConfig(source_directory, arguments=[dataset_input]))


   # Following are sample codes running in context of the submitted run:

   # The download ___location can be retrieved from argument values
   import sys
   download_location = sys.argv[1]

   # The download ___location can also be retrieved from input_datasets of the run context.
   from azureml.core import Run
   download_location = Run.get_context().input_datasets['input_1']

as_download(path_on_compute=None)

参数

注解

从单个文件的路径创建数据集时，下载位置将是单个下载文件的路径。 否则，下载位置将是所有已下载文件的封闭文件夹的路径。

如果path_on_compute以 /开头，则将它视为绝对路径。 如果它不以 /开头，则将它视为相对于工作目录的相对路径。 如果指定了绝对路径，请确保作业有权写入该目录。

将模式设置为 hdfs。

在提交的 synapse 运行中，数据集中的文件将转换为计算目标上的本地路径。 可以从参数值和 os 环境变量中检索 hdfs 路径。

   # Given a run submitted with dataset input like this:
   dataset_input = dataset.as_hdfs()
   experiment.submit(ScriptRunConfig(source_directory, arguments=[dataset_input]))


   # Following are sample codes running in context of the submitted run:

   # The hdfs path can be retrieved from argument values
   import sys
   hdfs_path = sys.argv[1]

   # The hdfs path can also be retrieved from input_datasets of the run context.
   import os
   hdfs_path = os.environ['input_<hash>']

as_hdfs()

注解

从单个文件的路径创建数据集时，hdfs 路径将是单个文件的路径。 否则，hdfs 路径将是所有已装载文件的封闭文件夹的路径。

创建一个 DatasetConsumptionConfig，并将模式设置为装载。

在提交的运行中，数据集中的文件将装载到计算目标上的本地路径。 可以从参数值和运行上下文的input_datasets字段检索装入点。 我们将自动生成输入名称。 如果要指定自定义输入名称，请调用as_named_input方法。

   # Given a run submitted with dataset input like this:
   dataset_input = dataset.as_mount()
   experiment.submit(ScriptRunConfig(source_directory, arguments=[dataset_input]))


   # Following are sample codes running in context of the submitted run:

   # The mount point can be retrieved from argument values
   import sys
   mount_point = sys.argv[1]

   # The mount point can also be retrieved from input_datasets of the run context.
   from azureml.core import Run
   mount_point = Run.get_context().input_datasets['input_1']

as_mount(path_on_compute=None)

参数

注解

从单个文件的路径创建数据集时，装入点将是单个装载文件的路径。 否则，装入点将是所有已装载文件的封闭文件夹的路径。

如果path_on_compute以 /开头，则将它视为绝对路径。 如果它不以 /开头，则将它视为相对于工作目录的相对路径。 如果指定了绝对路径，请确保作业有权写入该目录。

下载数据集定义的文件流作为本地文件。

download(target_path=None, overwrite=False, ignore_not_found=False)

参数

返回

注解

如果target_path以 /开头，则它将被视为绝对路径。 如果它不以 /开头，则将它视为相对于当前工作目录的相对路径。

通过指定元数据列名称获取文件元数据表达式。

支持的文件元数据列为 Size、LastModifiedTime、CreationTime、Extension 和 CanSeek

file_metadata(col)

参数

返回

筛选数据，仅保留与指定表达式匹配的记录。

filter(expression)

参数

返回

注解

表达式首先使用列名称为数据集编制索引。 它们支持各种函数和运算符，可以使用逻辑运算符进行组合。 当数据拉取发生而不是定义数据时，将针对每个记录对生成的表达式进行延迟计算。

   (dataset.file_metadata('Size') > 10000) & (dataset.file_metadata('CanSeek') == True)
   dataset.file_metadata('Extension').starts_with('j')

将数据集冻结到datacache_store中指定的请求副本中。

hydrate(datacache_store, replica_count=None)

参数

返回

创建上下文管理器，用于装载数据集定义的文件流作为本地文件。

mount(mount_point=None, **kwargs)

参数

返回

注解

将返回上下文管理器来管理装载的生命周期。 若要装载，需要输入上下文管理器并卸载，请退出上下文管理器。

仅在安装了本地包 libfuse 的 Unix 或 Unix 类操作系统上支持装载。 如果在 docker 容器中运行，则必须使用 –privileged 标志启动 docker 容器，或以 –cap-add SYS_ADMIN –device /dev/fuse 启动。

   datastore = Datastore.get(workspace, 'workspaceblobstore')
   dataset = Dataset.File.from_files((datastore, 'animals/dog/year-*/*.jpg'))

   with dataset.mount() as mount_context:
       # list top level mounted files and folders in the dataset
       os.listdir(mount_context.mount_point)

   # You can also use the start and stop methods
   mount_context = dataset.mount()
   mount_context.start()  # this will mount the file streams
   mount_context.stop()  # this will unmount the file streams

如果target_path以 /开头，则它将被视为绝对路径。 如果它不以 /开头，则将它视为相对于当前工作目录的相对路径。

将数据集中的文件流随机拆分为两个部分，大约按指定的百分比进行拆分。

返回的第一个数据集大约 percentage 包含文件引用总数，第二个数据集包含剩余的文件引用。

random_split(percentage, seed=None)

参数

返回

按指定的计数从数据集顶部跳过文件流。

skip(count)

参数

返回

按指定计数从数据集顶部获取文件流示例。

take(count)

参数

返回

按指定概率大致获取数据集中的文件流的随机样本。

take_sample(probability, seed=None)

参数

返回

获取数据集定义的每个文件流的文件路径列表。

to_path()

返回

注解

下载或装载文件流时，文件路径是本地文件的相对路径。

根据如何指定数据源来创建数据集，将从文件路径中删除一个通用前缀。 例如：

   datastore = Datastore.get(workspace, 'workspaceblobstore')
   dataset = Dataset.File.from_files((datastore, 'animals/dog/year-*/*.jpg'))
   print(dataset.to_path())

   # ['year-2018/1.jpg'
   #  'year-2018/2.jpg'
   #  'year-2019/1.jpg']

   dataset = Dataset.File.from_files('https://dprepdata.blob.core.windows.net/demo/green-small/*.csv')

   print(dataset.to_path())
   # ['/green_tripdata_2013-08.csv']