Dataset 类

存档活动或已弃用的数据集。

archive()

返回

注解

存档后，任何尝试使用数据集都将导致错误。 如果意外存档，则重新激活将激活它。

分析指定路径上的文件并返回新的数据集。

static auto_read_files(path, include_path=False, partition_format=None)

参数

返回

注解

当自动检测到文件格式和分隔符时，请使用此方法。

创建数据集后，应用于 get_profile 列出每个列的检测到的列类型和摘要统计信息。

返回的数据集未注册到工作区。

将当前数据集的配置文件与其他数据集配置文件进行比较。

这显示了两个数据集之间的摘要统计信息的差异。 参数“rhs_dataset”表示“右侧”，只是第二个数据集。 第一个数据集（当前数据集对象）被视为“左侧”。

compare_profiles(rhs_dataset, profile_arguments={}, include_columns=None, exclude_columns=None, histogram_compare_method=HistogramCompareMethod.WASSERSTEIN)

参数

返回

注解

这仅适用于已注册的数据集。 如果当前数据集的配置文件不存在，则引发异常。 对于未注册的数据集，请使用 profile.compare 方法。

创建已注册数据集的快照。

create_snapshot(snapshot_name, compute_target=None, create_data_snapshot=False, target_datastore=None)

参数

返回

注解

快照捕获基础数据的时间点摘要统计信息和数据本身的可选副本。 若要了解有关创建快照的详细信息，请转到 https://aka.ms/azureml/howto/createsnapshots。

按名称删除数据集的快照。

delete_snapshot(snapshot_name)

参数

返回

注解

使用此选项可以释放保存在不再需要的快照中的数据消耗的存储。

由另一个数据集弃用工作区中的活动数据集。

deprecate(deprecate_by_dataset_id)

参数

返回

注解

已弃用的数据集会在使用时记录警告。 弃用数据集会弃用其所有定义。

仍可使用已弃用的数据集。 若要完全阻止数据集被使用，请将其存档。

如果意外弃用，则重新激活将激活它。

使用rhs_dataset对当前数据集进行差异。

diff(rhs_dataset, compute_target=None, columns=None)

参数

返回

从二进制文件创建未注册的内存中数据集。

static from_binary_files(path)

参数

返回

注解

使用此方法将文件读取为二进制数据流。 每个文件读取返回一个文件流对象。 读取图像、视频、音频或其他二进制数据时，请使用此方法。

get_profile 此方法 create_snapshot 创建的数据集无法按预期工作。

返回的数据集未注册到工作区。

从带分隔符的文件创建未注册的内存中数据集。

   # Create a dataset from delimited files with header option as ALL_FILES_HAVE_SAME_HEADERS
   dataset = Dataset.Tabular.from_delimited_files(path=(datastore, 'data/crime-spring.csv'),
       header='ALL_FILES_HAVE_SAME_HEADERS')

   df = dataset.to_pandas_dataframe()

static from_delimited_files(path, separator=',', header=PromoteHeadersBehavior.ALL_FILES_HAVE_SAME_HEADERS, encoding=FileEncoding.UTF8, quoting=False, infer_column_types=True, skip_rows=0, skip_mode=SkipLinesBehavior.NO_ROWS, comment=None, include_path=False, archive_options=None, partition_format=None)

参数

   archive_options = ArchiveOptions(archive_type = ArchiveType.ZIP, entry_glob = '*10-20.csv')

返回

注解

如果要控制所使用的选项，请使用此方法读取带分隔符的文本文件。

创建数据集后，应用于 get_profile 列出每个列的检测到的列类型和摘要统计信息。

返回的数据集未注册到工作区。

从 Excel 文件创建未注册的内存中数据集。

static from_excel_files(path, sheet_name=None, use_column_headers=False, skip_rows=0, include_path=False, infer_column_types=True, partition_format=None)

参数

返回

注解

使用此方法可读取 .xlsx 格式的 Excel 文件。 可以从每个 Excel 文件中的一个工作表读取数据。 创建数据集后，应用于 get_profile 列出每个列的检测到的列类型和摘要统计信息。 返回的数据集未注册到工作区。

从 JSON 文件创建未注册的内存中数据集。

static from_json_files(path, encoding=FileEncoding.UTF8, flatten_nested_arrays=False, include_path=False, partition_format=None)

参数

返回

从 pandas 数据帧创建未注册的内存中数据集。

static from_pandas_dataframe(dataframe, path=None, in_memory=False)

参数

返回

注解

使用此方法可将 Pandas 数据帧转换为 Dataset 对象。 无法注册此方法创建的数据集，因为数据来自内存。

如果 in_memory 为 False，则 Pandas 数据帧将转换为本地 CSV 文件。 如果 pat 数据类型为 DataReference，则 Pandas 帧将上传到数据存储，数据集将基于 DataReference。 如果“'path”是本地文件夹，则会从无法删除的本地文件创建数据集。

如果当前 DataReference 不是文件夹路径，则引发异常。

从 parquet 文件创建未注册的内存中数据集。

static from_parquet_files(path, include_path=False, partition_format=None)

参数

返回

注解

使用此方法读取 Parquet 文件。

创建数据集后，应用于 get_profile 列出每个列的检测到的列类型和摘要统计信息。

返回的数据集未注册到工作区。

从 SQL 查询创建未注册的内存中数据集。

static from_sql_query(data_source, query)

参数

返回

为数据集生成新配置文件。

generate_profile(compute_target=None, workspace=None, arguments=None)

参数

返回

注解

同步调用将阻止，直到它完成。 调用 get_result 以获取作的结果。

通过指定工作区的名称或 ID 获取工作区中已存在的数据集。

static get(workspace, name=None, id=None)

参数

返回

注解

你可以提供或 nameid. 如果出现以下情况，将引发异常：

• 同时 name 指定和 id 未匹配。

• 具有指定 name 或 id 找不到工作区中的数据集。

获取工作区中的所有已注册数据集。

get_all()

参数

返回

获取数据集的所有快照。

get_all_snapshots()

返回

获取保存到工作区的数据集。

get_by_id(id, **kwargs)

参数

返回

按其注册名称从工作区获取已注册的数据集。

get_by_name(name, version='latest', **kwargs)

参数

返回

获取数据集的特定定义。

get_definition(version_id=None)

参数

返回

注解

如果 version_id 已提供，则 Azure 机器学习会尝试获取与该版本对应的定义。 如果该版本不存在，则会引发异常。 如果 version_id 省略，则检索最新版本。

获取数据集的所有定义。

get_definitions()

返回

注解

在 AzureML 工作区中注册的数据集可以有多个定义，每个定义都是通过调用 update_definition创建的。 每个定义都具有唯一标识符。 当前定义是创建的最新定义。

对于未注册的数据集，只有一个定义存在。

获取前面计算的数据集的摘要统计信息。

get_profile(arguments=None, generate_if_not_exist=True, workspace=None, compute_target=None)

参数

返回

注解

对于注册到 Azure 机器学习工作区的数据集，此方法通过调用 get_profile 之前创建的配置文件（如果仍然有效）来检索之前创建的配置文件。 在数据集中检测到已更改的数据或参数与生成配置文件时使用的参数 get_profile 不同时，配置文件将失效。 如果配置文件不存在或无效， generate_if_not_exist 将确定是否生成新的配置文件。

对于未向 Azure 机器学习工作区注册的数据集，此方法始终运行 generate_profile 并返回结果。

按名称获取数据集的快照。

get_snapshot(snapshot_name)

参数

返回

从此数据集拉取指定的记录数，并将其作为数据帧返回。

head(count)

参数

返回

列出工作区中的所有数据集，包括属性 is_visible 等于 False 的数据集。

static list(workspace)

参数

返回

重新激活已存档或已弃用的数据集。

reactivate()

返回

在工作区中注册数据集，使其可供工作区的其他用户使用。

register(workspace, name, description=None, tags=None, visible=True, exist_ok=False, update_if_exist=False)

参数

返回

使用提供的采样策略和参数从源数据集生成新示例。

sample(sample_strategy, arguments)

参数

返回

注解

通过执行此数据集定义的转换管道，然后将采样策略和参数应用到输出数据来生成示例。 每个采样方法都支持以下可选参数：

• top_n

  • 可选自变量

    • n，类型整数。 选择前 N 行作为示例。

• simple_random

  • 可选自变量

    • probability，类型 float。 简单随机采样，其中每一行的概率相等。 概率应为介于 0 和 1 之间的数字。

    • 种子，类型 float。 随机数生成器使用。 用于可重复性。

• 分层

  • 可选自变量

    • columns， type list[str]。 数据中的层列列表。

    • 种子，类型 float。 随机数生成器使用。 用于可重复性。

    • fractions， type dict[tuple， float]。 元组：定义层的列值必须与列名的顺序相同。 浮点：采样期间附加到层的权重。

以下代码片段是不同示例方法的示例设计模式。

   # sample_strategy "top_n"
   top_n_sample_dataset = dataset.sample('top_n', {'n': 5})

   # sample_strategy "simple_random"
   simple_random_sample_dataset = dataset.sample('simple_random', {'probability': 0.3, 'seed': 10.2})

   # sample_strategy "stratified"
   fractions = {}
   fractions[('THEFT',)] = 0.5
   fractions[('DECEPTIVE PRACTICE',)] = 0.2

   # take 50% of records with "Primary Type" as THEFT and 20% of records with "Primary Type" as
   # DECEPTIVE PRACTICE into sample Dataset
   sample_dataset = dataset.sample('stratified', {'columns': ['Primary Type'], 'fractions': fractions})

通过执行此数据集定义定义的转换管道来创建 Pandas 数据帧。

to_pandas_dataframe()

返回

注解

返回内存中完全具体化的 Pandas 数据帧。

创建一个 Spark 数据帧，该帧可以执行此数据集定义定义的转换管道。

to_spark_dataframe()

返回

注解

返回的 Spark 数据帧只是执行计划，实际上不包含任何数据，因为 Spark 数据帧的计算迟缓。

更新工作区中的数据集可变属性，并从工作区中返回更新后的数据集。

update(name=None, description=None, tags=None, visible=None)

参数

返回

更新数据集定义。

update_definition(definition, definition_update_message)

参数

返回

注解

若要使用更新的数据集，请使用此方法返回的对象。

返回当前数据集定义。

返回

注解

数据集定义是一系列步骤，用于指定如何读取和转换数据。

在 AzureML 工作区中注册的数据集可以有多个定义，每个定义都是通过调用 update_definition创建的。 每个定义都具有唯一标识符。 使用多个定义可以更改现有数据集，而无需中断依赖于旧定义的模型和管道。

对于未注册的数据集，只有一个定义存在。

返回数据集的当前定义版本。

返回

注解

数据集定义是一系列步骤，用于指定如何读取和转换数据。

在 AzureML 工作区中注册的数据集可以有多个定义，每个定义都是通过调用 update_definition创建的。 每个定义都具有唯一标识符。 当前定义是创建的最新定义，其 ID 由此返回。

对于未注册的数据集，只有一个定义存在。

返回数据集的说明。

返回

注解

指定数据集中的数据说明使工作区的用户能够了解数据代表的内容，以及他们如何使用这些数据。

如果在工作区中注册了数据集，则返回数据集的 ID。 否则，返回 None。

返回

控制 Azure ML 工作区 UI 中已注册数据集的可见性。

返回

注解

返回的值：

• True：数据集在工作区 UI 中可见。 违约。

• False：数据集隐藏在工作区 UI 中。

对未注册的数据集没有影响。

返回数据集名称。

返回

返回数据集的状态。

返回

注解

状态的含义和效果如下所示：

• 活动。 活动定义完全与其听起来类似，所有作都可以在活动定义上执行。

• 已弃用。 可以使用已弃用的定义，但每次访问基础数据时都会在日志中记录警告。

• 存档。 存档定义不能用于执行任何作。 若要对存档定义执行作，必须重新激活它。

返回与数据集关联的标记。

返回

如果数据集在工作区中注册，则返回该数据集。 否则，返回 None。

返回

用于创建的工厂 FileDataset

别名 TabularDatasetFactory