Dataset Clase

Archivar un conjunto de datos activo o en desuso.

archive()

Devoluciones

Comentarios

Después del archivado, cualquier intento de consumir el conjunto de datos producirá un error. Si se archiva por accidente, reactivará la activará.

Analiza los archivos en la ruta de acceso especificada y devuelve un nuevo conjunto de datos.

static auto_read_files(path, include_path=False, partition_format=None)

Parámetros

Devoluciones

Comentarios

Use este método cuando se detecten automáticamente formatos de archivo y delimitadores.

Después de crear un conjunto de datos, debe usar get_profile para enumerar los tipos de columna detectados y las estadísticas de resumen de cada columna.

El conjunto de datos devuelto no está registrado en el área de trabajo.

Compare el perfil del conjunto de datos actual con otro perfil de conjunto de datos.

Esto muestra las diferencias en las estadísticas de resumen entre dos conjuntos de datos. El parámetro "rhs_dataset" significa "lado derecho" y es simplemente el segundo conjunto de datos. El primer conjunto de datos (el objeto del conjunto de datos actual) se considera el "lado izquierdo".

compare_profiles(rhs_dataset, profile_arguments={}, include_columns=None, exclude_columns=None, histogram_compare_method=HistogramCompareMethod.WASSERSTEIN)

Parámetros

Devoluciones

Comentarios

Solo para conjuntos de datos registrados. Genera una excepción si el perfil del conjunto de datos actual no existe. Para conjuntos de datos no registrados, use el método profile.compare.

Cree una instantánea del conjunto de datos registrado.

create_snapshot(snapshot_name, compute_target=None, create_data_snapshot=False, target_datastore=None)

Parámetros

Devoluciones

Comentarios

Las instantáneas capturan estadísticas de resumen a un momento dado de los datos subyacentes y una copia opcional de los propios datos. Para más información sobre la creación de instantáneas, vaya a https://aka.ms/azureml/howto/createsnapshots.

Elimine la instantánea del conjunto de datos por nombre.

delete_snapshot(snapshot_name)

Parámetros

Devoluciones

Comentarios

Úselo para liberar el almacenamiento consumido por los datos guardados en instantáneas que ya no necesite.

Desuso de un conjunto de datos activo en un área de trabajo por otro conjunto de datos.

deprecate(deprecate_by_dataset_id)

Parámetros

Devoluciones

Comentarios

Los conjuntos de datos en desuso registrarán advertencias cuando se consuman. La desuso de un conjunto de datos deja de usar todas sus definiciones.

Los conjuntos de datos en desuso todavía se pueden consumir. Para bloquear completamente que se consuma un conjunto de datos, archivelo.

Si está en desuso por accidente, se activará.

Diff the current Dataset with rhs_dataset.

diff(rhs_dataset, compute_target=None, columns=None)

Parámetros

Devoluciones

Cree un conjunto de datos en memoria sin registrar a partir de archivos binarios.

static from_binary_files(path)

Parámetros

Devoluciones

Comentarios

Use este método para leer archivos como secuencias de datos binarios. Devuelve un objeto de secuencia de archivos por lectura de archivo. Use este método cuando lea imágenes, vídeos, audio u otros datos binarios.

get_profile y create_snapshot no funcionarán según lo previsto para un conjunto de datos creado por este método.

El conjunto de datos devuelto no está registrado en el área de trabajo.

Cree un conjunto de datos en memoria sin registrar a partir de archivos delimitados.

   # Create a dataset from delimited files with header option as ALL_FILES_HAVE_SAME_HEADERS
   dataset = Dataset.Tabular.from_delimited_files(path=(datastore, 'data/crime-spring.csv'),
       header='ALL_FILES_HAVE_SAME_HEADERS')

   df = dataset.to_pandas_dataframe()

static from_delimited_files(path, separator=',', header=PromoteHeadersBehavior.ALL_FILES_HAVE_SAME_HEADERS, encoding=FileEncoding.UTF8, quoting=False, infer_column_types=True, skip_rows=0, skip_mode=SkipLinesBehavior.NO_ROWS, comment=None, include_path=False, archive_options=None, partition_format=None)

Parámetros

   archive_options = ArchiveOptions(archive_type = ArchiveType.ZIP, entry_glob = '*10-20.csv')

Devoluciones

Comentarios

Use este método para leer archivos de texto delimitados cuando desee controlar las opciones usadas.

Después de crear un conjunto de datos, debe usar get_profile para enumerar los tipos de columna detectados y las estadísticas de resumen de cada columna.

El conjunto de datos devuelto no está registrado en el área de trabajo.

Cree un conjunto de datos en memoria sin registrar a partir de archivos de Excel.

static from_excel_files(path, sheet_name=None, use_column_headers=False, skip_rows=0, include_path=False, infer_column_types=True, partition_format=None)

Parámetros

Devoluciones

Comentarios

Use este método para leer archivos de Excel en formato .xlsx. Los datos se pueden leer desde una hoja en cada archivo de Excel. Después de crear un conjunto de datos, debe usar get_profile para enumerar los tipos de columna detectados y las estadísticas de resumen de cada columna. El conjunto de datos devuelto no está registrado en el área de trabajo.

Cree un conjunto de datos en memoria sin registrar a partir de archivos JSON.

static from_json_files(path, encoding=FileEncoding.UTF8, flatten_nested_arrays=False, include_path=False, partition_format=None)

Parámetros

Devoluciones

Cree un conjunto de datos en memoria sin registrar a partir de un dataframe de Pandas.

static from_pandas_dataframe(dataframe, path=None, in_memory=False)

Parámetros

Devoluciones

Comentarios

Use este método para convertir un dataframe de Pandas en un objeto Dataset. No se puede registrar un conjunto de datos creado por este método, ya que los datos proceden de la memoria.

Si in_memory es False, el DataFrame de Pandas se convierte en un archivo CSV localmente. Si pat es de tipo DataReference, el marco pandas se cargará en el almacén de datos y el conjunto de datos se basará en DataReference. Si ''path' es una carpeta local, el conjunto de datos se creará fuera del archivo local que no se puede eliminar.

Genera una excepción si dataReference actual no es una ruta de acceso de carpeta.

Cree un conjunto de datos en memoria sin registrar a partir de archivos parquet.

static from_parquet_files(path, include_path=False, partition_format=None)

Parámetros

Devoluciones

Comentarios

Use este método para leer archivos Parquet.

Después de crear un conjunto de datos, debe usar get_profile para enumerar los tipos de columna detectados y las estadísticas de resumen de cada columna.

El conjunto de datos devuelto no está registrado en el área de trabajo.

Cree un conjunto de datos en memoria sin registrar a partir de una consulta SQL.

static from_sql_query(data_source, query)

Parámetros

Devoluciones

Genere un nuevo perfil para el conjunto de datos.

generate_profile(compute_target=None, workspace=None, arguments=None)

Parámetros

Devoluciones

Comentarios

La llamada sincrónica se bloqueará hasta que se complete. Llame get_result a para obtener el resultado de la acción.

Obtenga un conjunto de datos que ya exista en el área de trabajo especificando su nombre o identificador.

static get(workspace, name=None, id=None)

Parámetros

Devoluciones

Comentarios

Puede proporcionar o nameid. Se produce una excepción si:

• name y id se especifican, pero no coinciden.

• el conjunto de datos con el especificado name o id no se encuentra en el área de trabajo.

Obtenga todos los conjuntos de datos registrados en el área de trabajo.

get_all()

Parámetros

Devoluciones

Obtenga todas las instantáneas del conjunto de datos.

get_all_snapshots()

Devoluciones

Obtenga un conjunto de datos que se guarda en el área de trabajo.

get_by_id(id, **kwargs)

Parámetros

Devoluciones

Obtenga un conjunto de datos registrado del área de trabajo por su nombre de registro.

get_by_name(name, version='latest', **kwargs)

Parámetros

Devoluciones

Obtenga una definición específica del conjunto de datos.

get_definition(version_id=None)

Parámetros

Devoluciones

Comentarios

Si version_id se proporciona, Azure Machine Learning intenta obtener la definición correspondiente a esa versión. Si esa versión no existe, se produce una excepción. Si version_id se omite, se recupera la versión más reciente.

Obtenga todas las definiciones del conjunto de datos.

get_definitions()

Devoluciones

Comentarios

Un conjunto de datos registrado en un área de trabajo de AzureML puede tener varias definiciones, cada una creada mediante una llamada a update_definition. Cada definición tiene un identificador único. La definición actual es la más reciente creada.

Para conjuntos de datos no registrados, solo existe una definición.

Obtenga estadísticas de resumen en el conjunto de datos calculado anteriormente.

get_profile(arguments=None, generate_if_not_exist=True, workspace=None, compute_target=None)

Parámetros

Devoluciones

Comentarios

Para un conjunto de datos registrado con un área de trabajo de Azure Machine Learning, este método recupera un perfil existente que se creó anteriormente llamando get_profile a si sigue siendo válido. Los perfiles se invalidan cuando se detectan datos modificados en el conjunto de datos o los argumentos para get_profile son diferentes de los usados cuando se generó el perfil. Si el perfil no está presente o no está invalidado, generate_if_not_exist determinará si se genera un perfil nuevo.

En el caso de un conjunto de datos que no está registrado con un área de trabajo de Azure Machine Learning, este método siempre se ejecuta generate_profile y devuelve el resultado.

Obtenga la instantánea del conjunto de datos por nombre.

get_snapshot(snapshot_name)

Parámetros

Devoluciones

Extraiga el número especificado de registros especificados de este conjunto de datos y los devuelve como dataframe.

head(count)

Parámetros

Devoluciones

Enumere todos los conjuntos de datos del área de trabajo, incluidos los que tienen is_visible la propiedad igual a False.

static list(workspace)

Parámetros

Devoluciones

Reactivar un conjunto de datos archivado o en desuso.

reactivate()

Devoluciones

Registre el conjunto de datos en el área de trabajo, lo que hace que esté disponible para otros usuarios del área de trabajo.

register(workspace, name, description=None, tags=None, visible=True, exist_ok=False, update_if_exist=False)

Parámetros

Devoluciones

Genere un nuevo ejemplo a partir del conjunto de datos de origen mediante la estrategia de muestreo y los parámetros proporcionados.

sample(sample_strategy, arguments)

Parámetros

Devoluciones

Comentarios

Los ejemplos se generan mediante la ejecución de la canalización de transformación definida por este conjunto de datos y, a continuación, la aplicación de la estrategia de muestreo y los parámetros a los datos de salida. Cada método de muestreo admite los siguientes argumentos opcionales:

• top_n

  • Argumentos opcionales

    • n, escriba entero. Seleccione las N primeras filas como ejemplo.

• simple_random

  • Argumentos opcionales

    • probabilidad, escriba float. Muestreo aleatorio simple en el que cada fila tiene la misma probabilidad de seleccionarse. La probabilidad debe ser un número comprendido entre 0 y 1.

    • inicialización, escriba float. Usado por el generador de números aleatorios. Se usa para la repetibilidad.

• estratificado

  • Argumentos opcionales

    • columns, type list[str]. Lista de columnas de estrato en los datos.

    • inicialización, escriba float. Usado por el generador de números aleatorios. Se usa para la repetibilidad.

    • fracciones, tipo dict[tupla, float]. Tupla: los valores de columna que definen un estrato deben estar en el mismo orden que los nombres de columna. Float: peso asociado a un estrato durante el muestreo.

Los fragmentos de código siguientes son patrones de diseño de ejemplo para diferentes métodos de ejemplo.

   # sample_strategy "top_n"
   top_n_sample_dataset = dataset.sample('top_n', {'n': 5})

   # sample_strategy "simple_random"
   simple_random_sample_dataset = dataset.sample('simple_random', {'probability': 0.3, 'seed': 10.2})

   # sample_strategy "stratified"
   fractions = {}
   fractions[('THEFT',)] = 0.5
   fractions[('DECEPTIVE PRACTICE',)] = 0.2

   # take 50% of records with "Primary Type" as THEFT and 20% of records with "Primary Type" as
   # DECEPTIVE PRACTICE into sample Dataset
   sample_dataset = dataset.sample('stratified', {'columns': ['Primary Type'], 'fractions': fractions})

Cree un dataframe de Pandas ejecutando la canalización de transformación definida por esta definición de conjunto de datos.

to_pandas_dataframe()

Devoluciones

Comentarios

Devuelve un DataFrame de Pandas totalmente materializado en la memoria.

Cree un DataFrame de Spark que pueda ejecutar la canalización de transformación definida por esta definición de conjunto de datos.

to_spark_dataframe()

Devoluciones

Comentarios

La trama de datos de Spark devuelta es solo un plan de ejecución y no contiene realmente ningún dato, ya que los dataframes de Spark se evalúan de forma diferida.

Actualice los atributos mutables del conjunto de datos en el área de trabajo y devuelva el conjunto de datos actualizado del área de trabajo.

update(name=None, description=None, tags=None, visible=None)

Parámetros

Devoluciones

Actualice la definición del conjunto de datos.

update_definition(definition, definition_update_message)

Parámetros

Devoluciones

Comentarios

Para consumir el conjunto de datos actualizado, use el objeto devuelto por este método.

Devuelve la definición actual del conjunto de datos.

Devoluciones

Comentarios

Una definición de conjunto de datos es una serie de pasos que especifican cómo leer y transformar datos.

Un conjunto de datos registrado en un área de trabajo de AzureML puede tener varias definiciones, cada una creada mediante una llamada a update_definition. Cada definición tiene un identificador único. Tener varias definiciones le permite realizar cambios en los conjuntos de datos existentes sin interrumpir modelos y canalizaciones que dependen de la definición anterior.

Para conjuntos de datos no registrados, solo existe una definición.

Devuelve la versión de la definición actual del conjunto de datos.

Devoluciones

Comentarios

Una definición de conjunto de datos es una serie de pasos que especifican cómo leer y transformar datos.

Un conjunto de datos registrado en un área de trabajo de AzureML puede tener varias definiciones, cada una creada mediante una llamada a update_definition. Cada definición tiene un identificador único. La definición actual es la más reciente creada, cuyo identificador lo devuelve.

Para conjuntos de datos no registrados, solo existe una definición.

Devuelve la descripción del conjunto de datos.

Devoluciones

Comentarios

Especificar una descripción de los datos del conjunto de datos permite a los usuarios del área de trabajo comprender lo que representan los datos y cómo pueden usarlos.

Si el conjunto de datos se registró en un área de trabajo, devuelva el identificador del conjunto de datos. De lo contrario, devuelve None.

Devoluciones

Controlar la visibilidad de un conjunto de datos registrado en la interfaz de usuario del área de trabajo de Azure ML.

Devoluciones

Comentarios

Valores devueltos:

• True: el conjunto de datos está visible en la interfaz de usuario del área de trabajo. Predeterminado.

• False: el conjunto de datos está oculto en la interfaz de usuario del área de trabajo.

No tiene ningún efecto en los conjuntos de datos no registrados.

Devuelve el nombre del conjunto de datos.

Devoluciones

Devuelve el estado del conjunto de datos.

Devoluciones

Comentarios

El significado y el efecto de los estados son los siguientes:

• Activo. Las definiciones activas son exactamente lo que suenan, todas las acciones se pueden realizar en definiciones activas.

• Obsolescente. se puede usar la definición en desuso, pero provocará que se registre una advertencia en los registros cada vez que se acceda a los datos subyacentes.

• Archivados. No se puede usar una definición archivada para realizar ninguna acción. Para realizar acciones en una definición archivada, debe reactivarse.

Devuelve las etiquetas asociadas al conjunto de datos.

Devoluciones

Si el conjunto de datos se registró en un área de trabajo, devuelva eso. De lo contrario, devuelve None.

Devoluciones

Generador para crear FileDataset

alias de TabularDatasetFactory