FileDataset Clase

Cree una clase DatacacheConsumptionConfig asignada a un datacache_store y un conjunto de datos.

as_cache(datacache_store)

Parámetros

Devoluciones

Cree un conjunto de datosConsumptionConfig con el modo establecido para descargar.

En la ejecución enviada, los archivos del conjunto de datos se descargarán en la ruta de acceso local en el destino de proceso. La ubicación de descarga se puede recuperar de los valores de argumento y el campo input_datasets del contexto de ejecución. Generaremos automáticamente un nombre de entrada. Si desea especificar un nombre de entrada personalizado, llame al método as_named_input.

   # Given a run submitted with dataset input like this:
   dataset_input = dataset.as_download()
   experiment.submit(ScriptRunConfig(source_directory, arguments=[dataset_input]))


   # Following are sample codes running in context of the submitted run:

   # The download ___location can be retrieved from argument values
   import sys
   download_location = sys.argv[1]

   # The download ___location can also be retrieved from input_datasets of the run context.
   from azureml.core import Run
   download_location = Run.get_context().input_datasets['input_1']

as_download(path_on_compute=None)

Parámetros

Comentarios

Cuando el conjunto de datos se crea a partir de la ruta de acceso de un único archivo, la ubicación de descarga será la ruta de acceso del único archivo descargado. De lo contrario, la ubicación de descarga será la ruta de acceso de la carpeta envolvente para todos los archivos descargados.

Si path_on_compute comienza con /, se tratará como una ruta de acceso absoluta. Si no comienza con /, se tratará como una ruta de acceso relativa con respecto al directorio de trabajo. Si ha especificado una ruta de acceso absoluta, asegúrese de que el trabajo tiene permiso para escribir en ese directorio.

Establezca el modo en hdfs.

En la ejecución de Synapse enviada, los archivos de los conjuntos de datos se convertirán en la ruta de acceso local en el destino de proceso. La ruta de acceso de hdfs se puede recuperar de los valores de argumento y las variables de entorno del sistema operativo.

   # Given a run submitted with dataset input like this:
   dataset_input = dataset.as_hdfs()
   experiment.submit(ScriptRunConfig(source_directory, arguments=[dataset_input]))


   # Following are sample codes running in context of the submitted run:

   # The hdfs path can be retrieved from argument values
   import sys
   hdfs_path = sys.argv[1]

   # The hdfs path can also be retrieved from input_datasets of the run context.
   import os
   hdfs_path = os.environ['input_<hash>']

as_hdfs()

Comentarios

Cuando el conjunto de datos se crea a partir de la ruta de acceso de un único archivo, la ruta de acceso de hdfs será la ruta de acceso del único archivo. De lo contrario, la ruta de acceso de hdfs será la ruta de acceso de la carpeta envolvente para todos los archivos montados.

Cree un conjunto de datosConsumptionConfig con el modo establecido en montar.

En la ejecución enviada, los archivos de los conjuntos de datos se montarán en la ruta de acceso local en el destino de proceso. El punto de montaje se puede recuperar de los valores de argumento y el campo input_datasets del contexto de ejecución. Generaremos automáticamente un nombre de entrada. Si desea especificar un nombre de entrada personalizado, llame al método as_named_input.

   # Given a run submitted with dataset input like this:
   dataset_input = dataset.as_mount()
   experiment.submit(ScriptRunConfig(source_directory, arguments=[dataset_input]))


   # Following are sample codes running in context of the submitted run:

   # The mount point can be retrieved from argument values
   import sys
   mount_point = sys.argv[1]

   # The mount point can also be retrieved from input_datasets of the run context.
   from azureml.core import Run
   mount_point = Run.get_context().input_datasets['input_1']

as_mount(path_on_compute=None)

Parámetros

Comentarios

Cuando el conjunto de datos se crea a partir de la ruta de acceso de un único archivo, el punto de montaje será la ruta de acceso del único archivo montado. De lo contrario, el punto de montaje será la ruta de acceso de la carpeta envolvente para todos los archivos montados.

Si path_on_compute comienza con /, se tratará como una ruta de acceso absoluta. Si no comienza con /, se tratará como una ruta de acceso relativa con respecto al directorio de trabajo. Si ha especificado una ruta de acceso absoluta, asegúrese de que el trabajo tiene permiso para escribir en ese directorio.

Descargue secuencias de archivos definidas por el conjunto de datos como archivos locales.

download(target_path=None, overwrite=False, ignore_not_found=False)

Parámetros

Devoluciones

Comentarios

Si target_path comienza con /, se tratará como una ruta de acceso absoluta. Si no comienza con /, se tratará como una ruta de acceso relativa con respecto al directorio de trabajo actual.

Obtenga la expresión de metadatos de archivo especificando el nombre de columna de metadatos.

Las columnas de metadatos de archivo admitidas son Size, LastModifiedTime, CreationTime, Extension y CanSeek

file_metadata(col)

Parámetros

Devoluciones

Filtra los datos, dejando solo los registros que coinciden con la expresión especificada.

filter(expression)

Parámetros

Devoluciones

Comentarios

Las expresiones se inician indizando el conjunto de datos con el nombre de una columna. Admiten una variedad de funciones y operadores y se pueden combinar mediante operadores lógicos. La expresión resultante se evaluará de forma diferida para cada registro cuando se produzca una extracción de datos y no donde se defina.

   (dataset.file_metadata('Size') > 10000) & (dataset.file_metadata('CanSeek') == True)
   dataset.file_metadata('Extension').starts_with('j')

Hidrata el conjunto de datos en las réplicas solicitadas especificadas en datacache_store.

hydrate(datacache_store, replica_count=None)

Parámetros

Devoluciones

Cree un administrador de contextos para montar flujos de archivos definidos por el conjunto de datos como archivos locales.

mount(mount_point=None, **kwargs)

Parámetros

Devoluciones

Comentarios

Se devolverá un administrador de contexto para administrar el ciclo de vida del montaje. Para montar, deberá escribir el administrador de contexto y desmontar, salir del administrador de contextos.

El montaje solo se admite en sistemas operativos Unix o parecidos a Unix con el paquete nativo libfuse instalado. Si se ejecuta dentro de un contenedor de Docker, el contenedor de Docker debe iniciarse con la marca –privileged o comenzar con –cap-add SYS_ADMIN –device /dev/fuse.

   datastore = Datastore.get(workspace, 'workspaceblobstore')
   dataset = Dataset.File.from_files((datastore, 'animals/dog/year-*/*.jpg'))

   with dataset.mount() as mount_context:
       # list top level mounted files and folders in the dataset
       os.listdir(mount_context.mount_point)

   # You can also use the start and stop methods
   mount_context = dataset.mount()
   mount_context.start()  # this will mount the file streams
   mount_context.stop()  # this will unmount the file streams

Si target_path comienza con /, se tratará como una ruta de acceso absoluta. Si no comienza con /, se tratará como una ruta de acceso relativa con respecto al directorio de trabajo actual.

Divida los flujos de archivos del conjunto de datos en dos partes aleatoriamente y aproximadamente por el porcentaje especificado.

El primer conjunto de datos devuelto contiene aproximadamente percentage el número total de referencias de archivo y el segundo conjunto de datos contiene las referencias de archivo restantes.

random_split(percentage, seed=None)

Parámetros

Devoluciones

Omita las secuencias de archivos de la parte superior del conjunto de datos por el recuento especificado.

skip(count)

Parámetros

Devoluciones

Tome un ejemplo de secuencias de archivo desde la parte superior del conjunto de datos por el recuento especificado.

take(count)

Parámetros

Devoluciones

Tome una muestra aleatoria de flujos de archivos en el conjunto de datos aproximadamente por la probabilidad especificada.

take_sample(probability, seed=None)

Parámetros

Devoluciones

Obtenga una lista de rutas de acceso de archivo para cada secuencia de archivos definida por el conjunto de datos.

to_path()

Devoluciones

Comentarios

Las rutas de acceso de archivo son rutas de acceso relativas a los archivos locales cuando se descargan o montan las secuencias de archivo.

Se quitará un prefijo común de las rutas de acceso de archivo en función de cómo se especificó el origen de datos para crear el conjunto de datos. Por ejemplo:

   datastore = Datastore.get(workspace, 'workspaceblobstore')
   dataset = Dataset.File.from_files((datastore, 'animals/dog/year-*/*.jpg'))
   print(dataset.to_path())

   # ['year-2018/1.jpg'
   #  'year-2018/2.jpg'
   #  'year-2019/1.jpg']

   dataset = Dataset.File.from_files('https://dprepdata.blob.core.windows.net/demo/green-small/*.csv')

   print(dataset.to_path())
   # ['/green_tripdata_2013-08.csv']