Grupo de comandos fs

El grupo de comandos fs de la CLI de Databricks permite automatizar volúmenes en Unity Catalog y automatizar objetos del sistema de archivos de Databricks (DBFS).

Ejecute los comandos fs anexándolos a databricks fs. A fin de mostrar la ayuda para este comando fs, ejecute databricks fs -h.

Los comandos fs requieren que las rutas de volúmenes comiencen por dbfs:/Volumes y que las rutas de directorios y archivos en DBFS comiencen por dbfs:/.

Enumerar el contenido de un directorio

Para enumerar el contenido de un directorio en un volumen o en DBFS, use el comando ls. Especifique la ruta de acceso al directorio. En los ejemplos siguientes se enumeran los nombres de los objetos encontrados en la raíz del volumen especificado o en la raíz de DBFS:

databricks fs ls dbfs:/Volumes/main/default/my-volume
databricks fs ls dbfs:/

Para mostrar información completa, incluidos los tipos de objeto, los tamaños, los tiempos de modificación desde la época en milisegundos, así como los nombres de los objetos, use la opción --long o -l. En los ejemplos siguientes se muestra la información completa de los objetos encontrados en la raíz del volumen especificado o en un tmp directorio dentro de la raíz de DBFS:

databricks fs ls dbfs:/Volumes/main/default/my-volume -l
databricks fs ls dbfs:/tmp -l

Para mostrar las rutas de acceso completas de los objetos, use la opción --absolute. En los ejemplos siguientes se muestra la información completa de los objetos y las rutas de acceso completas de los objetos, que se encuentran en la raíz del volumen especificado o en un tmp directorio dentro de la raíz de DBFS:

databricks fs ls dbfs:/Volumes/main/default/my-volume -l --absolute
databricks fs ls dbfs:/tmp -l --absolute

Generar el contenido de un archivo

Para generar el contenido de un archivo, use el comando cat. Especifique la ruta de acceso al archivo en DBFS. En los ejemplos siguientes se genera el contenido del archivo denominado babynames.csv que se encuentra en la raíz del volumen especificado o en un tmp directorio dentro de la raíz de DBFS:

databricks fs cat dbfs:/Volumes/main/default/my-volume/babynames.csv
databricks fs cat dbfs:/tmp/babynames.csv

En los ejemplos siguientes se devuelven errores, ya que se intenta generar el contenido de un directorio en lugar de un archivo:

databricks fs cat dbfs:/Volumes/main/default/my-volume
databricks fs cat dbfs:/tmp

Creación de un directorio

Para crear un directorio, use el comando mkdir. Especifique la ruta de acceso al directorio que se va a crear en un volumen o en DBFS. Si el directorio ya existe, no sucede nada. En los ejemplos siguientes se crea un directorio denominado squirrel-data dentro de la raíz del volumen especificado o en un directorio denominado tmp dentro de la raíz de DBFS:

databricks fs mkdir dbfs:/Volumes/main/default/my-volume/squirrel-data
databricks fs mkdir dbfs:/tmp/squirrel-data

Copiar un directorio o un archivo

Para copiar un directorio o un archivo, use el comando cp. Especifique las rutas de acceso al directorio o archivo de origen que se va a copiar y su destino. Puede copiar directorios y archivos entre el sistema de archivos local y DBFS, y puede copiar directorios y archivos entre rutas de acceso de DBFS. Para sobrescribir los archivos existentes, use la opción --overwrite. Para copiar archivos de forma recursiva dentro de un directorio, use la opción --recursive o -r.

El comando cp supone file:/, si se omite file:/.

En los ejemplos siguientes se copia un directorio denominado squirrel-data y su contenido, desde una ruta de acceso del sistema de archivos local a un squirrels directorio dentro de la raíz del volumen especificado o la raíz de DBFS.

databricks fs cp /Users/<username>/squirrel-data dbfs:/Volumes/main/default/my-volume/squirrels -r
databricks fs cp /Users/<username>/squirrel-data dbfs:/squirrels -r

En el ejemplo siguiente se copia un archivo denominado squirrels.csv desde una ruta de acceso del sistema de archivos local a un directorio denominado squirrel-data dentro de la raíz del volumen especificado o la raíz de DBFS. Si el archivo ya existe en el destino, se sobrescribe.

databricks fs cp /Users/<username>/squirrels.csv dbfs:/Volumes/main/default/my-volume/squirrel-data --overwrite
databricks fs cp /Users/<username>/squirrels.csv dbfs:/squirrel-data --overwrite

Quitar un directorio

Para quitar un directorio, use el comando rm. Especifique la ruta de acceso al directorio existente en DBFS. En los ejemplos siguientes se quita un directorio denominado squirrel-data de la raíz del volumen especificado o de un tmp directorio en la raíz de DBFS:

databricks fs rm dbfs:/Volumes/main/default/my-volume/squirrel-data
databricks fs rm dbfs:/tmp/squirrel-data

Si el directorio no existe, no ocurre nada y no se devuelve ningún error.

Si el directorio existe pero no está vacío, se devuelve un error. Para quitar un directorio no vacío y todo su contenido, use la opción --recursive o -r. En los ejemplos siguientes se quita un directorio no vacío denominado squirrel-data de la raíz del volumen especificado o de un directorio tmp de la raíz de DBFS.

databricks fs rm dbfs:/Volumes/main/default/my-volume/squirrel-data -r
databricks fs rm dbfs:/tmp/squirrel-data -r