プログラムによってワークスペース ファイルを操作する

Azure Databricks に格納されているワークスペース ファイルをプログラムで操作できます。 これにより、次のようなタスクが可能になります。

• ノートブックとコードと共に小さなデータ ファイルを格納する。
• Git と同期されたディレクトリへのログ ファイルの書き込み。
• 相対パスを使用したモジュールのインポート。
• 環境仕様ファイルの作成または変更。
• ノートブックからの出力の書き込み。
• Tensorboard などのライブラリの実行からの出力を書き込みます。

Databricks Runtime 11.3 LTS 以降では、ワークスペース ファイルをプログラムで作成、編集、名前変更、および削除できます。 この機能は、Databricks Runtime 16.2 以降およびサーバーレス環境 2 以降のノートブックでサポートされています。

ファイルの場所を読み取る

シェル コマンドを使用して、リポジトリやローカル ファイルシステムなどのファイルの場所を読み取ります。

ファイルの場所を確認するには、次のように入力します。

%sh ls

• ファイルはリポジトリにありません。 このコマンドはファイルシステムの /databricks/driverを返します。
• ファイルはリポジトリにあります: コマンドは、/Workspace/Repos/name@___domain.com/public_repo_2/repos_file_systemなどの仮想化されたリポジトリを返します。

データ作業スペースファイルを読む

ノートブック内のコードから .csv や .json ファイルなどの小さなデータ ファイルをプログラムで読み取ることができます。 次の例では、Pandas を使用して、プロジェクト リポジトリのルートを基準に /data ディレクトリに格納されているファイルに対してクエリを実行します。

import pandas as pd
df = pd.read_csv("./data/winequality-red.csv")
df

Spark を使用してデータ ファイルを読み取ることができます。 Spark には完全修飾パスを指定する必要があります。

• Git フォルダー内のワークスペース ファイルでは、パス file:/Workspace/Repos/<user-folder>/<repo-name>/path/to/fileを使用します。
• 個人用ディレクトリ内のワークスペース ファイルでは、パス file:/Workspace/Users/<user-folder>/path/to/fileを使用します。

ファイルの横にあるドロップダウン メニューから、絶対パスまたは相対パスをファイルにコピーできます。

次の例は、{os.getcwd()} を使用して完全なパスを取得する方法を示しています。

import os
spark.read.format("csv").load(f"file:{os.getcwd()}/my_data.csv")

Azure Databricks 上のファイルの詳細については、「Azure Databricksでのファイルの操作」を参照してください。

プログラムによってファイルとディレクトリを作成、更新、削除する

Azure Databricks のワークスペース ファイルは、標準のファイル システム内のファイルを操作する方法と同様に、プログラムによって操作できます。

次の例では、標準の Python パッケージと機能を使用して、ファイルとディレクトリを作成および操作します。

import os

# Create a new directory

os.mkdir('dir1')

# Create a new file and write to it

with open('dir1/new_file.txt', "w") as f:
    f.write("new content")

# Append to a file

with open('dir1/new_file.txt', "a") as f:
    f.write(" continued")

# Delete a file

os.remove('dir1/new_file.txt')

# Delete a directory

os.rmdir('dir1')

import shutil

# Copy a dashboard

shutil.copy("my-dashboard.lvdash.json", "my-dashboard-copy.lvdash.json")

# Move a query to a shared folder

shutil.move("test-query.dbquery","shared-queries/")