メモ
この情報は、Databricks CLI バージョン 0.205 以降に適用されます。 Databricks CLI は Public Preview です。
Databricks CLI の使用には、Databricks ライセンスおよび使用状況データのプロビジョニングを含むDatabricks のプライバシーに関する通知が適用されます。
sync 内の コマンド グループを使用すると、ローカル開発マシン上のディレクトリ内のローカル コードとファイルの変更を、リモート Azure Databricks ワークスペース内のフォルダーに一方向に同期できます。
メモ
-
syncコマンドは、リモートの Azure Databricks ワークスペース内のフォルダーからローカル開発マシン上のディレクトリにファイルの変更を同期することはできません。 -
syncコマンドを使用すると、ローカル開発マシンからのファイル変更を Azure Databricks ワークスペース内のワークスペース ユーザー (/Users) ファイルにのみ同期できます。 DBFS (dbfs:/) ファイルと同期することはできません。 ファイルの変更をローカル開発マシンから Azure Databricks ワークスペースの DBFS (dbfs:/) に同期するには、dbx 同期ユーティリティを使用します。
sync コマンドは、databricks sync に追加して実行します。
sync コマンドのヘルプを表示するには、databricks sync -h を実行してください。
ローカルファイルの変更をリモートディレクトリに増分的に同期します。
ローカル ディレクトリ内のファイル変更をリモートの Azure Databricks ワークスペース内のフォルダーに対して 1 つの増分的な一方向同期を実行するには、次のように sync コマンドを実行します。
databricks sync <local-directory-path> <remote-directory-path>
たとえば、ローカルの現在の作業ディレクトリ内の my-local-folder という名前のフォルダー内のすべてのファイル変更を、リモート ワークスペース内のフォルダー my-workspace-folder に一方向で増分同期するには、次のコマンドを実行します。
databricks sync ./my-local-folder /Users/someone@example.com/my-workspace-folder
この例では、sync コマンドの最後の実行以降のファイル変更のみが /Users/someone@example.com/my-workspace-folder に同期されます。 既定では、呼び出し元の DEFAULT プロファイル内のワークスペース URL は、同期するリモート ワークスペースを決定するために使用されます。
特定のファイルのみを同期する
指定したパターンに基づいて同期する特定のファイルを含めるか除外するには、 --include、 --include-from、 --exclude、または --exclude-from オプションを使用します。
databricks sync ./my-local-folder /Users/someone@example.com/my-workspace-folder --exclude-from .gitignore
メモ
バンドル内のファイルを同期する場合は、代わりに sync 構成マッピングを使用します。 「sync」を参照してください。
ローカル ファイルの変更をリモート ディレクトリに完全同期します
ローカル ディレクトリ内のファイル変更をリモート Azure Databricks ワークスペース内のフォルダーに対して 1 回の完全な一方向同期を実行するには、最後の sync コマンドがいつ実行されたかに関係なく、 --full オプションを使用します。次に例を示します。
databricks sync ./my-local-folder /Users/someone@example.com/my-workspace-folder --full
ローカル ファイルの変更をリモート ディレクトリに継続的同期します
ローカル ディレクトリ内のファイル変更とリモート Azure Databricks ワークスペース内のフォルダーとの一方向の継続的な同期を有効にするには、 --watch オプションを使用します。次に例を示します。
databricks sync ./my-local-folder /Users/someone@example.com/my-workspace-folder --watch
一方向の同期は、通常は Ctrl + c または Ctrl + z を押して端末からコマンドを停止するまで継続します。
考えられる同期イベントのポーリングは、既定では 1 秒に 1 回行われます。 この間隔を変更するには、--interval オプションをポーリング秒数とともに使用し、その後に文字 s を続けます (例: 5 秒)。
databricks sync ./my-local-folder /Users/someone@example.com/my-workspace-folder --watch --interval 5s
同期進行状況の出力形式を変更する
同期の進行状況情報は、既定ではテキスト形式で端末に出力されます。 同期進行状況の出力形式を指定するには、--output オプションを使用して、text (--output が指定されていない場合の既定値) または json を指定します。次に例を示します。
databricks sync ./my-local-folder /Users/someone@example.com/my-workspace-folder --output json
同期のファイル操作をプレビューする
ファイル同期操作を実際に実行せずに同期をプレビューするには、 --dry-run オプションを使用します。次に例を示します。
databricks sync ./my-local-folder /Users/someone@example.com/my-workspace-folder --dry-run
Warn: Running in dry-run mode. No actual changes will be made.
Action: PUT: test.txt
Uploaded test.txt
Initial Sync Complete