次の方法で共有

Lakeflow 宣言型パイプラインのリリース ノートとリリース アップグレード プロセス

この記事では、Lakeflow 宣言型パイプラインのリリース プロセス、Lakeflow 宣言型パイプライン ランタイムの管理方法、および各 Lakeflow 宣言パイプライン リリースのリリース ノートへのリンクについて説明します。

Lakeflow 宣言型パイプラインのランタイム チャネル

注

Lakeflow 宣言パイプライン リリースで使用される Databricks ランタイムバージョンを確認するには、そのリリースの リリース ノート を参照してください。

Lakeflow 宣言型パイプライン クラスターでは、 Databricks ランタイムのリリース ノートのバージョンと互換性に基づいてランタイムが使用されます。 Databricks は、プラットフォームの機能強化とアップグレードをサポートするために、Lakeflow 宣言型パイプライン ランタイムを自動的にアップグレードします。 Lakeflow 宣言パイプラインの設定の channel フィールドを使用して、パイプラインを実行する Lakeflow 宣言型パイプラインのランタイム バージョンを制御できます。 サポートされる値は

  • current から現在のランタイム バージョンの更新。
  • ランタイム バージョンの今後の変更でパイプラインをテストする preview

既定では、パイプラインは current ランタイム バージョンを使用して実行されます。 運用ワークロードには current ランタイムを使用することをお勧めします。 preview 設定を使用して次のランタイム バージョンでパイプラインをテストする方法については、「次のランタイム バージョンでのパイプラインのテストを自動化する」を参照してください。

重要

一般公開またはパブリック プレビューとしてマークされた機能は、 current チャネルで利用できます。

Lakeflow 宣言型パイプライン チャネルの詳細については、Lakeflow 宣言パイプラインのchannelのフィールドを参照してください。

Lakeflow 宣言パイプラインが各リリースのアップグレード プロセスを管理する方法については、「 Lakeflow 宣言型パイプラインのアップグレードのしくみ」を参照してください。

パイプライン更新プログラムの Databricks Runtime のバージョンを確認するにはどうすればよいですか?

Lakeflow 宣言型パイプライン のイベント ログに対してクエリを実行して、パイプライン更新の Databricks Runtime バージョンを見つけることができます。 ランタイム情報を参照してください。

Lakeflow 宣言型パイプラインのリリース ノート

Lakeflow 宣言型パイプラインのリリース ノートは、年と週ごとに整理されています。 Lakeflow 宣言パイプラインは バージョンレスであるため、ワークスペースとランタイムの両方の変更が自動的に行われます。 次のリリース ノートでは、各リリースでの変更とバグ修正の概要が示されています。

Lakeflow 宣言パイプラインのアップグレードはどのように機能しますか？

Lakeflow 宣言パイプラインは バージョンレス 製品と見なされます。つまり、Databricks は、プラットフォームの機能強化とアップグレードをサポートするために、Lakeflow 宣言型パイプライン ランタイムを自動的にアップグレードします。 Databricks では、Lakeflow 宣言パイプラインの外部依存関係を制限することをお勧めします。

Databricks は、自動アップグレードによって、運用環境の Lakeflow 宣言型パイプラインにエラーや問題が発生するのを防ぐために積極的に取り組んでいます。 Lakeflow 宣言型パイプラインのアップグレード プロセスに関するページを参照してください。

特に、外部依存関係を持つ Lakeflow 宣言パイプラインをデプロイするユーザーの場合、Databricks では、 preview チャネルを使用してパイプラインを事前にテストすることをお勧めします。 「次のランタイム バージョンでのパイプラインのテストを自動化する」を参照してください。

Lakeflow 宣言型パイプラインのアップグレード プロセス

Databricks は、Lakeflow 宣言型パイプラインのコンピューティング リソースによって使用される Databricks ランタイム を管理します。 Lakeflow 宣言型パイプラインは、Azure Databricks ワークスペース内のランタイムを自動的にアップグレードし、アップグレード後にパイプラインの正常性を監視します。

アップグレードが原因でパイプラインを開始できないことが Lakeflow 宣言パイプラインで検出された場合、パイプラインのランタイム バージョンは、安定していることがわかっている以前のバージョンに戻り、次の手順が自動的にトリガーされます。

  • パイプラインの Lakeflow 設定型パイプラインランタイムは、以前の安定したバージョンに固定されています。
  • Databricks サポートに問題が通知されます。
    • 問題がランタイムの回帰に関連している場合は、Databricks によって問題が解決されます。
    • 問題の原因がパイプラインで使用されるカスタム ライブラリまたはパッケージである場合は、Databricks から問題を解決するように求められます。
  • 問題が解決すると、Databricks によってアップグレードが再び開始されます。

重要

Lakeflow 宣言型パイプラインでは、チャネルが currentに設定された実稼働モードで実行されているパイプラインのみが元に戻されます。

次のランタイム バージョンでのパイプラインのテストを自動化する

次の Lakeflow 宣言型パイプライン ランタイム バージョンの変更がパイプラインに影響しないようにするには、Lakeflow 宣言パイプライン チャネル機能を使用します。

  1. ステージング パイプラインを作成し、チャネルを preview に設定します。
  2. Lakeflow 宣言型パイプライン UI で、パイプラインを毎週実行するスケジュールを作成し、アラートがパイプラインエラーの電子メール通知を受信できるようにします。 Databricks では、特にカスタム パイプラインの依存関係を使用する場合は、パイプラインの週次でのテスト実行をスケジュールすることをお勧めします。
  3. エラーの通知を受け取った場合に、そのエラーを解決できないときは、Databricks でサポート チケットを開きます。

パイプラインの依存関係

Lakeflow 宣言型パイプラインでは、パイプライン内の外部依存関係がサポートされます。たとえば、 %pip install コマンドを使用して任意の Python パッケージをインストールできます。 Lakeflow 宣言型パイプラインでは、グローバルおよびクラスタースコープのinit スクリプトの使用もサポートされています。 ただし、こうした外部依存関係 (特に init スクリプト) があると、ランタイムのアップグレードで問題が生じるリスクが高くなります。 リスクを軽減するには、パイプラインでの init スクリプトの使用を最小限に抑えます。 init スクリプトを必要とする処理がある場合は、パイプラインのテストを自動化して問題を早期に検出します。「次のランタイム バージョンでのパイプラインのテストを自動化する」を参照してください。 init スクリプトを使用する場合は、テストの頻度を高めることをお勧めします。