Databricks Runtime ML には、さまざまな一般的な ML および DL ライブラリが含まれています。 ライブラリは各リリースで更新され、新しい機能と修正プログラムが追加されました。 この記事では、サポートされている最上位レベルのライブラリ、更新頻度、およびライブラリが非推奨になった場合のシナリオについて説明します。
ライブラリ サポート ポリシー
Databricks は、サポートされているライブラリのサブセットを最上位層ライブラリに指定しました。 これらのライブラリでは、Databricks の更新頻度が高速化し、ランタイム リリースごとに最新のパッケージ リリースに更新されます (依存関係の競合がない場合)。 Databricks では、最上位層ライブラリに対して高度なサポート、テスト、埋め込みの最適化も行われます。 最上位レベルのライブラリは、メジャー リリースでのみ追加または削除されます。
最上位レベルのライブラリの完全な一覧は次のとおりです。
- データセット
- GraphFrames
- MLflow
- PyTorch
- spark-tensorflow-connector
- Scikit-learn
- ストリーミング
- TensorFlow
- TensorBoard
- トランスフォーマー
各ランタイム バージョンに含まれるすべてのライブラリの一覧については、Databricks Runtime ML の リリース ノート を参照してください。
ライブラリの非推奨ポリシー
Databricks では、次の状況で最上位レベルの一覧からライブラリが削除される場合があります。
- ライブラリに 2 か月で新しいコミットがなく、6 か月を超える間に新しいリリースがない場合。 アクティブなメンテナンスが再開されると、削除されたライブラリが Databricks によって追加される場合があります。
- ライブラリの使用が大幅に低下した場合。
- ライブラリは、大きなギャップを埋めるために新しいパッケージが追加された場合に置き換えられます。
Databricks は、ライブラリが次のいずれかの条件に達すると、プレインストールされているライブラリを削除します。
- ライブラリはアクティブに管理されなくなりました。 次のいずれかの条件が満たされた場合、ライブラリはアクティブに保守されていないと見なされます。
- 3 か月で新しいコミットは行われず、9 か月を超える新しいリリースはありません。
- ライブラリのリポジトリがアーカイブされます。
- そのライブラリのメンテナンスの停止が発表されました。
- 新しいランタイムに対して安定したリリースが機能することが見つかりません。
ライブラリの削除が計画されている場合、Databricks は次の手順を実行して顧客に通知します。
- 非推奨の警告がランタイム リリース ノートに追加され、次のメジャー Databricks Runtime ML リリースでライブラリが削除されることを示します。
- ライブラリをインポートすると、次のメジャー Databricks Runtime ML リリースでライブラリが削除されることを示す通知が表示されます。
- ライブラリを参照する Databricks ドキュメントが更新され、ライブラリの削除が計画されていることを示します。
ライブラリが削除された後も引き続き使用するには、ライブラリを手動でインストールするか、以前のバージョンの Databricks Runtime ML を使用します。