Databricks Runtime 15.4 LTS for Machine Learning では、Databricks Runtime 15.4 LTS に基づいた、機械学習と Data Science 向けのすぐに使用できる環境を提供します。 Databricks Runtime ML には、TensorFlow、PyTorch、XGBoost など、多くの一般的な機械学習ライブラリが含まれています。 Databricks Runtime ML には、機械学習パイプラインを自動的にトレーニングするツールである AutoML が含まれています。 また、Databricks Runtime ML では、TorchDistributor を使用した分散型ディープ ラーニング トレーニングもサポートされます。
注
LTS は、このバージョンが長期的にサポートされていることを意味します。 Databricks Runtime LTS バージョンのライフサイクルに関する記事を参照してください。
ヒント
サポート終了 (EoS) を迎えた Databricks Runtime のバージョンのリリース ノートについては、「サポート終了 Databricks Runtime のリリース ノート」を参照してください。 EoS Databricks Runtime のバージョンは廃止されており、更新されていない可能性があります。
新機能と機能強化
Databricks Runtime 15.4 LTS ML は、Databricks Runtime 15.4 LTS の上に構築されています。 Apache Spark MLlib や SparkR など、Databricks Runtime 15.4 LTS の新機能については、 Databricks Runtime 15.4 LTS のリリース ノートを参照してください。
分類の AutoML サンプルの重み
AutoML では分類用サンプル重みがサポートされるようになりました。これにより、分類モデルのトレーニング中に各クラスの重要度を調整できます。 詳細については、AutoML Python API の分類パラメーターに関するページを参照してください。
Databricks Feature Engineering クライアントの変更点
Databricks Runtime 15.4 LTS ML に付属していた databricks-feature-engineering のバージョンは 0.6.0 です。
Photon が有効になっていない 2025 年 3 月 31 日以降に作成されたコンピューティングの場合、インストールされているdatabricks-feature-engineeringのバージョンは 0.8.0 です。
Databricks Feature Engineering Python API の新機能については、 機能エンジニアリング クライアントのリリース ノートを参照してください。
その他の変更
Petastorm は非推奨になりました
Petastorm パッケージは非推奨になりました。 15.4 LTS ML 以降のリリースでは、このパッケージはプレインストールされません。 Mosaic ストリーミング は、クラウド ストレージから大規模なデータセットを読み込む場合に推奨される代替手段です。
Spark Tensorflow ディストリビューターは非推奨になりました
spark-tensorflow-distributor パッケージは非推奨になりました。 15.4 LTS ML 以降のリリースでは、このパッケージはプレインストールされません。
Ray on Databricks は、Tensorflow または Keras モデル分散トレーニングの代替として推奨されます。
システム環境
Databricks Runtime 15.4 LTS ML のシステム環境は、Databricks Runtime 15.4 LTS と次の点で異なります。
- GPU クラスターの場合、Databricks Runtime ML には次の NVIDIA GPU ライブラリが含まれています。
- CUDA 12.1
- cusolver 11.4.5.107-1
- cupti 12.1
- cuDNN 8.9.0.131-1
- NCCL 2.17.1
- TensorRT 8.6.1.6-1
ライブラリ
以降のセクションでは、Databricks Runtime 15.4 LTS ML に含まれているライブラリのうち、Databricks Runtime 15.4 LTS に含まれているライブラリとは異なるものを列挙します。
このセクションの内容は次のとおりです。
最上位層ライブラリ
Databricks Runtime 15.4 LTS ML には、次の最上位層ライブラリが含まれています。
- データセット
- GraphFrames
- MLflow
- PyTorch
- spark-tensorflow-connector
- Scikit-learn
- TensorFlow
- TensorBoard
- トランスフォーマー
Python ライブラリ
Databricks Runtime 15.4 LTS ML では、Python パッケージ管理に virtualenv が使用され、多くの一般的な ML パッケージが含まれています。
以下のセクションで指定されているパッケージに加えて、Databricks Runtime 15.4 LTS ML には次のパッケージも含まれています。
- hyperopt 0.2.7+db3
- sparkdl 3.0.0_db1
- automl 1.28.0
ローカルの Python 仮想環境で Databricks Runtime ML Python 環境を再現するには、次の操作を実行します。
- requirements-15.4.txt ファイルをダウンロードします。
- Ubuntu システムでは、
sudo apt-get install libpq-dev libcairo2-dev libdbus-1-dev libgirepository1.0-dev libsnappy-devを実行してシステム ライブラリをインストールします。 -
pip install -r requirements-15.4.txt --extra-index-url https://download.pytorch.org/whl/cpuを実行します。 このコマンドで、Databricks Runtime ML で使用されるすべてのオープン ソース ライブラリをインストールできますが、databricks-automlや、hyperoptまたはhorovodの Databricks フォークなど、Databricks によって開発されたライブラリはインストールできません。
CPU クラスター上の Python ライブラリ
| ライブラリ | バージョン | ライブラリ | バージョン | ライブラリ | バージョン |
|---|---|---|---|---|---|
| absl-py | 1.0.0 | 早める | 0.31.0 | aiohttp | 3.8.5 |
| aiohttp-cors | 0.7.0 | アイオシグナル | 1.2.0 | anyio | 3.5.0 |
| argon2-cffi | 21.3.0 | argon2-cffi-bindings | 21.2.0 | アスター | 0.8.1 |
| アストトークン | 2.0.5 | astunparse | 1.6.3 | 非同期タイムアウト | 4.0.2 |
| 属性 | 22.1.0 | audioread | 3.0.1 | azure-core (アジュール コア) | 1.30.2 |
| azure-cosmos | 4.3.1 | azure-identity (アズール・アイデンティティ) | 1.17.1 | アジュール・ストレージ・ブロブ | 12.19.1 |
| azure-storage-file-datalake（アジュールストレージファイルデータレイク） | 12.14.0 | バックコール (再発信機能) | 0.2.0 | bcrypt | 3.2.0 |
| beautifulsoup4 | 4.12.2 | 黒い | 23.3.0 | 漂白剤 | 4.1.0 |
| ウインカー | 1.4 | ブリス | 0.7.11 | boto3 | 1.34.39 |
| botocore | 1.34.39 | Brotli | 1.0.9 | キャッシュツールズ (cachetools) | 5.4.0 |
| カタログ | 2.0.10 | category-encoders (カテゴリーエンコーダー) | 2.6.3 | サーティフィ | 2023.7.22 |
| cffi | 1.15.1 | チャーデット | 4.0.0 | charset-normalizer (文字コード正規化ツール) | 2.0.4 |
| サーキットブレーカー | 1.4.0 | クリック | 8.0.4 | cloudpathlib | 0.16.0 |
| クラウドピックル | 2.2.1 | cmdstanpy | 1.2.2 | colorful (カラフル) | 0.5.6 |
| 通信 | 0.1.2 | お菓子 | 0.1.4 | configparser (コンフィグパーサー) | 5.2.0 |
| コンツアーピー | 1.0.5 | 暗号技術 | 41.0.3 | サイクリスト | 0.11.0 |
| サイメム | 2.0.8 | Cython | 0.29.32 | ダサイト | 1.8.1 |
| databricks-automl-runtime（データブリックス・オートエムエル・ランタイム） | 0.2.21 | データブリックスフィーチャーエンジニアリング | 0.6.0 | databricks-sdk（データブリックスSDK） | 0.20.0 |
| dataclasses-json | 0.6.7 | データセット | 2.19.1 | dbl-tempo | 0.1.26 |
| dbus-python | 1.2.18 | debugpy | 1.6.7 | デコレーター | 5.1.1 |
| ディープスピード | 0.14.4 | デフューズドXML (defusedxml) | 0.7.1 | 非推奨 | 1.2.14 |
| ディル | 0.3.6 | ディスクキャッシュ | 5.6.3 | distlib | 0.3.8 |
| dmツリー | 0.1.8 | 入口点 | 0.4 | 評価する | 0.4.2 |
| 実行中 | 0.8.3 | ファセット概要 | 1.1.1 | Farama-Notifications | 0.0.4 |
| fastjsonschema | 2.20.0 | fasttext（ファーストテキスト） | 0.9.2 | ファイルロック | 3.13.4 |
| フラスコ | 2.2.5 | フラットバッファーズ | 24.3.25 | fonttools（フォントツールズ） | 4.25.0 |
| フローズンリスト | 1.3.3 | fsspec | 2023.5.0 | 未来 | 0.18.3 |
| ガスト | 0.4.0 | ギットディービー | 4.0.11 | GitPython | 3.1.27 |
| google-api-core | 2.18.0 | google-auth（Google認証） | 2.21.0 | google-auth-oauthlib | 1.0.0 |
| グーグルクラウドコア | 2.4.1 | Googleクラウドストレージ | 2.10.0 | google-crc32c（GoogleのCRC32Cライブラリ） | 1.5.0 |
| グーグルパスタ | 0.2.0 | google-resumable-media（Googleの継続可能なメディアライブラリ） | 2.7.1 | Google API 共通プロトコル (googleapis-common-protos) | 1.63.0 |
| グリーンレット | 2.0.1 | grpcio | 1.60.0 | grpcio-status | 1.60.0 |
| ガニーコーン (gunicorn) | 20.1.0 | gviz-api | 1.10.0 | 体育館 | 0.28.1 |
| h11 | 0.14.0 | h5py | 3.10.0 | hjson | 3.1.0 |
| 休日 | 0.45 | ホロヴォド | 0.28.1+db1 | HTML最小化ツール（htmlmin） | 0.1.12 |
| httpcore | 1.0.5 | httplib2 | 0.20.2 | httpx | 0.27.0 |
| huggingface-hub（ハギングフェイスのハブ） | 0.23.4 | idna | 3.4 | イメージハッシュ (ImageHash) | 4.3.1 |
| imageio | 2.31.1 | imbalanced-learn | 0.11.0 | importlib-metadata | 6.0.0 |
| importlib_resources（インポートライブラリリソース) | 6.4.0 | ipyflow-core | 0.0.198 | ipykernel | 6.25.1 |
| ipython | 8.15.0 | ipython-genutils (IPython用のユーティリティ) | 0.2.0 | ipywidgets (インタラクティブウィジェット) | 7.7.2 |
| アイソデート | 0.6.1 | itsdangerous（イッツデンジャラス） | 2.0.1 | jax-ジャンピー | 1.0.0 |
| ジェダイ | 0.18.1 | ジープニー | 0.7.1 | ジンジャ2 | 3.1.2 |
| jmespath | 0.10.0 | 「joblib」 | 1.2.0 | ジョブリブスパーク | 0.5.1 |
| jsonpatch | 1.33 | jsonpointer | 3.0.0 | JSONスキーマ | 4.17.3 |
| jupyterサーバー | 1.23.4 | jupyter_client | 7.4.9 | jupyter_core（ジュピター・コア） | 5.3.0 |
| jupyterlab-pygments | 0.1.2 | keras | 3.2.1 | キーホルダー | 23.5.0 |
| キウィソルバー | 1.4.4 | langchain | 0.1.20 | langchain-community | 0.0.38 |
| langchain-core | 0.1.52 | ランチェーン・テキスト・スプリッターズ | 0.0.2 | 言語コード | 3.4.0 |
| langsmith | 0.1.63 | 言語データ | 1.2.0 | launchpadlib | 1.10.16 |
| lazr.restfulclient | 0.14.4 | lazr.uri | 1.0.6 | レイジーローダー | 0.2 |
| libclang | 15.0.6.1 | librosa | 0.10.1 | lightgbm | 4.3.0 |
| リンク化-it-py | 2.0.0 | llvmlite | 0.40.0 | lxml | 4.9.2 |
| lz4 | 4.3.2 | アオザメ | 1.2.0 | marisa-trie | 1.1.1 |
| マークダウン | 3.4.1 | markdown-it-py | 2.2.0 | マークアップセーフ | 2.1.1 |
| マシュマロ | 3.21.2 | matplotlib | 3.7.2 | matplotlib-インライン | 0.1.6 |
| mdit-py-plugins | 0.3.0 | mdurl | 0.1.0 | メムレイ | 1.13.3 |
| ミスチューン | 0.8.4 | ml-dtypes（機械学習で使用されるデータ型） | 0.3.2 | mlflow-skinny* | 2.13.1 |
| more-itertools | 8.10.0 | mosaicml-streaming | 0.7.4 | mpmath | 1.3.0 |
| msal | 1.29.0 | msal-extensions | 1.2.0 | msgpack (メッセージパック) | 1.0.8 |
| マルチディクト | 6.0.2 | マルチメソッド | 1.12 | マルチプロセス | 0.70.14 |
| マーマーハッシュ (murmurhash) | 1.0.10 | mypy-extensions (マイパイ拡張機能) | 0.4.3 | namex | 0.0.8 |
| nbclassic | 0.5.5 | nbclient（エヌビー・クライアント） | 0.5.13 | NBコンバート | 6.5.4 |
| nbフォーマット | 5.7.0 | nest-asyncio（ネスト・アサインキオ） | 1.5.6 | networkx | 3.1 |
| 忍者 | 1.11.1.1 | nltk | 3.8.1 | ノートブック | 6.5.4 |
| ノートブックシム | 0.2.2 | numba | 0.57.1 | NumPy (数値計算ライブラリ) | 1.23.5 |
| nvidia-ml-py | 12.555.43 | oauthlib | 3.2.0 | オーシーアイ | 2.126.4 |
| オープンAI | 1.35.3 | opencensus | 0.11.4 | opencensus-context | 0.1.3 |
| opentelemetry-api | 1.25.0 | opentelemetry-sdk (OpenTelemetry ソフトウェア開発キット) | 1.25.0 | OpenTelemetryセマンティック規約 | 0.46b0 |
| opt-einsum | 3.3.0 | オプツリー | 0.12.1 | orjson | 3.10.6 |
| パッケージング | 23.2 | パンダ | 1.5.3 | パンドックフィルターズ | 1.5.0 |
| paramiko | 3.4.0 | パルソ | 0.8.3 | パススペック | 0.10.3 |
| パッツィ | 0.5.3 | petastorm | 0.12.1 | ペキスペクト | 4.8.0 |
| フィック | 0.12.4 | ピクルシェア | 0.7.5 | 枕 | 9.4.0 |
| 種 | 23.2.1 | プラットフォームディレクトリ | 3.10.0 | plotly - データビジュアライゼーションツール | 5.9.0 |
| pmdarima | 2.0.4 | ワンちゃん | 1.8.1 | ポータルロッカー | 2.10.1 |
| プレシェッド | 3.0.9 | prometheus-クライアント | 0.14.1 | prompt-toolkit（プロンプトツールキット） | 3.0.36 |
| 預言者 | 1.1.5 | proto-plus | 1.24.0 | プロトバフ | 4.24.1 |
| psutil | 5.9.0 | psycopg2 | 2.9.3 | ptyprocess | 0.7.0 |
| pure-eval (ピュア・イヴァル) | 0.2.2 | py-cpuinfo | 8.0.0 | py-spy | 0.3.14 |
| pyarrow (パイアロー) | 14.0.1 | pyarrow-hotfix | 0.6 | pyasn1 | 0.4.8 |
| pyasn1-modules | 0.2.8 | pybind11 | 2.13.1 | ピッコロ | 0.0.52 |
| pycparser（パイシーパーサー） | 2.21 | Pythonのデータバリデーションライブラリ「pydantic」 | 1.10.6 | Pygments | 2.15.1 |
| PyGObject | 3.42.1 | PyJWT | 2.3.0 | PyNaCl | 1.5.0 |
| pyodbc (Pythonのデータベース接続用ライブラリ) | 4.0.38 | pyOpenSSL（PythonのSSL/TLSライブラリ） | 23.2.0 | パイパーシング (Pyparsing) | 3.0.9 |
| pyrsistent | 0.18.0 | pytesseract | 0.3.10 | python-dateutil (Python用の日付処理ライブラリ) | 2.8.2 |
| パイソンエディター | 1.0.4 | python-lsp-jsonrpc | 1.1.1 | python-snappy | 0.6.1 |
| pytz | 2022年7月 | PyWavelets | 1.4.1 | PyYAML | 6.0 |
| pyzmq | 23.2.0 | 鱏 | 2.20.0 | 正規表現 | 2022.7.9 |
| リクエスト | 2.31.0 | requests-oauthlib | 1.3.1 | 裕福 | 13.7.1 |
| RSA（アールエスエー） | 4.9 | s3transfer | 0.10.2 | safetensors | 0.4.2 |
| scikit-image（Pythonの画像処理ライブラリ） | 0.20.0 | scikit-learn（サイキット・ラーン） | 1.3.0 | scipy | 1.11.1 |
| seaborn（シーボーン） | 0.12.2 | SecretStorage | 3.3.1 | Send2Trash(センド2トラッシュ) | 1.8.0 |
| センテンス・トランスフォーマー | 2.7.0 | sentencepiece（センテンスピース） | 0.1.99 | setuptools（セットアップツール） | 68.0.0 |
| シャープ | 0.44.0 | simplejson | 3.17.6 | 6 | 1.16.0 |
| スライサー | 0.0.7 | スマートオープン | 5.2.1 | smmap | 5.0.0 |
| スニフィオ | 1.2.0 | サウンドファイル | 0.12.1 | スープこし器 (soup strainer) | 2.4 |
| soxr | 0.3.7 | spacy | 3.7.2 | spacy-legacy | 3.0.12 |
| スペーシー・ロガーズ | 1.0.5 | spark-tensorflow-distributor | 1.0.0 | SQLAlchemy | 1.4.39 |
| sqlparse | 0.4.2 | まじで | 2.4.8 | ssh-import-id | 5.11 |
| スタックデータ | 0.2.0 | スタニオ | 0.5.1 | statsmodels（スタッツモデルズ） | 0.14.0 |
| sympy (ライブラリ) | 1.11.1 | 「tangled」-up-in-ユニコード | 0.2.0 | 粘り強さ | 8.2.2 |
| TensorBoard | 2.16.2 | テンソルボード・データサーバー | 0.7.2 | テンソルボードプラグインプロファイル | 2.15.1 |
| tensorboardX | 2.6.2.2 | テンソルフロー | 2.16.1 | tensorflow-estimatorツール | 2.15.0 |
| tensorflow-io-gcs-filesystem | 0.37.1 | termcolor | 2.4.0 | 終了しました | 0.17.1 |
| テキスト | 0.63.3 | tf_keras | 2.16.0 | thinc | 8.2.3 |
| Threadpoolctl | 2.2.0 | tifffile (ティフファイル) | 2021年7月2日 | tiktoken | 0.5.2 |
| tinycss2 | 1.2.1 | トークナイズ-RT | 4.2.1 | トークナイザー | 0.19.0 |
| 電灯 | 2.3.1 + cpu | torcheval | 0.0.7 | torchvision 라이브러리 | 0.18.1+ cpu |
| 竜巻 | 6.3.2 | tqdm | 4.65.0 | traitlets（トレイトレット） | 5.7.1 |
| トランスフォーマー | 4.41.2 | タイプガード | 2.13.3 | typer | 0.9.4 |
| タイピング検査 | 0.9.0 | タイピングエクステンションズ (typing_extensions) | 4.10.0 | tzdata | 2022年1月 |
| uc-micro-py | 1.0.1 | ujson | 5.4.0 | 無人アップグレード | 0.1 |
| urllib3 | 1.26.16 | virtualenv | 20.24.2 | ビジョン | 0.7.5 |
| wadllib | 1.3.6 | わさび | 1.1.2 | wcwidth（文字の幅を測定するプログラム関数） | 0.2.5 |
| 鼬 | 0.3.4 | ウェブエンコーディングス | 0.5.1 | websocket-client (ウェブソケット・クライアント) | 0.58.0 |
| Werkzeug | 2.2.3 | 車輪 | 0.38.4 | ワードクラウド | 1.9.3 |
| 包まれた | 1.14.1 | xgboost | 2.0.3 | xxhash | 3.4.1 |
| ヤール | 1.8.1 | ydata-profiling | 4.5.1 | ジップ | 3.11.0 |
| zstd | 1.5.5.1 |
* 2025 年 2 月 12 日以降に作成され、 Photon に対して有効になっていないコンピューティングの場合、 mlflow-skinny は 2.19.0 にアップグレードされます。
GPU クラスター上の Python ライブラリ
| ライブラリ | バージョン | ライブラリ | バージョン | ライブラリ | バージョン |
|---|---|---|---|---|---|
| absl-py | 1.0.0 | 早める | 0.31.0 | aiohttp | 3.8.5 |
| aiohttp-cors | 0.7.0 | アイオシグナル | 1.2.0 | anyio | 3.5.0 |
| argon2-cffi | 21.3.0 | argon2-cffi-bindings | 21.2.0 | アスター | 0.8.1 |
| アストトークン | 2.0.5 | astunparse | 1.6.3 | 非同期タイムアウト | 4.0.2 |
| 属性 | 22.1.0 | audioread | 3.0.1 | azure-core (アジュール コア) | 1.30.2 |
| azure-cosmos | 4.3.1 | azure-identity (アズール・アイデンティティ) | 1.17.1 | アジュール・ストレージ・ブロブ | 12.19.1 |
| azure-storage-file-datalake（アジュールストレージファイルデータレイク） | 12.14.0 | バックコール (再発信機能) | 0.2.0 | bcrypt | 3.2.0 |
| beautifulsoup4 | 4.12.2 | 黒い | 23.3.0 | 漂白剤 | 4.1.0 |
| ウインカー | 1.4 | ブリス | 0.7.11 | boto3 | 1.34.39 |
| botocore | 1.34.39 | Brotli | 1.0.9 | キャッシュツールズ (cachetools) | 5.4.0 |
| カタログ | 2.0.10 | category-encoders (カテゴリーエンコーダー) | 2.6.3 | サーティフィ | 2023.7.22 |
| cffi | 1.15.1 | チャーデット | 4.0.0 | charset-normalizer (文字コード正規化ツール) | 2.0.4 |
| サーキットブレーカー | 1.4.0 | クリック | 8.0.4 | cloudpathlib | 0.16.0 |
| クラウドピックル | 2.2.1 | cmdstanpy | 1.2.2 | colorful (カラフル) | 0.5.6 |
| 通信 | 0.1.2 | お菓子 | 0.1.4 | configparser (コンフィグパーサー) | 5.2.0 |
| コンツアーピー | 1.0.5 | 暗号技術 | 41.0.3 | サイクリスト | 0.11.0 |
| サイメム | 2.0.8 | Cython | 0.29.32 | ダサイト | 1.8.1 |
| databricks-automl-runtime（データブリックス・オートエムエル・ランタイム） | 0.2.21 | データブリックスフィーチャーエンジニアリング | 0.6.0 | databricks-sdk（データブリックスSDK） | 0.20.0 |
| dataclasses-json | 0.6.7 | データセット | 2.19.1 | dbl-tempo | 0.1.26 |
| dbus-python | 1.2.18 | debugpy | 1.6.7 | デコレーター | 5.1.1 |
| ディープスピード | 0.14.4 | デフューズドXML (defusedxml) | 0.7.1 | 非推奨 | 1.2.14 |
| ディル | 0.3.6 | ディスクキャッシュ | 5.6.3 | distlib | 0.3.8 |
| dmツリー | 0.1.8 | einops | 0.8.0 | 入口点 | 0.4 |
| 評価する | 0.4.2 | 実行中 | 0.8.3 | ファセット概要 | 1.1.1 |
| Farama-Notifications | 0.0.4 | fastjsonschema | 2.20.0 | fasttext（ファーストテキスト） | 0.9.2 |
| ファイルロック | 3.13.4 | flash-attn | 2.5.9.post1 | フラスコ | 2.2.5 |
| フラットバッファーズ | 24.3.25 | fonttools（フォントツールズ） | 4.25.0 | フローズンリスト | 1.3.3 |
| fsspec | 2023.5.0 | 未来 | 0.18.3 | ガスト | 0.4.0 |
| ギットディービー | 4.0.11 | GitPython | 3.1.27 | google-api-core | 2.18.0 |
| google-auth（Google認証） | 2.21.0 | google-auth-oauthlib | 1.0.0 | グーグルクラウドコア | 2.4.1 |
| Googleクラウドストレージ | 2.10.0 | google-crc32c（GoogleのCRC32Cライブラリ） | 1.5.0 | グーグルパスタ | 0.2.0 |
| google-resumable-media（Googleの継続可能なメディアライブラリ） | 2.7.1 | Google API 共通プロトコル (googleapis-common-protos) | 1.63.0 | グリーンレット | 2.0.1 |
| grpcio | 1.60.0 | grpcio-status | 1.60.0 | ガニーコーン (gunicorn) | 20.1.0 |
| gviz-api | 1.10.0 | 体育館 | 0.28.1 | h11 | 0.14.0 |
| h5py | 3.10.0 | hjson | 3.1.0 | 休日 | 0.45 |
| ホロヴォド | 0.28.1+db1 | HTML最小化ツール（htmlmin） | 0.1.12 | httpcore | 1.0.5 |
| httplib2 | 0.20.2 | httpx | 0.27.0 | huggingface-hub（ハギングフェイスのハブ） | 0.23.4 |
| idna | 3.4 | イメージハッシュ (ImageHash) | 4.3.1 | imageio | 2.31.1 |
| imbalanced-learn | 0.11.0 | importlib-metadata | 6.0.0 | importlib_resources（インポートライブラリリソース) | 6.4.0 |
| ipyflow-core | 0.0.198 | ipykernel | 6.25.1 | ipython | 8.15.0 |
| ipython-genutils (IPython用のユーティリティ) | 0.2.0 | ipywidgets (インタラクティブウィジェット) | 7.7.2 | アイソデート | 0.6.1 |
| itsdangerous（イッツデンジャラス） | 2.0.1 | jax-ジャンピー | 1.0.0 | ジェダイ | 0.18.1 |
| ジープニー | 0.7.1 | ジンジャ2 | 3.1.2 | jmespath | 0.10.0 |
| 「joblib」 | 1.2.0 | ジョブリブスパーク | 0.5.1 | jsonpatch | 1.33 |
| jsonpointer | 3.0.0 | JSONスキーマ | 4.17.3 | jupyterサーバー | 1.23.4 |
| jupyter_client | 7.4.9 | jupyter_core（ジュピター・コア） | 5.3.0 | jupyterlab-pygments | 0.1.2 |
| keras | 3.2.1 | キーホルダー | 23.5.0 | キウィソルバー | 1.4.4 |
| langchain | 0.1.20 | langchain-community | 0.0.38 | langchain-core | 0.1.52 |
| ランチェーン・テキスト・スプリッターズ | 0.0.2 | 言語コード | 3.4.0 | langsmith | 0.1.63 |
| 言語データ | 1.2.0 | launchpadlib | 1.10.16 | lazr.restfulclient | 0.14.4 |
| lazr.uri | 1.0.6 | レイジーローダー | 0.2 | libclang | 15.0.6.1 |
| librosa | 0.10.1 | lightgbm | 4.3.0 | リンク化-it-py | 2.0.0 |
| llvmlite | 0.40.0 | lxml | 4.9.2 | lz4 | 4.3.2 |
| アオザメ | 1.2.0 | marisa-trie | 1.1.1 | マークダウン | 3.4.1 |
| markdown-it-py | 2.2.0 | マークアップセーフ | 2.1.1 | マシュマロ | 3.21.2 |
| matplotlib | 3.7.2 | matplotlib-インライン | 0.1.6 | mdit-py-plugins | 0.3.0 |
| mdurl | 0.1.0 | メムレイ | 1.13.4 | ミスチューン | 0.8.4 |
| ml-dtypes（機械学習で使用されるデータ型） | 0.3.2 | mlflow-skinny* | 2.13.1 | more-itertools | 8.10.0 |
| mosaicml-streaming | 0.7.4 | mpmath | 1.3.0 | msal | 1.30.0 |
| msal-extensions | 1.2.0 | msgpack (メッセージパック) | 1.0.8 | マルチディクト | 6.0.2 |
| マルチメソッド | 1.12 | マルチプロセス | 0.70.14 | マーマーハッシュ (murmurhash) | 1.0.10 |
| mypy-extensions (マイパイ拡張機能) | 0.4.3 | namex | 0.0.8 | nbclassic | 0.5.5 |
| nbclient（エヌビー・クライアント） | 0.5.13 | NBコンバート | 6.5.4 | nbフォーマット | 5.7.0 |
| nest-asyncio（ネスト・アサインキオ） | 1.5.6 | networkx | 3.1 | 忍者 | 1.11.1.1 |
| nltk | 3.8.1 | ノートブック | 6.5.4 | ノートブックシム | 0.2.2 |
| numba | 0.57.1 | NumPy (数値計算ライブラリ) | 1.23.5 | nvidia-cublas-cu12 | 12.1.3.1 |
| nvidia-cuda-cupti-cu12 | 12.1.105 | nvidia-cuda-nvrtc-cu12 | 12.1.105 | nvidia-cuda-runtime-cu12 | 12.1.105 |
| nvidia-cudnn-cu12 | 8.9.2.26 | nvidia-cufft-cu12 | 11.0.2.54 | nvidia-curand-cu12 | 10.3.2.106 |
| nvidia-cusolver-cu12 | 11.4.5.107 | nvidia-cusparse-cu12 | 12.1.0.106 | nvidia-ml-py | 12.555.43 |
| nvidia-nccl-cu12 | 2.20.5 | nvidia-nvjitlink-cu12 | 12.5.82 | nvidia-nvtx-cu12 | 12.1.105 |
| oauthlib | 3.2.0 | オーシーアイ | 2.126.4 | オープンAI | 1.35.3 |
| opencensus | 0.11.4 | opencensus-context | 0.1.3 | opentelemetry-api | 1.25.0 |
| opentelemetry-sdk (OpenTelemetry ソフトウェア開発キット) | 1.25.0 | OpenTelemetryセマンティック規約 | 0.46b0 | opt-einsum | 3.3.0 |
| オプツリー | 0.12.1 | orjson | 3.10.6 | パッケージング | 23.2 |
| パンダ | 1.5.3 | パンドックフィルターズ | 1.5.0 | paramiko | 3.4.0 |
| パルソ | 0.8.3 | パススペック | 0.10.3 | パッツィ | 0.5.3 |
| petastorm | 0.12.1 | ペキスペクト | 4.8.0 | フィック | 0.12.4 |
| ピクルシェア | 0.7.5 | 枕 | 9.4.0 | 種 | 23.2.1 |
| プラットフォームディレクトリ | 3.10.0 | plotly - データビジュアライゼーションツール | 5.9.0 | pmdarima | 2.0.4 |
| ワンちゃん | 1.8.1 | ポータルロッカー | 2.10.1 | プレシェッド | 3.0.9 |
| prometheus-クライアント | 0.14.1 | prompt-toolkit（プロンプトツールキット） | 3.0.36 | 預言者 | 1.1.5 |
| proto-plus | 1.24.0 | プロトバフ | 4.24.1 | psutil | 5.9.0 |
| psycopg2 | 2.9.3 | ptyprocess | 0.7.0 | pure-eval (ピュア・イヴァル) | 0.2.2 |
| py-cpuinfo | 8.0.0 | py-spy | 0.3.14 | pyarrow (パイアロー) | 14.0.1 |
| pyarrow-hotfix | 0.6 | pyasn1 | 0.4.8 | pyasn1-modules | 0.2.8 |
| pybind11 | 2.13.1 | ピッコロ | 0.0.52 | pycparser（パイシーパーサー） | 2.21 |
| Pythonのデータバリデーションライブラリ「pydantic」 | 1.10.6 | Pygments | 2.15.1 | PyGObject | 3.42.1 |
| PyJWT | 2.3.0 | PyNaCl | 1.5.0 | pyodbc (Pythonのデータベース接続用ライブラリ) | 4.0.38 |
| pyOpenSSL（PythonのSSL/TLSライブラリ） | 23.2.0 | パイパーシング (Pyparsing) | 3.0.9 | pyrsistent | 0.18.0 |
| pytesseract | 0.3.10 | python-dateutil (Python用の日付処理ライブラリ) | 2.8.2 | パイソンエディター | 1.0.4 |
| python-lsp-jsonrpc | 1.1.1 | python-snappy | 0.6.1 | pytz | 2022年7月 |
| PyWavelets | 1.4.1 | PyYAML | 6.0 | pyzmq | 23.2.0 |
| 鱏 | 2.20.0 | 正規表現 | 2022.7.9 | リクエスト | 2.31.0 |
| requests-oauthlib | 1.3.1 | 裕福 | 13.7.1 | RSA（アールエスエー） | 4.9 |
| s3transfer | 0.10.2 | safetensors | 0.4.2 | scikit-image（Pythonの画像処理ライブラリ） | 0.20.0 |
| scikit-learn（サイキット・ラーン） | 1.3.0 | scipy | 1.11.1 | seaborn（シーボーン） | 0.12.2 |
| SecretStorage | 3.3.1 | Send2Trash(センド2トラッシュ) | 1.8.0 | センテンス・トランスフォーマー | 2.7.0 |
| sentencepiece（センテンスピース） | 0.1.99 | setuptools（セットアップツール） | 68.0.0 | シャープ | 0.44.0 |
| simplejson | 3.17.6 | 6 | 1.16.0 | スライサー | 0.0.7 |
| スマートオープン | 5.2.1 | smmap | 5.0.0 | スニフィオ | 1.2.0 |
| サウンドファイル | 0.12.1 | スープこし器 (soup strainer) | 2.4 | soxr | 0.3.7 |
| spacy | 3.7.2 | spacy-legacy | 3.0.12 | スペーシー・ロガーズ | 1.0.5 |
| spark-tensorflow-distributor | 1.0.0 | SQLAlchemy | 1.4.39 | sqlparse | 0.4.2 |
| まじで | 2.4.8 | ssh-import-id | 5.11 | スタックデータ | 0.2.0 |
| スタニオ | 0.5.1 | statsmodels（スタッツモデルズ） | 0.14.0 | sympy (ライブラリ) | 1.11.1 |
| 「tangled」-up-in-ユニコード | 0.2.0 | 粘り強さ | 8.2.2 | TensorBoard | 2.16.2 |
| テンソルボード・データサーバー | 0.7.2 | テンソルボードプラグインプロファイル | 2.15.1 | tensorboardX | 2.6.2.2 |
| テンソルフロー | 2.16.1 | tensorflow-estimatorツール | 2.15.0 | tensorflow-io-gcs-filesystem | 0.37.1 |
| termcolor | 2.4.0 | 終了しました | 0.17.1 | テキスト | 0.63.3 |
| tf_keras | 2.16.0 | thinc | 8.2.3 | Threadpoolctl | 2.2.0 |
| tifffile (ティフファイル) | 2021年7月2日 | tiktoken | 0.5.2 | tinycss2 | 1.2.1 |
| トークナイズ-RT | 4.2.1 | トークナイザー | 0.19.0 | 電灯 | 2.3.1 + cu121 |
| torcheval | 0.0.7 | torchvision 라이브러리 | 0.18.1+cu121 | 竜巻 | 6.3.2 |
| tqdm | 4.65.0 | traitlets（トレイトレット） | 5.7.1 | トランスフォーマー | 4.41.2 |
| トライトン | 2.3.1 | タイプガード | 2.13.3 | typer | 0.9.4 |
| タイピング検査 | 0.9.0 | タイピングエクステンションズ (typing_extensions) | 4.10.0 | tzdata | 2022年1月 |
| uc-micro-py | 1.0.1 | ujson | 5.4.0 | 無人アップグレード | 0.1 |
| urllib3 | 1.26.16 | virtualenv | 20.24.2 | ビジョン | 0.7.5 |
| wadllib | 1.3.6 | わさび | 1.1.2 | wcwidth（文字の幅を測定するプログラム関数） | 0.2.5 |
| 鼬 | 0.3.4 | ウェブエンコーディングス | 0.5.1 | websocket-client (ウェブソケット・クライアント) | 0.58.0 |
| Werkzeug | 2.2.3 | 車輪 | 0.38.4 | ワードクラウド | 1.9.3 |
| 包まれた | 1.14.1 | xgboost | 2.0.3 | xxhash | 3.4.1 |
| ヤール | 1.8.1 | ydata-profiling | 4.5.1 | ジップ | 3.11.0 |
| zstd | 1.5.5.1 |
* 2025 年 2 月 12 日以降に作成され、 Photon に対して有効になっていないコンピューティングの場合、 mlflow-skinny は 2.19.0 にアップグレードされます。
R ライブラリ
R ライブラリは、Databricks Runtime 15.4 LTS の R ライブラリと同じです。
Java と Scala のライブラリ (Scala 2.12 クラスター)
Databricks Runtime 15.4 LTS ML には、Databricks Runtime 15.4 LTS の Java および Scala のライブラリに加えて次の JAR が含まれています。
CPU クラスター
| グループ ID | 成果物 ID | バージョン |
|---|---|---|
| com.typesafe.akka | akka-actor_2.12 | 2.5.23 |
| ml.dmlc | xgboost4j-spark_2.12 | 1.7.3 |
| ml.dmlc | xgboost4j_2.12 | 1.7.3 |
| org.graphframes | graphframes_2.12 | 0.8.4-db1-spark3.5 |
| org.mlflow | mlflow-client | 2.11.1 |
| org.scala-lang.modules | scala-java8-compat_2.12 | 0.8.0 |
| org.tensorflow | spark-tensorflow-connector_2.12 | 1.15.0 |
GPU クラスター
| グループ ID | 成果物 ID | バージョン |
|---|---|---|
| com.typesafe.akka | akka-actor_2.12 | 2.5.23 |
| ml.dmlc | xgboost4j-gpu_2.12 | 1.7.3 |
| ml.dmlc | xgboost4j-spark-gpu_2.12 | 1.7.3 |
| org.graphframes | graphframes_2.12 | 0.8.4-db1-spark3.5 |
| org.mlflow | mlflow-client | 2.11.1 |
| org.scala-lang.modules | scala-java8-compat_2.12 | 0.8.0 |
| org.tensorflow | spark-tensorflow-connector_2.12 | 1.15.0 |