この記事では、サーバーレス環境バージョン 2 のシステム環境情報について説明します。 アプリケーションの互換性を確保するために、サーバーレス ワークロードでは、環境バージョンと呼ばれるバージョン管理された API が使用されます。これは、新しいサーバー バージョンとの互換性を維持します。
サーバーレス ノートブックの Environment サイド パネルを使用して、環境のバージョンを選択できます。 「 環境バージョンの選択」を参照してください。
新機能と機能強化
サーバーレス環境 2 では、次の新機能と機能強化を利用できます。
ダッシュボード、アラート、クエリはワークスペース ファイルとしてサポートされています
2025 年 5 月 20 日
ダッシュボード、アラート、クエリがワークスペース ファイルとしてサポートされるようになりました。つまり、ワークスペース ファイル システムを使用できる任意の場所から、他のファイルと同様に、これらの Databricks オブジェクトをプログラムで操作できます。 「ワークスペース ファイルとは」を参照し、プログラムによってワークスペース ファイルを操作します。
サーバーレス コンピューティングで有効になっている Web ターミナル
2025 年 4 月 3 日
サーバーレス環境バージョン 2 で Web ターミナルが有効になりました。 Web ターミナルの使用方法の詳細については、「 Azure Databricks Web ターミナルでシェル コマンドを実行する」を参照してください。
VARIANT データ型は、比較を必要とする操作では使用できなくなりました
2025 年 2 月 5 日
VARIANT データ型を含むクエリでは、次の句または演算子を使用できません。
DISTINCTINTERSECTEXCEPTUNIONDISTRIBUTE BY
さらに、次の DataFrame 関数を使用することはできません。
df.dropDuplicates()df.repartition()
これらの操作は比較を実行し、VARIANT データ型を使用する比較では未定義の結果が生成され、Databricks ではサポートされません。 Azure Databricks のワークロードまたはテーブルで VARIANT の種類を使用する場合、Databricks では次の変更が推奨されます。
- クエリまたは式を更新して、
VARIANT値をVARIANT以外のデータ型に明示的にキャストします。 - 上記のいずれかの操作で使用する必要があるフィールドがある場合は、
VARIANTデータ型からそれらのフィールドを抽出し、VARIANT以外のデータ型を使用して格納します。
「バリアント データにクエリを実行する」を参照してください。
ノートブックはワークスペース ファイルとしてサポートされています
2025 年 1 月 23 日
ノートブックは、サーバーレス環境 2 のワークスペース ファイルとしてサポートされています。 他のファイルと同様に、プログラムでノートブックの書き込み、読み取り、削除を行うことができます。 これにより、ワークスペース ファイルシステムを使用できる任意の場所からノートブックをプログラムで操作できます。 詳細については、「 プログラムによるファイルとディレクトリの作成、更新、および削除」を参照してください。
サーバーレス コンピューティングに追加されたタスクの進行状況バー
2024 年 12 月 16 日
サーバーレス コンピューティング環境バージョン 2 で実行されているノートブック セルに、新しいタスク進行状況バーが追加されました。 この進行状況バーは、セルの Spark コードの実行の進行状況を示します。
システム環境
- オペレーティング システム: Ubuntu 22.04.4 LTS
- Python: 3.11.10
- Databricks Connect: 15.4.5
インストールされている Python ライブラリ
| 図書館 | バージョン | 図書館 | バージョン | 図書館 | バージョン |
|---|---|---|---|---|---|
| アストトークン | 2.0.5 | astunparse | 1.6.3 | autocommand | 2.2.2 |
| azure-core (アジュール コア) | 1.31.0 | アジュール・ストレージ・ブロブ | 12.19.1 | azure-storage-file-datalake（アジュールストレージファイルデータレイク） | 12.14.0 |
| backports.tarfile | 1.2.0 | 黒い | 23.3.0 | ウインカー | 1.4 |
| boto3 | 1.34.39 | botocore | 1.34.39 | キャッシュツールズ (cachetools) | 5.5.0 |
| サーティフィ | 2023.7.22 | cffi | 1.15.1 | チャーデット | 4.0.0 |
| charset-normalizer (文字コード正規化ツール) | 2.0.4 | クリック | 8.0.4 | クラウドピックル | 3.0.0 |
| 通信 | 0.1.2 | コンツアーピー | 1.0.5 | 暗号技術 | 41.0.3 |
| サイクリスト | 0.11.0 | Cython | 0.29.32 | databricks-connect (データブリックス・コネクト) | 15.4.5 |
| databricks-sdk（データブリックスSDK） | 0.36.0 | dbus-python | 1.2.18 | debugpy | 1.6.7 |
| デコレーター | 5.1.1 | ディル | 0.3.6 | distlib | 0.3.9 |
| 入口点 | 0.4 | 実行中 | 0.8.3 | facets-overview | 1.1.1 |
| ファイルロック | 3.13.4 | fonttools（フォントツールズ） | 4.25.0 | ギットディービー | 4.0.11 |
| GitPython | 3.1.43 | google-api-core | 2.18.0 | google-auth（Google認証） | 2.35.0 |
| グーグルクラウドコア | 2.4.1 | Googleクラウドストレージ | 2.18.2 | google-crc32c（GoogleのCRC32Cライブラリ） | 1.6.0 |
| google-resumable-media（Googleの継続可能なメディアライブラリ） | 2.7.2 | Google API 共通プロトコル (googleapis-common-protos) | 1.65.0 | grpcio | 1.67.0 |
| grpcio-status | 1.67.0 | httplib2 | 0.20.2 | idna | 3.4 |
| importlib-metadata | 6.0.0 | importlib_resources（インポートライブラリリソース) | 6.4.0 | 活用 | 7.3.1 |
| ipyflow-core | 0.0.201 | ipykernel | 6.28.0 | ipython | 8.25.0 |
| ipython-genutils (IPython用のユーティリティ) | 0.2.0 | ipywidgets (インタラクティブウィジェット) | 7.7.2 | アイソデート | 0.7.2 |
| jaraco.collections | 5.1.0 | jaraco.context | 5.3.0 | jaraco.functools | 4.0.1 |
| jaraco.text | 3.12.1 | ジェダイ | 0.18.1 | ジープニー | 0.7.1 |
| jmespath | 0.10.0 | 「joblib」 | 1.2.0 | jupyter_client | 7.4.9 |
| jupyter_core（ジュピター・コア） | 5.3.0 | keyring | 23.5.0 | キウィソルバー | 1.4.4 |
| launchpadlib | 1.10.16 | lazr.restfulclient | 0.14.4 | lazr.uri | 1.0.6 |
| matplotlib | 3.7.2 | matplotlib-インライン | 0.1.6 | mlflow-skinny | 2.11.4 |
| more-itertools | 8.10.0 | mypy-extensions (マイパイ拡張機能) | 0.4.3 | nest-asyncio（ネスト・アサインキオ） | 1.5.6 |
| NumPy (数値計算ライブラリ) | 1.23.5 | oauthlib | 3.2.0 | 包装 | 23.2 |
| パンダ | 1.5.3 | パルソ | 0.8.3 | pathspec | 0.10.3 |
| パッツィ | 0.5.3 | ペキスペクト | 4.8.0 | 枕 | 10.3.0 |
| 種 | 24.2 | プラットフォームディレクトリ | 3.10.0 | plotly | 5.9.0 |
| prompt_toolkit | 3.0.48 | proto-plus | 1.25.0 | プロトバフ | 5.28.3 |
| psutil | 5.9.0 | psycopg2 | 2.9.3 | ptyprocess | 0.7.0 |
| pure-eval (ピュア・イヴァル) | 0.2.2 | py4j | 0.10.9.7 | pyarrow (パイアロー) | 14.0.1 |
| pyasn1 | 0.4.8 | pyasn1-modules | 0.2.8 | ピッコロ | 0.0.65 |
| pycparser（パイシーパーサー） | 2.21 | Pythonのデータバリデーションライブラリ「pydantic」 | 1.10.6 | Pygments | 2.15.1 |
| PyGObject | 3.42.1 | PyJWT | 2.3.0 | pyodbc (Pythonのデータベース接続用ライブラリ) | 4.0.39 |
| パイパーシング (Pyparsing) | 3.0.9 | python-dateutil (Python用の日付処理ライブラリ) | 2.8.2 | python-lsp-jsonrpc | 1.1.2 |
| pytz | 2022年7月 | PyYAML | 6.0 | pyzmq | 25.1.2 |
| リクエスト | 2.31.0 | RSA（アールエスエー） | 4.9 | s3transfer | 0.10.3 |
| scikit-learn（サイキット・ラーン） | 1.3.0 | scipy | 1.11.1 | seaborn（シーボーン） | 0.12.2 |
| SecretStorage | 3.3.1 | setuptools（セットアップツール） | 75.1.0 | 6 | 1.16.0 |
| smmap | 5.0.1 | sqlparse | 0.5.1 | ssh-import-id | 5.11 |
| スタックデータ | 0.2.0 | statsmodels（スタッツモデルズ） | 0.14.0 | 粘り強さ | 8.2.2 |
| Threadpoolctl | 2.2.0 | トークナイズ-RT | 4.2.1 | tomli | 2.0.1 |
| 竜巻 | 6.3.2 | traitlets（トレイトレット） | 5.13.0 | typeguard | 4.3.0 |
| タイピングエクステンションズ (typing_extensions) | 4.10.0 | tzdata | 2022年1月 | ujson | 5.4.0 |
| 無人アップグレード | 0.1 | urllib3 | 1.26.16 | virtualenv | 20.26.6 |
| wadllib | 1.3.6 | wcwidth（文字の幅を測定するプログラム関数） | 0.2.5 | 車輪 | 0.38.4 |
| ジップ | 3.11.0 | zstandard | 0.23.0 |