サーバーレス コンピューティングのリリース ノート

この記事では、ノートブックとジョブのサーバーレス コンピューティングで現在および今後使用できる機能と動作について説明します。

サーバーレス コンピューティングの詳細については、「 サーバーレス コンピューティングへの接続」を参照してください。

Azure Databricks は、サーバーレス コンピューティングの更新プログラムを定期的にリリースし、プラットフォームの機能強化とアップグレードをサポートするためにサーバーレス コンピューティング ランタイムを自動的にアップグレードします。 すべてのユーザーが同じ更新プログラムを取得し、短期間でロール アウトされます。

サーバーレス環境バージョン

ノートブックとジョブのサーバーレス コンピューティングでは環境バージョンが使用されます。これにより、Spark Connect に基づく安定したクライアント API が提供され、アプリケーションの互換性が確保されます。 これにより、Databricks はサーバーを個別にアップグレードでき、ワークロードにコードを変更することなく、パフォーマンスの向上、セキュリティの強化、バグ修正を実現できます。

各環境バージョンには、特定の Python バージョンと、定義済みのバージョンを持つ一連の Python パッケージが含まれています。 Databricks では、サポートされているすべての環境バージョンにセキュリティ更新プログラムを適用しながら、最新の環境バージョンで新機能と修正プログラムが導入されています。

サーバーレス環境バージョンのリリース ノートについては、「 サーバーレス環境のバージョン」を参照してください。

リリース ノート

このセクションには、サーバーレス コンピューティングのリリース ノートが含まれています。 リリース ノートは、年および週ごとに整理されます。 サーバーレス コンピューティングは、常に、ここに記載されている最新リリースバージョンを使用して実行されます。

• バージョン 16.4
• サーバーレス ジョブでパフォーマンス モードを構成できるようになりました
• バージョン 16.3
• バージョン 16.2
• サーバーレス ノートブックで使用可能な高メモリ設定 (パブリック プレビュー)
• バージョン 16.1
• バージョン 15.4
• JDK は JDK 8 から JDK 17 にアップグレードされます
• バージョン 15.1
• バージョン 14.3

バージョン 16.4

2025 年 5 月 28 日

このサーバーレス コンピューティング リリースは、 Databricks Runtime 16.4 LTS にほぼ対応しています。

動作の変更

• データ ソースのキャッシュされたプランのオプションを考慮する修正: この更新プログラムでは、最初にキャッシュされたテーブルの読み取りだけでなく、キャッシュ時にすべてのデータ ソース プランに対して設定されたオプションがテーブル読み取りによって考慮されるようになります。 以前は、データ ソース テーブルは最初のプランを読み取りましたが、後続のクエリでさまざまなオプションを考慮できませんでした。

• MERGE 操作にソースマテリアライズを要求するフラグを有効にする: 以前は、 merge.materializeSource を none に設定することで、MERGE でソースマテリアライズをオフにできました。 新しいフラグを有効にすると、ソースの具体化が常に必要になり、無効にしようとするとエラーが発生します。 Databricks では、この構成を以前に変更していないお客様に対してのみこのフラグを有効にすることを計画しているため、ほとんどのユーザーは動作の変更を発生させるべきではありません。

新機能

• 自動ローダーでソース ディレクトリ内の処理済みファイルをクリーンアップできるようになりました。処理されたファイルを自動的に移動または削除するように自動ローダーに指示できるようになりました。 cloudFiles.cleanSource自動ローダー オプションを使用して、この機能にオプトインします。 の自動cloudFiles.cleanSourceを参照してください。

• デルタ テーブルからのストリーミングに対する型拡大のサポートが追加されました:このリリースでは、型拡大列データを持つ Delta テーブルからのストリーミングと、Databricks-to-Databricks Delta Sharing を使用して型拡大が有効になっている Delta テーブルの共有のサポートが追加されました。 タイプ拡大機能は、現在パブリック プレビュー段階です。 「タイプ拡張」を参照してください。

• IDENTIFIER DBSQL でカタログ操作のサポートを利用できるようになりました。次のカタログ操作を実行するときに、 IDENTIFIER 句を使用できるようになりました。

  • CREATE CATALOG
  • DROP CATALOG
  • COMMENT ON CATALOG
  • ALTER CATALOG

  この新しい構文を使用すると、これらの操作に定義されたパラメーターを使用してカタログ名を動的に指定できるため、より柔軟で再利用可能な SQL ワークフローが可能になります。 構文の例として、CREATE CATALOG IDENTIFIER(:param)がカタログ名を指定するために指定されたパラメーターであるparamを検討してください。 IDENTIFIER の条項を参照してください。

• 照合式で自動生成された一時的なエイリアスが提供されるようになりました。照合された式の自動生成されたエイリアスに、 COLLATE 情報が決定的に組み込まれるようになりました。 自動生成されたエイリアスは一時的な (不安定な) ので、依存しないでください。 代わりに、ベスト プラクティスとして、 expression AS alias 一貫して明示的に使用します。

• Python データ ソースにフィルター プッシュダウン API のサポートを追加する: サーバーレス コンピューティングでは、 SupportsPushDownFilters インターフェイスと同様に、API として読み取られた Python データ ソース バッチへのフィルター プッシュダウンがサポートされるようになりました。 16.4 LTS リリース ノートを参照してください。

• Python UDF トレースバックの改善: Python UDF トレースバックに、ドライバーと Executor の両方のフレームとクライアント フレームが含まれるようになり、より関連性の高い詳細 (UDF 内のフレームの行コンテンツなど) を示すエラー メッセージが改善されました。

• ビュー内の UNION/EXCEPT/INTERSECT EXECUTE IMMEDIATE が正しい結果を返すようになりました。最上位レベルの UNION/EXCEPT/INTERSECT を使用した一時ビュー定義と永続的ビュー定義のクエリ UNION/EXCEPT/INTERSECT キーワードはエイリアスと見なされていたため、以前はエイリアス化されていない列で正しくない結果が返されていました。 これで、これらのクエリはセット操作全体を正しく実行します。

• データ ソースのキャッシュされたプラン conf と移行ガイド: ファイル ソース テーブルからの読み取りでは、クエリ オプション (区切り記号など) が正しく考慮されます。 以前は、最初のクエリ プランがキャッシュされ、以降のオプションの変更は無視されていました。 以前の動作を復元するには、spark.sql.legacy.readFileSourceTableCacheIgnoreOptions を true に設定します。

• 新しい listagg 関数と string_agg 関数: このリリース以降、 listagg 関数または string_agg 関数を使用して、グループ内の STRING 値と BINARY 値を集計できます。 string_aggを参照してください。

サーバーレス ジョブでパフォーマンス モードを構成できるようになりました

2025 年 4 月 14 日

ジョブの詳細ページの [パフォーマンス最適化] 設定を使用して、サーバーレス ジョブの パフォーマンス モードを選択できるようになりました。 以前は、すべてのサーバーレス ジョブのパフォーマンスが最適化されていました。 これで、 パフォーマンス最適化 設定を無効にして、標準パフォーマンス モードでワークロードを実行できるようになりました。 Standard パフォーマンス モードは、起動待ち時間が若干長くなるワークロードのコストを削減するように設計されています。

標準パフォーマンス モードは、継続的パイプライン、 runs/submit エンドポイントを使用して作成された 1 回限りの実行、または具体化されたビューを含む SQL ウェアハウス ジョブ タスクではサポートされていません。

パフォーマンス モードの詳細については、「 パフォーマンス モードの選択」を参照してください。

バージョン 16.3

2025 年 4 月 9 日

このサーバーレス コンピューティング リリースは、 Databricks Runtime 16.3 とほぼ同じです。

動作の変更

• * kafka.sasl.client.callback.handler.class に無効な値が割り当てられた場合のエラー メッセージの改善: このリリースには、 kafka.sasl.client.callback.handler.class に無効な値が割り当てられている場合に、よりわかりやすいエラー メッセージを返す変更が含まれています。

新機能

• 状態リーダーのサポートは GA です。構造化ストリーミング クエリの状態情報の読み取りのサポートが、サーバーレス コンピューティングで一般提供されるようになりました。 構造化ストリーミングの状態情報の読み取りを参照してください。

• デルタ テーブル プロトコルのダウングレードはチェックポイント保護付きの GA です。 DROP FEATURE は、Delta Lake テーブルの機能を削除し、テーブル プロトコルをダウングレードするために一般提供されています。 既定では、 DROP FEATURE は、待機時間や履歴の切り捨てを必要としない、より最適化された簡略化されたダウングレード エクスペリエンスのために、保護されたチェックポイントを作成するようになりました。 Delta Lake テーブル機能の削除とテーブル プロトコルのダウングレードに関する記事を参照してください。

• ANSI SQL/PSM (パブリック プレビュー) に基づく手続き型 SQL スクリプトの記述: ANSI SQL/PSM に基づくスクリプト機能を使用して、制御フロー ステートメント、ローカル変数、例外処理などの手順ロジックを SQL で記述できるようになりました。 SQL スクリプトを参照してください。

• テーブルとビュー レベルの既定の照合順序: テーブルとビューの既定の照合順序を指定できるようになりました。 これにより、すべての列またはほとんどの列が同じ照合順序を共有するテーブルとビューの作成が簡略化されます。 「照合順序」を参照してください。

• 新しい H3 関数: h3_try_coverash3、h3_try_coverash3string、h3_try_tessellateaswkbの 3 つの新しい H3 関数が追加されました。

• 1 つの ALTER TABLE ステートメントで複数のテーブル列を変更する: 1 つの ALTER TABLE ステートメントで複数の列を変更できるようになりました。 「... ALTER TABLE句COLUMN参照してください。

バージョン 16.2

2025 年 3 月 13 日

このサーバーレス コンピューティング リリースは、 Databricks Runtime 16.2 とほぼ同じです。

動作の変更

• Delta Sharing では、既定でテーブル履歴が有効化される: SQL コマンド ALTER SHARE <share> ADD TABLE <table> を使用して作成される共有では、既定で履歴共有 (WITH HISTORY) が有効になります。 「ALTER SHARE」を参照してください。

• 資格情報の種類が一致しない場合、資格情報 SQL ステートメントはエラーを返します。資格情報管理 SQL ステートメントで指定された資格情報の種類が資格情報の引数の型と一致しない場合は、エラーが返され、ステートメントは実行されません。

新機能

• 生成された列式で timestampdiff & timestampadd を使用します。Delta Lake で生成された列式で timestampdiff 関数と timestampadd 関数を使用できるようになりました。 Delta Lake で生成された列 を参照してください。

• DESCRIBE TABLEに更新すると、メタデータが構造化 JSON として返されます。DESCRIBE TABLE AS JSON コマンドを使用して、テーブル メタデータを JSON ドキュメントとして返すようになりました。 JSON 出力は、人間が判読できる既定のレポートよりも構造化されており、テーブルのスキーマをプログラムで解釈するために使用できます。 詳細については、AS JSON DESCRIBE TABLE を参照してください。

• 末尾の空白を区別しない照合順序: サーバーレスでは、末尾の空白を区別しない照合順序がサポートされるようになりました。 たとえば、これらの照合順序では、'Hello' と 'Hello ' が等しいとして扱います。 詳細については、RTRIM 照合順序 を参照してください。

バグ修正

• 増分クローン処理の改善: このリリースには、増分 CLONE がソース テーブルからターゲット テーブルに既にコピーされたファイルを再コピーする可能性があるエッジ ケースの修正が含まれています。 「Azure Databricks でテーブルを複製する」を参照してください。

サーバーレス ノートブックで使用可能な高メモリ設定 (パブリック プレビュー)

2025 年 2 月 7 日

これで、サーバーレス コンピューティング ノートブックのワークロードに対して、より大きなメモリ サイズを構成できるようになりました。 この設定は、対話型のノートブック ワークロードとスケジュールされたノートブック ワークロードの両方に適用できます。

メモリが多いサーバーレス使用量は、標準メモリよりも DBU の放射率が高くなります。

詳細については、「 高メモリ サーバーレス コンピューティングの使用」を参照してください。

バージョン 16.1

2025 年 2 月 5 日

このサーバーレス コンピューティング リリースは、 Databricks Runtime 16.0 と Databricks Runtime 16.1 にほぼ対応しています。

新機能

• 再帰スキーマの Avro サポート:recursiveFieldMaxDepth関数とfrom_avro データ ソースで avro オプションを使用できるようになりました。 このオプションは、Avro データ ソースのスキーマ再帰の最大深度を設定します。 ストリーミングAvroデータの読み取りと書き込みを参照してください。
• Avro の Confluent スキーマ レジストリのサポートが拡張されました。 サーバーレスでは、Confluent スキーマ レジストリを使用した Avro スキーマ参照がサポートされるようになりました。 外部 Confluent スキーマ レジストリに対する認証を参照してください。
• 液体クラスタリングを使用してテーブルに対して再クラスター化を強制する:OPTIMIZE FULL構文を使用して、液体クラスタリングが有効になっているテーブル内のすべてのレコードを強制的に再クラスター化できるようになりました。 すべてのレコードの再クラスター化を強制するを参照してください。
• Python 用 Delta API で ID 列がサポートされるようになりました。 Python 用の Delta API を使用して、ID 列を含むテーブルを作成できるようになりました。 Delta Lake での ID 列の使用を参照してください。
• ストリーミング書き込み中に液体クラスター化テーブルを作成します 。 clusterBy を使用して、構造化ストリーミング書き込みを使用して新しいテーブルを作成するときに、液体クラスタリングを有効にできるようになりました。 「液体クラスタリングを有効にする」を参照してください。
• OPTIMIZE サーバーレス コンピューティングで 句がサポートされるようになりました。 この句は、以前にクラスター化された可能性のあるデータを含め、リキッド クラスタリングを使用するテーブル内のすべてのレコードを最適化します。
• INSERTとテーブルリファレンスでの WITH オプション指定のサポート: サーバーレス コンピューティングでは、データ ソースの動作を制御するために使用できる ステートメントのテーブル参照とテーブル名のINSERTがサポートされるようになりました。
• 新しい SQL 関数: サーバーレス コンピューティングでは、次の SQL 関数を使用できるようになりました。
  • try_url_decode は、url_decode のエラー耐性バージョンです。
  • 関数の入力式が zeroifnull() である場合、NULL は 0 を返します。
  • nullifzero は、入力が 0 の場合は NULL を返し、0 でない場合は入力を返します。
  • dayname(expr) は、指定された日付の曜日の 3 文字の英語頭字語を返します。
  • uniform(expr1, expr2 [,seed]) は、 指定された数値範囲内の独立した同じ分散値を持つランダムな値を返します。
  • randstr(length) は、英数字のランダムな文字列 length 返します。
• Delta テーブルにデータをマージするときに、スキーマの自動進化を有効にします。withSchemaEvolution() クラスのDeltaMergeBuilder メンバーのサポートが追加されました。 withSchemaEvolution() を使用して、MERGE 操作中にスキーマの自動展開を有効にします。 たとえば、mergeBuilder.whenMatched(...).withSchemaEvolution().execute()}} のようにします。
• Apache Spark での照合順序のサポートはパブリック プレビュー段階にあります。 言語対応、大文字と小文字の区別、アクセスを区別しない照合順序を、 STRING の列と式に割り当てることができるようになりました。 これらの照合順序は、文字列比較、並べ替え、グループ化操作、および多くの文字列関数で使用されます。 「照合順序」を参照してください。
• Delta Lake での照合順序のサポートはパブリック プレビュー段階にあります。 Delta テーブルを作成または変更するときに、列の照合順序を定義できるようになりました。 Delta Lake の照合サポートを参照してください。
• バキュームのLITEモードはパブリック プレビュー段階です。VACUUM table_name LITEを使用して、Delta トランザクション ログのメタデータを活用する軽量のバキューム操作を実行できるようになりました。 フルモードとライトモードとVACUUMを参照してください。
• USE CATALOG with IDENTIFIER句のパラメーター化のサポート:IDENTIFIER句は、USE CATALOG ステートメントでサポートされるようになりました。 このサポートにより、文字列変数またはパラメーター マーカーに基づいて現在のカタログをパラメーター化できます。
• COMMENT ON COLUMN テーブルとビューのサポート:COMMENT ON ステートメントでは、ビュー列とテーブル列のコメントの変更がサポートされるようになりました。
• その他の関数の名前付きパラメーター呼び出し: 次の関数は 、名前付きパラメーターの呼び出しをサポートしています。
  • バリアント_エクスプロード
  • バリアント_エクスプロード_アウター
  • インライン
  • inline_outer
  • ポーズエクスプロード
  • posexplode_outer
• SYNC METADATA コマンドの REPAIR TABLE パラメーターは Hive メタストアでサポートされています。SYNC METADATA コマンドで REPAIR TABLE パラメーターを使用して、Hive メタストア マネージド テーブルのメタデータを更新できるようになりました。 「REPAIR TABLE」を参照してください。
• 圧縮された Apache Arrow バッチのデータ整合性の強化: データの破損からさらに保護するために、すべての LZ4 圧縮された方向バッチに、 LZ4 コンテンツとブロック チェックサムが含まれるようになりました。 「LZ4 フレームフォーマットの説明を参照してください。

• 組み込みの Oracle JDBC ドライバー: サーバーレス コンピューティングに Oracle JDBC Driver が組み込まれるようになりました。 DriverManager 経由でユーザーがアップロードした JDBC ドライバー JAR を使用する場合は、カスタム JAR を明示的に使用するようにスクリプトを書き換える必要があります。 それ以外の場合は、組み込みのドライバーが使用されます。 このドライバーは、Lakehouse フェデレーションのみをサポートします。 その他のユース ケースでは、独自のドライバーを指定する必要があります。
• パスを使用してアクセスされた Delta テーブルの詳細なエラー: パスを使用してアクセスされた Delta テーブルの新しいエラー メッセージ エクスペリエンスが利用できるようになりました。 すべての例外がユーザーに転送されるようになりました。 基になるファイルを Delta テーブルとして読み取ることができない場合に、例外 DELTA_MISSING_DELTA_TABLE が予約されるようになりました。

動作の変更

• 破壊的変更: Hosted RStudio は有効期間が終了しました。このリリースでは、Databricks でホストされる RStudio Server は有効期間が終了し、サーバーレス コンピューティングで実行されている Azure Databricks ワークスペースでは使用できません。 RStudio の代替手段の詳細と一覧については、 ホストされた RStudio Server の廃止に関するページを参照してください。

• 破壊的変更: byte、 short、 int 、および long の型をより広い型に変更するためのサポートの削除: Delta テーブルと Apache Iceberg テーブル間で一貫した動作を保証するために、次のデータ型の変更を、 型拡大 機能が有効になっているテーブルに適用できなくなりました。

  • byte、short、int、longをdecimalにします。
  • byte、short、およびintからdoubleまで。

• 入れ子になった文字グループの否定を使用した正規表現パターンの正しい解析: このリリースには、入れ子になった文字グループ化での否定を含む正規表現パターンの正しい解析をサポートするための変更が含まれています。 たとえば、 [^[abc]] は "'abc' の 1 つではない任意の文字" として解析されます。

  さらに、Photon の動作は、入れ子になった文字クラスにおいて Spark と一致していませんでした。 入れ子になった文字クラスを含む正規表現パターンには Photon が使用されなくなり、代わりに Spark が使用されます。 入れ子になった文字クラスは、角かっこ内に角かっこ ( [[a-c][1-3]] など) を含むすべてのパターンです。

• MERGEし、句で指定された条件を考慮するようになりました。 マージを使用して Delta Lake テーブルにアップサートするを参照してください。

• addArtifact()機能は、コンピューティングの種類間で一貫しています。addArtifact(archive = True)を使用してサーバーレス コンピューティングに依存関係を追加すると、アーカイブが自動的にアンパックされます。

バグ修正

• タイムゾーン オフセットに、CSV、JSON、XML にシリアル化されたときの秒数が含まれるようになりました。 秒 (1900 より前のタイムスタンプに共通) を含むタイムゾーン オフセットを持つタイムスタンプは、CSV、JSON、および XML にシリアル化されるときに秒を省略していました。 既定のタイムスタンプ フォーマッタが修正され、これらのタイムスタンプの正しいオフセット値が返されるようになりました。

その他の変更点

• 構造化ストリーミング ソースcloudFilesのエラーコードの名前が変更されました: 次のエラーコードの名前が変更されました。
  • _LEGACY_ERROR_TEMP_DBR_0143 の名前は CF_INCORRECT_STREAM_USAGE に変更されました。
  • _LEGACY_ERROR_TEMP_DBR_0260 の名前は CF_INCORRECT_BATCH_USAGE に変更されました。

バージョン 15.4

2024 年 10 月 28 日

このサーバーレス コンピューティング リリースは、Databricks Runtime 15.4 にほぼ対応しています

新機能

• UTF-8 検証関数: このリリースでは、UTF-8 文字列を検証するための次の関数が導入されています。
  • is_valid_utf8 文字列が有効な UTF-8 文字列であるかどうかを確認しました。
  • make_valid_utf8 、無効な可能性がある UTF-8 文字列を、置換文字を使用して有効な UTF-8 文字列に変換します。
  • validate_utf8 は、入力が有効な UTF-8 文字列でない場合にエラーを発生させます。
  • 入力が 有効な UTF-8 文字列でない場合、try_validate_utf8は NULL を返します。
• ALTER TABLEを使用して UniForm Iceberg を有効にする: データ ファイルを書き換えることなく、既存のテーブルで UniForm Iceberg を有効にできるようになりました。 既存のテーブルで Iceberg 読み取りを有効にする を参照してください。
• try_url_decode関数: このリリースでは、URL でエンコードされた文字列をデコードする try_url_decode 関数が導入されました。 文字列が正しい形式になっていない場合、関数はエラーを発生させるのではなく NULL を返します。
• 必要に応じて、オプティマイザーが強制されていない外部キー制約に依存できるようにします。クエリのパフォーマンスを向上させるために、テーブルをRELYまたは FOREIGN KEY するときに、制約に対して キーワードを指定できるようになりました。
• 選択的上書きの並列化されたジョブの実行:replaceWhereを使用して選択的上書きを行い、データを削除して新しいデータを並列に挿入するジョブを実行し、クエリのパフォーマンスとクラスターの使用率を向上させるようになりました。
• 選択的上書きによる変更データフィードのパフォーマンスが向上しました。 変更データフィードを含むテーブルで replaceWhere を使用して選択的上書きを行う場合、挿入されたデータに対して個別の変更データファイルは書き込まれなくなりました。 これらの操作では、基になる Parquet データ ファイルに存在する非表示の _change_type 列を使って、書き込みを増やすことなく変更が記録されます。
• COPY INTO コマンドのクエリ待機時間の向上: このリリースには、COPY INTO コマンドのクエリ待機時間を改善する変更が含まれています。 この改善は、RocksDB 状態ストアによる状態の読み込みを非同期にすることによって実装されます。 この変更により、多くの状態を持つクエリ (たとえば、既に取り込まれたファイルの数が多いクエリ) で、開始時間が向上するはずです。
• CHECK 制約テーブル機能の削除のサポート:checkConstraintsを使用して、デルタ テーブルからALTER TABLE table_name DROP FEATURE checkConstraints テーブル機能を削除できるようになりました。 チェック制約の無効化を参照してください。

動作の変更

• ビューのスキーマ バインドの変更: ビューの基になるクエリのデータ型が、ビューの最初の作成時に使用されたものから変更されると、Databricks は、安全なキャストを実行できないときにビューへの参照に関するエラーをスローしなくなります。

  代わりに、可能な場合は通常のキャスト ルールを使用してビューが補正されます。 この変更により、Databricks はテーブル スキーマの変更を許容しやすくなります。

• ブールロジック外の!に対して文書化されていないNOT構文の容認を禁止する:Databricks では、ブールロジックの外部で!のシノニムとしてNOTを使用することは許容されなくなりました。 この変更により、混乱が軽減され、SQL 標準への準拠性が増し、SQL の移植性が高くなります。 次に例を示します。

  CREATE ... IF ! EXISTS、 IS!NULL、 ! NULL 列またはフィールド のプロパティ、 ! IN および !BETWEEN は次のように置き換える必要があります。

  CREATE ... IF NOT EXISTS、IS NOT NULL、NOT NULL 列またはフィールド プロパティ、NOT IN および NOT BETWEEN。

  ブール型プレフィックス演算子! (!is_mgrや!(true AND false)など) は、この変更の影響を受けません。

• ビューで列定義構文の文書化されていない部分と未処理の部分を禁止する: Databricks では、名前付き列と列コメントを含む CREATE VIEW がサポートされています。

  列の型、NOT NULL 制約、DEFAULT の指定は、影響を生じない構文内では許容されてきました。 Databricks はこの構文を許容しなくなります。 これにより、混乱が軽減され、SQL 標準への準拠性が増し、将来の機能強化が可能になります。

• Spark と Photon での Base64 デコードの一貫したエラー処理: このリリースでは、Photon が Base64 デコード エラーを処理して、これらのエラーの Spark 処理と一致させる方法を変更しました。 この変更の前は、Photon と Spark のコード生成パスでは解析例外が生成されないことがあり、Spark では実行が正しく解釈されて IllegalArgumentException または ConversionInvalidInputError が生成されていました。 この更新で、Photon でも Base64 デコード エラーの発生時に Spark と同じ例外が常に生成されるようになり、したがってエラー処理の予測可能性と信頼性が向上します。

• 無効な列にCHECK制約を追加すると、UNRESOLVED_COLUMN.WITH_SUGGESTIONエラー クラスが返されるようになりました。 Databricks Runtime 15.3以降では、無効な列名を参照するALTER TABLE ADD CONSTRAINT制約を含むCHECKステートメントによって、UNRESOLVED_COLUMN.WITH_SUGGESTIONエラー クラスが返されます。 以前は、INTERNAL_ERROR が返されていました。

JDK は JDK 8 から JDK 17 にアップグレードされます

2024 年 8 月 15 日

ノートブックとワークフローのサーバーレス コンピューティングは、サーバー側で Java 開発キット (JDK) 8 から JDK 17 に移行されました。 このアップグレードには、次の動作変更が含まれます。

• 入れ子になった文字グループ化での否定を含む正規表現パターンの正しい解析: このアップグレードにより、Azure Databricks では、入れ子になった文字グループに否定を含む正規表現パターンの正しい解析がサポートされるようになりました。 たとえば、 [^[abc]] は "'abc' の 1 つではない任意の文字" として解析されます。

  さらに、Photon の動作は、入れ子になった文字クラスにおいて Spark と一致していませんでした。 入れ子になった文字クラスを含む正規表現パターンには Photon が使用されなくなり、代わりに Spark が使用されます。 入れ子になった文字クラスは、角かっこ内に角かっこ ( [[a-c][1-3]] など) を含むすべてのパターンです。

バージョン 15.1

2024 年 7 月 23 日

このサーバーレス コンピューティング リリースは、Databricks Runtime 15.1 にほぼ対応しています

新機能

*句でのスター (WHERE) 構文のサポート: *句のスター (WHERE) 構文を使用して、SELECTリストからすべての列を参照できるようになりました。

たとえば、SELECT * FROM VALUES(1, 2) AS T(a1, a2) WHERE 1 IN(T.*) のようにします。

変更点

JSON 解析のエラー復旧の改善: from_json() と JSON パス式に使用される JSON パーサーが、形式が正しくない構文から高速に復旧され、結果としてデータ損失が少なくなりました。

構造体フィールド、配列値、マップ キー、またはマップ値で形式に誤りがある JSON 構文が検出された場合、JSON パーサーは読み取り不可能なフィールド、キー、または要素に対してのみ NULL を返すようになりました。 後続のフィールド、キー、要素は適切に解析されます。 この変更以前は、JSON パーサーは配列、構造体、またはマップの解析を中止し、残りのコンテンツに対して NULL を返しました。

バージョン 14.3

2024 年 4 月 15 日

これは、最初のサーバーレス コンピューティング バージョンです。 このバージョンは 、Databricks Runtime 14.3 とほぼ同じです。一部の変更により、一部の非サーバーレス機能とレガシ機能のサポートが削除されます。

サポートされている Spark 構成パラメーター

サーバーレス コンピューティングでの Spark の構成を自動化するために、Azure Databricks ではほとんどの Spark 構成を手動で設定するためのサポートが削除されました。 サポートされている Spark 構成パラメーターの一覧を表示するには、「 サーバーレス ノートブックとジョブの Spark プロパティを構成する」を参照してください。

サポートされていない Spark 構成を設定した場合、サーバーレス コンピューティングでのジョブの実行は失敗します。

input_file 関数は非推奨です

input_file_name()、input_file_block_length()、および input_file_block_start() 関数は非推奨となりました。 これらの関数の使用はお勧めできません。

代わりに、 ファイル メタデータ列 を使用してファイル メタデータ情報を取得します。

動作の変更

サーバーレス コンピューティング バージョン 2024.15 には、次の動作の変更が含まれています。

• unhex(hexStr) バグ修正:unhex(hexStr)関数を使用する場合、hexStr は常にバイト全体に埋め込まれます。 以前は、unhex 関数は最初の半バイトを無視しました。 たとえば、unhex('ABC') は、現在は x'0ABC' を x'BC' の代わりに生成します。
• 自動生成された列のエイリアスが安定するようになりました。 式の結果がユーザー指定の列エイリアスなしで参照される場合、この自動生成されたエイリアスは安定しています。 新しいアルゴリズムでは、具体化されたビューなどの機能で使用されていた、以前に自動生成された名前が変更される可能性があります。
• CHAR型フィールドのテーブルスキャンは常にパディングされるようになりました。デルタ テーブル、特定の JDBC テーブル、および外部データソースは、CHAR データをパディングされていない形式で格納します。 読み取り時に、Azure Databricks は、正しいセマンティクスを確保するために、宣言された長さにスペースを含むデータを埋め込みます。
• BIGINT/DECIMAL から TIMESTAMP へのキャストでは、オーバーフローした値に対して例外がスローされます。 Azure Databricks では、値を Unix エポックからの秒数として扱うことで、BIGINT と DECIMAL から TIMESTAMP にキャストできます。 現在では、Azure Databricks はオーバーフローした値を返すのではなく、オーバーフローが発生した場合には例外をスローします。 try_cast は、例外の代わりに NULL を返すために使用します。
• PySpark UDF の実行が、専用コンピューティングでの UDF 実行の正確な動作と一致するように改善されました 。次の変更が行われました。
  • 文字列戻り値の型を持つ UDF は、文字列以外の値を文字列に暗黙的には変換しなくなりました。 以前は、戻り値の型 str が指定された UDF では、戻り値の実際のデータ型に関係なく、str(..) ラッパーが結果に適用されました。
  • 戻り値の型 timestamp を持つ UDF は、タイムゾーン変換をタイムスタンプに暗黙的には適用しなくなりました。