Databricks Runtime 16.4 LTS

次のリリース ノートでは、Apache Spark 3.5.2 を搭載した Databricks Runtime 16.4 LTS に関する情報を提供します。

Databricks は、2025 年 5 月にこの LTS バージョンをリリースしました。 このリリースには 2 つのバリエーションがあり、1 つは Scala 2.12 をサポートし、1 つは Scala 2.13 をサポートしています。

DBR 17 (Spark 4) 以降では、Scala 2.13 のみがサポートされます。 移行を支援するために、16.4 LTS では、Scala 2.12 と Scala 2.13 の 2 つのイメージを使用できます。 DBR 17 に移行する前に、2.13 イメージを使用してコード ベースをテストし、Scala 2.13 に更新します。

Scala 2.13 移行ガイダンス

• 他のすべての機能は、Databricks Runtime 16.4 LTS リリースの両方で同じです。
• 依存関係のバージョンは、Databricks Runtime 16.4 Scala 2.12 イメージと 16.4 Scala 2.13 イメージで異なる場合があります。 このページでは、各イメージでサポートされているライブラリのバージョンを以下に示します。
• コードが Scala 2.13 で記述され、実行可能ファイルが Scala 2.13 でコンパイルされていることを確認します。
• Spark 3.5 に対してプロジェクトをビルドします。

コードで sparklyr R ライブラリを使用する場合は、代わりに Scala 2.12 をサポートするイメージを使用する必要があります。

Scala 2.12 と 2.13 の破壊的変更

重大な互換性を損なう変更

Databricks Runtime では、重大な変更を サポート するために重要なコード変更を行う必要がある場合、重大な変更と見なされます。

• コレクションの非互換性: Scala 2.13 へのコレクションの移行の詳細については、 こちらの公式 Scala ドキュメント ページ を参照してください。 コードで以前のバージョンの Scala コードを使用している場合、特に API パラメーターと戻り値の型で Databricks を使用する場合、コレクションは非互換性の主なソースになります。

• ハッシュ アルゴリズム: Scala 2.12 でビルドされたコードを確認するときは、 HashMap や Setなど、順序を保証しないデータ構造の暗黙的な順序に依存しないでください。 暗黙的な順序付けを行うコレクションでは、要素を反復処理するときに 2.13 (対 2.12) で実行すると、要素の順序が異なる場合があります。

軽微な互換性を破る変更

Databricks Runtime は、バージョンの変更によって発生した特定のエラー メッセージがない場合に重大な変更 をマイナー と見なしますが、通常、コードはバージョンの下でコンパイルに失敗します。 この場合、エラー メッセージによって、コードを更新するための十分な情報が提供される場合があります。

• より厳密な型推論: Scala 2.12 用に開発されたコードを 2.13 でコンパイルする場合、コンパイラは型のあいまいさを推測できないことを報告することがあります。 多くの場合、変数にデータ型を明示的に注釈付けすると、この問題が解決されます。
• 特定の構文の削除: Scala 2.13 では、単一引用符文字列リテラル、左側の+以外の型で使用する場合の文字列連結のString演算子、後置演算子 (代わりにドット表記を使用) など、いくつかの構文が非推奨になりました。 詳細については、「Scala が Scala の公式ドキュメントで 機能を削除した 」を参照してください。
• 出力メッセージ: REPL から返されるメッセージのテキスト結果は、Scala 2.12 と 2.13 で異なる場合があります。 不一致は、構文または計算が間違っていることを意味するものではありません。代わりに、メッセージは問題またはコンテキストを異なる方法で記述するか、別の表現形式で表示します。 たとえば、メッセージによっては f: Foo = Foo(1) が f: Foo = Foo(i = 1) になることがあります。

Databricks Runtime 16.4 LTS の各 Scala バージョンでサポートされているライブラリ バージョンの一覧:

• DBR 16.4 LTS に対応した Scala 2.12 ライブラリ
• DBR 16.4 LTS Scala 2.13 ライブラリ

DBR 16.4 LTS の新機能と更新された機能

• ダッシュボード、アラート、クエリはワークスペース ファイルとしてサポートされています
• 液体クラスタリングの自動圧縮の改善
• 自動ローダーでソース ディレクトリ内の処理されたファイルをクリーンアップできるようになりました
• デルタテーブルからのストリーミングに対する型の拡張サポートが追加されました
• IDENTIFIER DBSQL でカタログ操作のサポートを利用できるようになりました
• 照合された表現は、自動生成された一時エイリアスを提供するようになりました
• フィルター プッシュダウン API のサポートを Python データ ソースに追加する
• Python UDF トレースバックの機能強化
• ビュー内の UNION/EXCEPT/INTERSECT によって、EXECUTE IMMEDIATE 正しい結果が返されるようになりました
• データ ソースのキャッシュされたプランの設定と移行ガイド
• 新しい listagg 関数と string_agg 関数

ダッシュボード、アラート、クエリはワークスペース ファイルとしてサポートされています

ダッシュボード、アラート、クエリがワークスペース ファイルとしてサポートされるようになりました。 他のファイルと同様に、書き込み、読み取り、削除など、ワークスペース ファイルシステムを使用できる任意の場所から、これらの Databricks オブジェクトをプログラムで操作できるようになりました。 詳細については、「 ワークスペース ファイルとは」 を参照し、 プログラムによってワークスペース ファイルを操作します。

液体クラスタリングの自動コンパクションの改善

Unity カタログ管理の液体クラスタリング テーブルで自動圧縮がトリガーされ、 OPTIMIZE 実行間の小さなファイルの問題が自動的に軽減されるようになりました。

詳細については、「 Delta Lake on Azure Databricks の自動圧縮」を参照してください。

自動ローダーでソース ディレクトリ内の処理されたファイルをクリーンアップできるようになりました

お客様は、処理されたファイルを自動的に移動または削除するように自動ローダーに指示できるようになりました。 cloudFiles.cleanSource自動ローダー オプションを使用して、この機能にオプトインします。

詳細については、「のcloudFiles.cleanSourceを参照してください。

デルタテーブルからのストリーミングのために、型の拡大がサポートされました

このリリースでは、型が拡大された列データを持つ Delta テーブルからのストリーミングと、Databricks から Databricks への差分共有を使用して、型拡大が有効になっている Delta テーブルを共有するためのサポートが追加されました。 タイプ拡大機能は、現在パブリック プレビュー段階です。

詳細については、「 タイプ 拡大」を参照してください。

IDENTIFIER DBSQL でカタログ操作のサポートを利用できるようになりました

Azure Databricks のお客様は、次のカタログ操作を実行するときに、 IDENTIFIER 句を使用できるようになりました。

• CREATE CATALOG
• DROP CATALOG
• COMMENT ON CATALOG
• ALTER CATALOG

この新しい構文を使用すると、これらの操作に定義されたパラメーターを使用してカタログ名を動的に指定できるため、より柔軟で再利用可能な SQL ワークフローが可能になります。 構文の例として、CREATE CATALOG IDENTIFIER(:param)がカタログ名を指定するために指定されたパラメーターであるparamを検討してください。

詳細については、 IDENTIFIER 句を参照してください。

整理された式から自動生成される一時的なエイリアスが利用できるようになりました。

照合された式の自動生成されたエイリアスに、常に決定論的に COLLATE 情報が組み込まれるようになりました。 自動生成されたエイリアスは一時的な (不安定な) ので、依存しないでください。 代わりに、ベスト プラクティスとして、 expression AS alias 一貫して明示的に使用します。

フィルター プッシュダウン API のサポートを Python データ ソースに追加する

Databricks Runtime 16.4 LTS では、Azure Databricks は、 SupportsPushDownFilters インターフェイスに似た API として読み取られた Python データ ソース バッチへのフィルター プッシュダウンのサポートを追加しました。 DataSourceReader.pushFiltersを実装して、プッシュダウンされる可能性のあるフィルターを受信できるようになりました。 また、この API を実装して、プッシュダウンするフィルターを選択し、それらを追跡し、Apache Spark によってアプリケーションの残りのフィルターを返すロジックを提供することもできます。

フィルター プッシュダウンを使用すると、データ ソースはフィルターのサブセットを処理できます。 これにより、Spark で処理する必要があるデータの量を減らすことで、パフォーマンスを向上させることができます。

フィルター プッシュダウンはバッチ読み取りでのみサポートされ、ストリーミング読み取りではサポートされません。 新しい API は、DataSourceReaderやDataSourceではなく、DataSourceStreamReaderに追加する必要があります。 フィルターの一覧は、実装内の要素の論理 AND として解釈する必要があります。 このメソッドは、クエリの計画中に 1 回呼び出されます。 既定の実装では、フィルターをプッシュダウンできないことを示すすべてのフィルターが返されます。 サブクラスを使用してこのメソッドをオーバーライドし、フィルター プッシュダウンのロジックを実装します。

最初は、API をシンプルに保つために、Azure Databricks では、列、ブール演算子、リテラル値を持つ V1 フィルターのみがサポートされます。 フィルターのシリアル化はプレースホルダーであり、今後の PR で実装される予定です。 例えば次が挙げられます。

class DataSourceReader(ABC):

  ...
  def pushFilters(self, filters: List["Filter"]) -> Iterable["Filter"]:

Azure Databricks では、データベースや GraphQL API などのフィルター処理をネイティブにサポートするデータ ソースに対してのみ、このメソッドを実装することをお勧めします。

Python UDF トレースバックの機能強化

Python UDF トレースバックには、ドライバーと Executor の両方のフレームとクライアント フレームが含まれるようになり、より関連性の高い詳細 (UDF 内のフレームの行コンテンツなど) を示すエラー メッセージが改善されました。

ビュー内の UNION、EXCEPT、INTERSECT は EXECUTE IMMEDIATE と共に、正しい結果が返されるようになりました。

最上位レベルの UNION/EXCEPT/INTERSECT 列とエイリアス化されていない列を含む一時ビュー定義と永続的ビュー定義に対するクエリでは、 UNION/EXCEPT/INTERSECT keywords がエイリアスと見なされたため、以前は正しくない結果が返されていました。 これで、これらのクエリはセット操作全体を正しく実行します。

EXECUTE IMMEDIATE ... INTO 最上位レベルの UNION/EXCEPT/INTERSECT 列とエイリアス化されていない列では、パーサーがこれらのキーワードをエイリアスとして解釈するため、指定された変数に設定操作の誤った結果も書き込まれます。 同様に、末尾のテキストが無効な SQL クエリも許可されました。 このような場合の設定操作で、指定した変数に正しい結果が書き込まれるようになりました。または、SQL テキストが無効な場合は失敗します。

データ ソースのキャッシュされたプランの conf と移行ガイド

DBR 16.4.0 以降では、ファイル ソース テーブルからの読み取りでは、区切り記号などのクエリ オプションが正しく考慮されます。 以前は、最初のクエリ プランがキャッシュされ、以降のオプションの変更は無視されていました。 以前の動作を復元するには、spark.sql.legacy.readFileSourceTableCacheIgnoreOptions を true に設定します。

新しい listagg 関数と string_agg 関数

このリリース以降、 listagg または string_agg 関数を使用して、グループ内の STRING 値と BINARY 値を集計できます。 詳細については、 string_agg を参照してください。

DBR 16.4 LTS 動作の変更

• デルタテーブル: "DESCRIBE DETAIL テーブル" コマンドによって、テーブルの clusterByAuto 状態が表示されるようになりました
• データ ソースのキャッシュされたプランのオプションを尊重する修正
• 編集ルールをアナライザーから最適化器に移した
• variant_getとget_json_objectでは、Apache Spark のパス内の先頭のスペースを検討するようになりました
• MERGE 操作のソースマテリアライズを無効にしないフラグを有効にする
• パーティション メタデータ ログ有効化アンカーをテーブルに移動する
• snowflake-jdbc 3.16.1 -> 3.22.0 を更新する
• DBR 16.2 および 16.3 で Json4s を 4.0.7 から 3.7.0-M11 にダウングレードする

差分テーブル: "DESCRIBE DETAIL テーブル" に、「clusterByAuto」ステータスが表示されるようになりました。

DESCRIBE DETAIL {table} では、現在のクラスタリング列の横にあるテーブルの clusterByAuto 状態 (true または false) が表示されます。 clusterByAutoの詳細については、「自動液体クラスタリング」を参照してください。

データ ソースのキャッシュされたプランのオプションを尊重する修正

この更新により、最初にキャッシュされたテーブル読み取りだけでなく、キャッシュされたすべてのテーブル読み取りが、すべてのデータ ソース プランに設定されたオプションを確実に尊重するようになります。

以前は、データ ソース テーブルは最初のプランを読み取りましたが、後続のクエリでさまざまなオプションを考慮できませんでした。

たとえば、以下のクエリ:

spark.sql("CREATE TABLE t(a string, b string) USING CSV".stripMargin)
spark.sql("INSERT INTO TABLE t VALUES ('a;b', 'c')")

spark.sql("SELECT * FROM t").show()
spark.sql("SELECT * FROM t WITH ('delimiter' = ';')")

では、次の出力が生成されます。

+----+----+
|col1|col2|
+----+----+
| a;b| c  |
+----+----+

+----+----+
|col1|col2|
+----+----+
| a;b| c  |
+----+----+

この修正により、期待される出力が返されるようになりました。

+----+----+
|col1|col2|
+----+----+
| a;b| c  |
+----+----+

+----+----+
|col1|col2|
+----+----+
| a  | b,c|
+----+----+

ワークロードが以前の不適切な動作に依存している場合は、この変更後に異なる結果が表示されることがあります。

編集ルールをアナライザからオプティマイザに移動しました。

以前は、DataFrames では、有効な SECRET SQL 関数が使用されたときに、編集された値を含むテーブルを作成できました。 この変更により、テーブルへの有効なシークレット アクセス権を持つ DataFrame を保存するときに編集が削除され、編集ルールがアナライザーからオプティマイザーに移動されました。

variant_getとget_json_objectでは、Apache Spark のパス内の先頭のスペースを検討するようになりました

この変更の前は、Photon を無効にして、 variant_get および get_json_object 式のパスの先頭の空白とタブが無視されていました。 たとえば、 select get_json_object('{" key": "value"}', '$[' key']') は、 " key"の値を抽出するのに有効ではありません。 ただし、ユーザーはこのようなキーを抽出できます。

MERGE 操作のソースマテリアライズを無効にしないフラグを有効にする

以前は、 merge.materializeSource を none に設定することで、MERGE でソースマテリアライズを無効にできました。 新しいフラグが有効になっていると、これは禁止され、エラーが発生します。 Databricks では、この構成フラグを以前に使用していないお客様に対してのみフラグを有効にすることを計画しているため、お客様は動作の変更に気付く必要はありません。

パーティション メタデータ ログ有効化アンカーをテーブルに移動する

パーティション メタデータ ログ機能が変更され、 spark.databricks.nonDelta.partitionLog.enabled = trueを使用してテーブルが作成されると、クラスターによって処理されるすべてのテーブルに対して spark.databricks.nonDelta.partitionLog.enabled = true が設定されないようにテーブルに固定できます。

snowflake-jdbc 3.16.1 -> 3.22.0 を更新する

依存関係 snowflake-jdbc を 3.16.1 から 3.22.0 に更新しました。 l3.16.1 バージョンのライブラリを直接使用すると、ユーザーに影響を与える可能性があります。

DBR 16.2 および 16.3 で Json4s を 4.0.7 から 3.7.0-M11 にダウングレードする

Json4s バージョン 3.7.0-M11 とバージョン 4.0.7 の間で API の動作が大きく異なるため、同じアプリケーションで databricks-connect 16.1 以降と Apache Spark™ 3.5.x を一緒に使用することはできません。 これに対処するために、Azure Databricks は Json4s を 3.7.0-M11 にダウングレードしました。

ライブラリのアップグレード (Scala 2.12 イメージにのみ適用)

• アップグレードされた R ライブラリ:
  • 1.8.4 から 1.8.6 までの sparklyr (Databricks Runtime 16.4 LTS リリースの Scala 2.12 イメージにのみ適用されます)
• アップグレードされた Java ライブラリ:
  • io.delta.delta-sharing-client_2.12 のバージョンを 1.2.3 から 1.2.4 にアップデート
  • org.json4s.json4s-ast_2.12 を 4.0.7 から 3.7.0-M11 への
  • org.json4s.json4s-core_2.12 を 4.0.7 から 3.7.0-M11 に
  • org.json4s.json4s-jackson_2.12 を 4.0.7 から 3.7.0-M11 に
  • org.json4s.json4s-scalap_2.12を4.0.7から3.7.0-M11へのダウングレードする。

Scala 2.13 Databricks Runtime リリースは"新しい" バージョンと見なされ、2.12 とは異なるライブラリ バージョンを持つ場合があります。 そのリリース イメージの特定のライブラリ バージョンについては、次の表を参照してください。 このリリースには sparklyr は含まれません。

Apache Spark

Databricks Runtime 16.4 LTS には Apache Spark 3.5.2 が含まれています。 このリリースには、 Databricks Runtime 16.3 に含まれるすべての Spark の修正と機能強化、および Spark に対する次の追加のバグ修正と機能強化が含まれています。

• [SPARK-51206] [PYTHON][connect] 矢印変換ヘルパーを Spark Connect から移動する
• [SPARK-51566] [PYTHON] Python UDF トレースバックの機能強化
• [SPARK-51675] [SS] ローカル DB を開いた後の col ファミリの作成を修正し、必要でない場合はスナップショットの作成を回避する
• [SPARK-50892] [SQL]再帰の物理演算子である UnionLoopExec を追加して、再帰クエリの実行を実行する
• [SPARK-51670] [SQL] インターセクトおよびエクセプトをユニオンの例に従ってリファクタリングし、シングルパスアナライザーで再利用可能にする
• [SPARK-47895] [BEHAVE-266][sql] エイリアスを使用したグループ化はべき等であるべきです
• [SPARK-51614] [SQL] アナライザーに ResolveUnresolvedHaving ルールを導入する
• [SPARK-51662] [SQL] OrcFileFormat を比較可能にする
• [SPARK-51374] "[CORE] ログ API で java.util.Map を使用するように切り替える" を元に戻す
• [SPARK-51652] [SQL] SetOperation 計算をリファクタリングしてシングルパス アナライザーで再利用する
• [SPARK-51622] [UI] ExecutionPageのタイトルセクション
• [SPARK-51586] [SS] 連続モードでの列サポートとは無関係に入力パーティションを初期化する
• [SPARK-51070] [SQL] ValidateExternalType で Set の代わりに scala.collection.Set を使用する
• [SPARK-51559] [SQL] ブロードキャスト テーブルの最大サイズを構成可能にする
• [SPARK-51496] [SQL] CaseInsensitiveStringMap の比較では大文字と小文字を無視すべきです
• [SPARK-50416] [CORE] bin/load-spark-env.sh のために、よりポータブルなターミナル/パイプ テストが必要です。
• [SPARK-51509] [CORE][ui] Spark Master 環境ページのサポート フィルターを作成する
• [SPARK-51374] [CORE] ログ API で java.util.Map を使用するように切り替える
• [SPARK-50820] [SQL] DSv2: DML でのメタデータ列の条件付き null 化
• [SPARK-48922] [SQL] マップ型の同一式の冗長な配列変換を回避する
• [SPARK-51446] [SQL] 圧縮コーデックの codecNameMap を改善する
• [SPARK-51341] [CORE] 適切な方法で時間タスクをキャンセルします。
• [SPARK-51452] [UI] スレッド ダンプ テーブルの検索を改善する
• [SPARK-51444] [CORE] 到達できない if ブランチを削除する TaskSchedulerImpl#statusUpdate
• [SPARK-51401] [SQL] ExplainUtils.generateFieldString を QueryPlan.generateFieldString を直接呼び出すように変更する
• [SPARK-49507] [SQL] metastorePartitionPruningFastFallback を有効にした後のケースの問題を修正する
• [SPARK-51506] [PYTHON][ss] TransformWithStateInPandas で close() を実装するようにユーザーを強制しない
• [SPARK-51624] [SQL] GetStructField メタデータを CreateNamedStruct.dataType に伝達する
• [SPARK-51201] [SQL] パーティション 分割ヒントでバイト値と短い値をサポートする
• [SPARK-51186] [PYTHON] PySpark の基本例外に StreamingPythonRunnerInitializationException を追加する
• [SPARK-50286] [SQL] SQL オプションを WriteBuilder に正しく反映する
• [SPARK-51616] [SQL] ResolveAliases および ResolveAggregateFunctions の前に CollationTypeCasts を実行する
• [SPARK-51023] [CORE] RPC 例外でリモートアドレスを記録する
• [SPARK-51087] [PYTHON][connect] メモリ プロファイル用にメモリ プロファイラーがインストールされていない場合に警告を発生させる
• [SPARK-51073] [SQL] Unstable特性からSparkSessionExtensionsProviderを削除する
• [SPARK-51471] [SS] RatePerMicroBatchStream - startOffset のオフセット/タイムスタンプが endOffset より大きい場合の ASSERT エラーを分類する
• [SPARK-51062] [PYTHON] assertSchemaEqual を修正して Decimal の精度とスケールを比較するようにする
• [SPARK-51612] [SQL] Desc As Json でのビュー作成時に設定された Spark confs の表示
• [SPARK-51573] [SS] ストリーミング状態チェックポイント v2 checkpointInfo の競合状態を修正
• [SPARK-51252] [SS] HDFS ステート ストアで最後にアップロードされたスナップショット バージョンのインスタンス メトリックを追加する
• [SPARK-51552] [SQL] 識別子の下にある場合、永続化されたビューで一時変数を許可しない
• [SPARK-51625] [SQL] CTE 関係内のコマンドはインラインで実行されるべきである
• [SPARK-51584] [SQL] プロジェクトを Offset と Suite を通じてプッシュするルールを追加してテストする
• [SPARK-51593] [SQL] インスタンスのリファクタリング
• [SPARK-49082] [SQL] Avro リーダーでの Date から TimestampNTZ への拡大のサポート
• [SPARK-50220] [PYTHON] PySpark での listagg のサポート
• [SPARK-51581] [CORE][sql] 明示的な空のチェックに nonEmpty/isEmpty を使用する Iterable
• [SPARK-42746] [SQL] listagg を使用した新しい例外のエラー クラス分類の修正
• [SPARK-51580] [SQL] ラムダ関数が場違いな位置にある場合、ユーザー向けの適切なエラーメッセージを表示する HigherOrderFunction
• [SPARK-51589] [SQL] | で集計関数のチェックに失敗する小さなバグを修正>SELECT
• [SPARK-50821] [PYTHON] Py4J を 0.10.9.8 から 0.10.9.9 にアップグレードする
• [SPARK-42746] [SQL] LISTAGG 関数を実装する
• [SPARK-48399] [SQL] Teradata: ByteType は BYTE(binary) ではなく BYTEINT にマップする必要がある
• [SPARK-43221] [CORE] ホスト ローカル ブロックのフェッチでは、ディスクに格納されているブロックのブロック状態を使用する必要がある
• [SPARK-51467] [UI] 環境ページのテーブルをフィルター可能にする
• [SPARK-51569] [SQL] 型の変更がない場合、InSubqueryでInTypeCoercionを再インスタンス化しない
• [SPARK-51280] [CONNECT] RESPONSE_ALREADY_RECEIVEDエラー クラスの改善
• [SPARK-51525] [SQL] Desc As JSON StringType の照合順序フィールド
• [SPARK-51565] [SQL] ウィンドウ フレーム句での SQL パラメーターのサポート
• [SPARK-51544] [SQL] 一意で必要なメタデータ列のみを追加する
• [SPARK-49349] [SQL] Generate を使用して LCA のエラー メッセージを改善する
• [SPARK-51418] [SQL] Hive 型の互換性のないパーティション列を含む DataSource PARTITON TABLE を修正する
• [SPARK-51269] [SQL] defaultCompressionLevel を削除して AvroCompressionCodec を簡略化する
• [SPARK-50618] [SS][sql] DataFrameReader と DataStreamReader でアナライザーをより活用する
• [SPARK-51097] [SS] RocksDB ステート ストアの最後にアップロードされたスナップショット バージョンのインスタンス メトリックを再導入する
• [SPARK-51321] [SQL] PostgresDialect および MsSQLServerDialect 式プッシュダウンの rpad と lpad のサポートを追加する
• [SPARK-51428] [BEHAVE-264][sql] 照合された式ツリーのエイリアスを確定的に再割り当てする
• [SPARK-51528] [SQL] ProtobufCatalystDataConversionSuite でハッシュ コードを直接比較しない
• [SPARK-51443] [SS] DSv2 と readStream の singleVariantColumn を修正します。
• [SPARK-51397] [SS] 長いテスト時間の原因となっているメンテナンス プールのシャットダウン処理の問題を修正する
• [SPARK-51522] [SQL] シングルパス アナライザーでのレイジーユニオン子のテストを無効にする
• [SPARK-51079] [前方修正] Pandas UDF、createDataFrame、および toPandas で大きな変数型をサポートする (矢印付き)
• [SPARK-51112] [ES-1348599][connect] 空のテーブルで pyarrow の to_pandas を使用しないようにする
• [SPARK-51438] [SQL] CatalystDataToProtobuf と ProtobufDataToCatalyst を適切に比較し、ハッシュ可能にする
• [SPARK-50855] [DBR16.x][ss][CONNECT] Scala での TransformWithState の Spark Connect のサポート
• [SPARK-51208] [SQL] ColumnDefinition.toV1ColumnEXISTS_DEFAULT解像度を維持すべき
• [SPARK-51468] [SQL] 「json/xmlからスキーマ内の照合順序を変更してはならない」をリバートする。
• [SPARK-51453] [SQL] AssertTrue は simpleString の代わりに toPrettySQL を使用します
• [SPARK-51409] [SS] 変更ログ ライター作成パスにエラー分類を追加する
• [SPARK-51440] [SS] null トピック フィールド値が kafka メッセージ データにあり、トピック オプションがない場合に NPE を分類する
• [SPARK-51425] [接続] カスタムを設定するクライアント API を追加する operation_id
• [SPARK-50652] [SS] RocksDB V2 の下位互換性にチェックを追加する
• [SPARK-49164] [SQL] JDBC Relation の SQL クエリの述語で不適切な NullSafeEqual を修正
• [SPARK-50880] [SQL] V2ExpressionSQLBuilder に新しい visitBinaryComparison メソッドを追加する
• [SPARK-50838] [SQL]再帰的CTE内で追加のチェックを実行し、禁止されたケースが発生した場合にエラーをスローします。
• [SPARK-51307] [SQL] CatalogStorageFormat の locationUri をデコードして表示する
• [SPARK-51079] [PYTHON] Pandas UDF、createDataFrame、および toPandas の大きな変数型を Arrow でサポート
• [SPARK-50792] [SQL] バイナリ データを JDBC のバイナリ リテラルとして書式設定します。

Databricks ODBC/JDBC ドライバーのサポート

Databricks では、過去 2 年間にリリースされた ODBC/JDBC ドライバーがサポートされています。 最近リリースされたドライバーは、次のページからダウンロードできます。

• Databricks ODBC ドライバーのダウンロード
• Databricks JDBC ドライバーのダウンロード

システム環境

• オペレーティング システム: Ubuntu 24.04.2 LTS。
  • 注: これは、Databricks ランタイム コンテナーで使用される Ubuntu バージョンです。 Databricks ランタイム コンテナーは、クラウド プロバイダーの仮想マシン上で実行されます。これは、別の Ubuntu バージョンまたは Linux ディストリビューションを使用する可能性があります。
• Java: Zulu17.54+21-CA
• Scala: 2.12.15 または 2.13.10
• Python: 3.12.3
• R: 4.4.0
• Delta Lake: 3.3.1

インストールされている Python ライブラリ

インストールされている R ライブラリ

R ライブラリは、2025-03-20 の Posit パッケージ マネージャー CRAN スナップショットからインストールされます。

インストールされている Java および Scala ライブラリ (Scala 2.13 クラスター バージョン)

インストールされている Java および Scala ライブラリ (Scala 2.12 クラスター バージョン)