Databricks Runtime 13.3 LTS

次のリリース ノートには、Apache Spark 3.4.1 で稼働する Databricks Runtime 13.3 LTS に関する情報が記載されています。

Databricks は、2023 年 8 月にこのバージョンをリリースしました。

新機能と機能強化

• 共有クラスターに対する Scala のサポート
• Unity カタログ標準クラスター (以前の共有クラスター) での init スクリプト、JAR、Maven 座標の許可リストがパブリック プレビュー段階にある
• init スクリプトと JAR のボリュームのサポートはパブリック プレビュー段階です
• Delta Lake 操作で既定で有効になっている安全なキャスト
• Unity Catalog を使用したタグの概要
• クエリの計画と実行の間にファイルが変更された場合、Databricks Runtime はエラーを返します
• 動的パーティションの上書きを使用する場合にスキーマの上書きをブロックする
• copyFile API を dbutils.fs.cp に統合する
• Databricks ODBC/JDBC ドライバーのサポート
• 名前なし (位置指定) パラメーター マーカーのサポート
• 時系列列のラベル付けを有効にする
• ビットマップ SQL の新しい関数
• 強化された暗号化機能
• Unity Catalog での REFRESH FOREIGN のサポート
• INSERT 名前別
• 差分共有を使用して具体化されたビューを共有する

共有クラスターに対する Scala のサポート

Databricks Runtime 13.3 以降を使用している場合、Unity Catalog 対応の共有クラスターで Scala がサポートされるようになりました。

Unity カタログ標準クラスター (以前の共有クラスター) での init スクリプト、JAR、Maven 座標の許可リストがパブリック プレビュー段階にある

Unity カタログ allowlist を使用して、Databricks Runtime 13.3 以降を実行する標準アクセス モードで、コンピューティングでの init スクリプト、JAR、Maven 座標のインストールを制御できるようになりました。 標準アクセス モード (以前の共有アクセス モード) を使用したコンピューティングでの許可リスト ライブラリと init スクリプトを参照してください。

init スクリプトと JAR のボリュームのサポートはパブリック プレビュー段階です

Unity カタログ ボリュームを使用して、Databricks Runtime 13.3 以降を実行する専用または標準のアクセス モードを使用して、init スクリプトと JAR をコンピューティングに格納できるようになりました。 init スクリプトをインストールできる場所とコンピューティング スコープのライブラリを参照してください。

Delta Lake 操作で既定で有効になっている安全なキャスト

ターゲット テーブル スキーマの型に値を安全にキャストできない場合、デルタ UPDATE と MERGE 操作でエラーが発生するようになりました。 Delta のすべての暗黙的なキャストは、spark.sql.storeAssignmentPolicy ではなく spark.sql.ansi.enabled に従うようになりました。 「Databricks Runtime での ANSI 準拠」をご覧ください。

Unity Catalog を使用したタグの導入

Databricks Runtime 13.3 LTS 以降では、セキュリティ保護可能なオブジェクトにタグを適用できます。 タグは、セキュリティ保護可能なオブジェクトを整理し、データ資産の検索と検出を簡素化するのに役立ちます。 「Unity Catalog のセキュリティ保護可能なオブジェクトにタグを適用する」をご覧ください。

クエリの計画と実行の間にファイルが変更された場合、Databricks Runtime はエラーを返します

クエリの計画と呼び出しの間にファイルが更新された場合、Databricks Runtime クエリでエラーが返されるようになりました。 この変更の前に、Databricks Runtime はこれらのステージ間でファイルを読み取り、予期しない結果になることがあります。

動的パーティションの上書きを使用する場合にスキーマの上書きをブロックする

overwriteSchema を Delta Lake の動的パーティションの上書きと組み合わせて true に設定することはできません。 これにより、スキーマの不一致によるテーブルの破損が防止されます。 「パーティションの動的な上書き」を参照してください。

copyFile API を dbutils.fs.cp に統合する

dbutils copy コマンド dbutils.fs.cp がより高速なコピー用に最適化されました。 この改善により、ファイル サイズに応じて、コピー操作を最大 100 倍高速にすることができます。 この機能は、Unity Catalog Volumes と Databricks Filesystem マウントを含め、Azure Databricks でアクセスできるすべてのファイル システムで使用できます。

Databricks ODBC/JDBC ドライバーのサポート

Azure Databricks では、過去 2 年間にリリースされた ODBC ドライバーと JDBC ドライバーがサポートされています。 「ODBC ドライバーのダウンロード」と「JDBC ドライバーのダウンロード」で最新のドライバーをダウンロードします。

名前なし (位置指定) パラメーター マーカーのサポート

SparkSession.sql() API では、? 構文を使用したパラメーター化クエリに加えて、:parm 構文を使用したパラメーター化クエリもサポートされるようになりました。 「パラメーター マーカー」を参照してください。

時系列列のラベル付けを有効にする

主キー制約を作成するときに時系列列にラベルを付けることができるようになりました。

ビットマップ SQL の新しい関数

Azure Databricks では、整数の数値をビットマップにマップして集計するために使用できる関数のセットが提供されました。 これは、個別の値の数を事前に計算するために使用できます。

• bitmap_bit_position
• ビットマップ・バケット・ナンバー
• bitmap_construct_agg
• bitmap_count
• bitmap_or_agg

強化された暗号化機能

初期化ベクトル (IV) と認証された追加データ (AAD) のサポートにより、aes_encrypt、aes_decrypt、および try_aes_decrypt 関数が改善されました。

REFRESH FOREIGN に対する Unity カタログのサポート

REFRESH FOREIGN CATALOG、REFRESH FOREIGN SCHEMA および REFRESH FOREIGN TABLE を使用して、Unity Catalog の外部カタログ、スキーマ、およびテーブルを更新できるようになりました。 REFRESH FOREIGN (CATALOG、SCHEMA、および TABLE)を参照してください。

INSERT 名前別

テーブルに行を挿入するときに、Azure Databricks でソース クエリの列とフィールドをテーブルの列に名前で自動的にマップできるようになりました。 INSERT INTOを参照してください。

Delta Sharing を使用して具体化されたビューを共有する

ALTER SHARE ステートメントで具体化されたビューがサポートされるようになりました。

重大な変更

MERGE INTO と UPDATE を使用してテーブルに行を格納するときの暗黙的キャストの変更

Azure Databricks は、テーブルに行を格納するときの暗黙的キャストについて、構成 spark.sql.storeAssignmentPolicy に従うようになりました。 既定値 ANSI では、オーバーフローする値を格納するとエラーがスローされます。 以前は、値は既定で NULL として格納していました。

次の例のように、エラーの原因となる列に対してより広範な型を使用するようにテーブルを書き直すことで、オーバーフローに対処できます。

-- Enable column mapping
ALTER TABLE MyTable SET TBLPROPERTIES (
    'delta.minReaderVersion' = '2',
    'delta.minWriterVersion' = '5',
    'delta.columnMapping.mode' = 'name'
  )

-- Rename the old column and create a new column with the new type using the old name
ALTER TABLE MyTable RENAME ID to ID_old
ALTER TABLE MyTable ADD COLUMN ID BIGINT

-- Rewrite the entire table
UPDATE MyTable SET ID = ID_old

-- Drop the old column
ALTER TABLE MyTable DROP COLUMN ID_old

Parquet スキーマ推論の変更

Spark によって書き込まれていない Parquet ファイルからスキーマを推論する場合、int64 で注釈が付けられた isAdjustedToUTC=false タイムスタンプ列は、既定で TIMESTAMP_NTZ 型になります。 以前は、これらは TIMESTAMP 型として推論されていました。 この更新により、Parquet 型と Spark SQL 型のマッピングの精度が向上します。

その結果、外部 Parquet ファイルから Delta テーブルにデータを読み取ると、timestampNtz 機能が有効になっていないと、エラーが発生する可能性があります。 エラーは次のように表示されます。

Fatal exception of the update:
com.databricks.sql.transaction.tahoe.DeltaTableFeatureException
Your table schema requires manual enablement of the following table feature(s): timestampNtz.

以前の動作を維持し、このエラーを回避するには、Spark 構成パラメーター spark.sql.parquet.inferTimestampNTZ.enabled を false に設定します。

ライブラリのアップグレード

• アップグレードされた Python ライブラリ:
  • debugpy (1.5.1 から 1.6.0 へ)
  • distlib (0.3.6 から 0.3.7 へ)
  • fastjsonschema (2.16.3 から 2.18.0 へ)
  • filelock (3.12.0 から 3.12.2 へ)
• アップグレードされた R ライブラリ:
  • SparkR (3.4.0 から 3.4.1 へ)
• アップグレードされた Java ライブラリ:
  • org.apache.orc.orc-core (1.8.3-shaded-protobuf から 1.8.4-shaded-protobuf へ)
  • org.apache.orc.orc-mapreduce (1.8.3-shaded-protobuf から 1.8.4-shaded-protobuf へ)
  • org.apache.orc.orc-shims (1.8.3 から 1.8.4 へ)
  • org.eclipse.jetty.jetty-client (9.4.50.v20221201 から 9.4.51.v20230217 へ)
  • org.eclipse.jetty.jetty-continuation (9.4.50.v20221201 から 9.4.51.v20230217 へ)
  • org.eclipse.jetty.jetty-http (9.4.50.v20221201 から 9.4.51.v20230217 へ)
  • org.eclipse.jetty.jetty-io (9.4.50.v20221201 から 9.4.51.v20230217 へ)
  • org.eclipse.jetty.jetty-jndi (9.4.50.v20221201 から 9.4.51.v20230217)
  • org.eclipse.jetty.jetty-plus (9.4.50.v20221201 から 9.4.51.v20230217 へ)
  • org.eclipse.jetty.jetty-proxy (9.4.50.v20221201 から 9.4.51.v20230217 へ)
  • org.eclipse.jetty.jetty-security (9.4.50.v20221201 から 9.4.51.v20230217 へ)
  • org.eclipse.jetty.jetty-server (9.4.50.v20221201 から 9.4.51.v20230217 へ)
  • org.eclipse.jetty.jetty-サーブレット (9.4.50.v20221201 から 9.4.51.v20230217 へ)
  • org.eclipse.jetty.jetty-サーブレット (9.4.50.v20221201 から 9.4.51.v20230217 へ)
  • org.eclipse.jetty.jetty-util (9.4.50.v20221201 から 9.4.51.v20230217 へ)
  • org.eclipse.jetty.jetty-util-ajax (9.4.50.v20221201 から 9.4.51.v20230217 へ)
  • org.eclipse.jetty.jetty-webapp (9.4.50.v20221201 から 9.4.51.v20230217)
  • org.eclipse.jetty.jetty-xml (9.4.50.v20221201 から 9.4.51.v20230217 へ)
  • org.eclipse.jetty.websocket.websocket-api (9.4.50.v20221201 から 9.4.51.v20230217)
  • org.eclipse.jetty.websocket.websocket-client (9.4.50.v20221201 から 9.4.51.v20230217 へ)
  • org.eclipse.jetty.websocket.websocket-common (9.4.50.v20221201 から 9.4.51.v20230217 へ)
  • org.eclipse.jetty.websocket.websocket-server (9.4.50.v20221201 から 9.4.51.v20230217 へ)
  • org.eclipse.jetty.websocket.websocket-サーブレット (9.4.50.v20221201 から 9.4.51.v20230217 へ)
  • org.xerial.snappy.snappy-java (1.1.8.4 から 1.1.10.1 へ)

Apache Spark

Databricks Runtime 13.3 には、Apache Spark 3.4.1 が含まれています。 このリリースには、Databricks Runtime 13.2 (サポート期間終了) に含まれるすべての Spark の修正プログラムおよび機能強化と、Spark に対して行われた次の追加のバグ修正と機能強化が含まれています:

• Spark-snowflake コネクタ v2.12.0 を使用するようにクラスター環境変数 SNOWFLAKE_SPARK_CONNECTOR_VERSION=2.12 を設定できるようになりました。
• [SPARK-43380] [DBRRM-383] リバート "[SC-133100][sql] Avro データ型変換を修正…"
• [SPARK-44504] [Backport][13.2][13.x][13.3] プロバイダーをアンロードすると、メンテナンス タスク エラー時に DB インスタンスを強制的に閉じてリソースを解放する
• [SPARK-44059] [SC-137023] 組み込み関数の名前付き引数のアナライザー サポートを追加
• [SPARK-44485] [SC-137653][sql] TreeNode.generateTreeString を最適化する
• [SPARK-42944] [SC-137164][ss][PYTHON] ストリーミング ForeachBatch in Python
• [SPARK-44446] [SC-136994][python] 予期されるリストの種類の特殊なケースのチェックを追加する
• [SPARK-44439] [SC-136973][connect][SS]id のみをクライアントに送り返す listListeners を修正しました
• [SPARK-44216] [SC-136941] [PYTHON] assertSchemaEqual API をパブリックにする
• [SPARK-44201] [SC-136778][connect][SS]Spark Connect 用 Scala でストリーミング リスナーのサポートを追加
• [SPARK-43915] [SC-134766][sql] エラー クラスに名前を割り当てる LEGACY_ERROR_TEMP[2438-2445]
• [SPARK-43798] "[SC-133990][sql][PYTHON] サポート Python ユーザー定義テーブル関数" を元に戻す
• [SPARK-44398] [SC-136720][connect] Scala foreachBatch API
• [SPARK-44476] [SC-137169][core][CONNECT] 関連するアーティファクトがない JobArtifactState におけるアーティファクトの管理処理を修正する
• [SPARK-44269] [SC-135817][sql] エラー クラスに名前を割り当てる LEGACY_ERROR_TEMP[2310-2314]
• [SPARK-44395] [SC-136744][sql] キーワードの後に識別子をかっこで囲む必要があるように TVF 引数を更新する。
• [SPARK-43915] [SC-134766][sql] エラー クラスに名前を割り当てる LEGACY_ERROR_TEMP[2438-2445]
• [SPARK-43995] [SC-136794][spark-43996][CONNECT] Connect Scala クライアントに UDFRegistration のサポートを追加する
• [SPARK-44109] [SC-134755][core] 各 RDD パーティションの優先する重複する場所を削除する
• [SPARK-44169] [SC-135497][sql] エラー クラスに名前を割り当てる LEGACY_ERROR_TEMP[2300-2304]
• [SPARK-41487] [SC-135636][sql] _LEGACY_ERROR_TEMP_1020に名前を割り当てる
• [SPARK-44398] [SC-136720][connect] Scala foreachBatch API
• [SPARK-44153] [SC-134977][core][UI] Heap Histogram列をExecutorsタブでサポート
• [SPARK-44044] [SC-135695][ss] ストリーミングを使用したウィンドウ関数のエラー メッセージの改善
• [SPARK-43914] [SC-135414][sql] エラー クラスに名前を割り当てる LEGACY_ERROR_TEMP[2433-2437]
• [SPARK-44217] [SC-136805][python] fp の近似等価性のカスタム精度を許可する
• [SPARK-44370] [SC-136575][connect] Buf リモート世代アルファをリモート プラグインに移行する
• [SPARK-44410] [SC-136930][python][CONNECT] getOrCreate だけでなく、作成でアクティブなセッションを設定する
• [SPARK-44348] [SAS-1910][sc-136644][13.X][core][CONNECT][python] 関連する変更でtest_artifactを再び有効にします
• [SPARK-44145] [SC-136698][sql] 実行の準備ができたときにコールバック
• [SPARK-44264] [SC-136870][python][ML] FunctionPickler クラス
• [SPARK-43986] [SC-135623][sql] HyperLogLog 関数呼び出しエラーのエラー クラスを作成する
• [SPARK-44139] [SC-134967][sql] グループベースの MERGE 操作で完全にプッシュダウンされたフィルターを破棄する
• [SPARK-44338] [SC-136718][sql] ビュー スキーマの不一致エラー メッセージを修正する
• [SPARK-44208] [SC-135505][core][SQL] 例外を直接使用するいくつかのロジックに明確なエラー クラス名を割り当てる
• [SPARK-44364] [SC-136773] [PYTHON] List[Row] データ型のサポートを追加
• [SPARK-44180] [SC-136792][sql] DistributionAndOrderingUtils で ResolveTimeZone を適用する必要がある
• [SPARK-43389] [SC-136772][sql] lineSep オプションの null チェックを追加しました
• [SPARK-44388] [SC-136695][connect] UDF インスタンスが更新されたときの protobuf キャストの問題を修正する
• [SPARK-44352] [SC-136373][connect] DataType で sameType とフレンドを元に戻します。
• [SPARK-43975] [SC-134265][sql] DataSource V2: グループ ベースのソースの UPDATE コマンドを処理する
• [SPARK-44360] [SC-136461][sql] 差分ベースの MERGE 操作でのスキーマ排除のサポート
• [SPARK-44138] [SC-134907][sql] MERGE 条件での非決定論的な式、サブクエリ、集計を禁止する
• [SPARK-43321] [SC-136678][connect][Followup] Scala Client joinWith で使用される API の名前の向上
• [SPARK-44263] [SC-136447][connect] カスタム インターセプターのサポート
• [SPARK-39851] [SC-123383][sql] 一方の側が一意性を維持できる場合に結合統計の推定を改善する
• [SPARK-44390] [SC-136677][core][SQL] SparkSerDerseUtils の名前を SparkSerDeUtils に変更する。
• [SPARK-44004] [SC-134751][sql] レガシ エラーが頻繁に発生する場合は、名前を割り当ててエラー メッセージを改善します。
• [SPARK-44322] [SC-136204][connect] パーサーで SQLConf ではなく SqlApiConf を使用します。
• [SPARK-44271] [SC-136347][sql] 既定値関数を StructType から ResolveDefaultColumns に移動する
• [SPARK-44332] [SC-136413][core][WEBUI] Executors UI ページの Executor ID 列の並べ替えエラーを修正
• [SPARK-44282] [SC-135948][connect] Spark Connect Scala クライアントで使用する DataType 解析を準備する
• [SPARK-44349] [SC-136581][r] SparkR に数学関数を追加する
• [SPARK-44397] [SC-136647][python] pyspark.testing.utils で assertDataFrameEqual を公開する
• [SPARK-42981] [SC-136620][connect] 直接矢印シリアル化を追加する
• [SPARK-44373] [SC-136577][sql] データセット API に対して、パーサー関連の設定が機能するようにするため、parse logic を用いて withActive でラップする。
• [SPARK-44340] [SC-136574][sql] PartitionEvaluator API を使用してコンピューティング ロジックを定義し、WindowGroupLimitExec で使用する
• [SPARK-43665] [SC-136573][connect][PS] PandasSQLStringFormatter.vformat を有効にして Spark Connect を操作する
• [SPARK-44325] [SC-136572][sql] SortMergeJoinExec で PartitionEvaluator API を使用する
• [SPARK-44315] [SC-136171][sql][CONNECT] DefinedByConstructorParams を sql/api に移動する
• [SPARK-44275] [SC-136184][connect] Scala Spark Connect に構成可能な再試行メカニズムを追加する
• [SPARK-44326] [SC-136208][sql][CONNECT] Scala クライアントから一般的なモジュールに使用されるユーティリティを移動する
• [SPARK-43321] [SC-136156][接続] データセット#Joinwith
• [SPARK-44343] [SC-136372][connect] SQL/API への移動に ScalaReflection を準備する
• [SPARK-44313] [SC-136081][sql] スキーマに char/varchar 列がある場合に生成された列式の検証を修正しました
• [SPARK-43963] [SC-134145][sql] DataSource V2: グループベースのソースの MERGE コマンドを処理する
• [SPARK-44363] [SC-136433] [PYTHON] DataFrame 比較で等しくない行の割合を表示する
• [SPARK-44251] [SC-136432][sql] 完全外部 USING 結合の結合キーで null 許容を正しく設定する
• [SPARK-43948] [SC-133366][sql] エラー クラスに名前を割り当てる LEGACY_ERROR_TEMP[0050|0057|0058|0059]
• [SPARK-44329] [SC-136326][connect][PYTHON] Scala と Python にhll_sketch_agg、hll_union_agg、to_varchar、try_aes_decryptを追加する
• [SPARK-44351] [SC-136353][sql] 構文を簡略化する
• [SPARK-44281] [SC-135963][sql] DataType で使用される QueryCompilation エラーを Sql/api に DataTypeErrors として移動する
• [SPARK-44283] [SC-136109][connect] オリジンを SQL/API に移動する
• [SPARK-43926] [SC-135590][connect][PYTHON] Scala と Python に配列agg、array_size、カーディナリティ、count_min_sketch、マスク、named_struct、json* を追加する
• [SPARK-44327] [SC-136187][sql][CONNECT] 関数 any と len を Scala に追加する
• [SPARK-44290] [SC-136300][connect] Spark Connect のセッション ベースのファイルとアーカイブ
• [SPARK-44061] [SC-136299][python] assertDataFrameEqual util 関数を追加する
• [SPARK-44331] [SC-136324][connect][PYTHON] Scala と Python にビットマップ関数を追加する
• [SPARK-44342] [SC-136334][sql] SQLContext を GenTPCDSData の SparkSession に置き換える
• [SPARK-42583] [SC-124190][sql] 外部結合がすべて個別の集計関数である場合は、外部結合を削除します
• [SPARK-44333] [SC-136206][connect][SQL] EnhancedLogicalPlan を ParserUtils から移動する
• [SPARK-43824] [SC-132655][spark-43825] [SQL] エラー クラスに名前を割り当てる _LEGACY_ERROR_TEMP_128[1-2]
• [SPARK-43939] [SC-134602][connect][PYTHON] Scala と Python にtry_* 関数を追加する
• [SPARK-44193] [SC-135886][connect] 変換用に GRPC 例外インターセプトを実装する
• [SPARK-44284] [SC-136107][connect] sql/api 用の単純な conf システムを作成する
• [SPARK-43913] [SC-133368][sql] エラー クラスに名前を割り当てる LEGACY_ERROR_TEMP[2426-2432]
• [SPARK-44291] "[SC-135924][spark-43416][CONNECT] 範囲クエリのスキーマが正しくない問題を修正しました" を元に戻す
• [SPARK-44312] [SC-136185][connect][PYTHON] 環境変数を使用してユーザー エージェントを設定できるようにする
• [SPARK-44154] [SC-136060] ビットマップ関数を実装する
• [SPARK-43885] [SC-133996][sql] DataSource V2: 差分ベースのソースの MERGE コマンドを処理する
• [SPARK-43924] [SC-135161][connect][PYTHON] Scala と Python に他の関数を追加する
• [SPARK-43969] [SC-134556][sql] リファクタリングしてエラー クラスに名前を割り当てる_LEGACY_ERROR_TEMP_1170
• [SPARK-44185] [SC-135730][sql] カタログ操作とデータ操作の間の一貫性のないパスの修飾を修正する
• [SPARK-44073] [SC-134562][sql][PYTHON][connect] Scala、Python、Connect に日時関数を追加する - パート 2
• [SPARK-43942] [SC-134527][connect][PYTHON] Scala と Python に文字列関数を追加する - パート 1
• [SPARK-44266] [SC-135813][sql] Util.truncatedString を sql/api に移動する
• [SPARK-44195] [SC-135722][r] JobTag API を SparkR SparkContext に追加する
• [SPARK-44200] [SC-135736][sql] TableValuedFunction TABLE 引数パーサー ルールのサポート
• [SPARK-44254] [SC-135709][sql] DataType で使用される QueryExecutionErrors を Sql/api に DataTypeErrors として移動する
• [SPARK-44291] [SC-135924][spark-43416][CONNECT] 範囲クエリの不適切なスキーマを修正
• [SPARK-43922] [SC-135612][sql] 関数呼び出しのパーサーに名前付きパラメーターのサポートを追加する
• [SPARK-44300] [SC-135882][connect] 削除スコープをセッション固有の成果物に制限するように成果物のクリーンアップを修正する
• [SPARK-44293] [SC-135849][connect] Spark Connect のカスタム JAR の無効な URI を修正する
• [SPARK-44215] [SC-135850][shuffle] num チャンクが 0 の場合、サーバーは RuntimeException をスローする必要があります
• [SPARK-44245] [SC-135851][python] pyspark.sql.dataframe sample() doctests は説明専用にする必要があります
• [SPARK-44274] [SC-135814][connect] ArtifactManager で使用されるユーティリティ関数を共通/ユーティリティに移動する
• [SPARK-44194] [SC-135815][python][CORE] PySpark SparkContext に JobTag API を追加する
• [SPARK-42828] [SC-135733][python][SQL] GroupedData のより明示的な Python 型注釈
• [SPARK-44079] [SC-135486][sql] 破損したレコードで PERMISSIVE モードを使用して配列を構造体として解析するときの ArrayIndexOutOfBoundsException を修正
• [SPARK-44255] [SC-135809][sql] StorageLevel を common/utils に再配置する
• [SPARK-42169] [SC-135795] [SQL] to_csv関数のコード生成を実装する (StructsToCsv)
• [SPARK-44249] [SC-135719][sql][PYTHON] 戻り値の型を個別に送信するように PythonUDTFRunner をリファクターする
• [SPARK-43353] [SC-132734][python] 残りのセッション エラーをエラー クラスに移行する
• [SPARK-44211] [SC-135718][python][CONNECT] SparkSession.is_stoppedを実装する
• [SPARK-42784] マージ dir の subDir の数が conf より小さい場合、[SC-135691] で subDir を作成する必要がある
• [SPARK-41599] [SC-135616] InProcessLauncher を使用してクラスターをセキュリティで保護するアプリを送信するときの FileSystem.CACHE のメモリ リーク
• [SPARK-44241] [SC-135613][core] 誤って io.connectionTimeout/connectionCreationTimeout を 0 または負に設定すると、絶え間ない Executor の短所/破棄が発生する
• [SPARK-44133] [SC-134795][13.x][PYTHON] MyPy を 0.920 から 0.982 にアップグレードする
• [SPARK-42941] [SC-134707][ss][CONNECT][1/2] StreamingQueryListener - JSON 形式のイベント Serde
• [SPARK-44188] [SC-135173][core] で不要な resetAllPartitions メソッドを削除する ActiveJob
• [SPARK-43757] [SC-135418][connect] クライアントの互換性を許可リストから拒否リストに変更する
• [SPARK-43474] [SC-135521] [SS] [CONNECT] SPARK Connect アクセスをランタイム データフレームに ID で追加します。
• [SPARK-44183] [SC-135209][python] 最小バージョン PyArrow 4.0.0 にインクリレートする
• [SPARK-44248] [SC-135554][ss][SQL][kafka] kafka ソース v2 に優先する場所を追加する
• [SPARK-43929] [SC-134510][sql][PYTHON][connect] Scala、Python、Connect API に日時関数を追加する - パート 1
• [SPARK-44161] [SC-135326][connect] UDF の行入力を処理する
• [SPARK-44227] [SC-135520][sql] StructField から SchemaUtils を抽出する
• [SPARK-44064] [SC-135116][core][SQL] 新しい apply 関数を追加する NonFateSharingCache
• [SPARK-44171] [SC-135269][sql] エラー クラス に名前を割り当てる LEGACY_ERROR_TEMP[2279-2282] 未使用のエラー クラスをいくつか削除する
• [SPARK-44056] [SC-134758][sql] UDF の実行エラー メッセージに UDF 名を含める (使用可能な場合)
• [SPARK-44205] [SC-135422][sql] DecimalType から Catalyst コードを抽出する
• [SPARK-44220] [SC-135484][sql] StringConcat を sql/api に移動する
• [SPARK-44146] [SC-135230][connect] Spark Connect セッション jar とクラスファイルを分離する
• [SPARK-44206] [SC-135411][sql] DataSet.selectExpr scope Session.active
• [SPARK-40850] [SC-135417][sql] テスト ケースで解釈されたクエリが Codegen を実行する可能性がある問題を修正する
• [SPARK-44204] [SC-135253][sql][HIVE] getPartitionNames に不足している recordHiveCall を追加する
• [SPARK-44237] [SC-135485][core] DirectByteBuffer コンストラクターの参照ロジックを簡略化する
• [SPARK-44189] [SC-135170][connect][PYTHON] 位置引数をサポートするsql()
• [SPARK-44140] [SC-134893][sql][PYTHON] Python での位置指定パラメーターのサポート sql()
• [SPARK-44164] [SC-135158][sql] StructField から Util クラスへの toAttribute メソッドの抽出
• [SPARK-44178] [SC-135113][connect] で位置パラメーターをサポート sql()
• [SPARK-43208] [SC-128955][sql][HIVE] IsolatedClassLoader は読み取り後にバリア クラス InputStream を閉じる必要がある
• [SPARK-43063] [SC-128382][sql] df.show は null ではなく NULL を出力するようにすべきです
• [SPARK-42539] [SC-124464][sql][HIVE] メタデータ クライアントに 'builtin' Hive バージョンを使用する場合に別のクラスローダーを排除する
• [SPARK-43992] [SC-133645][sql][PYTHON][connect] Catalog.listFunctions のオプション パターンを追加する
• [SPARK-44066] [SC-134878][sql] Scala/Java での位置指定パラメーターのサポート sql()
• [SPARK-44078] [SC-134869][connect][CORE] classloader/resource isolation のサポートを追加
• [SPARK-43470] [SC-135187][core] OS、Java、Python のバージョン情報をアプリケーション ログに追加する
• [SPARK-43136] [SC-135238][connect][Followup] KeyAs のテストの追加
• [SPARK-39740] [SC-135093][ui]: VIS タイムラインを 7.7.2 にアップグレードして CVE-2020-28487 を修正する
• [SPARK-42298] [SC-133952][sql] _LEGACY_ERROR_TEMP_2132に名前を割り当てる
• [SPARK-43961] [SC-133459][sql][PYTHON][connect] Catalog.listTables のオプション パターンを追加する
• [SPARK-44026] [SC-135181] SQLMetrics の初期値の指定を許可する
• [SPARK-44202] [SC-135244][core] JobTag API を JavaSparkContext に追加する
• [SPARK-44030] [SC-135237][sql] 式に対して Unapply を提供する DataTypeExpression を実装する
• [SPARK-43876] "[SC-134603][sql] 個別のクエリに対して高速ハッシュマップを有効にする" を元に戻す
• [SPARK-40082] [SC-126437] プッシュ マージの shuffleMapStage 再試行時に mergeFinalize をスケジュールするが、実行中のタスクがない
• [SPARK-43888] [SC-132893][core] 共通/ユーティリティへのログの再配置
• [SPARK-43474] [SC-134400] [SS] [CONNECT] SparkConnectPlanner に SessionHolder を追加する
• [SPARK-43944] [SC-134490][connect][PYTHON] Scala と Python に文字列関数を追加する - パート 2
• [SPARK-44134] [SC-134954][core] spark-defaults.conf で設定されているリソース (GPU/FPGA) を 0 に設定する問題を修正
• [SPARK-44142] [SC-134947][python] python 型を spark 型に変換するユーティリティで型を tpe に置き換える
• [SPARK-43952] [SC-134695][core][CONNECT][sql] タグによるクエリキャンセル用の SparkContext API を追加する
• [SPARK-44000] [SC-133634][sql] ブロードキャストを無効にし、結合の一方の側をレプリケートするためのヒントを追加する
• [SPARK-43937] [SC-134362][connect][PYTHON] ifnull,isnotnull,equal_null,nullif,nvl,nvl2 を Scala と Python に追加する
• [SPARK-43624] [13.x][sc-134557][PS][connect] SparkConnectPlanner に EWM を追加します。
• [SPARK-44040] [SC-134366][sql] QueryStageExec の上にある AggregateExec ノードのコンピューティング統計を修正する
• [SPARK-43485] [SC-131264][sql] datetime add/diff 関数の unit 引数のエラー メッセージを修正する
• [SPARK-43794] [SC-132561][sql] エラー クラスに名前を割り当てる_LEGACY_ERROR_TEMP_1335
• [SPARK-43511] [SC-134749][connect][SS]Spark Connect 用に実装された MapGroupsWithState API と FlatMapGroupsWithState API
• [SPARK-43529] [SQL] CREATE/REPLACE TABLE OPTIONS 表現とコードのクリーンアップをサポートする
• [SPARK-44106] [SC-134750][python][CONNECT] __repr__ のために GroupedData を追加
• [SPARK-42299] [SC-133190] _LEGACY_ERROR_TEMP_2206 に名前を割り当てる
• [SPARK-43290] [SC-134388][sql] aes_encrypt IV と AAD のサポートを追加
• [SPARK-43932] [SC-134138][sql][PYTHON][connect] Scala と Python に関数のような current を追加する
• [SPARK-43934] [SC-134108][sql][PYTHON][connect] Scala と Python にregexp_* 関数を追加する
• [SPARK-44107] [SC-134746][connect][PYTHON] サポートされていない Column メソッドをオートコンプリートから非表示にする
• [SPARK-42941] [SC-134707][ss][CONNECT][1/2] StreamingQueryListener - JSON 形式のイベント Serde
• [SPARK-43773] [SC-132659][connect][PYTHON] python クライアントに 'levenshtein(str1, str2[, threshold])' 関数を実装する
• [SPARK-44125] [SC-134745][r] SparkR での Java 21 のサポート
• [SPARK-43919] [SC-133374][sql] JSON 機能を行外に抽出する
• [SPARK-43769] [SC-132520][connect] 'levenshtein(str1, str2[, threshold])' 関数を実装する
• [SPARK-44012] [SC-134662][ss] KafkaDataConsumer を使用して読み取り状態を出力する
• [SPARK-43876] [SC-134603][sql] 個別のクエリに対して高速ハッシュマップを有効にする
• [SPARK-44024] [SC-134497][sql] mapが1つの要素の抽出にのみ使用される場合、unzipを使用するように変更
• [SPARK-43928] [SC-134467][sql][PYTHON][connect] Scala、Python、Connect API にビット操作を追加する
• [SPARK-44092] [SC-134506][core] Utils.isJavaVersionAtLeast21 を追加し、Java 21 でモジュール core パスさせる
• [SPARK-44018] [SC-134512][sql] DS V2 式のハッシュコードと toString を改善する
• [SPARK-44105] [SC-134582][sql] LastNonNull は遅延解決する必要があります
• [SPARK-44081] [SC-134434] PartitionedFileUtil API を少し簡略化する
• [SPARK-43791] [SC-132531][sql] エラー クラスに名前を割り当てる_LEGACY_ERROR_TEMP_1336
• [SPARK-44071] [SC-134435] 未解決の定義と使用[リーフ|単項]ノードの特徴。
• [SPARK-43852] [SC-132890][spark-43853][SPARK-43854][spark-43855][SPARK-43856] エラー クラスに名前を割り当てる _LEGACY_ERROR_TEMP_2418-2425
• [SPARK-43742] [SC-132684][sql] 既定の列値解決をリファクタリングする
• [SPARK-43493] [SC-132063][sql] levenshtein() 関数に最大距離引数を追加する
• [SPARK-44075] [SC-134382][connect] transformStatCorr 遅延させる
• [SPARK-43925] [SC-134381][sql][PYTHON][connect] Scala、Python、Connect に関数 some、bool_or、bool_and、every を追加する
• [SPARK-43931] [SC-134158][sql][PYTHON][connect] Scala と Python にmake_* 関数を追加する
• [SPARK-43762] [SC-132602][spark-43763][SPARK-43764][spark-43765][SPARK-43766][sql] エラー クラスに名前を割り当てる _LEGACY_ERROR_TEMP_24[06-10]
• [SPARK-43962] [SC-133367][sql] エラー メッセージの改善: CANNOT_DECODE_URL、 CANNOT_MERGE_INCOMPATIBLE_DATA_TYPE、 CANNOT_PARSE_DECIMAL、 CANNOT_READ_FILE_FOOTER、 CANNOT_RECOGNIZE_HIVE_TYPE。
• [SPARK-43938] [SC-133887][connect][PYTHON] Scala と Python にto_* 関数を追加する
• [SPARK-44055] [SC-134321][core] 冗長な override 関数を削除する CheckpointRDD
• [SPARK-43802] [SC-132597][sql] unhex と unbase64 の codegen を failOnError=true に修正
• [SPARK-43798] [SC-133990][sql][PYTHON] Python ユーザー定義テーブル関数をサポート
• [SPARK-43941] [SC-134286][sql][PYTHON][connect] Scala、Python、Connect API にany_value、approx_percentile、count_if、first_value、histogram_numeric、last_value、reduce を追加する
• [SPARK-43380] [SC-133100][sql] 誤った結果が生成されないように Avro データ型変換の問題を修正する
• [SPARK-43803] [SC-133729] [SS] [CONNECT] awaitTermination() を改善してクライアントの切断を処理する
• [SPARK-43179] [SC-129070][shuffle] 外部シャッフル サービスによってメタデータが db に保存されるかどうかをアプリが制御できるようにする

Databricks ODBC/JDBC ドライバーのサポート

Databricks では、過去 2 年間にリリースされた ODBC/JDBC ドライバーがサポートされています。 最近リリースされたドライバーをダウンロードしてアップグレードしてください (ODBC のダウンロード、JDBC のダウンロード)。

Databricks Runtime 13.3 のメンテナンス更新プログラムを参照してください。

システム環境

• オペレーティング システム: Ubuntu 22.04.2 LTS
  • 注: これは、Databricks ランタイム コンテナーで使用される Ubuntu バージョンです。 DBR コンテナーは、異なる Ubuntu バージョンまたは Linux ディストリビューションを使用する可能性があるクラウド プロバイダーの仮想マシン上で実行されます。
• Java: Zulu 8.70.0.23-CA-linux64
• Scala: 2.12.15
• Python: 3.10.12
• R: 4.2.2
• Delta Lake: 2.4.0

インストールされている Python ライブラリ

インストールされている R ライブラリ

R ライブラリは、2023-02-10: https://packagemanager.posit.co/cran/__linux__/jammy/2023-02-10/に Posit パッケージ マネージャー CRAN スナップショットからインストールされます。

インストールされている Java ライブラリと Scala ライブラリ (Scala 2.12 クラスター バージョン)