Databricks Runtime 14.1 (EoS)

次のリリース ノートには、Apache Spark 3.5.0 で稼働する Databricks Runtime 14.1 に関する情報が記載されています。

Databricks は、2023 年 10 月にこのバージョンをリリースしました。

新機能と機能強化

• array_insert() は負のインデックスに対して 1 ベースです
• リキッド クラスタリングが既定で有効になっている Delta v2 チェックポイント
• パブリック プレビューの Delta テーブル機能の削除
• Delta Sharing: 受信者は削除ベクトルを含む共有テーブル上でバッチ クエリを実行することができます (パブリック プレビュー)
• Delta Sharing: 受信者は列マッピングを含む共有テーブル上でバッチ クエリを実行することができます (パブリック プレビュー)
• パブリック プレビューでの Unity カタログ ビューからのストリーム
• パブリック プレビューでの Apache Pulsar コネクタ
• Snowflake ドライバーをアップグレードしました
• SQL セッション変数
• SQL および Python UDF に対する名前付きパラメーターの呼び出し。
• 関数へのテーブル引数は、パーティション分割と順序付けをサポートします。
• 新しい組み込み SQL 関数と強化された組み込み SQL 関数
• 相関のあるサブクエリの処理が改善されました

array_insert() は負のインデックスに対して 1 ベースです

array_insert 関数は、正のインデックスと負のインデックスのいずれに対しても 1 ベースです。 インデックス 1 の入力配列の最後に新しい要素を挿入するようになりました。 以前の動作を復元するには、spark.sql.legacy.negativeIndexInArrayInsert を true に設定します。

リキッド クラスタリングが既定で有効になっている Delta v2 チェックポイント

リキッド クラスタリングありで新しく作成された Delta テーブルでは、既定で v2 チェックポイントが使用されます。 「リキッド クラスタリングを使用したテーブルの互換性」を参照してください。

パブリック プレビューの Delta テーブル機能の削除

Delta テーブルの一部のテーブル機能を削除できるようになりました。 現在のサポートには、deletionVectors と v2Checkpoint の削除が含まれます。 Delta Lake テーブル機能の削除とテーブル プロトコルのダウングレードに関する記事を参照してください。

Delta Sharing: 受信者は削除ベクトルを含む共有テーブル上でバッチ クエリを実行することができます (パブリック プレビュー)

Delta Sharing の受信者は、削除ベクトルを使用する共有テーブル上でバッチ クエリを実行することができるようになりました。 「削除ベクトルまたは列マッピングを含むテーブルの共有への追加」、「削除ベクトルまたは列マッピングが有効なテーブルの読み取り」、「削除ベクトルまたは列マッピングが有効なテーブルの読み取り」を参照してください。

Delta Sharing: 受信者は列マッピングを含む共有テーブル上でバッチ クエリを実行することができます (パブリック プレビュー)

Delta Sharing の受信者は、列マッピングを使用する共有テーブル上でバッチ クエリを実行できるようになりました。 「削除ベクトルまたは列マッピングを含むテーブルの共有への追加」、「削除ベクトルまたは列マッピングが有効なテーブルの読み取り」、「削除ベクトルまたは列マッピングが有効なテーブルの読み取り」を参照してください。

パブリック プレビューでの Unity カタログ ビューからのストリーム

構造化ストリーミングを使用して、Unity カタログに登録されているビューからのストリーミング読み取りを実行できるようになりました。 Azure Databricks では、Delta テーブルに対して定義されたビューからのストリーミング読み取りのみがサポートされます。

パブリック プレビューでの Apache Pulsar コネクタ

構造化ストリーミングを使用して、Azure Databricks 上の Apache Pulsar からデータをストリーミングできるようになりました。 「Apache Pulsar からのストリーム」を参照してください。

アップグレードされた Snowflake ドライバー

Snowflake JDBC ドライバーでは、バージョン 3.13.33 が使われるようになりました。

SQL セッション変数

このリリースでは、セッションで一時変数を宣言し、クエリ内で設定して参照できるようになりました。 「変数」を参照してください。

SQL および Python UDF に対する名前付きパラメーターの呼び出し。

SQL および Python UDF での名前付きパラメーターの呼び出しを使用できるようになりました。

関数へのテーブル引数は、パーティション分割と順序付けをサポートします。

関数呼び出し時にテーブル引数を関数に渡す方法を制御するために、PARTITION BY 句と ORDER BY 句を使用できるようになりました。

新しい組み込み SQL 関数と強化された組み込み SQL 関数

以下の組み込み関数が追加されました。

• from_xml: XML STRING を STRUCT に解析します。
• schema_of_xml: XML STRING からスキーマを抽出します。
• session_user: ログインしているユーザーを返します。
• try_reflect: Java メソッドが失敗した場合、例外の代わりに NULL を返します。

以下の組み込み関数が強化されました。

• mode: 決定論的な結果を強制するオプション パラメーターに対するサポート。
• to_char: DATE、TIMESTAMP、BINARY に対する新しいサポート。
• to_varchar: DATE、TIMESTAMP、BINARY に対する新しいサポート。

相関のあるサブクエリの処理が改善されました

次のサブクエリで相関を処理する機能が拡張されました。

• 相関スカラー (横断) サブクエリで制限と順序を処理します。
• 関連付けられたスカラー サブクエリでウィンドウ関数をサポートします。
• スカラーサブクエリおよびラテラルサブクエリの結合述語における相関参照をサポートします

動作変更:

Photon Parquet リーダーでの厳密な型チェック

Photon は、10 進型ではない Parquet 列から 10 進値を読み取ろうとすると失敗します。 Photon は、Parquet から固定長バイト配列を文字列として読み取るときも失敗します。

ライブラリのアップグレード

• アップグレードされた Python ライブラリ:
  • filelock: 3.12.2 から 3.12.3
  • s3transfer: 0.6.1 から 0.6.2 へ
• アップグレードされた Java ライブラリ:
  • com.uber.h3: 3.7.0 から 3.7.3
  • io.airlift.aircompressor のバージョンが 0.24 から 0.25 に更新されました
  • io.delta.delta-sharing-spark_2.12: 0.7.1 から 0.7.5
  • io.netty.netty-all: 4.1.93.Final から 4.1.96.Final
  • io.netty.netty-buffer: 4.1.93.Final から 4.1.96.Final
  • io.netty.netty-codec: 4.1.93.Final から 4.1.96.Final
  • io.netty.netty-codec-http: 4.1.93.Final から 4.1.96.Final
  • io.netty.netty-codec-http2: 4.1.93.Final から 4.1.96.Final
  • io.netty.netty-codec-socks: 4.1.93.Final から 4.1.96.Final
  • io.netty.netty-common: 4.1.93.Final から 4.1.96.Final
  • io.netty.netty-handler: 4.1.93.Final から 4.1.96.Final
  • io.netty.netty-handler-proxy: 4.1.93.Final から 4.1.96.Final
  • io.netty.netty-resolver: 4.1.93.Final から 4.1.96.Final
  • io.netty.netty-transport を 4.1.93.Final から 4.1.96.Final に変更
  • io.netty.netty-transport-classes-epoll: 4.1.93.Final から 4.1.96.Final
  • io.netty.netty-transport-classes-kqueue: 4.1.93.Final から 4.1.96.Final
  • io.netty.netty-transport-native-epoll: 4.1.93.Final-linux-x86_64 から 4.1.96.Final-linux-x86_64
  • io.netty.netty-transport-native-kqueue: 4.1.93.Final-osx-x86_64 から 4.1.96.Final-osx-x86_64
  • io.netty.netty-transport-native-unix-common: 4.1.93.Final から 4.1.96.Final
  • net.snowflake.snowflake-jdbc: 3.13.29 から 3.13.33
  • org.apache.orc.orc-core: 1.9.0-shaded-protobuf から 1.9.1-shaded-protobuf
  • org.apache.orc.orc-mapreduce: 1.9.0-shaded-protobuf から 1.9.1-shaded-protobuf
  • org.apache.orc.orc-shims: 1.9.0 から 1.9.1

Apache Spark

Databricks Runtime 14.1 には、Apache Spark 3.5.0 が含まれています。 このリリースには、Databricks Runtime 14.0 (サポート期間終了) に含まれる Spark のすべての修正プログラムと機能強化に加え、Spark に対して行われた以下の追加のバグ修正と機能強化が含まれています。

• [SPARK-45088] [DBRRM-557] "[SC-142785][python][CONNECT] getitem を重複する列で動作させる" を元に戻す
• [SPARK-43453] [DBRRM-557]「[SC-143135][ps] namesのMultiIndexを行う際にaxis=1のconcatを無視する」という変更を取り消す
• [SPARK-45225] [SC-143207][sql] XML: XSD ファイル URL のサポート
• [SPARK-45156] [SC-142782][sql] inputNameをバックティックでNON_FOLDABLE_INPUTエラークラス内でラップする
• [SPARK-44910] [SC-143082][sql] Encoders.bean はジェネリック型引数を持つスーパークラスをサポートしていません
• [SPARK-43453] [SC-143135][ps] names時にMultiIndexのaxis=1を無視するconcat
• [SPARK-44463] [SS][connect] Connect steaming Python worker のエラー処理を改善する
• [SPARK-44960] [SC-141023][ui] UI ページ間でエラーの概要のエスケープを解除し、一貫性を持たせる
• [SPARK-44788] [SC-142980][connect][PYTHON][sql] pyspark、spark connect、sql 関数にfrom_xmlとschema_of_xmlを追加する
• [SPARK-44614] [SC-138460][python][CONNECT][3.5] 不足しているパッケージを setup.py に追加する
• [SPARK-45151] [SC-142861][core][UI] タスク レベルのスレッド ダンプのサポート
• [SPARK-45056] [SC-142779][python][SS][connect] streamingQueryListener と foreachBatch の終了テスト
• [SPARK-45084] [SC-142828][ss] StateOperatorProgress が正確な有効なシャッフルパーティション番号を使用する
• [SPARK-44872] [SC-142405][connect] サーバーテストインフラとReattachableExecuteSuite
• [SPARK-45197] [SC-142984][core] StandaloneRestServer ドライバーに JavaModuleOptions を追加する
• [SPARK-44404] [SC-139601][sql] エラー クラスに名前を割り当てる LEGACY_ERROR_TEMP[1009,1010,1013,1015,1016,1278]
• [SPARK-44647] [SC-142297][sql] 結合キーがクラスター キーより小さい SPJ をサポート
• [SPARK-45088] [SC-142785][python][CONNECT] 重複する列で getitem を機能させる
• [SPARK-45128] [SC-142851][sql] ArrowでのCalendarIntervalTypeのサポート
• [SPARK-45130] [SC-142976][connect][ML][python] Spark Connect ML モデルが入力 pandas データフレームを変更しないように回避する
• [SPARK-45034] [SC-142959][sql] 決定論的モード関数のサポート
• [SPARK-45173] [SC-142931][ui] UI で不要な sourceMapping ファイルを削除する
• [SPARK-45162] [SC-142781][sql] を介して構築されたマップと配列パラメーターのサポート call_function
• [SPARK-45143] [SC-142840][python][CONNECT] PySpark を PyArrow 13.0.0 と互換性のあるものにする
• [SPARK-45174] [SC-142837][core] サポート spark.deploy.maxDrivers
• [SPARK-45167] [SC-142956][connect][PYTHON] Python クライアントが呼び出す必要がある release_all
• [SPARK-36191] [SC-142777][sql] 相関スカラー (ラテラル) サブクエリで LIMIT と ORDER BY を処理する
• [SPARK-45159] [SC-142829][python] 必要な場合にのみ名前付き引数を処理する
• [SPARK-45133] [SC-142512][connect] 最後の結果タスクが完了したときに Spark Connect クエリを完了させる
• [SPARK-44801] [SC-140802][sql][UI] リスナーと UI で失敗したクエリの分析をキャプチャする
• [SPARK-45139] [SC-142527][sql] DATAbricksDialect を追加して SQL 型変換を処理する
• [SPARK-45157] [SC-142546][sql] if のチェックを繰り返さないようにする [On|Off|HeapColumnVector
• [SPARK-45077] "[SC-142069][ui] dagre-d3.js を 04.3 から 0.6.4 にアップグレードする" を元に戻す
• [SPARK-45145] [SC-142521][example] JavaSparkSQLCli の追加の例
• [SPARK-43295] 「[SC-142254][ps] DataFrameGroupBy.sumで文字列型の列をサポートする」を取り消す
• [SPARK-44915] [SC-142383][core] 回復前に再マウントされた PVC のシャッフル データのチェックサムを検証する
• [SPARK-45147] [SC-142524][core] System.setSecurityManager の使用を削除する
• [SPARK-45104] [SC-142206][ui] graphlib-dot.min.js を 1.0.2 にアップグレードする
• [SPARK-44238] [SC-141606][core][SQL] 新たな readFrom メソッドをバイト配列入力で導入する BloomFilter
• [SPARK-45060] [SC-141742][sql] to_char()NULL形式に関連する内部エラーを修正する
• [SPARK-43252] [SC-142381][sql] エラー クラスの _LEGACY_ERROR_TEMP_2016 を内部エラーに置き換える
• [SPARK-45069] [SC-142279][sql] 外部参照後に SQL 変数を常に解決する必要がある
• [SPARK-44911] [SC-142388][sql] 無効な列を含む Hive テーブルを作成すると、エラー クラスが返されます
• [SPARK-42754] [SC-125567][sql][UI] ネストされた SQL 実行における下位互換性の問題を修正
• [SPARK-45121] [SC-142375][connect][PS] Spark Connect のサポート Series.empty 。
• [SPARK-44805] [SC-142203][sql] getBytes/getShorts/getInts/etc. は、ディクショナリを持つ列ベクトルで機能する必要があります
• [SPARK-45027] [SC-142248][python] pyspark.sql.functions の内部関数/変数をオートコンプリートから非表示にする
• [SPARK-45073] [SC-141791][ps][CONNECT] LastNotNull を Last(ignoreNulls=True)
• [SPARK-44901] [SC-141676][sql] 手動バックポート: パーティション分割/順序付け式を返す Python UDTF 'analyze' メソッドに API を追加する
• [SPARK-45076] [SC-141795][ps] 組み込みの repeat 関数に切り替える
• [SPARK-44162] [SC-141605][core] Spark メトリックでの G1GC のサポート
• [SPARK-45053] [SC-141733][python][MINOR] Python バージョンの不一致でのログの改善
• [SPARK-44866] [SC-142221][sql] ブール型を正しく処理する SnowflakeDialect を追加する
• [SPARK-45064] [SC-141775][python][CONNECT] 不足している scale パラメーターを に追加します ceil/ceiling
• [SPARK-45059] [SC-141757][connect][PYTHON] Scala と Python に try_reflect 関数を追加する
• [SPARK-43251] [SC-142280][sql] エラー クラスの _LEGACY_ERROR_TEMP_2015 を内部エラーに置き換える
• [SPARK-45052] [SC-141736][sql][PYTHON][connect] 関数エイリアスの出力列名を SQL と一致させる
• [SPARK-44239] [SC-141502][sql] ベクターのリセット時に大きなベクターによって割り当てられる空きメモリ
• [SPARK-43295] [SC-142254][ps] 文字列型の列をサポートしますDataFrameGroupBy.sum
• [SPARK-45080] [SC-142062][ss] DSv2 ストリーミング データ ソースでの列形式のサポートを明示的に呼び出す
• [SPARK-45036] [SC-141768][sql] SPJ: 部分的にクラスター化された分散を処理するロジックを簡略化する
• [SPARK-45077] [SC-142069][ui] dagre-d3.js を 0.4.3 から 0.6.4 にアップグレードする
• [SPARK-45091] [SC-142020][python][CONNECT][sql] 関数 floor/round/bround 列型を受け入れる scale
• [SPARK-45090] [SC-142019][python][CONNECT] DataFrame.{cube, rollup} 列の順序をサポートする
• [SPARK-44743] [SC-141625][sql] try_reflect 関数を追加する
• [SPARK-45086] [SC-142052][ui] スレッド ロック ハッシュ コードの 16 進数を表示する
• [SPARK-44952] [SC-141644][sql][PYTHON] 集計 Pandas UDF での名前付き引数のサポート
• [SPARK-44987] [SC-141552][sql] エラー クラスに名前を割り当てる _LEGACY_ERROR_TEMP_1100
• [SPARK-45032] [SC-141730][connect] に関連するコンパイル警告を修正する Top-level wildcard is not allowed and will error under -Xsource:3
• [SPARK-45048] [SC-141629][connect] Python クライアントとアタッチ可能な実行のテストを追加する
• [SPARK-45072] [SC-141807][connect] アンモナイト クラスの外部スコープを修正
• [SPARK-45033] [SC-141759][sql] パラメーター化によるマップのサポート sql()
• [SPARK-45066] [SC-141772][sql][PYTHON][connect] 関数repeatが列型nを受け入れられるようにする
• [SPARK-44860] [SC-141103][sql] SESSION_USER関数を追加する
• [SPARK-45074] [SC-141796][python][CONNECT] DataFrame.{sort, sortWithinPartitions} 列番号をサポートする
• [SPARK-45047] [SC-141774][python][CONNECT] DataFrame.groupBy 順序番号をサポート
• [SPARK-44863] [SC-140798][ui] Spark UI でスレッド ダンプを txt としてダウンロードするボタンを追加する
• [SPARK-45026] [SC-141604][connect] spark.sql は、矢印と互換性のないデータ型をサポートする必要があります
• [SPARK-44999] [SC-141145][core] 呼び出し時のExternalSorterのチェックを減らすためにshouldPartitionをリファクタリングするgetPartition
• [SPARK-42304] [SC-141501][sql] _LEGACY_ERROR_TEMP_2189 の名前を GET_TABLES_BY_TYPE_UNSUPPORTED_BY_HIVE_VERSION に変更する
• [SPARK-43781] [SC-139450][sql] 同じソースから派生した 2 つのデータセットをグループ化するときに IllegalStateException を修正する
• [SPARK-45018] [SC-141516][python][CONNECT] CalendarIntervalType を Python クライアントに追加する
• [SPARK-45024] [SC-141513][python][CONNECT] セッション作成で一部の構成を除外する
• [SPARK-45017] [SC-141508][python] PySpark に CalendarIntervalType を追加する
• [SPARK-44720] [SC-139375][connect] AgnosticEncoder の代わりにデータセットにエンコーダーを使用させる
• [SPARK-44982] [SC-141027][connect] Spark Connect サーバー構成を静的としてマークする
• [SPARK-44839] [SC-140900][ss][CONNECT] ユーザーが Spark セッションをシリアル化しようとしたときのエラー ログの向上
• [SPARK-44865] [SC-140905][ss] StreamingRelationV2 サポート メタデータ列を作成する
• [SPARK-45001] [SC-141141][python][CONNECT] DataFrame.foreachPartition を実装する
• [SPARK-44497] [SC-141017][webui] タスク テーブルにタスク パーティション ID を表示する
• [SPARK-45006] [SC-141143][ui] タイムラインの x 軸に他の UI 日付要素の同じ日付形式を使用する
• [SPARK-45000] [SC-141135][python][CONNECT] DataFrame.foreach を実装する
• [SPARK-44967] [SC-141137][sql][CONNECT] TreeNodeTag にブール値を使用する前に、最初にユニットを考慮する必要がある
• [SPARK-44993] [SC-141088][core] ShuffleChecksumUtils.compareChecksums を再利用して ShuffleChecksumTestHelp.compareChecksums を追加する
• [SPARK-44807] [SC-140176][connect] Dataset.metadataColumn を Scala クライアントに追加する
• [SPARK-44965] [SC-141098][python] 内部関数/変数を非表示にする pyspark.sql.functions
• [SPARK-44983] [SC-141030][sql] バイナリをto_charで文字列に変換するフォーマット: hex、base64、utf-8
• [SPARK-44980] [DBRRM-462][sc-141024][PYTHON][connect] createDataFrame で動作するように継承された namedtuple を修正
• [SPARK-44985] [SC-141033][core] タスクの再読み取り threadDump にスタックトレースの代わりに toString を使用する
• [SPARK-44984] [SC-141028][python][CONNECT] DataFrame から _get_alias を削除する
• [SPARK-44975] [SC-141013][sql] BinaryArithmetic の役に立たないオーバーライドの削除が解決された
• [SPARK-44969] [SC-140957][sql] ArrayInsert を再利用する ArrayAppend
• [SPARK-44549] [SC-140714][sql] 相関スカラー サブクエリでのウィンドウ関数のサポート
• [SPARK-44938] [SC-140811][sql] 既定値の spark.sql.maxSinglePartitionBytes を 128m に変更する
• [SPARK-44918] [SC-140816][sql][PYTHON] スカラー Python/Pandas UDF での名前付き引数のサポート
• [SPARK-44966] [SC-140907][core][CONNECT] 一度も変更されなかったvarをvalに変更する
• [SPARK-41471] [SC-140804][sql] 結合の片側のみが KeyGroupedPartitioning の場合に Spark シャッフルを減らす
• [SPARK-44214] [SC-140528][core] Spark Driver Live Log UI のサポート
• [SPARK-44861] [SC-140716][connect] jsonignore SparkListenerConnectOperationStarted.planRequest
• [SPARK-44776] [SC-140519][connect] ProducedRowCount を SparkListenerConnectOperationFinished に追加する
• [SPARK-42017] [SC-140765][python][CONNECT] df['col_name'] は列名を検証する必要があります
• [SPARK-40178] [SC-140433][sql][COONECT] PySpark と R の結合ヒントを簡単にサポート
• [SPARK-44840] [SC-140593][sql] 負のインデックスを1を基準にするための調整 array_insert()
• [SPARK-44939] [SC-140778][r] SparkR SystemRequirements での Java 21 のサポート
• [SPARK-44936] [SC-140770][core] Spark HybridStore がメモリ制限に達したときにログを簡略化する
• [SPARK-44908] [SC-140712][ml][CONNECT] クロスバリデーター foldCol param 機能の修正
• [SPARK-44816] [SC-140717][connect] UDF クラスが見つからない場合のエラー メッセージを改善する
• [SPARK-44909] [SC-140710][ml] 利用できない場合は、Torch ディストリビューターのログストリーミングサーバーの起動をスキップする
• [SPARK-44920] [SC-140707][core] TransportClientFactory.createClient() で awaitUninterruptibly() の代わりに await() を使用する
• [SPARK-44905] [SC-140703][sql] Stateful lastRegex により、regexp_replaceの eval で NullPointerException が発生する
• [SPARK-43987] [SC-139594][shuffle] finalizeShuffleMerge 処理を専用スレッドプールに分離する
• [SPARK-42768] [SC-140549][sql] 既定で AQE を適用するキャッシュされたプランを有効にする
• [SPARK-44741] [SC-139447][core] での正規表現ベースの MetricFilter のサポート StatsdSink
• [SPARK-44751] [SC-140532][sql] XML FileFormat インターフェイスの実装
• [SPARK-44868] [SC-140438][sql] datetime を文字列に変換する to_char/to_varchar
• [SPARK-44748] [SC-140504][sql] UDTF PARTITION引数の TABLE BY 句のクエリ実行
• [SPARK-44873] [SC-140427] Hive クライアントで入れ子になった列を含む変更ビューをサポートする
• [SPARK-44876] [SC-140431][python] Spark Connect での矢印最適化 Python UDF の修正
• [SPARK-44520] [SC-137845][sql] UNSUPPORTED_DATA_SOURCE_FOR_DIRECT_QUERYという用語をUNSUPPORTED_DATASOURCE_FOR_DIRECT_QUERYおよび開示ルート AE に置き換える
• [SPARK-42664] [SC-139769][connect] bloomFilter 関数をサポートする DataFrameStatFunctions
• [SPARK-43567] [SC-139227][ps] はuse_na_sentinelfactorizeに対応する
• [SPARK-44859] [SC-140254][ss] 構造化ストリーミング ドキュメントの不適切なプロパティ名を修正する
• [SPARK-44822] [SC-140182][python][SQL] Python UDF を既定で非決定論的にする
• [SPARK-44731] [SC-139524][python][CONNECT] Python Spark Connect のリテラルで TimestampNTZ を動作させる
• [SPARK-44836] [SC-140180][python] Arrow Python UDTF をリファクタリング
• [SPARK-44714] [SC-139238] having を含むクエリに関する LCA 解決の制限を緩和する
• [SPARK-44749] [SC-139664][sql][PYTHON] Python UDTF での名前付き引数のサポート
• [SPARK-44737] [SC-139512][sql][UI] SQL タブの SparkThrowable 以外の場合、SQL ページに JSON 形式のエラーを表示しない
• [SPARK-44665] [SC-139307][python] pandas DataFrame assertDataFrameEqual のサポートを追加
• [SPARK-44736] [SC-139622][connect] Spark Connect Scala クライアントに Dataset.explode を追加する
• [SPARK-44732] [SC-139422][sql] 組み込みの XML データ ソースのサポート
• [SPARK-44694] [SC-139213][python][CONNECT] アクティブなセッションをリファクタリングし、API として公開する
• [SPARK-44652] [SC-138881] 唯一の df が None の場合にエラーを発生させる
• [SPARK-44562] [SC-138824][sql] OptimizeOneRowRelationSubquery をサブクエリのバッチに追加する
• [SPARK-44717] [SC-139319][python][PS] リサンプリングでの TimestampNTZ の尊重
• [SPARK-42849] [SC-139365] [SQL] セッション変数
• [SPARK-44236] [SC-139239][sql] spark.sql.codegen.factoryMode を NO_CODEGEN に設定すると WholeStageCodegen を無効にする
• [SPARK-44695] [SC-139316][python] のエラー メッセージを改善する DataFrame.toDF
• [SPARK-44680] [SC-139234][sql] のパラメーターのエラーを改善する DEFAULT
• [SPARK-43402] [SC-138321][sql] FileSourceScanExec では、スカラー サブクエリを使用したプッシュ ダウン データ フィルターがサポートされます
• [SPARK-44641] [SC-139216][sql] SPJ がトリガーされない特定のシナリオで正しくない結果が発生する
• [SPARK-44689] [SC-139219][connect] 関数の例外処理 SparkConnectPlanner#unpackScalarScalaUDF より一般的なものにする
• [SPARK-41636] [SC-139061][sql] selectFilters が決定論的な順序で述語を返すようにします
• [SPARK-44132] [SC-139197][sql] codegen エラーを回避するために結合列名の Stream を具体化する
• [SPARK-42330] [SC-138838][sql] エラー クラスに名前 RULE_ID_NOT_FOUND を割り当てる _LEGACY_ERROR_TEMP_2175
• [SPARK-44683] [SC-139214][ss] ログ レベルが RocksDB 状態ストア プロバイダーに正しく渡されない
• [SPARK-44658] [SC-138868][core] ShuffleStatus.getMapStatus は、代わりに None を返す必要があります Some(null)
• [SPARK-44603] [SC-138353] pyspark.testing を setup.py に追加する
• [SPARK-44252] [SC-137505][ss] 新しいエラー クラスを定義し、DFS からの読み込み状態が失敗した場合に適用する
• [SPARK-29497] [DBRRM-396][sc-138477][CONNECT] UDF が逆シリアル化できないときにエラーをスローします。
• [SPARK-44624] [DBRRM-396][sc-138900][CONNECT] 初期要求がサーバーに到達しなかった場合の ExecutePlan の再試行
• [SPARK-41400] [DBRRM-396][sc-138287][CONNECT] Connect クライアント Catalyst 依存関係の削除
• [SPARK-44059] [SC-138833][sql] SQL の名前付き引数に対するエラーメッセージの改善を追加する
• [SPARK-44620] [SC-138831][sql][PS][connect] ResolvePivotPlan_ID_TAG
• [SPARK-43838] [SC-137413][sql] having句を含む単一テーブルのサブクエリが最適化できない問題を修正する
• [SPARK-44555] [SC-138820][sql] checkError() を使用してコマンド スイートで例外をチェックし、いくつかのエラー クラス名を割り当てる
• [SPARK-44280] [SC-138821][sql] JDBCDialect API に convertJavaTimestampToTimestamp を追加する
• [SPARK-44602] [SC-138337][sql][CONNECT][ps] WidenSetOperationTypesを保持するPlan_ID_TAG
• [SPARK-42941] [SC-138389][ss][CONNECT] Python StreamingQueryListener
• [SPARK-43838] 変更を取り消す “[SC-137413][sql] 単一のテーブルでサブクエリを修正します。”
• [SPARK-44538] [SC-138178][connect][SQL] Row.jsonValue と friends を復元する
• [SPARK-44421] [SC-138434][spark-44423][CONNECT] Spark Connect での再接続可能な実行プロセス
• [SPARK-43838] [SC-137413][sql] having句を含む単一テーブルのサブクエリが最適化できない問題を修正する
• [SPARK-44587] [SC-138315][sql][CONNECT] protobuf マーシャラー再帰制限の引き上げ
• [SPARK-44605] [SC-138338][core] 内部 ShuffleWriteProcessor API を絞り込む
• [SPARK-44394] [SC-138291][connect][WEBUI] Spark Connect の Spark UI ページを追加する
• [SPARK-44585] [SC-138286][mllib] MLLib RankingMetrics ndcgAk の警告条件を修正
• [SPARK-44198] [SC-138137][core] Executor へのログ レベルの伝達をサポート
• [SPARK-44454] [SC-138071][sql][HIVE] HiveShim getTablesByType フォールバックをサポートする
• [SPARK-44425] [SC-138135][connect] ユーザーが指定した sessionId が UUID であることを検証する
• [SPARK-43611] [SC-138051][sql][PS][conncect] ExtractWindowExpressions を保持させる PLAN_ID_TAG
• [SPARK-44560] [SC-138117][python][CONNECT] Arrow Python UDF のテストとドキュメントを改善する
• [SPARK-44482] [SC-138067][connect] 接続サーバーでバインド アドレスを指定できる必要がある
• [SPARK-44528] [SC-138047][connect] Connect データフレームの hasattr() の適切な使用をサポートする
• [SPARK-44525] [SC-138043][sql] Invoke メソッドが見つからない場合のエラー メッセージを改善する
• [SPARK-44355] [SC-137878][sql] WithCTE をコマンド クエリに移動する

Databricks ODBC/JDBC ドライバーのサポート

Databricks では、過去 2 年間にリリースされた ODBC/JDBC ドライバーがサポートされています。 最近リリースされたドライバーをダウンロードしてアップグレードしてください (ODBC のダウンロード、JDBC のダウンロード)。

Databricks Runtime 14.1 のメンテナンス更新プログラムを参照してください。

システム環境

• オペレーティング システム: Ubuntu 22.04.3 LTS
• Java: Zulu 8.72.0.17-CA-linux64
• Scala: 2.12.15
• Python: 3.10.12
• R: 4.3.1
• Delta Lake: 3.0.0

インストールされている Python ライブラリ

インストールされている R ライブラリ

R ライブラリは、2023-02-10 の Posit パッケージ マネージャー CRAN スナップショットからインストールされます。

インストールされている Java および Scala ライブラリ (Scala 2.12 クラスター バージョン)