Databricks Runtime 15.4 LTS

以下のリリース ノートの内容は、Apache Spark 3.5.0 上で稼働する Databricks Runtime 15.4 LTS に関する情報です。

Databricks は、2024 年 8 月にこのバージョンをリリースしました。

動作の変更

• Python UDF、UDAF、UDTF を使用して入力または出力のタイプとして VARIANT を使用すると、例外がスローされます
• spark.sql.legacy.jdbc.useNullCalendar が既定で有効になりました
• ビューの既定のスキーマ バインド モードに対する変更
• ブール式の外側で ! の代わりにドキュメントに記載されていない NOT 構文を使用するのを禁止する
• ビュー内でのドキュメントに記載されていない列定義構文を禁止する
• Base64 デコードのエラー処理を Spark と Photon で統一する
• 無効な列に CHECK 制約を追加したら UNRESOLVED_COLUMN.WITH_SUGGESTION エラー クラスを返す
• spark.sql.legacy.jdbc.useNullCalendar が既定で有効になりました
• pyodbc が 4.0.38 から 4.0.39 に更新されました

Python UDF、UDAF、UDTF を使用して入力または出力のタイプとして VARIANT を使用すると、例外がスローされます

[破壊的変更] Databricks Runtime 15.3 以降では、引数または戻り値として VARIANT タイプを使用する Python のユーザー定義関数 (UDF)、ユーザー定義集計関数 (UDAF)、ユーザー定義テーブル関数 (UDTF) を呼び出すと、例外がスローされます。 この変更は、これらの関数のいずれかが返す無効な値による原因により、発生する可能性がある問題を防ぐために行われました。 VARIANT タイプの詳細については、「VARIANT を使用して半構造化データの保存」を参照してください。

spark.sql.legacy.jdbc.useNullCalendar が既定で有効になりました

spark.sql.legacy.jdbc.useNullCalendar が既定で true に設定されるようになりました。 この変更によってクエリが中断される場合 ( TIMESTAMP 値を返すクエリなど)、コード内で false に設定します。

ビューの既定のスキーマ バインド モードに対する変更

ビューは、基になるクエリでのスキーマの変更に、通常のキャスト ルールでのスキーマ補正を使って適応するようになりました。 これは、ビューの参照時に安全なキャストを実行できないとエラーが発生していた、BINDING モードの以前の既定値からの変更です。

CREATE VIEWおよびcast関数を参照してください。

ブール式の外側で ! の代わりにドキュメントに記載されていない NOT 構文を使用するのを禁止する

このリリースでは、ブール式の外側で ! のシノニムとして NOT を使うことはできなくなります。 次はそのようなステートメントの例です: CREATE ... IF ! EXISTS、IS ! NULL、! NULL 列またはフィールド プロパティ、! IN、! BETWEEN は、CREATE ... IF NOT EXISTS、IS NOT NULL、NOT NULL 列またはフィールド プロパティ、NOT IN、NOT BETWEEN に置き換える必要があります。

この変更により、一貫性が保証され、SQL 標準に準拠するようになり、SQL の移植性が高くなります。

ブール前置演算子! (例: !is_mgr や !(true AND false)) は、この変更の影響を受けません。

ビュー内でのドキュメントに記載されていない列定義構文を禁止する

Databricks では、名前付き列と列コメントを含む CREATE VIEW がサポートされています。 これまで、列の型、NOT NULL 制約、または DEFAULT の指定は許されていました。 このリリースでは、この構文を使用できなくなります。

この変更により、一貫性が保証され、SQL 標準に準拠するようになり、将来の機能拡張がサポートされます。

Base64 デコードのエラー処理を Spark と Photon で統一する

このリリースでは、Photon での Base64 デコード エラーの処理方法が Spark でのエラー処理方法に合わせて変更されています。 この変更の前は、Photon と Spark のコード生成パスでは解析例外が生成されないことがあり、Spark では実行が正しく解釈されて IllegalArgumentException または ConversionInvalidInputError が生成されていました。 この更新で、Photon でも Base64 デコード エラーの発生時に Spark と同じ例外が常に生成されるようになり、したがってエラー処理の予測可能性と信頼性が向上します。

無効な列に CHECK 制約が追加されたときに UNRESOLVED_COLUMN.WITH_SUGGESTION エラー クラスを返すように変更

より有益なエラー メッセージを提供するために、Databricks Runtime 15.3 以上では ALTER TABLE ADD CONSTRAINT ステートメントに含まれている CHECK 制約で参照されている列名が無効の場合に UNRESOLVED_COLUMN.WITH_SUGGESTION エラー クラスが返されます。 以前は、INTERNAL_ERROR が返されていました。

spark.sql.legacy.jdbc.useNullCalendar が既定で有効になりました

### spark.sql.legacy.jdbc.useNullCalendar が既定の設定として true に設定されるようになりました。 この変更によってクエリが中断される場合 ( TIMESTAMP 値を返すクエリなど)、コード内で false に設定します。

pyodbc が 4.0.38 から 4.0.39 に更新されました

pyodbc パッケージはバージョン 4.0.38 からバージョン 4.0.39 に更新されます。 この変更は、バージョン 4.0.38 でバグが見つかり、そのバージョンが PyPI から削除されたために必要です。

新機能と機能強化

• UTF-8 検証機能
• Scala UDF を使用した Typed Dataset API
• を使用して UniForm Iceberg を有効にする ALTER TABLE
• try_url_decode 関数
• 必要に応じて、オプティマイザーが強制されていない外部キー制約に依存するのを許可する
• 選択的な上書きで並列化されたジョブが実行する
• 選択的な上書きでの変更データ フィードのパフォーマンスが向上した
• COPY INTO コマンドのクエリ待ち時間の改善
• チェック制約テーブル機能の削除のサポート
• 専用コンピューティング (以前のシングル ユーザー コンピューティング) では、きめ細かいアクセス制御、具体化されたビュー、ストリーミング テーブルがサポートされます (パブリック プレビュー)
• Java と Scala のライブラリのサポートを拡張
• Scala Dataset 操作のサポートを拡張
• Scala は Unity カタログの標準計算環境で一般公開されています
• サービス資格情報を使用した外部クラウド サービスへの Unity カタログ管理アクセス (パブリック プレビュー)

UTF-8 検証機能

このリリースでは、UTF-8 文字列の検証に次の機能が導入されています。

• is_valid_utf8 は、文字列が有効な UTF-8 文字列であるかどうかを確認しました。
• make_valid_utf8 は、代替文字を使用して無効な可能性がある UTF-8 文字列を有効な UTF-8 文字列に変換します
• validate_utf8 は入力が有効な UTF-8 文字列でない場合、エラーを発生させます。
• try_validate_utf8 は、入力が有効な UTF-8 文字列でない場合、NULL を返します。

Scala UDF を使用した Typed Dataset API

このリリースには、標準アクセス モード (以前の共有アクセス モード) を使用した Unity カタログ対応コンピューティングでの Scala ユーザー定義関数 (ユーザー定義集計関数を除く) を使用した型指定されたデータセット API のサポートが追加されました。 「Typed Dataset API」を参照してください。

を使用して UniForm Iceberg を有効にする ALTER TABLE

データ ファイルを書き換えなくても、既存のテーブルで UniForm Iceberg を有効にできるようになりました。 既存のテーブルで Iceberg 読み取りを有効にする を参照してください。

try_url_decode 関数

このリリースでは、URL エンコード文字列をデコードする try_url_decode 関数が導入されました。 文字列が正しい形式になっていない場合、関数はエラーを発生させるのではなく NULL を返します。

必要に応じて、オプティマイザーが強制されていない外部キー制約に依存するのを許可する

クエリのパフォーマンスを向上させるため、テーブルの RELY または FOREIGN KEY を行うときに、 制約に対して キーワードを指定できるようになりました。

選択的な上書きで並列化されたジョブが実行する

replaceWhere を使った選択的な上書きで、データの削除と新しいデータの挿入を行うジョブが、並列に実行されるようになり、クエリのパフォーマンスとクラスターの使用率が向上します。

選択的な上書きでの変更データ フィードのパフォーマンスが向上した

変更データ フィードを含むテーブルでの replaceWhere を使った選択的な上書きで、挿入されたデータに対して個別の変更データ ファイルが書き込まれることがなくなりました。 これらの操作では、基になる Parquet データ ファイルに存在する非表示の _change_type 列を使って、書き込みを増やすことなく変更が記録されます。

COPY INTO コマンドのクエリ待ち時間の改善

このリリースには、COPY INTO コマンドのクエリ待ち時間を改善する変更が含まれています。 この改善は、RocksDB 状態ストアによる状態の読み込みを非同期にすることによって実装されます。 この変更により、多くの状態を持つクエリ (たとえば、既に取り込まれたファイルの数が多いクエリ) で、開始時間が向上するはずです。

チェック制約テーブル機能の削除のサポート

checkConstraints を使用して Delta テーブルから ALTER TABLE table_name DROP FEATURE checkConstraints テーブル機能を削除できるようになりました。 「CHECK 制約を無効にする」をご覧ください。

専用コンピューティング (以前のシングル ユーザー コンピューティング) では、きめ細かいアクセス制御、具体化されたビュー、ストリーミング テーブルがサポートされます (パブリック プレビュー)

ワークスペースでサーバーレス コンピューティングが有効になっている場合、Databricks Runtime 15.4 LTS では、専用コンピューティングでのきめ細かなアクセス制御のサポートが追加されます。 クエリが次のいずれかのオブジェクトにアクセスすると、Databricks Runtime 15.4 LTS の専用コンピューティング リソースがクエリをサーバーレス コンピューティングに渡してデータ フィルター処理を実行します。

• ユーザーが SELECT 特権を持たないテーブルに対して定義されたビュー。
• 動的ビュー。
• 行フィルターまたは列マスクが適用されているテーブル。
• 具体化されたビューとストリーミング テーブル。

これらのクエリは、Databricks Runtime 15.3 以下を実行する専用コンピューティングではサポートされていません。

詳細については、 専用コンピューティングでのきめ細かなアクセス制御に関するページを参照してください。

Java と Scala のライブラリのサポートを拡張

Databricks Runtime 15.4 LTS から、Databricks Runtime にバンドルされたすべての Java と Scala のライブラリは、すべてのコンピューティング アクセス モードで、Unity Catalog を使用するときに利用可能になります。 Unity Catalog 対応コンピューティングでの言語サポートの詳細については、「Unity Catalog のコンピューティング アクセス モードの制限事項」を参照してください。

Scala Dataset 操作のサポートを拡張

このリリースでは、標準アクセス モードを使用する Unity カタログ対応のコンピューティング リソースで、Dataset、map、mapPartitions、foreachPartition、flatMap、reduceの Scala filter操作がサポートされます。

Unity Catalog 標準コンピューティングでの Scala の一般提供

このリリースでは、Scala は標準アクセス モードの Unity カタログ対応コンピューティング (スカラー ユーザー定義関数 (UDF) のサポートを含む) で一般提供されています。 構造化ストリーミング、Hive UDF、Hive ユーザー定義集計関数はサポートされていません。 制限事項の完全な一覧については、「Unity Catalog のコンピューティング アクセス モードの制限事項」を参照してください。

サービス資格情報を使用した外部クラウド サービスへの Unity カタログ管理アクセス (パブリック プレビュー)

サービス資格情報を使用すると、Azure マネージド ID (MI) と Unity カタログを使用して、クラウド テナントのサービスでシンプルで安全な認証を行うことができます。 「サービス資格情報の作成」を参照してください。

バグ修正

ライブラリのアップグレード

• アップグレードされた Python ライブラリ:
  • azure-core 1.30.1 から 1.30.2 へ
  • google-auth 2.29.0 から 2.31.0 へ
  • google-cloud-storage 2.16.0 から 2.17.0 へ
  • google-resumable-media 2.7.0 から 2.7.1 へ
  • googleapis-common-protos 1.63.0 から 1.63.2 へ
  • mlflow-skinny 2.11.3 から 2.11.4 へ
  • proto-plus 1.23.0 から 1.24.0 へ
  • s3transfer 0.10.1 から 0.10.2 へ
• アップグレードされた R ライブラリは次のとおりです。
• アップグレードされた Java ライブラリ:
  • com.databricks.databricks-sdk-java 0.17.1 から 0.27.0 へ
  • com.ibm.icu.icu4j 72.1 から 75.1 へ
  • software.amazon.cryptools.AmazonCorrettoCryptoProvider 1.6.1-linux-x86_64 から 1.6.2-linux-x86_64 へ

Apache Spark

Databricks Runtime 15.4 LTS には Apache Spark 3.5.0 が含まれています。 このリリースには、 Databricks Runtime 15.3 (EoS) に含まれるすべての Spark の修正と機能強化、および Spark に対する次の追加のバグ修正と機能強化が含まれています。

• [SPARK-48503] [DBRRM-1150][sc-172196][SQL] スカラー サブクエリ内の式が外側の行にバインドされている場合、式のグループ化を許可する
• [SPARK-48834] [BEHAVE-79][sc-170972][SQL] クエリのコンパイル中に Python スカラー UDF、UDF、UDAF へのバリアント入力/出力を無効にする
• [SPARK-48441] [SC-170980][sql][WARMFIX] 非UTF8_BINARY照合順序の StringTrim 動作を修正
• [SPARK-48440] [SC-170895][sql][WARMFIX] 非UTF8_BINARY照合順序の StringTranslate 動作を修正
• [SPARK-48872] [SC-170866][python] _capture_call_siteのオーバーヘッドを削減する
• [SPARK-48862] [SC-170845][python][CONNECT] INFO レベルが有効になっていないときに _proto_to_string を呼び出さないようにする
• [SPARK-48852] [SC-170837][connect] connect の文字列トリミング関数を修正する
• [SPARK-48791] [SC-170658][core] CopyOnWriteArrayList を使用したアキュムレータ登録オーバーヘッドによるパフォーマンス回帰の修正
• [SPARK-48118] [SQL] SPARK_SQL_LEGACY_CREATE_HIVE_TABLE 環境変数をサポートする
• [SPARK-48241] [SC-165811][sql] char/varchar 型の列での CSV 解析エラー
• [SPARK-48168] [SC-166900][sql] ビットごとのシフト演算子のサポートを追加する
• [SPARK-48148] [SC-165630][core] 文字列として読み取るときに JSON オブジェクトを変更しないでください
• [SPARK-46625] [SC-170561] 参照としての Identifier 句を持つ CTE
• [SPARK-48771] [SC-170546][sql] 大規模なクエリ プランの LogicalPlanIntegrity.validateExprIdUniqueness を高速化する
• [SPARK-48831] [BEHAVE-76][sc-170554][CONNECT] 既定の列名 cast Spark クラシックと互換性のあるものにする
• [SPARK-48623] [SC-170544][core] 構造化ログの移行 [パート 2]
• [SPARK-48296] [SC-166138][sql] to_xml に対する Codegen のサポート
• [SPARK-48027] [SC-165154][sql] 複数レベルの結合の InjectRuntimeFilter で子結合の種類を確認する必要がある
• [SPARK-48686] [SC-170365][sql] ParserUtils.unescapeSQLString のパフォーマンスを向上させる
• [SPARK-48798] [SC-170588][python] SparkSession ベースのプロファイリングの spark.profile.render を導入
• [SPARK-48048] [SC-169099] "[SC-164846][connect][SS] Scala のクライアント側リスナーサポートを追加しました" を元に戻す
• [SPARK-47910] [SC-168929][core] DiskBlockObjectWriter closeResources のときにメモリ リークを回避するためにストリームを閉じる
• [SPARK-48816] [SC-170547][sql] UnivocityParser の間隔コンバーターの短縮形
• [SPARK-48589] [SC-170132][sql][SS] オプション snapshotStartBatchId と snapshotPartitionId を状態データ ソースに追加する
• [SPARK-48280] [SC-170293][sql] 式ウォーキングを使用して照合順序テストの対象領域を改善する
• [SPARK-48837] [SC-170540][ml] CountVectorizer では、1 行に 1 回ではなく、変換ごとに 1 回だけバイナリ パラメーターを読み取ります
• [SPARK-48803] [SC-170541][sql] ParquetWriteSupport に合わせて Orc(De) シリアライザーで内部エラーをスローする
• [SPARK-48764] [SC-170129][python] ユーザー スタックから IPython 関連のフレームを除外する
• [SPARK-48818] [SC-170414][python] percentile 関数を簡略化する
• [SPARK-48479] [SC-169079][sql] パーサーでのスカラーとテーブルの SQL UDF の作成のサポート
• [SPARK-48697] [SC-170122][lc-4703][SQL] 照合順序対応の文字列フィルターを追加する
• [SPARK-48800] [SC-170409][connect][SS] ClientStreamingQuerySuite のフレーキー性を解消する
• [SPARK-48738] [SC-169814][sql] ビルトイン関数エイリアス random、position、mod、cardinality、current_schema、user、session_user、char_length、character_length の提供開始バージョンを修正する
• [SPARK-48638] [SC-169575][connect] DataFrame の ExecutionInfo サポートを追加する
• [SPARK-48064] [SC-164697][sql] ルーチン関連のエラー クラスのエラー メッセージを更新する
• [SPARK-48810] [CONNECT] Session stop() API はべき等である必要があり、セッションが既にサーバーによって閉じられていても異常終了してはならない
• [SPARK-48650] [15.x][python] IPython Notebook から正しい呼び出しサイトを表示する
• [SPARK-48271] [SC-166076][sql] RowEncoder の一致エラーをUNSUPPORTED_DATA_TYPE_FOR_ENCODERに変換する
• [SPARK-48709] [SC-169603][sql] DataSourceV2 CTAS の varchar 型解決の不一致を修正
• [SPARK-48792] [SC-170335][sql] 部分的な列リストを含む INSERT の回帰を char/varchar のテーブルに修正する
• [SPARK-48767] [SC-170330][sql] variant 型データが無効な場合のエラー プロンプトを修正する
• [SPARK-48719] [SC-170339][sql] 最初のパラメーターが null の場合に RegrSlope & RegrIntercept の計算バグを修正
• [SPARK-48815] [SC-170334][connect] 接続セッションを停止するときに環境を更新する
• [SPARK-48646] [SC-169020][python] Python データ ソース API ドキュメントと型ヒントを改善する
• [SPARK-48806] [SC-170310][sql] url_decodeが失敗したときに実際の例外を渡す
• [SPARK-47777] [SC-168818] Python ストリーミング データ ソース接続テストを修正する
• [SPARK-48732] [SC-169793][sql] に関連する非推奨の API の使用をクリーンアップする JdbcDialect.compileAggregate
• [SPARK-48675] [SC-169538][sql] 列が照合されたキャッシュ テーブルを修正する
• [SPARK-48623] [SC-169034][core] 構造化ログの移行
• [SPARK-48655] [SC-169542][sql] SPJ: 集計クエリのシャッフル スキップのテストを追加する
• [SPARK-48586] [SC-169808][ss] load() の RocksDBFileManager でファイル マッピングのディープ コピーを作成して、doMaintenance() のロック取得を削除します。
• [SPARK-48799] [Backport][15.x][SC-170283][ss] 演算子メタデータの読み取り/書き込みと呼び出し元のバージョン管理をリファクタリングする
• [SPARK-48808] [SC-170309][sql] Hive 1.2.1 経由で Thriftserver を接続するときに NPE を修正し、結果スキーマが空である
• [SPARK-48715] [SC-170291][sql] UTF8String 検証を照合順序対応の文字列関数の実装に統合する
• [SPARK-48747] [SC-170120][sql] UTF8String にコード ポイント反復子を追加する
• [SPARK-48748] [SC-170115][sql] UTF8String の numChars をキャッシュする
• [SPARK-48744] [SC-169817][core] ログ エントリは 1 回だけ構築する必要がある
• [SPARK-46122] [SC-164313][sql] 既定で spark.sql.legacy.createHiveTableByDefault を false に設定する
• [SPARK-48765] [SC-170119][deploy] SPARK_IDENT_STRINGの既定値の評価を強化する
• [SPARK-48759] [SC-170128][sql] Spark 3.4 以降のCREATE TABLE AS SELECTの動作変更に関する移行ドキュメントを追加する
• [SPARK-48598] [SC-169484][python][CONNECT] データフレーム操作でキャッシュされたスキーマを伝達する
• [SPARK-48766] [SC-170126][python] extractionとelement_atの動作の違いを文書化するtry_element_at
• [SPARK-48768] [SC-170124][python][CONNECT] キャッシュしないべきです explain
• [SPARK-48770] [Backport][15.x][SC-170133][ss] セッション ウィンドウ agg クエリに使用される numColsPrefixKey の情報が見つかるかどうかを確認するために、ドライバーで 1 回演算子メタデータを読み取る変更
• [SPARK-48656] [SC-169529][core] 長さをチェックして、COLLECTION_SIZE_LIMIT_EXCEEDEDエラーを発生させるCartesianRDD.getPartitions
• [SPARK-48597] [SC-168817][sql] 論理プランのテキスト表現に isStreaming プロパティのマーカーを導入する
• [SPARK-48472] [SC-169044][sql] 照合された文字列を含む式の反映を有効にする
• [SPARK-48699] [SC-169597][sql] 照合順序 API を絞り込む
• [SPARK-48682] [SC-169812][sql][BEHAVE-58] UTF8_BINARY文字列に InitCap 式で ICU を使用する
• [SPARK-48282] [SC-169813][sql] UTF8_BINARY_LCASE照合順序の文字列検索ロジックの変更 (StringReplace、FindInSet)
• [SPARK-47353] [SC-169599][sql] モード式の照合順序のサポートを有効にする
• [SPARK-48320] [SPARK-48490] OSS Spark からの最新のログ トレイトとテスト ケースを同期する
• [SPARK-48629] [SC-169479] 残っているコードを構造化ログ記録フレームワークに移行する
• [SPARK-48681] [SC-169469][sql][BEHAVE-58] UTF8_BINARY文字列の下/上の式で ICU を使用する
• [SPARK-48573] [15.x][sc-169582][SQL] ICU バージョンのアップグレード
• [SPARK-48687] [Backport][15.x][SS] ステートフル クエリに対してドライバーでの状態スキーマ検証と更新を実行するように変更を追加する
• [SPARK-47579] [15.x][sc-167310][CORE][part4] 変数を含む logInfo を構造化ログ フレームワークに移行する
• [SPARK-48008] [SC-167363][1/2] Spark Connect で UDAF をサポートする
• [SPARK-48578] [SC-169505][sql] UTF8 文字列検証関連の関数を追加する
• [SPARK-48670] [SC-169598][sql] 無効な照合順序名が指定されたときにエラー メッセージの一部として提案を提供する
• [SPARK-48059] [SPARK-48145][spark-48134][SPARK-48182][spark-48209][SPA... …RK-48291] Java 側の構造化ログ記録フレームワーク
• [SPARK-47599] [15.x][sc-166000][MLLIB] MLLib: 変数を含む logWarn を構造化ログ フレームワークに移行する
• [SPARK-48706] [SC-169589][python] Python UDF が上位関数で内部エラーを引き起こさないようにする
• [SPARK-48498] [BEHAVE-38][sc-168060][SQL] 述語では常に文字パディングを行う
• [SPARK-48662] [SC-169533][sql] 照合順序を使用して StructsToXml 式を修正する
• [SPARK-48482] [SC-167702][python][15.x] dropDuplicates と dropDuplicatesWIthinWatermark は可変長引数を受け入れる必要があります
• [SPARK-48678] [SC-169463][core] SparkConf.get(ConfigEntry) のパフォーマンス最適化
• [SPARK-48576] [SQL] UTF8_BINARY_LCASE から UTF8_LCASE に名前を変更する
• [SPARK-47927] [SC-164123][sql]: UDF デコーダーの null 許容属性を修正
• [SPARK-47579] [SC-165297][core][PART1] 変数を含む logInfo を構造化ログ フレームワークに移行する (新規)
• [SPARK-48695] [SC-169473][python] TimestampNTZType.fromInternal 非推奨のメソッドは使用されません
• [SPARK-48431] [SC-167290][lc-4066][SQL] 照合された列の述語をファイル リーダーに転送しない
• [SPARK-47579] "[SC-165297][core][PART1] 変数を含む logInfo を構造化ログ フレームワークに移行する" を元に戻す
• [SPARK-47585] [SC-164306][sql] SQL コア: 変数を含む logInfo を構造化ログ フレームワークに移行する
• [SPARK-48466] [SC-169042][sql] AQE で EmptyRelation 用の専用ノードを作成する
• [SPARK-47579] [SC-165297][core][PART1] 変数を含む logInfo を構造化ログ フレームワークに移行する
• [SPARK-48410] [SC-168320][sql] UTF8_BINARY_LCASEおよび ICU 照合順序の InitCap 式を修正
• [SPARK-48318] [SC-167709][sql] すべての照合順序 (複合型) のハッシュ結合のサポートを有効にする
• [SPARK-48435] [SC-168128][sql] UNICODE 照合順序ではバイナリの等価性をサポートしない
• [SPARK-48555] [SC-169041][sql][PYTHON][connect] pyspark/scala の複数の関数のパラメーターとして列を使用するサポート
• [SPARK-48591] [SC-169081][python] 簡略化するヘルパー関数を追加する Column.py
• [SPARK-48574] [SC-169043][sql] 照合順序を持つ StructTypes のサポートを修正
• [SPARK-48305] [SC-166390][sql] CurrentLike 式の照合順序のサポートを追加する
• [SPARK-48342] [SC-168941][sql] SQL スクリプト パーサーの概要
• [SPARK-48649] [SC-169024][sql] 無効なパーティション パスを無視できるように、"ignoreInvalidPartitionPaths" および "spark.sql.files.ignoreInvalidPartitionPaths" 構成を追加します
• [SPARK-48000] [SC-167194][sql] すべての照合順序のハッシュ結合のサポートを有効にする (StringType)
• [SPARK-48459] [SC-168947][connect][PYTHON] Spark Connect に DataFrameQueryContext を実装する
• [SPARK-48602] [SC-168692][sql] csv ジェネレーターで spark.sql.binaryOutputStyle を使用して異なる出力スタイルをサポートする
• [SPARK-48283] [SC-168129][sql] UTF8_BINARY_LCASEの文字列比較を変更する
• [SPARK-48610] [SC-168830][sql] リファクタリング: OP_ID_TAGの代わりに補助 idMap を使用する
• [SPARK-48634] [SC-169021][python][CONNECT] ExecutePlanResponseReattachableIterator でスレッドプールを静的に初期化しないようにする
• [SPARK-47911] [SC-164658][sql] バイナリ出力の整合性を保つユニバーサル BinaryFormatter を導入
• [SPARK-48642] [SC-168889][core] スピル時のタスク強制終了が原因で偽の SparkOutOfMemoryError が発生する
• [SPARK-48572] [SC-168844][sql] DateSub、DateAdd、WindowTime、TimeWindow、SessionWindow の式を修正する
• [SPARK-48600] [SC-168841][sql] FrameLessOffsetWindowFunction 式の暗黙的キャストを修正する
• [SPARK-48644] [SC-168933][sql] Hex.hex で長さチェックを実行して COLLECTION_SIZE_LIMIT_EXCEEDED エラーをスローする
• [SPARK-48587] [SC-168824][variant] サブバリアントにアクセスするときにストレージ増幅を回避する
• [SPARK-48647] [SC-168936][python][CONNECT] で YearMonthIntervalType のエラー メッセージを絞り込む df.collect
• [SPARK-48307] [SC-167802][sql] InlineCTE は元の WithCTE ノードでインライン化されていない関係を保持する必要がある
• [SPARK-48596] [SC-168581][sql] long の 16 進文字列を計算するためのパフォーマンスの向上
• [SPARK-48621] [SC-168726][sql] 照合文字列のオプティマイザー内でのLIKE演算子の簡略化の修正
• [SPARK-47148] [SC-164179][sql] キャンセル時の AQE ExchangeQueryStageExec 具体化を回避する
• [SPARK-48584] [SC-168579][sql] unescapePathName のパフォーマンス向上
• [SPARK-48281] [SC-167260][sql] UTF8_BINARY_LCASE照合順序の文字列検索ロジックの変更 (StringInStr、SubstringIndex)
• [SPARK-48577] [SC-168826][sql] UTF-8 バイト シーケンスの置換が無効です
• [SPARK-48595] [SC-168580][core] に関連する非推奨の API の使用をクリーンアップする commons-compress
• [SPARK-48030] [SC-164303][sql] SPJ: InternalRowComparableWrapper の rowOrdering と structType のキャッシュ
• [SPARK-48004] [SC-164005][sql] v1 の書き込みに対する WriteFilesExecBase の特性を追加する
• [SPARK-48551] [SC-168438][sql] escapePathName のパフォーマンス向上
• [SPARK-48565] [SC-168437][ui] UI でのスレッド ダンプ表示の修正
• [SPARK-48364] [SC-166782][sql] AbstractMapType 型キャストを追加し、照合された文字列で動作するように RaiseError パラメーター マップを修正する
• [SPARK-48421] [SC-168689][sql] SPJ: ドキュメントを追加する
• [SPARK-48604] [SC-168698][sql] 非推奨の new ArrowType.Decimal(precision, scale) メソッド呼び出しを置き換える
• [SPARK-46947] [SC-157561][core] ドライバー プラグインが読み込まれるまでメモリ マネージャーの初期化を遅延する
• [SPARK-48411] [SC-168576][ss][PYTHON] DropDuplicateWithinWatermark の E2E テストを追加する
• [SPARK-48543] [SC-168697][ss] 明示的なエラー クラスを使用して状態行の検証エラーを追跡する
• [SPARK-48221] [SC-167143][sql] UTF8_BINARY_LCASE照合順序の文字列検索ロジックを変更する (Contains、StartsWith、EndsWith、StringLocate)
• [SPARK-47415] [SC-168441][sql] Levenshtein 式の照合順序のサポートを追加する
• [SPARK-48593] [SC-168719][python][CONNECT] ラムダ関数の文字列表現を修正する
• [SPARK-48622] [SC-168710][sql] 列名を解決するときに SQLConf を 1 回取得する
• [SPARK-48594] [SC-168685][python][CONNECT] parent フィールドの名前を child に変更する ColumnAlias
• [SPARK-48403] [SC-168319][sql] UTF8_BINARY_LCASEおよび ICU 照合順序の下位式と上位式を修正
• [SPARK-48162] [SC-166062][sql] MISC 式の照合順序のサポートを追加する
• [SPARK-48518] [SC-167718][core] LZF 圧縮を並列で実行できるようにする
• [SPARK-48474] [SC-167447][core] SparkSubmitArguments のログのクラス名を修正します。 SparkSubmit
• [SPARK-48012] [SC-168267][sql] SPJ: 片側シャッフルに対する変換式のサポート
• [SPARK-48552] [SC-168212][sql] 複数行の CSV スキーマ推論でも、FAILED_READ_FILEをスローする必要があります
• [SPARK-48560] [SC-168268][ss][PYTHON] StreamingQueryListener.spark settable を作成する
• [SPARK-48569] [SC-168321][ss][CONNECT] query.name でエッジ ケースを処理する
• [SPARK-47260] [SC-167323][sql] エラー クラスに名前を割り当てる_LEGACY_ERROR_TEMP_3250
• [SPARK-48564] [SC-168327][python][CONNECT] セット操作でキャッシュされたスキーマを伝達する
• [SPARK-48155] [SC-165910][sql] 結合における AQEPropagateEmptyRelation は、残りの子が単に BroadcastQueryStageExec であるかどうかを確認する必要があります。
• [SPARK-48506] [SC-167720][core] 圧縮コーデックの短い名前では、イベント ログを除いて大文字と小文字が区別されません
• [SPARK-48447] [SC-167607][ss] コンストラクターを呼び出す前に状態ストア プロバイダー クラスを確認する
• [SPARK-47977] [SC-167650] DateTimeUtils.timestampDiff と DateTimeUtils.timestampAdd で例外 INTERNAL_ERROR をスローしてはならない
• [SPARK-48513] [Backport][15.x][SC-168085][ss] 状態スキーマの互換性とマイナー リファクタリング用のエラー クラスを追加する
• [SPARK-48413] [SC-167669][sql] ALTER COLUMN での照合順序
• [SPARK-48561] [SC-168250][ps][CONNECT] サポートされていないプロット関数に対してPandasNotImplementedErrorを投げる
• [SPARK-48465] [SC-167531][sql] no-op 空のリレーションの伝播を回避する
• [SPARK-48553] [SC-168166][python][CONNECT] その他のプロパティをキャッシュする
• [SPARK-48540] [SC-168069][core] stdout へのIvy出力設定のロードを避ける
• [SPARK-48535] [SC-168057][ss] ストリーム-ストリーム結合の構成でnullをスキップするよう設定が有効になっている場合のデータ損失/破損の問題の可能性を示すために、構成ドキュメントを更新する
• [SPARK-48536] [SC-168059][python][CONNECT] applyInPandas と applyInArrow でユーザー指定のスキーマをキャッシュする
• [SPARK-47873] [SC-163473][sql] 通常の文字列型を使用して Hive メタストアに照合文字列を書き込む
• [SPARK-48461] [SC-167442][sql] AssertNotNull 式で NullPointerExceptions をエラー クラスに置き換える
• [SPARK-47833] [SC-163191][sql][CORE] checkAndGlobPathIfNecessary AnalysisException の場合に呼び出し元スタックトレースを提供する
• [SPARK-47898] [SC-163146][sql] ポート HIVE-12270: DBTokenStore のサポートを HS2 委任トークンに追加する
• [SPARK-47578] [SC-167497][r] 変数を含む RPackageUtils を構造化ログ フレームワークに移行する
• [SPARK-47875] [SC-162935][core] Remove spark.deploy.recoverySerializer
• [SPARK-47552] [SC-160880][core] 不足している場合は spark.hadoop.fs.s3a.connection.establish.timeout を 30s に設定する
• [SPARK-47972] [SC-167692][sql] 照合順序の CAST 式を制限する
• [SPARK-48430] [SC-167489][sql] マップに照合文字列が含まれている場合のマップ値の抽出を修正する
• [SPARK-47318] [SC-162712][core][3.5] 標準的な KEX プラクティスに従うために HKDF ラウンドを AuthEngine キー派生に追加します
• [SPARK-48503] [BEHAVE-29][es-1135236][SQL] group-by や非等値列が誤って許可されていた無効なスカラー サブクエリを修正する
• [SPARK-48508] [SC-167695][connect][PYTHON] ユーザー指定のスキーマをキャッシュする DataFrame.{to, mapInPandas, mapInArrow}
• [SPARK-23015] [SC-167188][windows] 同じ 1 秒以内に複数の Spark インスタンスを起動するとエラーが発生する Windows のバグを修正
• [SPARK-45891] [SC-167608] "バリアントのシュレッディングのしくみを説明する" を取り消す
• [SPARK-48391] [SC-167554][core]TaskMetrics クラスの fromAccumulatorInfos メソッドで add 関数の代わりに addAll を使用する
• [SPARK-48496] [SC-167600][core] JavaUtils.timeStringAs および JavaUtils.byteStringAs で静的正規表現パターン インスタンスを使用する
• [SPARK-48476] [SC-167488][sql] null delmiter csv の NPE エラー メッセージを修正
• [SPARK-48489] [SC-167598][sql] テキスト データ ソースから無効なスキーマを読み取る際に、より良いユーザー向けエラーを表示する
• [SPARK-48471] [SC-167324][core] 履歴サーバーのドキュメントと使用ガイドを改善する
• [SPARK-45891] [SC-167597] バリアントのシュレッディングのしくみを説明する
• [SPARK-47333] [SC-159043][sql] checkInputDataTypes を使用して関数のパラメーター型を確認する to_xml
• [SPARK-47387] [SC-159310][sql] 未使用のエラー クラスをいくつか削除する
• [SPARK-48265] [ES-1131440][sql] ウィンドウ グループ制限推論バッチで定数畳み込みを行う必要がある
• [SPARK-47716] [SC-167444][sql] SQLQueryTestSuite セマンティック並べ替えテスト ケースでビュー名の競合を回避する
• [SPARK-48159] [SC-167141][sql] datetime 式での照合文字列のサポートの拡張
• [SPARK-48462] [SC-167271][sql][Tests] テストで withSQLConf を使用する: HiveQuerySuite と HiveTableScanSuite をリファクターする
• [SPARK-48392] [SC-167195][core] 指定時に spark-defaults.conf も読み込む --properties-file
• [SPARK-48468] [SC-167417] LogicalQueryStage インターフェイスを catalyst に追加する
• [SPARK-47578] [SC-164988][core] Spark PR の手動バックポート #46309: 変数を含む logWarning を構造化ログ フレームワークに移行する
• [SPARK-48415] [SC-167321] "[PYTHON] パラメーター化されたデータ型をサポートするように TypeName をリファクターする" を取り消す
• [SPARK-46544] [SC-151361][sql] v2 DESCRIBE TABLE EXTENDED とテーブル統計をサポートする
• [SPARK-48325] [SC-166963][core] ExecutorRunner.killProcess で常にメッセージを指定する
• [SPARK-46841] [SC-167139][sql] ICUロケールと照合順序指定子のサポートを追加する
• [SPARK-47221] [SC-157870][sql] CsvParser から AbstractParser への署名を使用します
• [SPARK-47246] [SC-158138][sql] InternalRow.fromSeq を new GenericInternalRow に置き換えてコレクション変換を保存する
• [SPARK-47597] [SC-163932][ストリーミング] Spark PR の手動バックポート #46192: ストリーミング: 変数を含む logInfo を構造化ログ フレームワークに移行する
• [SPARK-48415] [SC-167130][python] パラメーター化されたデータ型をサポートするように TypeName をリファクタリングする
• [SPARK-48434] [SC-167132][python][CONNECT] キャッシュされたスキーマ printSchema 使用する
• [SPARK-48432] [ES-1097114][sql] UnivocityParser で整数のボックス化を解除しないようにする
• [SPARK-47463] [SC-162840][sql] V2Predicate を使用してブール値の戻り値の型で式をラップする
• [SPARK-47781] [SC-162293][sql] JDBC データ ソースの負の小数点以下桁数を処理する
• [SPARK-48394] [SC-166966][core] mapoutput 登録解除時の mapIdToMapIndex のクリーンアップ
• [SPARK-47072] [SC-156933][sql] エラー メッセージでサポートされている間隔形式を修正
• [SPARK-47001] [SC-162487][sql] オプティマイザーでのプッシュダウン検証
• [SPARK-48335] [SC-166387][python][CONNECT] Spark Connect と互換性 _parse_datatype_string にする
• [SPARK-48329] [SC-166518][sql] 既定で spark.sql.sources.v2.bucketing.pushPartValues.enabled を有効にする
• [SPARK-48412] [SC-166898][python] データ型 json 解析をリファクタリングする
• [SPARK-48215] [SC-166781][sql] date_format式での照合文字列のサポートの拡張
• [SPARK-45009] [SC-166873][sql][FOLLOW UP] 両方の結合子を参照する結合条件内の述語サブクエリの相関解除に関するエラー クラスとテストを追加する
• [SPARK-47960] [SC-165295][ss][15.x] transformWithState 演算子の後に他のステートフル演算子をチェーンできます。
• [SPARK-48340] [SC-166468][python] TimestampNTZ スキーマ推論での prefer_timestamp_ntz 欠落のサポート
• [SPARK-48157] [SC-165902][sql] CSV 式の照合順序のサポートを追加する
• [SPARK-48158] [SC-165652][sql] XML 式の照合順序のサポートを追加する
• [SPARK-48160] [SC-166064][sql] XPATH 式の照合順序のサポートを追加する
• [SPARK-48229] [SC-165901][sql] inputFile 式の照合順序のサポートを追加する
• [SPARK-48367] [SC-166487][connect] scalafmt の lint-scala を修正して、正しくフォーマットするファイルを検出する
• [SPARK-47858] [SC-163095][spark-47852][PYTHON][sql] DataFrame エラー コンテキストの構造のリファクタリング
• [SPARK-48370] [SC-166787][connect] Scala Spark Connect クライアントでのチェックポイントと localCheckpoint
• [SPARK-48247] [SC-166028][python] MapType スキーマを推論するときに dict 内のすべての値を使用する
• [SPARK-48395] [SC-166794][python] パラメーター化された型の StructType.treeString を修正
• [SPARK-48393] [SC-166784][python] 定数のグループを に移動する pyspark.util
• [SPARK-48372] [SC-166776][spark-45716][PYTHON] 実装 StructType.treeString
• [SPARK-48258] [SC-166467][python][CONNECT] Spark Connect のチェックポイントとローカルチェックポイント

「Databricks Runtime 15.4 LTS メンテナンス更新プログラム」を参照してください。

システム環境

• オペレーティング システム: Ubuntu 22.04.4 LTS
  • 注: これは、Databricks ランタイム コンテナーで使用される Ubuntu バージョンです。 DBR コンテナーは、異なる Ubuntu バージョンまたは Linux ディストリビューションを使用する可能性があるクラウド プロバイダーの仮想マシン上で実行されます。
• Java: Zulu 8.78.0.19-CA-linux64
• Scala: 2.12.15
• Python: 3.11.11
• R: 4.3.2
• Delta Lake: 3.2.0

インストールされている Python ライブラリ

インストールされている R ライブラリ

R ライブラリは、2024-02-05: https://packagemanager.posit.co/cran/2024-02-05/に Posit パッケージ マネージャー CRAN スナップショットからインストールされます。

インストールされている Java ライブラリと Scala ライブラリ (Scala 2.12 クラスター バージョン)