Databricks Runtime 14.2 (EoS)

次のリリース ノートには、Apache Spark 3.5.0 で稼働する Databricks Runtime 14.2 に関する情報が記載されています。

Databricks は、2023 年 11 月にこのバージョンをリリースしました。

新機能と機能強化

• CACHE SELECT が無視される
• キャッシュ動作の向上
• DML コマンドでの破損したファイル処理を修正しました
• 共有クラスターでの protobuf および Avro 関連関数のスキーマ レジストリのサポート
• foreachBatch と StreamingListener のサポート
• 行レベルのコンカレンシーは一般提供され、既定でオンになっている
• Delta Sharing: 受信者は削除ベクトルを含む共有テーブル上でバッチ、CDF、ストリーミング クエリを実行することができます (パブリック プレビュー)
• Unity Catalog の外部テーブルのシャロー クローン (パブリック プレビュー)
• 新しいディスク キャッシュ割り当てアルゴリズム
• スキーマ レジストリ コネクタを使用する from_avro にスキーマの展開のサポートが追加されました
• マルチスレッドの統計収集の高速化
• DeltaSource での Delta ファイルに対するフィルターのプッシュダウン
• 共有クラスターでの Scala スカラーのユーザー定義関数のサポート (パブリック プレビュー)

CACHE SELECT が無視されるようになりました

SQL コマンド CACHE SELECT は、改良されたキャッシュ アルゴリズムを優先して無視されるようになりました。 「Azure Databricks でキャッシュを使用してパフォーマンスを最適化する」を参照してください。

キャッシュ動作の向上

Spark スケジューラによる DiskCache の配置では、パーティションの割り当てが高速化され、クラスターの自動スケール中の分散が向上し、クエリの実行の一貫性が向上しました。

DML コマンドでの破損したファイル処理を修正しました

DML コマンド DELETE、UPDATE、MERGE INTO では、読み取りオプション ignoreCorruptFiles および ignoreMissingFiles が考慮されなくなりました。 テーブルで読み取り不可能なファイルが検出された場合、これらのオプションが指定されていても、これらのコマンドは失敗するようになりました。

共有クラスターでの protobuf および Avro 関連関数のスキーマ レジストリのサポート

共有クラスターのスキーマ レジストリで、from_avro、to_avro、from_protobuf、および to_protobuf Python 関数を使用できるようになりました。

foreachBatch と StreamingListener のサポート

共有クラスターの構造化ストリーミングで foreachBatch() および StreamingListener API を使用できるようになりました。 「foreachBatch を使用して任意のデータ シンクに書き込む」と「Azure Databricks で構造化ストリーミング クエリを監視する」を参照してください。

行レベルのコンカレンシーは一般提供され、既定でオンになっている

行レベルのコンカレンシーは、行レベルで変更を検出することで、同時書き込み操作間の競合を削減します。 行レベルのコンカレンシーは、パーティション分割のないテーブル (リキッド クラスタリングを使用するテーブルを含む) でのみサポートされます。 行レベルのコンカレンシーは、削除ベクトルが有効になっている Delta テーブルでは既定で有効になっています。 「行レベルのコンカレンシーでの書き込みの競合」を参照してください。

Delta Sharing: 受信者は削除ベクトルを含む共有テーブル上でバッチ、CDF、ストリーミング クエリを実行することができます (パブリック プレビュー)

Delta Sharing の受信者は、削除ベクトルを使用する共有テーブル上でバッチ、CDF、ストリーミング クエリを実行することができるようになりました。 Databricks Runtime 14.1 では、バッチ クエリのみを実行できます。 「削除ベクトルまたは列マッピングを含むテーブルを共有に追加する」、「削除ベクトルまたは列マッピングが有効になっているテーブルを読み取る」、「削除ベクトルまたは列マッピングが有効になっているテーブルを読み取る」を参照してください。

Unity Catalog の外部テーブルのシャロー クローン (パブリック プレビュー)

Unity Catalog の外部テーブルでシャロー クローンを使用できるようになりました。 「Unity Catalog テーブルのシャロー クローン」を参照してください。

新しいディスク キャッシュ割り当てアルゴリズム

Spark スケジューラで新しいディスク キャッシュ アルゴリズムが使用されるようになりました。 このアルゴリズムにより、ディスク使用量とノード間でのパーティション割り当てが向上し、初期とクラスターのスケーリング後の両方のイベントの割り当てが高速になります。 より厳密なキャッシュ割り当てにより、実行全体の一貫性が向上し、再調整操作中に移動されるデータが減少します。

スキーマ レジストリ コネクタを使用する from_avro にスキーマの展開のサポートが追加されました

展開したレコードが検出されたときにパイプラインを再起動できるようになりました。 以前は、from_avro コネクタでスキーマの展開が発生した場合、新しい列は null を返しました。 「ストリーミング Avro データの読み取りと書き込み」をご覧ください。

マルチスレッドの統計収集の高速化

Apache Iceberg テーブルと Parquet テーブルから CONVERT TO DELTA または複製を実行する場合、小さなクラスターでは統計の収集が最大 10 倍高速になります。 「Delta Lake への変換」およびParquet テーブルと Iceberg テーブルをクローンすることに関する記事をご覧ください。

DeltaSource での Delta ファイルに対するフィルターのプッシュダウン

使用率を向上させるために、Delta テーブル ストリーミング クエリのパーティション フィルターは、レート制限の前に Delta にプッシュダウンされるようになりました。

共有クラスターでの Scala スカラーのユーザー定義関数のサポート (パブリック プレビュー)

共有アクセス モードで構成された Unity Catalog 対応クラスターで Scala スカラーのユーザー定義関数を使用できるようになりました。 「ユーザー定義スカラー関数 - Scala」をご覧ください。

ライブラリのアップグレード

• アップグレードされた Python ライブラリ:
  • fastjsonschema ( 2.18.0 から 2.19.0 へ)
  • filelock (3.12.3 から 3.12.4 へ)
  • googleapis-common-protos (1.60.0 から 1.61.0 へ)
• アップグレードされた R ライブラリは次のとおりです。
• アップグレードされた Java ライブラリは次のとおりです。

Apache Spark

Databricks Runtime 14.2 には、Apache Spark 3.5.0 が含まれています。 このリリースには、 Databricks Runtime 14.1 (EoS) に含まれるすべての Spark の修正と機能強化、および Spark に対する次の追加のバグ修正と機能強化が含まれています。

• [SPARK-45592] [DBRRM-624] "[SC-146977][sql] InMemoryTableScanExec を使用した AQE での正確性の問題" を元に戻す
• [SPARK-45524] [DBRRM-625] 元に戻す "[SC-146319][python][SQL] 初期サポートの開始"
• [SPARK-45433] [DBRRM-621] 元に戻す "[SC-145163][sql] CSV/JSON スキーマ推論を修正...
• [SPARK-45592] [SC-146977][sql] InMemoryTableScanExec を使用した AQE での正確性の問題
• [SPARK-45354] 「[SC-143991][sql] 関数をボトムアップ方式で解決」を元に戻す
• [SPARK-45680] [TEST-ONLY][sasp-2347][CONNECT] テストの修正
• [SPARK-45680] [CONNECT] セッションを解放します
• [SPARK-43380] [SC-146726][es-897115][SQL] Avro read の速度低下を修正
• [SPARK-45649] [SC-146742][sql] 準備フレームワークを統合する OffsetWindowFunctionFrame
• [SPARK-40820] [SC-146727][python][SQL] Json からの StructType の作成
• [SPARK-45620] [SC-146225][python] camelCase を使用するように Python UDTF に関連するユーザー向け API を修正する
• [SPARK-45727] [SC-146978][ss] 透かし伝達シミュレーションで未使用のマップを削除する
• [SPARK-45723] [SC-146890][python][CONNECT] カタログ メソッドが pandas 変換を回避する
• [SPARK-45574] [SC-146106][sql] キャストの短縮記法として :: 構文を追加
• [SPARK-45670] [SC-146725][core][3.5] SparkSubmit は K8s にデプロイするときに --total-executor-cores をサポートしていません
• [SPARK-45661] [SC-146594][sql][PYTHON] StructType、MapType、ArrayType で toNullable を追加する
• [SPARK-45524] [SC-146319][python][SQL] Python データ ソース読み取り API の初期サポート
• [SPARK-45542] [SC-145892][core] setSafeMode(HdfsConstants.SafeModeAction, boolean) を setSafeMode(SafeModeAction, boolean)
• [SPARK-45652] [SC-146641][sql] SPJ: 動的フィルター処理後に空の入力パーティションを処理する
• [SPARK-45454] [SC-144846][sql] テーブルの既定の所有者を current_user に設定する
• [SPARK-45554] [SC-146875][python] 柔軟なパラメーターを導入する assertSchemaEqual
• [SPARK-45242] [SC-143410][sql] DataFrame ID を使用して CollectMetrics を意味的に検証する
• [SPARK-45674] [SC-146862][connect][PYTHON] Spark Connect での JVM 依存属性のエラー メッセージを改善します。
• [SPARK-45646] [SC-146276][sql] Hive 2.0 より前のハードコーディング時間変数を削除する
• [SPARK-43380] [SC-146726][es-897115][SQL] Avro read の速度低下を修正
• [SPARK-45545] [SC-146484][core] SparkTransportConf を作成する場所であればどこでも SSLOptions を渡す
• [SPARK-45641] [SC-146260][ui] AllJobsPage にアプリケーションの開始時刻を表示する
• [SPARK-40154] [SC-146491][python][Docs] Dataframe.cache docstring の正しいストレージ レベル
• [SPARK-45626] [SC-146259][sql] _LEGACY_ERROR_TEMP_1055をREQUIRES_SINGLE_PART_NAMESPACEに変換する
• [SPARK-45507] [SC-145900][sql] COUNT 集計を使用した入れ子になった相関スカラー サブクエリの正確性の修正
• [SPARK-45619] [SC-146226][connect][PYTHON] 観測メトリックを Observation オブジェクトに適用する
• [SPARK-45588] [SC-145909][protobuf][CONNECT][minor] StreamingForeachBatchHelper の Scaladoc の機能強化
• [SPARK-45616] [SC-146120][core] ThreadLocals または SparkSession を伝達しない ParVector を避ける
• [SPARK-45604] [SC-146105][sql] Parquet ベクター化リーダーで INT64 -> DateTime 変換に LogicalType チェックを追加する
• [SPARK-44649] [SC-145891][sql] ランタイム フィルターでは、同等の作成側式の渡しがサポートされます
• [SPARK-41674] [SC-128408][sql] ランタイム フィルターは、フィルター作成側としてマルチ レベルのシャッフル結合側をサポートする必要がある
• [SPARK-45547] [SC-146228][ml] 組み込み関数を使用してベクターを検証する
• [SPARK-45558] [SC-145890][ss] ストリーミング ステートフル演算子のメタデータ ファイルを導入
• [SPARK-45618] [SC-146252][core] BaseErrorHandler の削除
• [SPARK-45638] [SC-146251][sql][Avro] 10進変換のテストカバレッジを改善する
• [SPARK-44837] [SC-146020][sql] ALTER ALTER TABLE 列PARTITION変更エラー メッセージ
• [SPARK-45561] [SC-146264][sql] MySQLDialect で TINYINT に適切な変換を追加する
• [SPARK-45632] [SC-146255][sql] AQE を有効にすると、テーブル キャッシュで不要な ColumnarToRow を回避する必要がある
• [SPARK-45569] [SC-145932][sql] エラー _LEGACY_ERROR_TEMP_2152に名前を割り当てる
• [SPARK-44784] [SC-141015][connect] SBT テストを密閉にします。
• [SPARK-45452] [SC-144836][sql] InMemoryFileIndex API を使用するためのFileSystem.listFilesの向上
• [SPARK-44735] [SC-146186][sql] 一致しない行ごとに同じ名前の列を挿入するときに警告メッセージを追加する
• [SPARK-45351] [SC-144791][core] 既定値 spark.shuffle.service.db.backend ROCKSDB に変更する
• [SPARK-45553] [SC-145906][ps] 非推奨 assertPandasOnSparkEqual
• [SPARK-45613] [SC-146022][core] DeterministicLevel を DeveloperApi として公開する
• [SPARK-45549] [SC-145895][core] で使用されていない numExistingExecutors を削除する CoarseGrainedSchedulerBackend
• [SPARK-45609] [SC-146030][connect] SparkThrowable proto メッセージに SqlState を含める
• [SPARK-45595] [SC-146037] エラー メッセージで sqlstate を公開します
• [SPARK-45628] [SC-146123][ml] の vector_to_array を改善する .mllib.linalg.SparseVector
• [SPARK-45009] [SC-145884][sql][FOLLOW UP] AQE InSubquery テストの結合条件でのデコレーション解除をオフにする
• [SPARK-45576] [SC-145883][core] ReloadingX509TrustManagerSuite で不要なデバッグ ログを削除する
• [SPARK-45485] [SC-145719][connect] ユーザー エージェントの機能強化: 環境変数SPARK_CONNECT_USER_AGENT使用し、環境固有の属性を含める
• [SPARK-45508] [SC-145513][core] "–add-opens=java.base/jdk.internal.ref=ALL-UNNAMED" を追加して、プラットフォームが Java 9 以降の Cleaner にアクセスできるようにします
• [SPARK-45595] "[SC-146037] エラー メッセージで SQLSTATE を公開します" を元に戻します
• [SPARK-45595] [SC-146037] エラー メッセージで SQLSTATE を公開します
• [SPARK-45112] “[SC-143259][sql] UnresolvedFunction ba…” を元に戻す
• [SPARK-45257] [SC-143411][core] 既定で spark.eventLog.compress を有効にする
• [SPARK-45586] [SC-145899][sql] 式ツリーが大きいプランのコンパイラ待機時間を短縮する
• [SPARK-45517] [SC-145691][connect][14.x] エラー フレームワーク パラメーターをサポートするために例外コンストラクターをさらに展開する
• [SPARK-45581] [SC-145896] SQLSTATE を必須にします。
• [SPARK-45427] [SC-145590][core] SSLOptions と SparkTransportConf に RPC SSL 設定を追加する
• [SPARK-45261] [SC-143357][core] EventLogFileWritersをコーデックとして処理するnoneを修正
• [SPARK-45582] [SC-145897][ss] 出力モードストリーミング集計内でコミットを呼び出した後にストア インスタンスが使用されないようにする
• [SPARK-45562] [SC-145720][sc-144650][SQL] XML: 'rowTag' を必須オプションにする
• [SPARK-45392] [SC-144362][core][SQL][ss] Class.newInstance() を に置き換える Class.getDeclaredConstructor().newInstance()
• [SPARK-45433] [SC-145163][sql] タイムスタンプが指定された timestampFormat と一致しない場合の CSV/JSON スキーマ推論を修正する
• [SPARK-45458] [SC-145011][sql] bitwiseExpressions で IllegalArgumentException を SparkIllegalArgumentException に変換する
• [SPARK-45564] [SC-145735][sql] 'DataFrameStatFunctions.bloomFilter' を 'BloomFilterAggregate' 式で簡略化する
• [SPARK-45566] [SC-145777][ps] Spark での Pandas API の Pandas のようなテスト ユーティリティのサポート
• [SPARK-45498] [SC-145509][core] フォローアップ: 古いステージからのタスク完了を無視する。
• [SPARK-45483] [SC-145152][connect] connect.functions の関数グループを修正する
• [SPARK-45577] [SC-145781][python] 名前付き引数から折りたたまれた値を渡す UserDefinedPythonTableFunctionAnalyzeRunner を修正
• [SPARK-45009] [SC-138223][補足情報] AetherSQLQuerySuite の結合条件で相関解除を解除する
• [SPARK-45415] [SC-145344] RocksDB ステートストアでの “fallocate” の選択的無効化を許可します
• [SPARK-45500] [SC-145134][core][WEBUI] MasterPage で異常に完了したドライバーの数を表示する
• [SPARK-44120] [SC-144349][python] Python 3.12 のサポート
• [SPARK-45439] [SC-145589][sql][UI] LiveStageMetrics.accumIdsToMetricType のメモリ使用量を減らす
• [SPARK-45565] [SC-145717][ui] ステージの詳細におけるタスクリストの不要な JSON.stringify と JSON.parse のループ
• [SPARK-45567] [SC-145718][connect] org.apache.spark.sql.connect.execution.ExecuteGrpcResponseSender#run から冗長なif文を削除する
• [SPARK-45112] [SC-143259][sql] SQL データセット関数で UnresolvedFunction ベースの解決を使用する
• [SPARK-45486] [SASP-2457][sc-145612][CONNECT] add_artifactリクエストを冪等性を持たせる
• [SPARK-44913] [SC-144326][sql] DS V2 では、マジック メソッドを持つ V2 UDF のプッシュダウンがサポートされます
• [SPARK-45538] [SC-145635][python][CONNECT] pyspark connect overwrite_partitions バグ
• [SPARK-45491] [SC-145622] 不足している SQLSTATES 2/2 を追加します
• [SPARK-45009] [SC-145620][sc-138223][SQL] 結合条件で述語サブクエリを非相関化する
• [SPARK-45377] [SC-144377][core] NettyLogger で InputStream を処理する
• [SPARK-45248] [SC-143759][core]spark ui サーバーのタイムアウトを設定する
• [SPARK-44594] [SC-145611][ss] kafka コネクタの冗長メソッド パラメーターを削除する
• [SPARK-45539] [SC-145621][ss] 追加モードで集計クエリをストリーミングするために透かしの定義が必要であることを示すアサートとログを追加する
• [SPARK-44262] [SC-145639][sql] JdbcDialect に dropTable と getInsertStatement を追加する
• [SPARK-45516] [SC-145480][connect] SparkThrowable proto メッセージに QueryContext を含める
• [SPARK-45310] [SC-145127][core] シャッフル ブロックの状態の報告は、廃止移行中にシャッフル サービスを考慮する必要があります。
• [SPARK-45521] [SC-145487][ml] で nnz の再計算を回避する VectorAssembler
• [SPARK-45418] [SC-145485][sql][PYTHON][connect] current_database() 列のエイリアスを current_schema() に変更する
• [SPARK-45116] [SC-145142][sql] JdbcDialect のパラメーターにコメントを追加する createTable
• [SPARK-45495] [SC-145529][core] 動的割り当てが無効になっている場合に、k8s クラスターのステージ レベルのタスク リソース プロファイルをサポートします
• [SPARK-45487] [SC-145559] SQLSTATE エラーと一時エラーを修正します
• [SPARK-45505] [SC-145550][python] analyzeInPython をリファクタリングして再利用できるようにする
• [SPARK-45132] [SC-145425][sql] 関数呼び出しの IDENTIFIER を修正
• [SPARK-45213] [SC-145020][sql] エラー _LEGACY_ERROR_TEMP_2151に名前を割り当てる
• [SPARK-45416] [SC-145126][connect] Arrow の結果の妥当性チェックと整合性の確認
• [SPARK-45163] [SC-143386][sql] UNSUPPORTED_VIEW_OPERATION と UNSUPPORTED_TABLE_OPERATION をマージし、いくつかの問題を修正する
• [SPARK-45421] [SC-144814][sql] InlineCTE における AnalysisException のキャッチ
• [SPARK-43664] [SC-145404][connect][PS] Spark Connect 上の Pandas-on-Spark オブジェクトで ps.sql の例外を発生させます。
• [SPARK-45402] [SC-145371][sql][PYTHON] 以前の 'analyze' 結果を使用する 'eval' メソッドと 'terminate' メソッド用の UDTF API を追加する
• [SPARK-36112] [SC-67885] [SQL] DecorrelateInnerQuery フレームワークを使用した相関 EXISTS および IN サブクエリのサポート
• [SPARK-45383] [SC-144929][sql] 既存でないテーブルを使用した時間移動のエラー メッセージを修正する
• [SPARK-43254] [SC-143318][sql] エラー _LEGACY_ERROR_TEMP_2018に名前を割り当てる
• [SPARK-45204] [SC-145167][connect] オプションの ExecuteHolder を SparkConnectPlanner に追加する
• [SPARK-45451] [SC-145144][sql] データセット キャッシュの既定のストレージ レベルを構成可能にする
• [SPARK-45192] [SC-143194][ui] graphviz edge の期限切れの lineInterpolate パラメーターを修正する
• [SPARK-45467] [SC-145146][core] Proxy.getProxyClass() を Proxy.newProxyInstance().getClass に置き換える
• [SPARK-45397] [SC-145139][ml][CONNECT] 配列アセンブラー機能トランスを追加する
• [SPARK-44855] [SC-145226][connect] ExecuteGrpcResponseSender を ExecuteResponseObserver にアタッチするための小さな調整
• [SPARK-45398] [SC-144796][sql] ESCAPE式のsql()にLikeを追加する
• [SPARK-45494] [SC-145129][core][PYTHON] PythonWorkerUtils のバイト配列を読み取り/書き込みするためのユーティリティ関数を導入
• [SPARK-45464] [SC-145125][core] ネットワークYarn配布ビルドの修正
• [SPARK-45461] [SC-144851][core][SQL][mllib] StorageLevel 用マッパーの導入
• [SPARK-45450] [SC-145009][python] PEP8 に従ったインポートの修正: pyspark.pandas と pyspark (コア)
• [SPARK-45475] [SC-145018][sql] JdbcUtils で RDD.foreachPartition の代わりに DataFrame.foreachPartition を使用する
• [SPARK-45271] [SC-143778][sql] _LEGACY_ERROR_TEMP_1113をTABLE_OPERATIONにマージし、QueryCompilationErrors で使用されていないメソッドを削除する
• [SPARK-45449] [SC-145013][sql] JDBC テーブルでのキャッシュの無効化の問題
• [SPARK-45473] [SC-145017][sql] RoundBase の正しくないエラー メッセージを修正する
• [SPARK-43299] [SC-145022][ss][CONNECT] Scala クライアントでの StreamingQueryException の変換
• [SPARK-45474] [SC-145014][core][WEBUI] MasterPage JSON API での最上位フィルター処理のサポート
• [SPARK-45205] [SC-145012][sql] 複数のジョブをトリガーしないように反復子メソッドをオーバーライドする CommandResultExec。
• [SPARK-45472] [SC-145004][ss] RocksDB State Store でチェックポイント パスの存在を再確認する必要がない
• [SPARK-45470] [SC-145010][sql] hive orc 圧縮の種類の文字列値を貼り付けないでください
• [SPARK-45448] [SC-144829][python] PEP8 に従ったインポートの修正: pyspark.testing、pyspark.mllib、pyspark.resource、pyspark.streaming
• [SPARK-45446] [SC-144828][python] PEP8 に従ったインポートの修正: pyspark.errors と pyspark.ml
• [SPARK-45239] [SC-144832][connect] 既定の spark.connect.jvmStacktrace.maxSize を減らす
• [SPARK-45436] [SC-144831][python][CONNECT] DataFrame メソッドが同じセッションをチェックする
• [SPARK-45413] [SC-144847][core] LevelDB サポートの削除準備に関する警告を追加
• [SPARK-45462] [SC-144848][core][WEBUI] で Duration を表示する ApplicationPage
• [SPARK-44527] [SC-144855][sql] maxRows が 0 の場合、ScalarSubquery を null に置き換えます
• [SPARK-45401] [SC-144854][python] UDTF インターフェイスに新しいメソッド cleanup を追加する
• [SPARK-43704] [SC-144849][connect][PS] MultiIndex の to_series() サポート
• [SPARK-45424] [SC-144888][sql] プレフィックスのみが一致する場合に TimestampFormatter が省略可能な解析結果を返す問題を修正
• [SPARK-45441] [SC-144833][python] PythonWorkerUtils のユーティリティ関数の追加
• [SPARK-45412] [SC-144803][python][CONNECT] でプランとセッションを検証する DataFrame.__init__
• [SPARK-45408] [SC-144810][core] TransportConf に RPC SSL 設定を追加する
• [SPARK-45432] [SC-144818][core] 非推奨の Hadoop-2 LocatedFileStatus コンストラクターを削除する
• [SPARK-45434] [SC-144819][ml][CONNECT] LogisticRegression がトレーニング ラベルをチェックする
• [SPARK-45420] [SC-144808][sql][PYTHON][connect] DataType.fromDDL を PySpark に追加する
• [SPARK-45406] [SC-144793][python][CONNECT] DataFrame コンストラクターから schema を削除する
• [SPARK-45404] [SC-144799][core] env 変数 AWS_ENDPOINT_URL サポート
• [SPARK-43620] [SC-144792][connect][PS] Pandas API がサポートされていない機能に依存している問題を修正する。
• [SPARK-45354] [SC-143991][sql] 関数をボトムアップで解決する
• [SPARK-45394] [SASP-1480][sc-144712][PYTHON][connect] アーティファクト API の再試行を追加します。 エラー処理を改善します ([SPARK-45093] へのフォローアップ)。
• [SPARK-45120] [SC-142780][spark-45150][UI] d3 を v3 から v7 (v7.8.5) にアップグレードし、UI に API の変更を適用する
• [SPARK-44838] [SC-143983][sql] エラー発生機能の改善
• [SPARK-45312] [SC-143754][sql][UI] 実行ページでのプラン svg の表示/非表示の切り替えをサポート
• [SPARK-45378] [SC-144448][core] convertToNettyForSsl を ManagedBuffer に追加する
• [SPARK-44762] [SC-144338][connect][CORE] SparkConnect.addJobTag と Connect SparkSession.addTag のドキュメント
• [SPARK-45383] 未解決の RelationTimeTravel を適切に処理します
• [SPARK-45347] [SC-144512][sql][CONNECT] FetchErrorDetailsResponse に SparkThrowable を含める
• [SPARK-45012] [SC-141512][sql] CheckAnalysis は AnalysisException でインラインプランをスローする必要がある
• [SPARK-45359] [SC-144336][python][CONNECT] プランが無効な場合、 DataFrame.{columns, colRegex, explain} は例外を発生させる必要がある
• [SPARK-45227] [SC-144233][core] CoarseGrainedExecutorBackend でスレッドセーフの微妙な問題を修正する
• [SPARK-45266] [SC-144171][python] ResolveFunctions アナライザー ルールをリファクターして、テーブル引数を使用するときに横結合を遅らせる
• [SPARK-45266] “[SC-144171][python] ResolveFunctions アナライザー ルールのリファクタリングを元に戻し、テーブル引数が使用された場合に横結合の作成を遅らせる”
• [SPARK-45371] [SC-144389][connect] Spark Connect Scala クライアントでのシェーディングの問題を修正する
• [SPARK-45057] [SC-144214][core] keepReadLock が false のときに読み取りロックを取得しないようにする
• [SPARK-45385] [SC-144357][sql] 非推奨 spark.sql.parser.escapedStringLiterals
• [SPARK-45340] [SC-143917][sql] SQL 構成を削除する spark.sql.hive.verifyPartitionPath
• [SPARK-45266] [SC-144171][python] ResolveFunctions アナライザー ルールをリファクターして、テーブル引数を使用するときに横結合を遅らせる
• [SPARK-45362] [SC-144198][python] Python UDTF 'eval' メソッドがそれらを使用する前に、 BY 式をプロジェクトアウトする
• [SPARK-45346] [SC-143925][sql] Parquet スキーマ推論では、スキーマをマージするときに大文字と小文字が区別されるフラグを考慮する必要がある
• [SPARK-45341] [SC-143933][core] Java 17 で正常に実行されるように、KVStore.javaのコメントのタイトル レベル sbt doc 修正する
• [SPARK-45334] [SC-143914][sql] parquetSchemaConverter で誤解を招くコメントを削除する
• [SPARK-45337] [SC-143932][core] Scala 2.12 のチェックを削除する AbstractCommandBuilder#getScalaVersion をリファクタリングする
• [SPARK-45329] [SC-143918][python][CONNECT] DataFrame メソッドで pandas 変換をスキップする
• [SPARK-43662] [SC-143923][ps][CONNECT] Spark Connect でのmerge_asofのサポート
• [SPARK-44126] [SC-143751][core] ターゲット Executor の使用停止時にシャッフル移行エラー数を増やさないでください
• [SPARK-44550] [SC-119768][sql] ANSI で null IN (empty list) の修正を有効にする
• [SPARK-45316] [SC-143783][core][SQL] ignoreCorruptFilesに新しいパラメーター /ignoreMissingFilesHadoopRDDを追加し、NewHadoopRDD
• [SPARK-45093] [SC-143414][connect][PYTHON] addArtifacts クエリのエラー 報告
• [SPARK-44756] [SC-143787][core] RetryingBlockTransferor が再試行の開始に失敗すると Executor がハングする
• [SPARK-45333] [SC-143768][core] spark.eventLog.buffer.kb に関連する 1 つのユニット間違いを修正する
• [SPARK-45317] [SC-143750][sql][CONNECT] 例外のスタック トレースで null ファイル名を処理する
• [SPARK-45191] [SC-143407][sql] InMemoryTableScanExec simpleStringWithNodeId は列形式の情報を追加する
• [SPARK-45235] [SC-143314][connect][PYTHON] でマップパラメーターと配列パラメーターをサポート sql()
• [SPARK-45138] [SC-143309][ss] DFS へのチェックポイント状態が失敗したときに新しいエラー クラスを定義して適用する
• [SPARK-45297] [SC-143644][sql] SPARK-31827 で追加された dateformatter の回避策を削除する
• [SPARK-44345] [SC-143593][core] シャッフル移行が有効になっている場合、ログ レベル unknown shuffle map output を下げて WARN に設定する
• [SPARK-44463] [SC-143251][ss][CONNECT] Connect steaming Python worker のエラー処理を改善する
• [SPARK-45207] [SC-143603][sql][CONNECT] Scala クライアントのエラー エンリッチメントを実装する
• [SPARK-45240] [SC-143602][sql][CONNECT] Python クライアントのエラー エンリッチメントを実装する
• [SPARK-45216] [SC-143288][sql] 非決定論的シードされたデータセット API を修正する
• [SPARK-45251] [SC-143419][connect] FetchErrorDetails のclient_type フィールドを追加する
• [SPARK-45137] [SC-143001][connect] パラメーター化での map/array パラメーターのサポート sql()
• [SPARK-45224] [SC-143257][python] のパラメーターとしてマップと配列を含む例を追加する sql()
• [SPARK-44622] [SC-143205][sql][CONNECT] FetchErrorDetails RPC を実装する
• [SPARK-45178] [SC-136089] ラッパーを使用するのではなく、サポートされていないソースを使用して Trigger.AvailableNow の単一バッチを実行するようにフォールバックします
• [SPARK-44823] [14.x][sc-142979][PYTHON] blackを23.9.1に更新し、誤ったチェックを修正
• [SPARK-45078] [SC-142954][sql] ImplicitCastInputTypesarray_insert が機能しないのを修正する
• [SPARK-44579] [SC-138428][sql] SQLExecution でのキャンセル時の割り込みのサポート
• [SPARK-45252] [SC-143371][core] コメント内の大/小記号をエスケープして、 sbt doc 正常に実行されるようにする
• [SPARK-45189] [SC-142973][sql] TableIdentifier から未解決のRelation を作成するには、カタログ フィールドを含める必要があります
• [SPARK-45229] [SC-143254][core][UI] MasterPage で送信済み状態で待機しているドライバーの数を表示する
• "[SPARK-43453] 「[SC-143135][ps] namesのMultiIndex時にaxis=1のconcatを無視する」を元に戻す"

Databricks ODBC/JDBC ドライバーのサポート

Databricks では、過去 2 年間にリリースされた ODBC/JDBC ドライバーがサポートされています。 最近リリースされたドライバーをダウンロードしてアップグレードしてください (ODBC のダウンロード、JDBC のダウンロード)。

Databricks Runtime 14.2 のメンテナンス更新プログラムを参照してください。

システム環境

• オペレーティング システム: Ubuntu 22.04.3 LTS
• Java: Zulu 8.72.0.17-CA-linux64
• Scala: 2.12.15
• Python: 3.10.12
• R: 4.3.1
• Delta Lake: 3.0.0

インストールされている Python ライブラリ

インストールされている R ライブラリ

R ライブラリは、2023-02-10 の Posit パッケージ マネージャー CRAN スナップショットからインストールされます。

インストールされている Java ライブラリと Scala ライブラリ (Scala 2.12 クラスター バージョン)