Databricks Runtime 15.3 (サポート終了)

次のリリース ノートでは、Apache Spark 3.5.0 を搭載した Databricks Runtime 15.3 に関する情報を提供します。

Databricks は 2024 年 6 月にこのバージョンをリリースしました。

新機能と機能強化

PySpark データソースでストリームの読み取りと書き込みがサポートされるようになりました

カスタム データ ソースからの読み取りとカスタム データ シンクへの書き込みを可能にする PySpark DataSources では、ストリームの読み取りと書き込みがサポートされるようになりました。 PySpark カスタム データ ソース を参照してください。

ドロップ機能を使用して列マッピングを無効にする

DROP FEATURE を使用して、Delta テーブルの列マッピングを無効にし、テーブル プロトコルをダウングレードできるようになりました。 「列マッピングを無効にする」を参照してください。

パブリック プレビューのバリアント型の構文と関数

VARIANT 型として半構造化データを操作するためのネイティブ Apache Spark サポートが、Spark DataFrames と SQL で使用できるようになりました。 クエリバリアントデータを参照してください。

パブリック プレビューでの Delta Lake のバリアント型のサポート

VARIANT を使用して、Delta Lake によってサポートされるテーブルに半構造化データを格納できるようになりました。 Delta Lakeでののバリアントサポートについてを参照してください。

ビューでのスキーマの進化のさまざまなモードのサポート

CREATE VIEW と ALTER VIEW を使用してスキーマ バインド モードを設定できるようになりました。これにより、基になるオブジェクトのスキーマ変更をビューで処理する方法が強化されました。 この機能により、ビューは基になるオブジェクトのスキーマ変更を許容または適応できます。 これは、オブジェクト定義の変更に起因するクエリ スキーマの変更に対処します。

Spark Connect Scala クライアントに追加された observe() メソッドのサポート

Spark Connect Scala クライアントで、Dataset.observe() メソッドがサポートされるようになりました。 これらのメソッドをサポートすることで、Dataset または ds.observe("name", metrics...) メソッドを使用して、ds.observe(observationObject, metrics...) オブジェクトで監視するメトリックを定義できます。

自動ローダーのストリーム再起動待機時間の改善

このリリースには、自動ローダーのストリーム再起動待機時間を改善する変更が含まれています。 この改善は、RocksDB 状態ストアによる状態の読み込みを非同期にすることによって実装されます。 この変更により、既に取り込まれたファイルの数が多いストリームなど、状態が大きいストリームの開始時刻が向上します。

DataFrame を pyarrow.Table として返す

Apache Arrow pyarrow.Table オブジェクトへの DataFrame の直接書き込みをサポートするために、このリリースには DataFrame.toArrow() 関数が含まれています。 PySpark で Arrow を使用する方法の詳細については、PySpark の Apache Arrowを参照してください。

一部のウィンドウ関数のパフォーマンス向上

このリリースには、一部の Spark ウィンドウ関数 、特に ORDER BY 句や window_frame パラメーターを含まない関数のパフォーマンスを向上させる変更が含まれています。 このような場合、システムはクエリを書き換えて、集計関数を使用してクエリを実行できます。 この変更により、部分的な集計を使用して、ウィンドウ関数を実行するオーバーヘッドを回避することで、クエリの実行速度を向上させることができます。 Spark 構成パラメーター spark.databricks.optimizer.replaceWindowsWithAggregates.enabled はこの最適化を制御し、既定で true に設定されます。 この最適化を無効にするには、spark.databricks.optimizer.replaceWindowsWithAggregates.enabled を [false] に設定します。

try_mod 関数のサポートが追加されました

このリリースでは、PySpark try_mod() 関数のサポートが追加されました。 この関数は、2 つの数値を除算した場合の整数剰余の ANSI SQL 互換計算をサポートします。 除数引数が 0 の場合、try_mod() 関数は例外をスローする代わりに null を返します。 除数引数が 0 で ANSI SQL が有効な場合に例外をスローする try_mod() または modの代わりに、% 関数を使用できます。

list_secrets() での省略可能なスコープ パラメーターのサポート

このリリースでは、list_secrets() テーブル関数の結果を特定のスコープに制限できます。

バグの修正

Spark UI の WriteIntoDeltaCommand メトリックが正しく表示されるようになりました

このリリースには、Execute WriteIntoDeltaCommand ノードの Spark UI の [SQL] タブに表示されるメトリックの修正が含まれています。 以前は、このノードに表示されるメトリックはすべて 0 でした。

Pandas API の groupby() 関数は、as_index=False 引数を無視しました

このリリースには、Spark 上の Pandas API の groupby() 関数に関する問題の修正プログラムが含まれています。 この修正前は、集計列のラベル変更および groupby() 引数を持つ as_index=False では、結果のデータフレームにグループキーが含まれていませんでした。

他の関数からの出力を参照する複数のウィンドウ関数でエラーを解析する

このリリースでは、Spark クエリに複数の連続するウィンドウ関数があり、ウィンドウ関数が他のウィンドウ関数からの出力を参照する場合に発生する可能性がある問題が修正されます。 まれに、システムによっていずれかの参照が削除され、クエリの評価中にエラーが発生することがあります。 この修正により、これらの参照が投影され、クエリの評価が保証されます。 この変更は、既定で spark.databricks.optimizer.collapseWindows.projectReferences に設定されている Spark 構成パラメーター trueによって制御されます。 この変更をオフにするには、spark.databricks.optimizer.collapseWindows.projectReferences を falseに設定します。

ライブラリのアップグレード

• アップグレードされた Python ライブラリ:
  • filelock (3.13.1 から 3.13.4 へ)
• アップグレードされた R ライブラリ:
• アップグレードされた Java ライブラリ:
  • org.rocksdb.rocksdbjni 8.3.2 から 8.11.4

Apache Spark

Databricks Runtime 15.3 には、Apache Spark 3.5.0 が含まれています。 このリリースには、Databricks Runtime 15.2 (EoS)に含まれるすべての Spark の修正と機能強化、および Spark に対して行われた次の追加のバグ修正と機能強化が含まれています。

• [SPARK-48211] [DBRRM-1041][15.x][15.3] 元に戻す "[SC-165552][sql] DB2: SMALLINT を Sho.. として読み取ります。.
• [SPARK-47904] [DBRRM-1040][behave-33][SC-163409] SPARK-47904を元に戻す: enableStableIdentifiersForUnionType を使用する場合は、Avro スキーマの大文字と小文字を保持する
• [SPARK-48288] [SC-166141] コネクタ キャスト式のソース データ型を追加する
• [SPARK-48175] [SC-166341][sql][PYTHON] SER/DE の型ではなく、メタデータに照合順序情報を格納する
• [SPARK-48172] [SC-166078][sql] JDBCDialects のエスケープの問題を修正する
• [SPARK-48186] [SC-165544][sql] AbstractMapType のサポートを追加
• [SPARK-48031] [SC-166523] レガシ ビューを SCHEMA BINDING に適用する
• [SPARK-48369] [SC-166566][sql][PYTHON][connect] 関数を追加 timestamp_add
• [SPARK-48330] [SC-166458][ss][PYTHON] 大きなトリガー間隔で Python ストリーミング データ ソースのタイムアウトの問題を修正する
• [SPARK-48369] "[SC-166494][sql][PYTHON][connect] 関数の追加 timestamp_add" を元に戻す
• [SPARK-48336] [SC-166495][ps][CONNECT] Spark Connect に ps.sql を実装する
• [SPARK-48369] [SC-166494][sql][PYTHON][connect] 関数を追加timestamp_add
• [SPARK-47354] [SC-165546][sql] バリアント式の照合順序のサポートを追加
• [SPARK-48161] [SC-165325][sql] 元に戻された PR を修正 - JSON 式の照合順序のサポートを追加する
• [SPARK-48031] [SC-166391] viewSchemaMode 構成を分割し、SHOW CREATE TABLE サポートを追加
• [SPARK-48268] [SC-166217][core] SparkContext.setCheckpointDir の構成を追加する
• [SPARK-48312] [ES-1076198][sql] Alias.removeNonInheritableMetadata のパフォーマンスの向上
• [SPARK-48294] [SC-166205][sql] nestedTypeMissingElementTypeError で小文字を処理する
• [SPARK-47254] [SC-158847][sql] エラー クラスに名前を割り当てる _LEGACY_ERROR_TEMP_325[1-9]
• [SPARK-47255] [SC-158749][sql] エラー クラスに名前を割り当てる _LEGACY_ERROR_TEMP_323[6-7] と _LEGACY_ERROR_TEMP_324[7-9]
• [SPARK-48310] [SC-166239][python][CONNECT] キャッシュされたプロパティはコピーを返す必要があります
• [SPARK-48308] [SC-166152][core] FileSourceStrategy でパーティション列のないデータ スキーマの取得を統合する
• [SPARK-48301] [SC-166143][sql] CREATE_FUNC_WITH_IF_NOT_EXISTS_AND_REPLACE の名前を CREATE_ROUTINE_WITH_IF_NOT_EXISTS_AND_REPLACE に変更
• [SPARK-48287] [SC-166139][ps][CONNECT] 組み込みの timestamp_diff メソッドを適用する
• [SPARK-47607] [SC-166129] 構造化ログ フレームワークのドキュメントを追加する
• [SPARK-48297] [SC-166136][sql] char/varchar で回帰 TRANSFORM 句を修正する
• [SPARK-47045] [SC-156808][sql] IllegalArgumentException を SparkIllegalArgumentException に置き換える sql/api
• [SPARK-46991] [SC-156399][sql] IllegalArgumentException を SparkIllegalArgumentException に置き換える catalyst
• [SPARK-48031] [SC-165805][sql] ビュー スキーマの進化のサポート
• [SPARK-48276] [SC-166116][python][CONNECT] 不足している __repr__ メソッドを追加します。 SQLExpression
• [SPARK-48278] [SC-166071][python][CONNECT] の文字列表現を絞り込む Cast
• [SPARK-48272] [SC-166069][sql][PYTHON][connect] 関数の追加 timestamp_diff
• [SPARK-47798] [SC-162492][sql] 10 進値の読み取りエラーのエラー メッセージを強化する
• [SPARK-47158] [SC-158078][sql] 適切な名前と sqlState を割り当てる _LEGACY_ERROR_TEMP_(2134|2231)
• [SPARK-48218] [SC-166082][core] TransportClientFactory.createClient が NPE で FetchFailedException を引き起こす可能性がある
• [SPARK-48277] [SC-166066] ErrorClassesJsonReader.getErrorMessage のエラー メッセージを改善する
• [SPARK-47545] [SC-165444][connect] Scala クライアント向けのデータセットobserveサポート
• [SPARK-48954] [SC-171672][sql] try_mod 関数を追加する
• [SPARK-43258] [SC-158151][sql] エラー _LEGACY_ERROR_TEMP_202 [3,5] に名前を割り当てる
• [SPARK-48267] [SC-165903][ss] SPARK-47305 を使用した回帰 e2e テスト
• [SPARK-48263] [SC-165925] 非UTF8_BINARY文字列の Collate 関数のサポート
• [SPARK-48260] [SC-165883][sql] ParquetIOSuite の 1 つのテストで出力コミッターの調整を無効にする
• [SPARK-47834] [SC-165645][sql][CONNECT] 非推奨の関数を @deprecated でマークする SQLImplicits
• [SPARK-48011] [SC-164061][core] LogKey 名を値として格納して、新しい文字列インスタンスの生成を回避する
• [SPARK-48074] [SC-164647][core] JSON ログの読みやすさを向上させる
• [SPARK-44953] [SC-165866][core] シャッフル追跡が有効になっている場合に、別の DA でサポートされているメカニズムと共に警告をログに記録する
• [SPARK-48266] [SC-165897][connect] パッケージ オブジェクト org.apache.spark.sql.connect.dsl をテスト ディレクトリに移動する
• [SPARK-47847] [SC-165651][core] 非推奨 spark.network.remoteReadNioBufferConversion
• [SPARK-48171] [SC-165178][core] 非推奨のコンストラクターの使用をクリーンアップする o.rocksdb.Logger
• [SPARK-48235] [SC-165669][sql] すべての引数の代わりに結合を直接渡して getBroadcastBuildSide と getShuffleHashJoinBuildSide
• [SPARK-48224] [SC-165648][sql] マップ キーがバリアント型であることを禁止する
• [SPARK-48248] [SC-165791][python] inferArrayTypeFromFirstElement のレガシ conf を考慮するように入れ子になった配列を修正する
• [SPARK-47409] [SC-165568][sql] StringTrim 型の関数/式の照合順序のサポートを追加 (UTF8_BINARYおよび LCASE 用)
• [SPARK-48143] [ES-1095638][sql] UnivocityParser と FailureSafeParser の間の制御フローに軽量例外を使用する
• [SPARK-48146] [SC-165668][sql] With 式の子要素アサーションにおける集計関数を修正
• [SPARK-48161] "[SC-165325][sql] JSON 式の照合順序のサポートを追加する" を元に戻す
• [SPARK-47963] [CORE] 外部の Spark エコシステムで構造化ログ メカニズムを使用できるようにします
• [SPARK-48180] [SC-165632][sql] TABLE 引数を使用した UDTF 呼び出しで、複数の PARTITION/ORDER BY 式に対するかっこの記述を忘れた場合のエラーを改善する
• [SPARK-48002] [SC-164132][python][SS] PySpark StreamingQueryListener で観察されたメトリックのテストを追加する
• [SPARK-47421] [SC-165548][sql] URL 式の照合順序のサポートを追加する
• [SPARK-48161] [SC-165325][sql] JSON 式の照合順序のサポートを追加する
• [SPARK-47359] [SC-164328][sql] 照合された文字列を操作するための TRANSLATE 関数のサポート
• [SPARK-47365] [SC-165643][python] PySpark に toArrow() DataFrame メソッドを追加する
• [SPARK-48228] [SC-165649][python][CONNECT] ApplyInXXX で不足している関数の検証を実装する
• [SPARK-47986] [SC-165549][connect][PYTHON] 既定のセッションがサーバーによって閉じられたときに新しいセッションを作成できない
• [SPARK-47963] "[CORE] 外部 Spark エコシステムで構造化ログ メカニズムを使用できるようにする" を元に戻す
• [SPARK-47963] [CORE] 外部の Spark エコシステムで構造化ログ メカニズムを使用できるようにします
• [SPARK-48208] [SC-165547][ss] 有界メモリ使用量が有効になっている場合、RocksDB からのメモリ使用量メトリックの提供をスキップする
• [SPARK-47566] [SC-164314][sql] 照合された文字列を操作するための SubstringIndex 関数のサポート
• [SPARK-47589] [SC-162127][sql]Hive-Thriftserver: 変数を含む logError を構造化ログ フレームワークに移行する
• [SPARK-48205] [SC-165501][python] Python データ ソースの private[sql] 修飾子を削除する
• [SPARK-48173] [SC-165181][sql] CheckAnalysis にはクエリ プラン全体が表示されます
• [SPARK-48197] [SC-165520][sql] 無効なラムダ関数のアサート エラーを回避する
• [SPARK-47318] [SC-162573][core] 標準の KEX プラクティスに従うために、HKDF ラウンドを AuthEngine キー派生に追加します
• [SPARK-48184] [SC-165335][python][CONNECT] クライアント側で常に Dataframe.sample のシードを設定する
• [SPARK-48128] [SC-165004][sql] BitwiseCount/ bit_count 式の場合、ブール型入力の codegen 構文エラーを修正する
• [SPARK-48147] [SC-165144][ss][CONNECT] ローカル Spark セッションが削除されたときにクライアント側リスナーを削除する
• [SPARK-48045] [SC-165299][python] 複数の agg-relabel を持つ Pandas API groupby では、as_index=False が無視されます
• [SPARK-48191] [SC-165323][sql] 文字列エンコードとデコードで UTF-32 をサポート
• [SPARK-45352] [SC-137627][sql] 折り畳み式ウィンドウ パーティションを削除する
• [SPARK-47297] [SC-165179][sql] 書式式の照合順序のサポートを追加する
• [SPARK-47267] [SC-165170][sql] ハッシュ式の照合順序のサポートを追加する
• [SPARK-47965] [SC-163822][core] TypedConfigBuilder と OptionalConfigEntry で orNull を回避する
• [SPARK-48166] [SQL] VariantExpressionEvalUtils でユーザー向けのエラーとして BadRecordException を使用しないようにする
• [SPARK-48105] [SC-165132][ss] 状態ストアのアンロードとスナップショット処理の間の競合状態を修正する
• [SPARK-47922] [SC-163997][sql] try_parse_json式を実装する
• [SPARK-47719] [SC-161909][sql] spark.sql.legacy.timeParse...
• [SPARK-48035] [SC-165136][sql] セマンティックが加算/乗算と等しいtry_add/try_multiplyを修正
• [SPARK-48107] [SC-164878][python] Python ディストリビューションからテストを除外する
• [SPARK-46894] [SC-164447][python] PySpark エラー状態をスタンドアロン JSON ファイルに移動する
• [SPARK-47583] [SC-163825][core] SQL core: 変数を含む logError を構造化ログ フレームワークに移行する
• [SPARK-48064] "[SC-164697][sql] ルーチン関連のエラー クラスのエラー メッセージを更新する" を元に戻す
• [SPARK-48048] [SC-164846][connect][SS] Scala のクライアント側リスナーサポートを追加しました
• [SPARK-48064] [SC-164697][sql] ルーチン関連のエラー クラスのエラー メッセージを更新する
• [SPARK-48056] [SC-164715][connect][PYTHON] SESSION_NOT_FOUND エラーが発生し、部分的な応答が受信されなかった場合にプランを再実行する
• [SPARK-48124] [SC-165009][core] Connect-Repl の構造化ログを既定で無効にする
• [SPARK-47922] 元に戻す "[SC-163997][sql] try_parse_json式を実装する"
• [SPARK-48065] [SC-164817][sql] SPJ: allowJoinKeysSubsetOfPartitionKeys が厳密すぎます
• [SPARK-48114] [SC-164956][core] 不要な作業を回避するためにテンプレート正規表現をプリコンパイルする
• [SPARK-48067] [SC-164773][sql] バリアントの既定の列を修正する
• [SPARK-47922] [SC-163997][sql] try_parse_json式を実装する
• [SPARK-48075] [SC-164709] [SS] PySpark avro 関数の型チェックを追加する
• [SPARK-47793] [SC-164324][ss][PYTHON] Python ストリーミング データ ソース用に SimpleDataSourceStreamReader を実装する
• [SPARK-48081] [SC-164719] 引数が折りたたみ不可能または間違った型の場合に NTile.checkInputDataTypes() の ClassCastException を修正する
• [SPARK-48102] [SC-164853][ss] ストリーミング クエリの進行状況を報告しながらソース/シンク メトリックを取得する期間を追跡する
• [SPARK-47671] [SC-164854][core] log4j2.properties.template で構造化ログを有効にし、ドキュメントを更新する
• [SPARK-47904] [SC-163409][sql] enableStableIdentifiersForUnionType を使用する場合に Avro スキーマの大文字小文字を保持する
• [SPARK-48058] [SC-164695][spark-43727][PYTHON][connect] UserDefinedFunction.returnType DDL 文字列を解析する
• [SPARK-46922] [SC-156102][core][SQL] ランタイム ユーザー側エラーをラップしない
• [SPARK-48047] [SC-164576][sql] 空の TreeNode タグのメモリ負荷を軽減する
• [SPARK-47934] [SC-164648] [CORE] HistoryServer URL リダイレクトで末尾のスラッシュを確実に追加する
• [SPARK-47921] [SC-163826][connect] ExecuteHolder での ExecuteJobTag の作成を修正する
• [SPARK-48014] [SC-164150][sql] EvaluatePython の makeFromJava エラーをユーザー向けのエラーに変更する
• [SPARK-47903] [SC-163424][python] PySpark バリアント ライブラリに残りのスカラー型のサポートを追加
• [SPARK-48068] [SC-164579][python] mypy にはパラメーター --python-executable 必要があります
• [SPARK-47846] [SC-163074][sql] from_json式にバリアント型のサポートを追加
• [SPARK-48050] [SC-164322][ss] クエリの開始時に論理プランをログに記録する
• [SPARK-47810] [SC-163076][sql] 結合条件で同等の式を <=> に置き換えます
• [SPARK-47741] [SC-164290] パーサーでスタック オーバーフロー処理を追加しました
• [SPARK-48053] [SC-164309][python][CONNECT] SparkSession.createDataFrame でサポートされていないオプションを警告する必要がある
• [SPARK-47939] [SC-164171][sql] ExplainCommand と DescribeQueryCommand 内で ParameterizedQuery を移動する新しいアナライザー ルールを実装する
• [SPARK-48063] [SC-164432][core] 既定で spark.stage.ignoreDecommissionFetchFailure を有効にする
• [SPARK-48016] [SC-164280][sql] decimals を使用する場合try_divide関数のバグを修正
• [SPARK-48033] [SC-164291][sql] 既定の列で使用されている RuntimeReplaceable 式を修正
• [SPARK-48010] [SC-164051][sql][ES-1109148] resolveExpression で conf.resolver への呼び出しを繰り返さないようにする
• [SPARK-48003] [SC-164323][sql] hll スケッチ集計の照合順序サポートを追加
• [SPARK-47994] [SC-164175][sql] SQLServer で CASE WHEN 列フィルターがプッシュダウンされるバグを修正しました
• [SPARK-47984] [SC-163837][ml][SQL] MetricsAggregate/V2Aggregator#serialize/deserialize を SparkSerDeUtils#serialize/deserialize に呼び出すように変更する
• [SPARK-48042] [SC-164202][sql] メソッド レベルでコピーを作成する代わりに、クラス レベルでタイムゾーンを持つタイムスタンプ フォーマッタを使用する
• [SPARK-47596] [SPARK-47600][spark-47604][SPARK-47804] 構造化ログの移行
• [SPARK-47594] [SPARK-47590][spark-47588][SPARK-47584] 構造化ログの移行
• [SPARK-47567] [SC-164172][sql] 照合された文字列を操作するための LOCATE 関数のサポート
• [SPARK-47764] [SC-163820][core][SQL] ShuffleCleanupMode に基づくシャッフル依存関係のクリーンアップ
• [SPARK-48039] [SC-164174][python][CONNECT] のエラー クラスを更新します group.apply
• [SPARK-47414] [SC-163831][sql] 正規表現式の小文字の照合順序のサポート
• [SPARK-47418] [SC-163818][sql] Unicode 対応の小文字化された独自実装を追加し、contains、startsWith、endsWith、および UTF8_BINARY_LCASE を最適化する。
• [SPARK-47580] [SC-163834][sql] SQL catalyst: エラー ログ内の名前のない変数を排除する
• [SPARK-47351] [SC-164008][sql] StringToMap とマスク文字列式の照合順序のサポートを追加する
• [SPARK-47292] [SC-164151][ss] safeMapToJValue は null 型の値を考慮する必要があります
• [SPARK-47476] [SC-164014][sql] 照合された文字列を操作するための REPLACE 関数のサポート
• [SPARK-47408] [SC-164104][sql] StringType を使用する mathExpressions を修正する
• [SPARK-47350] [SC-164006][sql] SplitPart 文字列式の照合順序のサポートを追加
• [SPARK-47692] [SC-163819][sql] 暗黙的キャストでの既定の StringType の意味を修正する
• [SPARK-47094] [SC-161957][sql] SPJ: バケットが等しくない場合のバケット数を動的に再調整する
• [SPARK-48001] [SC-164000][core] 未使用の private implicit def arrayToArrayWritable を削除する SparkContext
• [SPARK-47986] [SC-163999][接続][PYTHON] 既定のセッションがサーバーによって閉じられたときに新しいセッションを作成できない
• [SPARK-48019] [SC-164121] ディクショナリと null を使用して ColumnVector/ColumnarArray の不適切な動作を修正する
• [SPARK-47743] [SPARK-47592][spark-47589][SPARK-47581][spark-47586][SPARK-47593][spark-47595][SPARK-47587][spark-47603] 構造化ログの移行
• [SPARK-47999] [SC-163998][ss] スナップショットの作成に関するログ記録を改善し、HDFS によってサポートされるステート ストア プロバイダーの状態キャッシュ マップからエントリを追加または削除する
• [SPARK-47417] [SC-162872][sql] 照合順序のサポート: Ascii、Chr、Base64、UnBase64、Decode、StringDecode、Encode、ToBinary、FormatNumber、Sentences
• [SPARK-47712] [SC-161871][connect] 接続プラグインにデータセットの作成と処理を許可する
• [SPARK-47411] [SC-163351][sql] 照合された文字列を操作するための StringInstr および FindInSet 関数のサポート
• [SPARK-47360] [SC-163014][sql] 照合順序のサポート: Overlay、FormatString、Length、BitLength、OctetLength、SoundEx、Luhncheck
• [SPARK-47413] [SC-163323][sql] - 照合順序の substr/left/right にサポートを追加する
• [SPARK-47983] [SC-163835][sql] spark.sql.pyspark.legacy.inferArrayTypeFromFirstElement.enabled を内部に降格する
• [SPARK-47964] [SC-163816][python][CONNECT] pyspark-connect で SQLContext と HiveContext を非表示にする
• [SPARK-47985] [SC-163841][python] 関数を簡略化する lit
• [SPARK-47633] [SC-163453][sql] より一貫性のある正規化のために、 LateralJoin#allAttributes に右側のプラン出力を含める
• [SPARK-47909] “[PYTHON][connect] Parent DataFrame class f… を元に戻します。
• [SPARK-47767] [SC-163096][sql] TakeOrderedAndProjectExec にオフセット値を表示する
• [SPARK-47822] [SC-162968][sql] バリアントデータ型へのハッシュ式の適用を禁止する
• [SPARK-47490] [SC-160494][ss] 非推奨の警告を回避するために RocksDB Logger コンストラクターの使用を修正する
• [SPARK-47417] "[SC-162872][sql] 照合順序のサポート: Ascii、Chr、Base64、UnBase64、Decode、StringDecode、Encode、ToBinary、FormatNumber、Sentences" を元に戻す
• [SPARK-47352] [SC-163460][sql] 大文字、小文字、InitCap の照合順序認識を修正
• [SPARK-47909] [PYTHON][connect] Spark Connect と Spark クラシックの親 DataFrame クラス
• [SPARK-47417] [SC-162872][sql] 照合順序のサポート: Ascii、Chr、Base64、UnBase64、Decode、StringDecode、Encode、ToBinary、FormatNumber、Sentences

Databricks ODBC/JDBC ドライバーのサポート

Databricks では、過去 2 年間にリリースされた ODBC/JDBC ドライバーがサポートされています。 最近リリースされたドライバーとアップグレードをダウンロードしてください (ODBCをダウンロード、JDBC をダウンロード)。

Databricks Runtime 15.3 メンテナンス更新プログラムのを参照してください。

システム環境

• オペレーティングシステム: Ubuntu 22.04.4 LTS
• Java: Zulu 8.78.0.19-CA-linux64
• Scala: 2.12.18
• Python: 3.11.0
• R: 4.3.2
• Delta Lake: 3.2.0

インストールされている Python ライブラリ

インストールされている R ライブラリ

R ライブラリは、Posit Package Manager CRAN スナップショットからインストールされます。

インストールされている Java および Scala ライブラリ (Scala 2.12 クラスター バージョン)