Databricks Runtime 15.2 (EoS)

次のリリース ノートでは、Apache Spark 3.5.0 を搭載した Databricks Runtime 15.2 に関する情報を提供します。

Databricks は 2024 年 5 月にこのバージョンをリリースしました。

動作の変更

バキュームがCOPY INTOのメタデータファイルをクリーンアップする

VACUUM で書き込まれたテーブルで COPY INTO を実行すると、取り込まれたファイルの追跡に関連付けられている参照されていないメタデータがクリーンアップされるようになりました。 COPY INTOの運用セマンティクスに影響はありません。

Lakehouse Federation が一般提供 (GA) になる

Databricks Runtime 15.2 以降では、Lakehouse Federation コネクタが次のデータベースの種類で一般公開されています (GA)。

• MySQL
• PostgreSQL
• Amazon Redshift
• 雪片
• Microsoft SQL Server
• Azure Synapse (SQL Data Warehouse)
• Databricks（データ分析プラットフォーム）

このリリースでは、次の機能強化も導入されています。

• Snowflake および Microsoft SQL Server コネクタ でのシングル サインオン (SSO) 認証のサポート。

• サーバーレス コンピューティング環境からの SQL Server コネクタに対する Azure Private Link のサポート。 「手順 3: プライベート エンドポイントルールを作成する」を参照してください。

• 追加のプッシュダウン (文字列、数学、およびその他の関数) のサポート。
• さまざまなクエリ図形でプッシュダウンの成功率が向上しました。
• 追加のプッシュダウン デバッグ機能:
  • EXPLAIN FORMATTED 出力には、プッシュダウンされたクエリ テキストが表示されます。
  • クエリ プロファイル UI には、プッシュダウンされたクエリ テキスト、フェデレーション ノード識別子、JDBC クエリの実行時間 (詳細モード) が表示されます。 システム生成のフェデレーション クエリ を表示するを参照してください。

ヘッダーなしの CSV ファイルで BY POSITION を使用した列マッピングのための COPY INTO

Databricks Runtime 15.2 以降では、ヘッダーなしの CSV ファイルの BY POSITION で ( col_name [ , <col_name> ... ] ) キーワード (または代替構文 COPY INTO) を使用して、ソース列からターゲット テーブル列へのマッピングを簡略化できます。 「パラメーター を参照してください。

Resubmitted エラーで Spark タスクが失敗した場合のメモリ消費量を削減する

Databricks Runtime 15.2 以降では、タスクが TaskInfo.accumulables() エラーで失敗した場合、Spark Resubmitted メソッドの戻り値は空になります。 以前は、このメソッドは、以前に成功したタスク試行の値を返しました。 この動作の変更は、次のコンシューマーに影響します。

• EventLoggingListener クラスを使用する Spark タスク。
• カスタム Spark リスナー。

前の動作を復元するには、spark.scheduler.dropTaskInfoAccumulablesOnTaskCompletion.enabled を falseに設定します。

アダプティブ クエリ実行プランのバージョンの表示が無効になっている

メモリ消費量を減らすために、Spark UI でアダプティブ クエリ実行 (AQE) プランのバージョンが既定で無効になりました。 Spark UI で AQE プランのバージョンの表示を有効にするには、spark.databricks.sql.aqe.showPlanChangesInUI.enabled を trueに設定します。

保持されるクエリの制限が下がり、Spark UI のメモリ使用量が減ります

Databricks Runtime 15.2 以降では、Azure Databricks コンピューティングで Spark UI によって消費されるメモリを減らすために、UI に表示されるクエリの数の制限が 1000 から 100 に減少します。 制限を変更するには、spark.sql.ui.retainedExecutions Spark 構成を使用して新しい値を設定します。

DESCRIBE HISTORY、液体クラスタリングを使用するテーブルのクラスタリング列が表示されるようになりました

DESCRIBE HISTORY クエリを実行すると、operationParameters 操作と clusterBy 操作の既定で CREATE OR REPLACE フィールドが OPTIMIZE 列に表示されます。 液体クラスタリングを使用する Delta テーブルの場合、 clusterBy フィールドにテーブルのクラスタリング列が設定されます。 テーブルで液体クラスタリングが使用されていない場合、フィールドは空になります。

新機能と機能強化

主キーと外部キーのサポートは GA です

Databricks Runtime での主キーと外部キーのサポートが一般公開されています。 GA リリースには、主キーと外部キーを使用するために必要な特権に対する次の変更が含まれています。

• 外部キーを定義するには、外部キーが参照する主キーを持つテーブルに対する SELECT 特権が必要です。 以前に必要だった主キーを持つテーブルを所有する必要はありません。
• CASCADE 句を使用して主キーを削除する場合、主キーを参照する外部キーを定義するテーブルに対する特権は必要ありません。 以前は、参照テーブルを所有する必要があります。
• 制約を含むテーブルを削除するには、制約を含まないテーブルを削除する場合と同じ権限が必要になりました。

テーブルまたはビューで主キーと外部キーを使用する方法については、CONSTRAINT 句の、ADD CONSTRAINT 句の、および句 DROP CONSTRAINT を参照してください。

液体クラスタリングは GA です

Databricks Runtime 15.2 以降を使用して、液体クラスタリングのサポートが一般公開されました。 表に液体クラスタリングを使用するを参照してください。

型拡大はパブリック プレビュー段階です

Delta Lake でサポートされているテーブルで、型拡大を有効にできるようになりました。 型拡大が有効になっているテーブルでは、基になるデータ ファイルを書き換えることなく、列の型をより広いデータ型に変更できます。 「型の拡大」を参照してください。

SQL マージ構文に追加されたスキーマの進化句

これで、WITH SCHEMA EVOLUTION 句を SQL マージ ステートメントに追加して、操作のスキーマの進化を有効にできるようになりました。 「マージ用のスキーマ進化構文」を参照してください。

PySpark カスタム データ ソースはパブリック プレビューで利用できます

PySpark DataSource は Python (PySpark) DataSource API を使用して作成できます。これにより、カスタム データ ソースから読み取り、Python を使用して Apache Spark のカスタム データ シンクに書き込むことができます。 PySpark カスタム データ ソース を参照してください

applyInPandas と mapInPandas が、共有アクセス モードの Unity カタログ コンピューティングで使用できるようになりました

Databricks Runtime 14.3 LTS メンテナンス リリースの一環として、Databricks Runtime 14.3 以降を実行する共有アクセス モード コンピューティングで、applyInPandas および mapInPandas UDF の種類がサポートされるようになりました。

dbutils.widgets.getAll() を使用してノートブック内のすべてのウィジェットを取得する

ノートブック 内のすべてのウィジェット値を取得するには、dbutils.widgets.getAll() からを使用します。 これは、Spark SQL クエリに複数のウィジェット値を渡す場合に特に役立ちます。

バキューム インベントリのサポート

Delta テーブルで VACUUM コマンドを実行するときに考慮するファイルのインベントリを指定できるようになりました。 OSS Delta ドキュメントを参照してください。

Zstandard 圧縮関数のサポート

zst_compress、zstd_decompress、および try_zstd_decompress 関数を使用して、BINARY データを圧縮および展開できるようになりました。

バグの修正

SQL UI のクエリ プランに PhotonWriteStage が正しく表示されるようになりました

SQL UI に表示された場合、クエリ プランの write コマンドが誤って PhotonWriteStage を演算子として表示していました。 このリリースでは、UI が更新され、ステージとして PhotonWriteStage が表示されます。 これは UI の変更のみであり、クエリの実行方法には影響しません。

Ray クラスターの起動に関する問題を修正するために Ray が更新されました

このリリースには、Ray クラスターが Databricks Runtime for Machine Learning で開始されないようにする破壊的変更を修正する、パッチが適用されたバージョンの Ray が含まれています。 この変更により、Ray の機能は、15.2 より前のバージョンの Databricks Runtime と同じになります。

DataFrame.sort() 関数と DataFrame.sortWithinPartitions() 関数のエラー クラスを修正しました

このリリースには、DataFrame.sort() がインデックス引数として渡されたときに DataFrame.sortWithinPartitions() エラー クラスがスローされるように、PySpark ZERO_INDEX と 0 関数の更新が含まれています。 以前は、エラー クラス INDEX_NOT_POSITIVE が発生していました。

ipywidgets が 8.0.4 から 7.7.2 にダウングレードされる

Databricks Runtime 15.0 で ipywidgets を 8.0.4 にアップグレードすることで発生したエラーを修正するために、Databricks Runtime 15.2 では ipywidgets が 7.7.2 にダウングレードされます。 これは、以前の Databricks ランタイム バージョンに含まれているのと同じバージョンです。

ライブラリのアップグレード

• アップグレードされた Python ライブラリ:
  • GitPython (3.1.42 から 3.1.43)
  • google-api-coreのバージョンを2.17.1から2.18.0へアップデート
  • google-auth を2.28.1から2.29.0に更新する
  • google-cloud-storage 2.15.0から2.16.0へ
  • googleapis-common-protos (1.62.0 から 1.63.0)
  • ipywidgets バージョン 8.0.4 から 7.7.2 へ
  • 2.11.1 から 2.11.3 までの mlflow-skinny
  • s3 0.10.0 から 0.10.1 への転送
  • 0.4.4 から 0.5.0 までの sqlparse
  • typing_extensions (4.7.1 から 4.10.0 へ)
• アップグレードされた R ライブラリ:
• アップグレードされた Java ライブラリ:
  • com.amazonaws.aws-java-sdk-autoscaling のバージョンを1.12.390から1.12.610へ
  • com.amazonaws.aws-java-sdk-cloudformation (1.12.390 から 1.12.610 へ)
  • com.amazonaws.aws-java-sdk-cloudfront を 1.12.390 から 1.12.610 に更新
  • com.amazonaws.aws-java-sdk-cloudhsm を 1.12.390 から 1.12.610 に
  • com.amazonaws.aws-java-sdk-cloudsearch バージョンを 1.12.390 から 1.12.610 に更新しました。
  • com.amazonaws.aws-java-sdk-cloudtrail バージョン 1.12.390 から 1.12.610
  • com.amazonaws.aws-java-sdk-cloudwatch 1.12.390 から 1.12.610 にバージョンアップ
  • com.amazonaws.aws-java-sdk-cloudwatchmetrics (1.12.390 から 1.12.610)
  • com.amazonaws.aws-java-sdk-codedeploy のバージョンを 1.12.390 から 1.12.610 に更新する
  • com.amazonaws.aws-java-sdk-cognitoidentity を 1.12.390 から 1.12.610 に
  • com.amazonaws.aws-java-sdk-cognitosync を 1.12.390 から 1.12.610 に
  • com.amazonaws.aws-java-sdk-config を1.12.390から1.12.610にアップデート
  • com.amazonaws.aws-java-sdk-core を 1.12.390 から 1.12.610 に
  • com.amazonaws.aws-java-sdk-datapipeline バージョン 1.12.390 からバージョン 1.12.610 に
  • com.amazonaws.aws-java-sdk-directconnect バージョン 1.12.390 から 1.12.610
  • com.amazonaws.aws-java-sdk-directory (1.12.390 から 1.12.610 へ)
  • com.amazonaws.aws-java-sdk-dynamodb 1.12.390 から 1.12.610 まで
  • com.amazonaws.aws-java-sdk-ec2 を 1.12.390 から 1.12.610 に
  • com.amazonaws.aws-java-sdk-ecs を 1.12.390 から 1.12.610 へ
  • com.amazonaws.aws-java-sdk-efs (1.12.390 から 1.12.610 へ)
  • com.amazonaws.aws-java-sdk-elasticache (1.12.390 から 1.12.610 へ)
  • com.amazonaws.aws-java-sdk-elasticbeanstalk バージョン 1.12.390 から 1.12.610 への更新
  • com.amazonaws.aws-java-sdk-elasticloadbalancing バージョン 1.12.390 から 1.12.610 まで
  • com.amazonaws.aws-java-sdk-elastictranscoder を 1.12.390 から 1.12.610 に更新
  • com.amazonaws.aws-java-sdk-emr を 1.12.390 から 1.12.610 へ
  • com.amazonaws.aws-java-sdk-glacier を 1.12.390 から 1.12.610 に変更しました
  • com.amazonaws.aws-java-sdk-glue (1.12.390 から 1.12.610 へ)
  • com.amazonaws.aws-java-sdk-iam (1.12.390 から 1.12.610 へ)
  • com.amazonaws.aws-java-sdk-importexport (1.12.390 から 1.12.610 へ)
  • com.amazonaws.aws-java-sdk-kinesis (1.12.390 から 1.12.610 へ)
  • com.amazonaws.aws-java-sdk-kms (1.12.390 から 1.12.610 へ)
  • com.amazonaws.aws-java-sdk-lambda 1.12.390 から 1.12.610 に更新
  • com.amazonaws.aws-java-sdk-logs (1.12.390 から 1.12.610 へ)
  • com.amazonaws.aws-java-sdk-machinelearning (1.12.390 から 1.12.610 へ)
  • com.amazonaws.aws-java-sdk-opsworks のバージョンを 1.12.390 から 1.12.610 に変更
  • com.amazonaws.aws-java-sdk-rds (1.12.390 から 1.12.610 へ)
  • com.amazonaws.aws-java-sdk-redshift (1.12.390 から 1.12.610 へ)
  • com.amazonaws.aws-java-sdk-route53 を 1.12.390 から 1.12.610 にアップデート
  • com.amazonaws.aws-java-sdk-s3 を 1.12.390 から 1.12.610 に
  • com.amazonaws.aws-java-sdk-ses を 1.12.390 から 1.12.610 に
  • com.amazonaws.aws-java-sdk-simpledb 1.12.390 から 1.12.610
  • com.amazonaws.aws-java-sdk-simpleworkflow バージョン 1.12.390 から 1.12.610 まで
  • com.amazonaws.aws-java-sdk-sns を 1.12.390 から 1.12.610 に
  • com.amazonaws.aws-java-sdk-sqs を 1.12.390 から 1.12.610 に変更
  • com.amazonaws.aws-java-sdk-ssm from (1.12.390 から 1.12.610 へ)
  • com.amazonaws.aws-java-sdk-storagegateway (1.12.390 から 1.12.610 へ)
  • com.amazonaws.aws-java-sdk-sts を 1.12.390 から 1.12.610 に変更
  • com.amazonaws.aws-java-sdk-support (1.12.390 から 1.12.610 へ)
  • com.amazonaws.aws-java-sdk-workspaces (1.12.390 から 1.12.610 へ)
  • com.amazonaws.jmespath-java 1.12.390 から 1.12.610

Apache Spark

Databricks Runtime 15.2 には、Apache Spark 3.5.0 が含まれています。 このリリースには、Databricks Runtime 15.1 (EoS)に含まれるすべての Spark の修正と機能強化、および Spark に対する次の追加のバグ修正と機能強化が含まれています。

• [SPARK-47941] [SC-163568] [SS] [接続] ForeachBatch ワーカー初期化エラーを PySpark のユーザーに伝達する
• [SPARK-47412] [SC-163455][sql] LPad/RPad の照合順序のサポートを追加します。
• [SPARK-47907] [SC-163408][sql] 構成設定に「bang」を組み込む
• [SPARK-46820] [SC-157093][python] 復元によるエラー メッセージの回帰を修正 new_msg
• [SPARK-47602] [SPARK-47577][spark-47598][SPARK-47577]Core/MLLib/Resource Managers: 構造化ログの移行
• [SPARK-47890] [SC-163324][connect][PYTHON] Scala と Python にバリアント関数を追加します。
• [SPARK-47894] [SC-163086][core][WEBUI] マスター UI に Environment ページを追加する
• [SPARK-47805] [SC-163459][ss] MapState の TTL の実装
• [SPARK-47900] [SC-163326] UTF8_BINARY の照合順序（暗黙的な）をチェックする機能を修正
• [SPARK-47902] [SC-163316][sql]Compute Current Time* 式を折りたたみ可能にする
• [SPARK-47845] [SC-163315][sql][PYTHON][connect] scala と python の分割関数での列型のサポート
• [SPARK-47754] [SC-162144][sql] Postgres: 多次元配列の読み取りをサポート
• [SPARK-47416] [SC-163001][sql] CollationBenchmark に新しい関数を追加する #90339
• [SPARK-47839] [SC-163075][sql] RewriteWithExpression の集計バグを修正
• [SPARK-47821] [SC-162967][sql] is_variant_null式を実装する
• [SPARK-47883] [SC-163184][sql] RowQueue で CollectTailExec.doExecute を遅延させる
• [SPARK-47390] [SC-163306][sql] PostgresDialect が TIMESTAMP とTIMESTAMP_TZを区別する
• [SPARK-47924] [SC-163282][core] デバッグ ログを追加する DiskStore.moveFileToBlock
• [SPARK-47897] [SC-163183][sql][3.5] Scala 2.12 での ExpressionSet パフォーマンスの回帰を修正
• [SPARK-47565] [SC-161786][python] PySpark ワーカー プールのクラッシュの回復性
• [SPARK-47885] [SC-162989][python][CONNECT] pyspark.resource を pyspark-connect と互換性のあるものにする
• [SPARK-47887] [SC-163122][connect] 未使用のインポートspark/connect/common.protoをspark/connect/relations.protoから削除する
• [SPARK-47751] [SC-161991][python][CONNECT] pyspark-connect と互換性のあるpyspark.worker_utilsにする
• [SPARK-47691] [SC-161760][sql] Postgres: 書き込み側での多次元配列のサポート
• [SPARK-47617] [SC-162513][sql] 照合順序の TPC-DS テスト インフラストラクチャを追加する
• [SPARK-47356] [SC-162858][sql] ConcatWs と Elt のサポートを追加 (すべての照合順序)
• [SPARK-47543] [SC-161234][connect][PYTHON] Pandas DataFrame からdictとしてMapTypeを推論して DataFrame の作成を許可する
• [SPARK-47863] [SC-162974][sql] ICU の startsWith と endsWith 照合順序対応の実装を修正
• [SPARK-47867] [SC-162966][sql] JSON スキャンのサポート バリアント。
• [SPARK-47366] [SC-162475][sql][PYTHON] PySpark 用 VariantVal を追加する
• [SPARK-47803] [SC-162726][sql] バリアントへのキャストをサポートします。
• [SPARK-47769] [SC-162841][sql] schema_of_variant_agg式を追加します。
• [SPARK-47420] [SC-162842][sql] テスト出力の修正
• [SPARK-47430] [SC-161178][sql] MapType のサポート GROUP BY
• [SPARK-47357] [SC-162751][sql] Upper、Lower、InitCap (すべての照合順序) のサポートを追加
• [SPARK-47788] [SC-162729][ss] ストリーミング ステートフル操作に対して同じハッシュ パーティション分割を確保する
• [SPARK-47776] [SC-162291][ss] ステートフル演算子のキー スキーマでバイナリ非等値の照合順序の使用を禁止する
• [SPARK-47673] [SC-162824][ss] ListState の TTL の実装
• [SPARK-47818] [SC-162845][connect] 要求の分析のパフォーマンスを向上させるために SparkConnectPlanner にプラン キャッシュを導入する
• [SPARK-47694] [SC-162783][connect] クライアント側で最大メッセージ サイズを構成可能にする
• [SPARK-47274] "[SC-162479][python][SQL] より有用な...を提供" をリバート
• [SPARK-47616] [SC-161193][sql] MySQL から Spark SQL データ型をマッピングするためのユーザー ドキュメントを追加する
• [SPARK-47862] [SC-162837][python][CONNECT]proto ファイルの生成を修正する
• [SPARK-47849] [SC-162724][python][CONNECT] リリース スクリプトを変更して pyspark-connect をリリースする
• [SPARK-47410] [SC-162518][sql] UTF8String と CollationFactory をリファクタリングする
• [SPARK-47807] [SC-162505][python][ML] pyspark-connect と互換性のある pyspark.ml にする
• [SPARK-47707] [SC-161768][sql] MySQL Connector/J 5.x の JSON 型の特別な処理
• [SPARK-47765] “[SC-162636][sql] SET COLLATION 解析への追加を取り消す…
• [SPARK-47081] [SC-162151][connect][FOLLOW] 進行状況ハンドラーの使いやすさの向上
• [SPARK-47289] [SC-161877][sql] 拡張機能がExplainプランで拡張情報をログに記録できるようにする
• [SPARK-47274] [SC-162479][python][SQL] PySpark DataFrame API エラーに関するより便利なコンテキストを提供する
• [SPARK-47765] [SC-162636][sql] パーサー ルールに SET COLLATION を追加する
• [SPARK-47828] [SC-162722][connect][PYTHON] DataFrameWriterV2.overwrite が無効なプランで失敗する
• [SPARK-47812] [SC-162696][connect] ForEachBatch worker の SparkSession のシリアル化のサポート
• [SPARK-47253] [SC-162698][core] イベント キューを完全にドレインせずに LiveEventBus を停止できるようにする
• [SPARK-47827] [SC-162625][python] 非推奨の機能に関する警告がありません
• [SPARK-47733] [SC-162628][ss] クエリの進行状況の transformWithState 演算子部分のカスタム メトリックを追加する
• [SPARK-47784] [SC-162623][ss] TTLMode と TimeoutMode を 1 つの TimeMode にマージします。
• [SPARK-47775] [SC-162319][sql] バリアント スペックの残りのスカラー型をサポートします。
• [SPARK-47736] [SC-162503][sql] AbstractArrayType のサポートを追加する
• [SPARK-47081] [SC-161758][connect] クエリ実行の進行状況のサポート
• [SPARK-47682] [SC-162138][sql] バリアントからのキャストをサポートします。
• [SPARK-47802] [SC-162478][sql] () を意味 struct() から意味 * に戻す
• [SPARK-47680] [SC-162318][sql] variant_explode式を追加します。
• [SPARK-47809] [SC-162511][sql] checkExceptionInExpression は各 codegen モードのエラーを確認する必要があります
• [SPARK-41811] [SC-162470][python][CONNECT] で SQLStringFormatter を実装する WithRelations
• [SPARK-47693] [SC-162326][sql] UTF8_BINARY_LCASE 照合順序で使用される UTF8String の小文字比較を最適化する機能を追加
• [SPARK-47541] [SC-162006][sql] 逆の操作、array_join、concat、map をサポートする複合型の照合文字列
• [SPARK-46812] [SC-161535][connect][PYTHON] mapInPandas/mapInArrow が ResourceProfile をサポートできるようにする
• [SPARK-47727] [SC-161982][python] SparkConf を SparkSession と SparkContext の両方のルート レベルに設定する
• [SPARK-47406] [SC-159376][sql] MYSQLDialect で TIMESTAMP と DATETIME を処理する
• [SPARK-47081] 「[SC-161758][connect] クエリ実行サポート」を元に戻す
• [SPARK-47681] [SC-162043][sql] schema_of_variant式を追加します。
• [SPARK-47783] [SC-162222] 不足している SQLSTATEs をいくつか追加して、使用する YY000 をクリーンアップします。...
• [SPARK-47634] [SC-161558][sql] マップ キー正規化を無効にするためのレガシ サポートを追加する
• [SPARK-47746] [SC-162022] RocksDBStateEncoder に序数ベースの範囲エンコードを実装する
• [SPARK-47285] [SC-158340][sql] AdaptiveSparkPlanExec は常に context.session を使用する必要があります
• [SPARK-47643] [SC-161534][ss][PYTHON] Python ストリーミング ソースの pyspark テストを追加する
• [SPARK-47582] [SC-161943][sql] 変数を含む Catalyst logInfo を構造化ログ フレームワークに移行する
• [SPARK-47558] [SC-162007][ss] ValueState の状態に対する TTL サポート
• [SPARK-47358] [SC-160912][sql][COLLATION] 正しいデータ型を返すように繰り返し式のサポートを向上させる
• [SPARK-47504] [SC-162044][sql] StringTypeCollated の AbstractDataType simpleStrings を解決する
• [SPARK-47719] “[SC-161909][sql] spark.sql.legacy.t... を元に戻します。”
• [SPARK-47657] [SC-162010][sql] ファイル ソースごとの照合順序フィルタープッシュダウンサポートを実装する
• [SPARK-47081] [SC-161758][connect] クエリ実行の進行状況のサポート
• [SPARK-47744] [SC-161999] 範囲エンコーダーの負の値のバイトのサポートを追加
• [SPARK-47713] [SC-162009][sql][CONNECT] 自己結合エラーを修正する
• [SPARK-47310] [SC-161930][ss] 状態ストアの値部分の複数の値に対するマージ操作のマイクロ ベンチマークを追加する
• [SPARK-47700] [SC-161774][sql] treeNode を使用したエラー メッセージの書式設定を修正
• [SPARK-47752] [SC-161993][ps][CONNECT] pyspark.pandas を pyspark-connect と互換性のあるものにする
• [SPARK-47575] [SC-161402][spark-47576][SPARK-47654] 構造化ログ フレームワークに logWarning/logInfo API を実装する
• [SPARK-47107] [SC-161201][ss][PYTHON] Python ストリーミング データ ソース用のパーティション リーダーを実装する
• [SPARK-47553] [SC-161772][ss] transformWithState 演算子 API の Java サポートを追加する
• [SPARK-47719] [SC-161909][sql] spark.sql.legacy.timeParserPolicy の既定値を CORRECTED に変更する
• [SPARK-47655] [SC-161761][ss] タイマーと State-v2 の初期状態処理を統合する
• [SPARK-47665] [SC-161550][sql] SMALLINT を使用して SHORTType を MYSQL に書き込む
• [SPARK-47210] [SC-161777][sql] 非決定的なケースのサポートがない場合の暗黙的な型変換の追加
• [SPARK-47653] [SC-161767][ss] 負の数値型と範囲スキャン キー エンコーダーのサポートを追加
• [SPARK-46743] [SC-160777][sql] 定数畳み込み後のカウントのバグ
• [SPARK-47525] [SC-154568][sql] マップ属性でのサブクエリ相関結合のサポート
• [SPARK-46366] [SC-151277][sql] BETWEEN で WITH 式を使用して式が重複しないようにする
• [SPARK-47563] [SC-161183][sql] 作成時にマップ正規化を追加する
• [SPARK-42040] [SC-161171][sql] SPJ: パーティション統計を報告する V2 入力パーティション用の新しい API を導入
• [SPARK-47679] [SC-161549][sql] HiveConf.getConfVars または Hive conf 名を直接使用する
• [SPARK-47685] [SC-161566][sql] の Stream 型のサポートを復元する Dataset#groupBy
• [SPARK-47646] [SC-161352][sql] try_to_numberが不正な入力の場合にNULLを返すようにする
• [SPARK-47366] [SC-161324][python] pyspark とデータフレームのparse_jsonエイリアスを追加する
• [SPARK-47491] [SC-161176][core] slf4j-api ディレクトリの他のクラス パスの前に、最初にクラス パスに jars jar を追加します
• [SPARK-47270] [SC-158741][sql] Dataset.isEmpty は CommandResults をローカルで投影します
• [SPARK-47364] [SC-158927][core] プラグインが一方向メッセージに応答したときに PluginEndpoint 警告する
• [SPARK-47280] [SC-158350][sql] ORACLE TIMESTAMP WITH のタイムゾーン制限を削除する TIMEZONE
• [SPARK-47551] [SC-161542][sql] variant_get式を追加します。
• [SPARK-47559] [SC-161255][sql] Codegen のバリアントのサポート parse_json
• [SPARK-47572] [SC-161351][sql] ウィンドウの partitionSpec が並べ替え可能であることを強制する。
• [SPARK-47546] [SC-161241][sql] Parquet から Variant を読み取るときの検証を改善する
• [SPARK-47543] [SC-161234][connect][PYTHON] Pandas DataFrame からdictとしてMapTypeを推論して DataFrame の作成を許可する
• [SPARK-47485] [SC-161194][sql][PYTHON][connect] データフレーム API で照合順序を持つ列を作成する
• [SPARK-47641] [SC-161376][sql] UnaryMinus と Abs の性能を向上させる
• [SPARK-47631] [SC-161325][sql] 使用されていない SQLConf.parquetOutputCommitterClass メソッドを削除する
• [SPARK-47674] [SC-161504][core] 既定で spark.metrics.appStatusSource.enabled を有効にする
• [SPARK-47273] [SC-161162][ss][PYTHON] は Python データ ストリーム ライター インターフェイスを実装します。
• [SPARK-47637] [SC-161408][sql] errorCapturingIdentifier を他の場所で使用する
• [SPARK-47497] 「[SC-160724][sql] 配列/ストラクト/マップ/バイナリの出力を可読形式の文字列として出力するためのto_csvサポートを戻す」を再度元に戻す
• [SPARK-47492] [SC-161316][sql] レキサーで空白文字の規則を拡張する
• [SPARK-47664] [SC-161475][python][CONNECT] キャッシュされたスキーマで列名を検証する
• [SPARK-47638] [SC-161339][ps][CONNECT] PS での列名の検証をスキップする
• [SPARK-47363] [SC-161247][ss] State API v2 の状態リーダーの実装がない初期状態。
• [SPARK-47447] [SC-160448][sql] Parquet TimestampLTZ を TimestampNTZ として読み取ることを許可する
• [SPARK-47497] "[SC-160724][sql] to_csv で array/struct/map/binary の出力を美しい文字列としてサポートするようにする" を元に戻す
• [SPARK-47434] [SC-160122][webui] の statistics リンクを修正 StreamingQueryPage
• [SPARK-46761] [SC-159045][sql] JSON パス内の引用符で囲まれた文字列はサポートする必要がありますか? 文字
• [SPARK-46915] [SC-155729][sql] UnaryMinusAbs を簡略化し、エラー クラスを配置する
• [SPARK-47431] [SC-160919][sql] セッション レベルの既定の照合順序を追加する
• [SPARK-47620] [SC-161242][python][CONNECT] 列を並べ替えるヘルパー関数を追加する
• [SPARK-47570] [SC-161165][ss] 範囲スキャン エンコーダーの変更をタイマー実装と統合する
• [SPARK-47497] [SC-160724][sql] to_csv が array/struct/map/binary の出力を美しい文字列としてサポートするようにする
• [SPARK-47562] [SC-161166][connect] リテラル処理をplan.pyから分離する
• [SPARK-47509] [SC-160902][sql] ラムダ関数と上位関数のサブクエリ式をブロックする
• [SPARK-47539] [SC-160750][sql] メソッドの戻り値をcastToStringにするAny => UTF8String
• [SPARK-47372] [SC-160905][ss] 状態ストア プロバイダーで使用する範囲スキャン ベースのキー状態エンコーダーのサポートを追加
• [SPARK-47517] [SC-160642][core][SQL] サイズ表示に Utils.bytesToString を優先する
• [SPARK-47243] [SC-158059][ss] のパッケージ名を修正する StateMetadataSource.scala
• [SPARK-47367] [SC-160913][python][CONNECT] Spark Connect で Python データ ソースをサポートする
• [SPARK-47521] [SC-160666][core] 外部ストレージからシャッフル データを読み取る際に Utils.tryWithResource を使用する
• [SPARK-47474] [SC-160522][core] SPARK-47461 を元に戻し、いくつかのコメントを追加する
• [SPARK-47560] [SC-160914][python][CONNECT] キャッシュされたスキーマで列名を検証する RPC を避ける
• [SPARK-47451] [SC-160749][sql] to_json(variant)のサポート。
• [SPARK-47528] [SC-160727][sql] DataTypeUtils.canWrite に UserDefinedType のサポートを追加する
• [SPARK-44708] "[SC-160734][python] assertDataFrameEqual を使用するようにtest_reset_index assert_eqを移行する" を元に戻す
• [SPARK-47506] [SC-160740][sql] 照合されたデータ型のすべてのファイル ソース形式に対するサポートを追加
• [SPARK-47256] [SC-160784][sql] エラー クラスに名前を割り当てる _LEGACY_ERROR_TEMP_102[4-7]
• [SPARK-47495] [SC-160720][core] k8s クラスター モードで spark.jars に追加されたプライマリ リソース jar を 2 回修正する
• [SPARK-47398] [SC-160572][sql] 機能拡張を可能にする InMemoryTableScanExec の特性を抽出する
• [SPARK-47479] [SC-160623][sql] Optimize は複数パスのエラー ログとの関係にデータを書き込めません
• [SPARK-47483] [SC-160629][sql] 照合された文字列の配列に対する集計および結合操作のサポートを追加
• [SPARK-47458] [SC-160237][core] バリア ステージの最大同時タスクの計算に関する問題を修正する
• [SPARK-47534] [SC-160737][sql] o.a.s.variant を o.a.s.types.variant に移動
• [SPARK-47396] [SC-159312][sql] TIME WITHOUT TIME ZONE の一般的なマッピングを TimestampNTZType に追加する
• [SPARK-44708] [SC-160734][python] assertDataFrameEqual を使用するためにtest_reset_index assert_eqを移行する
• [SPARK-47309] [SC-157733][sc-160398][SQL] XML: 値タグのスキーマ推論テストを追加する
• [SPARK-47007] [SC-160630][sql] MapSort 式を追加する
• [SPARK-47523] [SC-160645][sql] 非推奨の JsonParser#getCurrentName を JsonParser#currentName に置き換え
• [SPARK-47440] [SC-160635][sql] サポートされていない構文を MsSqlServer にプッシュする問題を修正
• [SPARK-47512] [SC-160617][ss] RocksDB 状態ストア インスタンスのロック取得/リリースで使用されるタグ操作の種類
• [SPARK-47346] [SC-159425][python] Python Planner worker の作成時にデーモン モードを構成可能にする
• [SPARK-47446] [SC-160163][core] BlockManager が警告する前に removeBlockInternal するようにする
• [SPARK-46526] [SC-156099][sql] 述語が外部テーブルのみを参照する相関サブクエリに対する LIMIT をサポート
• [SPARK-47461] [SC-160297][core] からプライベート関数 totalRunningTasksPerResourceProfile を削除する ExecutorAllocationManager
• [SPARK-47422] [SC-160219][sql] 配列操作で照合された文字列をサポートする
• [SPARK-47500] [SC-160627][python][CONNECT] 列名処理の要因をplan.pyから分離する
• [SPARK-47383] [SC-160144][core] spark.shutdown.timeout 構成をサポート
• [SPARK-47342] [SC-159049] "[SQL] DB2 TIMESTAMP WITH TIME ZONEのためのTimestampNTZサポート"を取り消す
• [SPARK-47486] [SC-160491][connect] 未使用のプライベート ArrowDeserializers.getString メソッドを削除する
• [SPARK-47233] [SC-154486][connect][SS][2/2] クライアント側ストリーミング クエリ リスナーのクライアントおよびサーバー ロジック
• [SPARK-47487] [SC-160534][sql] AnsiTypeCoercion のコードを簡略化する
• [SPARK-47443] [SC-160459][sql] 照合順序のウィンドウ集計のサポート
• [SPARK-47296] [SC-160457][sql][COLLATION] 非バイナリ照合順序でサポートされていない関数が失敗する
• [SPARK-47380] [SC-160164][connect] SparkSession が同じであることをサーバー側で確認する
• [SPARK-47327] [SC-160069][sql] 並べ替えキーのコンカレンシー テストを CollationFactorySuite に移動する
• [SPARK-47494] [SC-160495][doc] Spark 3.3 以降の Parquet タイムスタンプ推論の動作変更に関する移行ドキュメントを追加する
• [SPARK-47449] [SC-160372][ss] リスト/タイマーの単体テストのリファクタリングと分割
• [SPARK-46473] [SC-155663][sql] getPartitionedFile メソッドを再利用する
• [SPARK-47423] [SC-160068][sql] 照合順序 - 照合順序を持つ文字列に対する操作のサポートを設定する
• [SPARK-47439] [SC-160115][python] APIリファレンスページにPythonデータソースAPIをドキュメントする
• [SPARK-47457] [SC-160234][sql] Hadoop 3.4 以降を処理する IsolatedClientLoader.supportsHadoopShadedClient を修正
• [SPARK-47366] [SC-159348][sql] parse_jsonを実装します。
• [SPARK-46331] [SC-152982][sql] DateTime 式と version() 式のサブセットからの CodegenFallback の削除
• [SPARK-47395] [SC-159404] 他の API に照合と照合順序を追加する
• [SPARK-47437] [SC-160117][python][CONNECT] エラー クラスを修正する DataFrame.sort*
• [SPARK-47174] [SC-154483][connect][SS][1/2] クライアント側ストリーミング クエリ リスナー用サーバー側 SparkConnectListenerBusListener
• [SPARK-47324] [SC-158720][sql] JDBC の入れ子型に対する不足しているタイムスタンプ変換を追加する
• [SPARK-46962] [SC-158834][ss][PYTHON] Python ストリーミング データ ソース API のインターフェイスを追加し、Python ワーカーを実装して Python ストリーミング データ ソースを実行する
• [SPARK-45827] [SC-158498][sql] データ型チェックを CreatableRelationProvider に移動する
• [SPARK-47342] [SC-158874][sql] DB2のTIMESTAMP WITH TIME ZONEに対するTimestampNTZのサポート追加
• [SPARK-47399] [SC-159378][sql] 照合順序を持つ式で生成された列を無効にする
• [SPARK-47146] [SC-158247][core] 並べ替えマージ結合の実行時にスレッド リークが発生する可能性があります
• [SPARK-46913] [SC-159149][ss] transformWithState 演算子を使用した処理/イベント時間ベースのタイマーのサポートを追加
• [SPARK-47375] [SC-159063][sql] タイムスタンプ マッピングのガイドラインを に追加 JdbcDialect#getCatalystType
• [SPARK-47394] [SC-159282][sql] H2Dialect のタイム ゾーンでのタイムスタンプのサポート
• [SPARK-45827] "[SC-158498][sql] データ型チェックを ... に移動します。
• [SPARK-47208] [SC-159279][core] 基本オーバーヘッドメモリを上書きできるようにする
• [SPARK-42627] [SC-158021][spark-26494][SQL] ローカル タイム ゾーンでの Oracle タイムスタンプのサポート
• [SPARK-47055] [SC-156916][python] MyPy 1.8.0 のアップグレード
• [SPARK-46906] [SC-157205][ss] ストリーミングのステートフル演算子の変更のチェックを追加する
• [SPARK-47391] [SC-159283][sql] JDK 8 のテスト ケースの回避策を削除する
• [SPARK-47272] [SC-158960][ss] State API v2 の MapState 実装を追加します。
• [SPARK-47375] [SC-159278][doc][FollowUp] JDBC の preferTimestampNTZ オプション ドキュメントの間違いを修正する
• [SPARK-42328] [SC-157363][sql] エラー クラスから_LEGACY_ERROR_TEMP_1175を削除する
• [SPARK-47375] [SC-159261][doc][FollowUp] JDBC ドキュメントの preferTimestampNTZ オプションの説明を修正する
• [SPARK-47344] [SC-159146] INVALID_IDENTIFIERエラーを、引用符で囲まれていない識別子での'-' の捕捉を超えて拡張し、"IS"の修正を行います。 NULL" などを修正する
• [SPARK-47340] [SC-159039][sql] StringType 型名の "collate" を小文字に変更する
• [SPARK-47087] [SC-157077][sql] 構成値チェックでエラー クラスを使用して Spark の例外を発生させる
• [SPARK-47327] [SC-158824][sql] ICU Collator のスレッド セーフの問題を修正する
• [SPARK-47082] [SC-157058][sql] 範囲外のエラー状態を修正する
• [SPARK-47331] [SC-158719][ss] 任意の状態 API v2 の SQL エンコーダーに基づくケース クラス/プリミティブ/POJO を使用したシリアル化。
• [SPARK-47250] [SC-158840][ss] RocksDB 状態プロバイダーと列ファミリの使用に対する検証と NERF の変更を追加する
• [SPARK-47328] [SC-158745][sql] UCS_BASIC照合順序の名前をUTF8_BINARYに変更する
• [SPARK-47207] [SC-157845][core] サポート spark.driver.timeout と DriverTimeoutPlugin
• [SPARK-47370] [SC-158956][doc] 移行ドキュメントの追加: Parquet ファイルでの TimestampNTZ 型推論
• [SPARK-47309] [SC-158827][sql][XML] スキーマ推論単体テストを追加する
• [SPARK-47295] [SC-158850][sql] startsWith 関数と endsWith 関数に ICU StringSearch を追加しました
• [SPARK-47343] [SC-158851][sql] sqlString 変数値が即時実行で null 文字列である場合に NPE を修正する
• [SPARK-46293] [SC-150117][connect][PYTHON] 推移的な依存関係 protobuf 使用する
• [SPARK-46795] [SC-154143][sql] UnsupportedOperationException を SparkUnsupportedOperationException に置き換える sql/core
• [SPARK-46087] [SC-149023][python] ドキュメントと開発要件で PySpark 依存関係を同期する
• [SPARK-47169] [SC-158848][sql] 照合された列のバケットを無効にする
• [SPARK-42332] [SC-153996][sql] ComplexTypeMergingExpression で要求を SparkException に変更する
• [SPARK-45827] [SC-158498][sql] データ型チェックを CreatableRelationProvider に移動する
• [SPARK-47341] [SC-158825][connect] SparkConnectClientSuite のいくつかのテストでコマンドをリレーションに置き換える
• [SPARK-43255] [SC-158026][sql] エラー クラス _LEGACY_ERROR_TEMP_2020を内部エラーに置き換える
• [SPARK-47248] [SC-158494][sql][COLLATION] 強化された文字列関数のサポート: contains
• [SPARK-47334] [SC-158716][sql] withColumnRenamed が withColumnsRenamed の実装を再利用する
• [SPARK-46442] [SC-153168][sql] DS V2 は PERCENTILE_CONT と PERCENTILE_DISC のプッシュダウンをサポートします。
• [SPARK-47313] [SC-158747][sql] QueryExecution.toInternalError 内で scala.MatchError の処理を追加しました。
• [SPARK-45827] [SC-158732][sql] Java 用のバリアント シングルトン型を追加する
• [SPARK-47337] [SC-158743][sql][DOCKER] DB2 Docker イメージのバージョンを 11.5.8.0 にアップグレードする
• [SPARK-47302] [SC-158609][sql] キーワードを識別子として照合する
• [SPARK-46817] [SC-154196][core] コマンドを追加してspark-daemon.shの使用を修正decommission
• [SPARK-46739] [SC-153553][sql] エラー クラスを追加する UNSUPPORTED_CALL
• [SPARK-47102] [SC-158253][sql] COLLATION_ENABLED 構成フラグを追加する
• [SPARK-46774] [SC-153925][sql][AVRO] Avro 書き込みジョブで非推奨の mapred.output.compress ではなく mapreduce.output.fileoutputformat.compress を使用する
• [SPARK-45245] [SC-146961][python][CONNECT] PythonWorkerFactory: ワーカーが接続しない場合はタイムアウト。
• [SPARK-46835] [SC-158355][sql][Collations] 非バイナリ照合順序の結合サポート
• [SPARK-47131] [SC-158154][sql][COLLATION] 文字列関数のサポート: contains、startswith、endswith
• [SPARK-46077] [SC-157839][sql] JdbcDialect.compileValue で TimestampNTZConverter によって生成される型を検討してください。
• [SPARK-47311] [SC-158465][sql][PYTHON] PySpark が Python パスにない Python 例外を抑制する
• [SPARK-47319] [SC-158599][sql] missingInput の計算方法を改善する
• [SPARK-47316] [SC-158606][sql] Postgres Array での TimestampNTZ の修正
• [SPARK-47268] [SC-158158][sql][Collations] 照合順序に基づく再パーティション分割のサポート
• [SPARK-47191] [SC-157831][sql] テーブル/ビューをアンキャッシュするときに不要な関係参照を回避する
• [SPARK-47168] [SC-158257][sql] 既定以外の照合順序文字列を使用する場合に Parquet フィルタープッシュダウンを無効にする
• [SPARK-47236] [SC-158015][core] 既存以外のファイル入力をスキップする deleteRecursivelyUsingJavaIO を修正
• [SPARK-47238] [SC-158466][sql] WSCG で生成されたコードをブロードキャスト変数にすることで、Executor のメモリ使用量を削減する
• [SPARK-47249] [SC-158133][connect] 実際の状態に関係なく、すべての接続実行が破棄されたと見なされるバグを修正しました
• [SPARK-47202] [SC-157828][python] tzinfo で入力ミスの重大な datetimes を修正
• [SPARK-46834] [SC-158139][sql][Collations] 集計のサポート
• [SPARK-47277] [SC-158351][3.5] PySpark util 関数 assertDataFrameEqual は DF のストリーミングをサポートしない
• [SPARK-47155] [SC-158473][python] エラー クラスの問題を修正する
• [SPARK-47245] [SC-158163][sql] INVALID_PARTITION_COLUMN_DATA_TYPEのエラー コードを改善する
• [SPARK-39771] [SC-158425][core] シャッフル ブロックの数が多すぎる場合に、 Dependency に警告メッセージを追加します。
• [SPARK-47277] [SC-158329] PySpark util 関数 assertDataFrameEqual はストリーミング DF をサポートしない
• [SPARK-47293] [SC-158356][core] 1 つずつ追加するのではなく、sparkSchema を使用して batchSchema をビルドする
• [SPARK-46732] [SC-153517][connect]Connect の成果物管理でサブクエリ/ブロードキャスト スレッドを機能させる
• [SPARK-44746] [SC-158332][python] 入力テーブルを受け入れる関数の Python UDTF ドキュメントを追加する
• [SPARK-47120] [SC-157517][sql] Parquet フィルターの NPE で生成されるサブクエリからの Null 比較プッシュ ダウン データ フィルター
• [SPARK-47251] [SC-158291][python] args コマンドのsql引数から無効な型をブロックする
• [SPARK-47251]元に戻す "[SC-158121][python] args コマンドのsql引数から無効な型をブロックする"
• [SPARK-47015] [SC-157900][sql] 照合された列のパーティション分割を無効にする
• [SPARK-46846] [SC-154308][core] WorkerResourceInfo 明示的に Serializable 拡張する
• [SPARK-46641] [SC-156314][ss] maxBytesPerTrigger しきい値を追加する
• [SPARK-47244] [SC-158122][connect] SparkConnectPlanner 内部関数をプライベートにする
• [SPARK-47266] [SC-158146][connect] ProtoUtils.abbreviate 入力と同じ型を返すようにする
• [SPARK-46961] [SC-158183][ss] ProcessorContext を使用してハンドルを格納および取得する
• [SPARK-46862] [SC-154548][sql] 複数行モードで CSV 列の排除を無効にする
• [SPARK-46950] [SC-155803][core][SQL] エラー クラス not available codec 配置する
• [SPARK-46368] [SC-153236][core] REST Submission API でのサポート readyz
• [SPARK-46806] [SC-154108][python] 引数の型が間違っている場合の spark.table のエラー メッセージを改善する
• [SPARK-47211] [SC-158008][connect][PYTHON] 無視された PySpark Connect 文字列の照合順序を修正
• [SPARK-46552] [SC-151366][sql] UnsupportedOperationException を SparkUnsupportedOperationException に置き換える catalyst
• [SPARK-47147] [SC-157842][python][SQL] PySpark の照合文字列変換エラーを修正
• [SPARK-47144] [SC-157826][connect][SQL][python] collateId protobuf フィールドを追加して Spark Connect 照合順序エラーを修正
• [SPARK-46575] [SC-153200][sql][HIVE] HiveThriftServer2.startWithContext DevelopApi をリトライ可能にし、ThriftServerWithSparkContextInHttpSuite のフラキネスを修正する
• [SPARK-46696] [SC-153832][core] ResourceProfileManager では、変数宣言の後に関数呼び出しが行われる必要があります
• [SPARK-47214] [SC-157862][python] 定数 NULL 引数とその他の種類の引数を区別する "analyze" メソッド用の UDTF API を作成する
• [SPARK-46766] [SC-153909][sql][AVRO] AVRO データソースの ZSTD バッファー プールのサポート
• [SPARK-47192] [SC-157819] _LEGACY_ERROR_TEMP_0035 エラーを変換する
• [SPARK-46928] [SC-157341][ss] 任意の状態 API v2 で ListState のサポートを追加します。
• [SPARK-46881] [SC-154612][core] サポート spark.deploy.workerSelectionPolicy
• [SPARK-46800] [SC-154107][core] サポート spark.deploy.spreadOutDrivers
• [SPARK-45484] [SC-146014][sql] 不適切な Parquet 圧縮コーデック lz4raw を使用するバグを修正
• [SPARK-46791] [SC-154018][sql] JavaTypeInference での Java セットのサポート
• [SPARK-46332] [SC-150224][sql] CatalogNotFoundException をエラー クラスに移行する CATALOG_NOT_FOUND
• [SPARK-47164] [SC-157616][sql] v2 のより広い型のナロー リテラルの既定値を v1 と同じように動作させる
• [SPARK-46664] [SC-153181][core] ワーカーとアプリがゼロの場合に迅速に回復するように Master を改善する
• [SPARK-46759] [SC-153839][sql][AVRO] Codec xz と zstandard は avro ファイルの圧縮レベルをサポートします。

Databricks ODBC/JDBC ドライバーのサポート

Databricks では、過去 2 年間にリリースされた ODBC/JDBC ドライバーがサポートされています。 最近リリースされたドライバーとアップグレードをダウンロードしてください (ODBCをダウンロード、JDBC をダウンロード)。

Databricks Runtime 15.2 メンテナンス更新プログラムを参照してください。

システム環境

• オペレーティングシステム: Ubuntu 22.04.4 LTS
• Java: Zulu 8.74.0.17-CA-linux64
• Scala: 2.12.15
• Python: 3.11.0
• R: 4.3.2
• Delta Lake: 3.2.0

インストールされている Python ライブラリ

インストールされている R ライブラリ

R ライブラリは、Posit Package Manager CRAN スナップショットからインストールされます。

インストールされている Java および Scala ライブラリ (Scala 2.12 クラスター バージョン)