次の方法で共有

Databricks Runtime 16.0 (EoS)

次のリリース ノートでは、Apache Spark 3.5.0 を搭載した Databricks Runtime 16.0 に関する情報を提供します。

Databricks は、2024 年 11 月にこのバージョンをリリースしました。

注

この Databricks Runtime バージョンのサポートは終了しました。 サポート終了日については、「サポート終了の履歴」を参照してください。 サポートされている Databricks Runtime のすべてのバージョンについては、「Databricks Runtime リリース ノートのバージョンと互換性」を参照してください。

ヒント

サポート終了 (EoS) を迎えた Databricks Runtime のバージョンのリリース ノートについては、「サポート終了 Databricks Runtime のリリース ノート」を参照してください。 EoS Databricks Runtime のバージョンは廃止されており、更新されない可能性があります。

動作の変更

破壊的変更: JDK 17 が既定になりました

Databricks Runtime 16.0 以降では、既定の JDK バージョンが JDK 8 から JDK 17 に切り替えられます。 この変更は、JDK 8 の非推奨とサポート終了が計画されているために行われます。 これは、次の影響を受ける。

  • Azure Databricks コンピューティングで実行されている Java コードは、Java 17 と互換性がある必要があります。
  • ノートブックまたは Azure Databricks コンピューティングで実行されている Scala コードは、Java 17 と互換性がある必要があります。
  • コンピューティングにインストールされる Java および Scala ライブラリは、Java 17 と互換性がある必要があります。
  • 2.x 未満の Apache Hive メタストア クライアントのバージョン。 Spark 構成 spark.sql.hive.metastore.version を 2.x 未満のバージョンに設定すると、Java 17 との互換性の問題と Hive メタストアへの接続エラーが発生します。 Databricks では、Hive を 2.0.0 より上のバージョンにアップグレードすることをお勧めします。

Java 8 に戻す必要がある場合は、Azure Databricks コンピューティングを構成するときに Spark 環境変数に次を追加します。

JNAME=zulu8-ca-amd64

ARM インスタンスを使用している場合は、次のコマンドを使用します。

JNAME=zulu8-ca-arm64

Azure Databricks コンピューティングで JDK バージョンを指定する方法の詳細については、「 JDK 17 を使用するクラスターの作成を参照してください。

Java 8 からのコードの移行に関するヘルプについては、次のガイドを参照してください。

破壊的変更: ホストされた RStudio の有効期間が終了しました

このリリースでは、Databricks でホストされる RStudio Server は有効期間が終了し、Databricks Runtime 16.0 以降を実行している Azure Databricks ワークスペースでは使用できません。 RStudio の代替手段の詳細と一覧については、「 Hosted RStudio Server の廃止を参照してください。

破壊的変更: byte、 short、 int 、 long 型をより広い型に変更するためのサポートの削除

Databricks Runtime 15.4.3 以降では、次のデータ型の変更を、型拡大機能が有効になっているテーブルに適用できなくなります。

  • byte、short、int、longをdecimalにします。
  • byte、short、およびintからdoubleまで。

この変更は、Delta テーブルと Apache Iceberg テーブル間で一貫した動作を保証するために行われます。 型拡大の詳細については、「 タイプ拡大」を参照してください。

入れ子になった文字グループ化での否定を使用した正規表現パターンの正しい解析

このリリースには、入れ子になった文字グループ化での否定を含む正規表現パターンの正しい解析をサポートするための変更が含まれています。 たとえば、 [^[abc]] は "'abc' の 1 つではない任意の文字" として解析されます。

さらに、Photon の動作は、入れ子になった文字クラスにおいて Spark と一致していませんでした。 入れ子になった文字クラスを含む正規表現パターンには Photon が使用されなくなり、代わりに Spark が使用されます。 入れ子になった文字クラスは、角かっこ内に角かっこ ( [[a-c][1-3]] など) を含むすべてのパターンです。

Delta Lake での重複一致検出の向上 MERGE

Databricks Runtime 15.4 LTS 以下では、ソース テーブル内の複数の行が、MERGE句で指定されたMERGE条件に基づいてターゲット テーブル内の同じ行と一致する場合、ON操作は失敗します。 Databricks Runtime 16.0 以降では、 MERGE は WHEN MATCHED 句で指定された条件も考慮します。 「マージを使用して、Delta Lake テーブルにデータをアップサートする」を参照してください。

クラスター ライブラリのインストール方法をオーバーライドできなくなりました

Spark 構成 spark.databricks.libraries.enableSparkPyPI、 spark.databricks.libraries.enableMavenResolution、 spark.databricks.libraries.enableCRANResolutionnow 既定で true され、オーバーライドできません。

クラスター スコープ ライブラリのインストールの既定のタイムアウト (2 時間)

Databricks Runtime 16.0 以降では、クラスター スコープライブラリのインストールの既定のタイムアウトは 2 時間です。 このタイムアウトより長い時間がかかるライブラリのインストールは失敗し、インストールは終了します。 クラスターを構成するときは、Spark 構成 spark.databricks.driver.clusterLibraryInstallationTimeoutSecを使用してタイムアウト期間を変更できます。

DBFS からのライブラリのインストールと spark conf spark.databricks.driver.dbfsLibraryInstallationAllowed の設定が無効になっている

Databricks Runtime 16.0 以降では、DBFS からのライブラリのインストールは完全に無効になっています。 この変更は、Databricks ワークスペース内のライブラリのセキュリティを向上させるために行われます。 さらに、Databricks Runtime 16.0 以降では、Spark 構成 spark.databricks.driver.dbfsLibraryInstallationAllowedを使用できなくなります。

addArtifact()機能がコンピューティングの種類間で一貫性を持つようになりました

このリリースでは、 addArtifact(archive = True) を使用して共有またはサーバーレスの Azure Databricks コンピューティングに依存関係を追加すると、アーカイブが自動的にアンパックされます。 この変更により、これらのコンピューティングの種類の addArtifact(archive = True) 動作は、アーカイブの自動アンパックが既にサポートされている専用コンピューティング (以前のシングル ユーザー コンピューティング) と一貫性があります。

特殊文字を含むプリンシパル識別子に対して正しく適用されるバックティックス規則

このリリースでは、、GRANT、および DENY ステートメント内で特殊文字を含むREVOKEがバックティックで囲まれていない場合、エラーが生成されるようになりました。

新機能と機能強化

autoreload の改善により、変更された Python モジュールをより信頼性の高く再読み込みできるようになりました。

Databricks Runtime 16.0 以降では、 autoreload 拡張機能の更新により、ワークスペース ファイルからインポートされた変更された Python モジュールを再読み込みする安全性と信頼性が向上します。 これらの変更により、 autoreload可能な場合は、モジュール全体ではなく、変更されたモジュールの部分のみを再読み込みします。 さらに、Azure Databricks では、モジュールが前回のインポート以降に変更された場合、autoreload 拡張機能の使用が自動的に提案されるようになりました。 Python モジュール Autoreload を参照してください。

再帰スキーマの Avro サポート

recursiveFieldMaxDepth関数とfrom_avro データ ソースで avro オプションを使用できるようになりました。 このオプションは、Avro データ ソースのスキーマ再帰の最大深度を設定します。 ストリーミングAvroデータの読み取りと書き込みを参照してください。

to_avro関数とfrom_avro関数

to_avro 関数と from_avro 関数を使用すると、SQL 型を Avro バイナリ データに変換して戻したりすることができます。

Avro の Confluent スキーマ レジストリのサポートが拡張されました

Azure Databricks では、Confluent スキーマ レジストリを使用した Avro スキーマ参照がサポートされるようになりました。 外部 Confluent スキーマ レジストリに対する認証については、を参照してください。

液体クラスタリングを使用してテーブルに対して再クラスター化を強制する

Databricks Runtime 16.0 以降では、 OPTIMIZE FULL 構文を使用して、液体クラスタリングが有効になっているテーブル内のすべてのレコードを強制的に再クラスター化できます。 すべてのレコードの再クラスター化を強制するを参照してください。

Python と Scala 用の Delta API で ID 列がサポートされるようになりました

Python と Scala 用の Delta API を使用して、ID 列を含むテーブルを作成できるようになりました。 Delta Lake での ID 列の使用を参照してください。

専用コンピューティング (以前のシングル ユーザー コンピューティング) でのきめ細かいアクセス制御が一般公開

Databricks Runtime 16.0 以降では、専用コンピューティングでのきめ細かなアクセス制御が一般公開されています。 サーバーレス コンピューティングが有効になっているワークスペースで、専用コンピューティングなどのサポートされているコンピューティングでクエリが実行され、クエリが次のいずれかのオブジェクトにアクセスした場合、コンピューティング リソースはクエリをサーバーレス コンピューティングに渡してデータ フィルター処理を実行します。

  • ユーザーが SELECT 特権を持たないテーブルに対して定義されたビュー。
  • 動的ビュー。
  • 行フィルターまたは列マスクが適用されているテーブル。
  • 具体化されたビューとストリーミング テーブル

ストリーミング書き込み中に液体クラスター化テーブルを作成する

構造化ストリーミング書き込みで新しいテーブルを作成するときに、 clusterBy を使用して液体クラスタリングを有効にできるようになりました。 「液体クラスタリングを有効にする」を参照してください。

OPTIMIZE FULL 句のサポート

Databricks Runtime 16.0 では、OPTIMIZE FULL 句がサポートされています。 この句は、以前にクラスター化された可能性のあるデータを含め、液体クラスタリングを使用するテーブル内のすべてのレコードを最適化します。

INSERT とテーブル参照での WITH オプション指定のサポート

Databricks Runtime 16.0 ではオプション仕様がサポートされています。

新しい SQL 関数

Databricks Runtime 16.0 には、次の SQL 関数が追加されています。

  • URLデコードを試みる

    この関数は、 url_decodeのエラー トレラント バージョンです。 この関数は、入力が有効な URL エンコード文字列でない場合に NULL を返します。

  • zeroifnull

    zeroifnull()関数への入力式がNULL場合、関数は 0 を返します。 それ以外の場合は、入力式の値が返されます。

  • nullifzero

    入力が 0 の場合は NULL を返し、0 でない場合は入力を返します。 nullifzero()関数への入力式が 0 の場合、関数はNULLを返します。 入力式が 0 でない場合は、入力式の値が返されます

Delta テーブルにデータをマージするときにスキーマの自動進化を有効にする

このリリースでは、withSchemaEvolution() クラスのDeltaMergeBuilder メンバーのサポートが追加されました。 withSchemaEvolution() を使用して、MERGE 操作中にスキーマの自動進化を有効にします。 たとえば、mergeBuilder.whenMatched(...).withSchemaEvolution().execute()}} のようにします。

その他の変更

SparkR は非推奨になりました

Databricks Runtime 16.0 以降では、Databricks の SparkR は、今後の Spark 4 リリースでの廃止に備えて定義されています。 Apache Spark Deprecate SparkR スレッドを参照してください。

Databricks では、代わりに sparklyr 使用することをお勧めします。

Databricks Runtime 16.0 は PVC ではサポートされていません

Databricks Runtime 16.0 は、Databricks プライベート仮想クラウド (PVC) ではサポートされていません。 すべての PVC リリースで Databricks Runtime 15.4 以下を使用する必要があります。

バグの修正

自動ローダーで空のスキーマを持つ Avro レコードの種類が復旧されるようになりました

自動ローダーを使用して Avro ファイルを Delta テーブルに読み込むときに、空のスキーマを持つファイル内の record 型が、復旧されたデータ列に追加されるようになりました。 空の複合データ型を Delta テーブルに取り込むことはできません。これにより、一部の Avro ファイルの読み込みに関する問題が解決されます。 救助されたデータの詳細については、「 救助されたデータ列は何ですか?」を参照してください。

2 番目のオフセットを含むタイムゾーンでタイムスタンプを書き込む際のエラーを修正しました。

このリリースでは、タイム ゾーンに 2 番目のオフセットが含まれるタイムスタンプに影響するバグが修正されました。 このバグにより、JSON、XML、または CSV に書き込むときに秒が省略され、タイムスタンプ値が正しくなくなります。

前の動作に戻すには、影響を受ける形式のいずれかに書き込むときに次のオプションを使用します: .option("yyyy-MM-dd'T'HH:mm:ss[.SSS][XXX]")。

ライブラリのアップグレード

  • アップグレードされた Python ライブラリ:
    • 1.30.2 から 1.31.0 までの azure-core
    • 12.19.1 から 12.23.0 までの azure-storage-blob
    • 12.14.0 から 12.17.0 までの azure-storage-file-datalake
    • 23.3.0 から 24.4.2 への黒
    • 1.4 から 1.7.0 への点滅
    • boto3 から 1.34.39 から 1.34.69
    • botocore から 1.34.39 から 1.34.69
    • 2023.7.22 から 2024.6.2 までの認定
    • 1.15.1 から 1.16.0 までの cffi
    • クリック 8.0.4 から 8.1.7
    • コミットのバージョンを0.1.2から0.2.1に更新
    • contourpy (1.0.5 から 1.2.0)
    • 41.0.3 から 42.0.5 への暗号化
    • 0.29.32 から 3.0.11 までの Cython
    • databricks-sdk 0.20.0 から 0.30.0
    • dbus-python (1.2.18 から 1.3.2)
    • 3.13.4 から 3.15.4 への filelock
    • fonttools バージョン 4.25.0 から 4.51.0 への変更
    • GitPython (3.1.43 から 3.1.37)
    • google-api-core を 2.18.0 から 2.20.0 に
    • google-auth バージョン 2.31.0 から 2.35.0 にアップデート
    • 2.17.0 から 2.18.2 までの google-cloud-storage
    • google-crc32c から 1.5.0 から 1.6.0
    • 2.7.1 から 2.7.2 までの google-resumable-media
    • googleapis-common-protos (1.63.2 から 1.65.0)
    • httplib2 から 0.20.2 から 0.20.4
    • 3.4 から 3.7 までの idna
    • 6.25.1 から 6.28.0 までの ipykernel
    • ipython 8.15.0から8.25.0へ
    • 0.18.1 から 0.19.
    • jmespath バージョン 0.10.0 から 1.0.1 へ
    • joblib 1.2.0 から 1.4.2
    • jupyter_client 7.4.9 から 8.6.0 まで
    • jupyter_core 5.3.0 から 5.7.2
    • launchpadlibのバージョンを1.10.16から1.11.0に更新します。
    • lazr.restfulclient を 0.14.4 から 0.14.6 に
    • matplotlib (3.7.2 から 3.8.4)
    • 2.11.4 から 2.15.1 までの mlflow-skinny
    • 8.10.0 から 10.3.0 までの more-itertools
    • 0.4.3 から 1.0.0 への mypy-extensions
    • nest-asyncio を 1.5.6 から 1.6.0 に
    • numpyを1.23.5から1.26.4へ変更
    • oauthlibのバージョン3.2.0から3.2.2への更新
    • 23.2 から 24.1 へのパッケージ化
    • patsy (0.5.3 から 0.5.6)
    • pipのバージョン23.2.1から24.2へ
    • 5.9.0 から 5.22.0 にプロット
    • prompt-toolkit (3.0.36 から 3.0.43)
    • pyarrow バージョン 14.0.1 から 15.0.2 への更新
    • pydanticをバージョン1.10.6から2.8.2に更新
    • 3.42.1 から 3.48.2 までの PyGObject
    • 2.3.0 から 2.7.0 までの PyJWT
    • pyodbc 4.0.38から5.0.1へのバージョンアップ
    • python-dateutil のバージョンを 2.8.2 から 2.9.0.post0 に更新すること
    • python-lsp-jsonrpc 1.1.1 から 1.1.2
    • pytz バージョン 2022.7 から 2024.1 へ
    • 6.0 から 6.0.1 までの PyYAML
    • pyzmq (23.2.0 から 25.1.2)
    • 2.31.0 から 2.32.2 への要求
    • scikit-learn を 1.3.0 から 1.4.2 に
    • 1.11.1 から 1.13.1 までの scipy
    • seaborn バージョン 0.12.2 から 0.13.2 への変更
    • setuptoolsのバージョンを68.0.0から74.0.0に更新します。
    • 5.0.1 から 5.0.0 までの smmap
    • 0.5.0 から 0.5.1 までの sqlparse
    • `statsmodels`のバージョン0.14.0から0.14.2へのアップデート
    • 6.3.2 から 6.4.1 までの竜巻
    • 5.7.1 から 5.14.3 までの特性
    • typing_extensions 4.10.0 から 4.11.0
    • ujson バージョン5.4.0から5.10.0へ
    • virtualenv (20.24.2 から 20.26.2)
    • wheel バージョン 0.38.4 から 0.43.0 へ
    • zippのバージョン3.11.0から3.17.0への更新
  • アップグレードされた R ライブラリ:
    • 14.0.0.2 から 16.1.0 への矢印
    • 1.4.1 から 1.5.0 までのバックポート
    • バージョン4.3.2から4.4.0にベースを変更する
    • bitops 1.0-7 から 1.0-8 へ
    • 1.3-28 から 1.3-30 まで起動する
    • brio 1.1.4 から 1.1.5
    • 1.0.5 から 1.0.6 までのほうき
    • bslib from 0.6.1 to 0.8.0
    • cachemのバージョンを1.0.8から1.1.0に更新
    • callr を 3.7.3 から 3.7.6 にアップデート
    • cli 3.6.2 から 3.6.3
    • 0.7.0 から 0.7.1 までのクロック
    • 2.1.4 から 2.1.6 までのクラスター
    • codetoolsのバージョン0.2-19から0.2-20への更新
    • colorspace を 2.1-0 から 2.1-1 に変更
    • コンパイラ (4.3.2 から 4.4.0)
    • 1.5.2 から 1.5.3 までのクレヨン
    • curl 5.2.0 から 5.2.1 へのアップデート
    • data.table バージョン 1.15.0 から 1.15.4 へ
    • 4.3.2 から 4.4.0 までのデータセット
    • 1.2.1 から 1.2.3 までの DBI
    • dbplyr 2.4.0 から 2.5.0
    • ダイジェストをバージョン0.6.34から0.6.36に更新
    • 0.4.3 から 0.4.4 にダウンライト
    • 0.23 から 0.24.0 に評価される
    • 2.1.1 から 2.1.2 まで
    • 1.1.1 から 1.2.0 への fastmap
    • 0.8-85 から 0.8-86 までの外国
    • fs 1.6.3 から 1.6.4
    • 1.33.1 から 1.34.0 までの将来
    • future.apply バージョン 1.11.1 から 1.11.2 へ
    • gert 2.0.1 から 2.1.0
    • ggplot2 から 3.4.4 から 3.5.1
    • gh 1.4.0 から 1.4.1
    • 「globals」がバージョン0.16.2から0.16.3に更新されました
    • 4.3.2 から 4.4.0 までのグラフィックス
    • grDevices (4.3.2 から 4.4.0)
    • gridのバージョン4.3.2から4.4.0への更新
    • gt: 0.10.1 から 0.11.0
    • 0.3.4 から 0.3.5 まで
    • 1.3.1 から 1.4.0 までの hardhat
    • 0.10から0.11へより高く
    • 0.5.7 から 0.5.8.1 までの htmltools
    • httpuv (1.6.14 から 1.6.15)
    • httr2 から 1.0.0 から 1.0.2
    • ipredのバージョンが0.9-14から0.9-15にアップデートされました
    • KernSmooth 2.23-21 から 2.23-22
    • 1.45 から 1.48 までのニット
    • 0.21-8 から 0.22-5 までの格子
    • 1.7.3 から 1.8.0 までの溶岩
    • 1.12 から 1.13 へのマークダウン
    • MASS から 7.3-60 から 7.3-60.0.1
    • 1.5 から 4.1 から 1.6-5 までのマトリックス
    • 4.3.2 から 4.4.0 までのメソッド
    • mgcv バージョン 1.8-42 から 1.9-1 へ
    • 2.10.0 から 2.14.1 までの mlflow
    • 0.5.0 から 0.5.1 への販売
    • nlme バージョン 3.1-163 から 3.1-165 へ
    • openssl 2.1.1 から 2.2.0
    • 4.3.2 から 4.4.0 への並列
    • 1.36.0 から 1.38.0 に並列に
    • pkgbuild を 1.4.3 から 1.4.4 に
    • pkgdown を 2.0.7 から 2.1.0 に
    • pkgload を 1.3.4 から 1.4.0 に
    • processx 3.8.3 から 3.8.4
    • prodlim 2023年8月28日から2024年6月25日まで
    • バージョン1.2.1から1.3.0へのPromises更新
    • ps 1.7.6 から 1.7.7
    • 1.2.7 から 1.3.2 へのラグ
    • Rcpp 1.0.12 から 1.0.13
    • RcppEigen (0.3.3.9.4 から 0.3.4.0.0)
    • reactR を 0.5.0 から 0.6.0 に
    • 1.0.9 から 1.1.0 までのレシピ
    • リモート 2.4.2.1 から 2.5.0 まで
    • reprexがバージョン2.1.0から2.1.1に更新されました。
    • 1.1.3 から 1.1.4 までの rlang
    • rmarkdown を 2.25 から 2.27 に
    • roxygen2 から 7.3.1 から 7.3.2
    • rpart 4.1.21 から 4.1.23へ
    • 2.3.5 から 2.3.7 までの RSQLite
    • rstudioapi 0.15.0から0.16.0へ
    • rvest を 1.0.3 から 1.0.4 に
    • 0.4.8 から 0.4.9 までの sass
    • 1.4.6 から 1.4.6.1 までの図形
    • 光沢のある 1.8.0 から 1.9.1
    • sparklyr 1.8.4 から 1.8.6
    • 空間の7.3-15から7.3-17へ
    • 4.3.2 から 4.4.0 までのスプライン
    • 4.3.2 から 4.4.0 までの統計
    • stats4 から 4.3.2 から 4.4.0
    • stringi (1.8.3 から 1.8.4)
    • 3.5-5から3.6-4までの生存
    • swagger 3.33.1 から 5.17.14.1 へのアップデート
    • systemfontsバージョン1.0.5から1.1.0への更新
    • 4.3.2 から 4.4.0 への tcltk
    • testthat 3.2.1 から 3.2.1.1 へ
    • textshaping バージョン 0.3.7 から 0.4.0 へ
    • 1.2.0 から 1.2.1 への tidyselect
    • tinytex 0.49 から 0.52
    • 4.3.2 から 4.4.0 までのツール
    • usethis 2.2.2から3.0.0へ
    • 4.3.2 から 4.4.0 までのユーティリティ
    • uuid (1.2-0 から 1.2-1)
    • V8 (4.4.1 から 4.4.2)
    • withrのバージョンを3.0.0から3.0.1にアップデートする
    • xfun 0.41 から 0.46
    • xopen 1.0.0 から 1.0.1
    • yaml (2.3.8 から 2.3.10)
  • アップグレードされた Java ライブラリ:
    • com.amazonaws.aws-java-sdk-autoscaling from 1.12.610 から 1.12.638
    • com.amazonaws.aws-java-sdk-cloudformation from 1.12.610 から 1.12.638
    • com.amazonaws.aws-java-sdk-cloudfront から 1.12.610 から 1.12.638
    • com.amazonaws.aws-java-sdk-cloudhsm から 1.12.610 から 1.12.638
    • com.amazonaws.aws-java-sdk-cloudsearch から 1.12.610 から 1.12.638
    • com.amazonaws.aws-java-sdk-cloudtrail から 1.12.610 から 1.12.638
    • com.amazonaws.aws-java-sdk-cloudwatch 1.12.610 から 1.12.638
    • com.amazonaws.aws-java-sdk-cloudwatchmetrics 1.12.610 から 1.12.638
    • com.amazonaws.aws-java-sdk-codedeploy から 1.12.610 から 1.12.638
    • com.amazonaws.aws-java-sdk-cognitoidentity from 1.12.610 から 1.12.638
    • com.amazonaws.aws-java-sdk-cognitosync から 1.12.610 から 1.12.638
    • com.amazonaws.aws-java-sdk-config から 1.12.610 から 1.12.638
    • com.amazonaws.aws-java-sdk-core から 1.12.610 から 1.12.638
    • com.amazonaws.aws-java-sdk-datapipeline 1.12.610 から 1.12.638
    • com.amazonaws.aws-java-sdk-directconnect 1.12.610 から 1.12.638
    • com.amazonaws.aws-java-sdk-directory から 1.12.610 から 1.12.638
    • com.amazonaws.aws-java-sdk-dynamodb 1.12.610 から 1.12.638
    • com.amazonaws.aws-java-sdk-ec2 から 1.12.610 から 1.12.638
    • com.amazonaws.aws-java-sdk-ecs 1.12.610 から 1.12.638
    • com.amazonaws.aws-java-sdk-efs から 1.12.610 から 1.12.638
    • com.amazonaws.aws-java-sdk-elasticache 1.12.610 から 1.12.638
    • com.amazonaws.aws-java-sdk-elasticbeanstalk 1.12.610 から 1.12.638
    • com.amazonaws.aws-java-sdk-elasticloadbalancing from 1.12.610 から 1.12.638
    • com.amazonaws.aws-java-sdk-elastictranscoder 1.12.610 から 1.12.638
    • com.amazonaws.aws-java-sdk-emr から 1.12.610 から 1.12.638
    • com.amazonaws.aws-java-sdk-glacier から 1.12.610 から 1.12.638
    • com.amazonaws.aws-java-sdk-glue から 1.12.610 から 1.12.638
    • com.amazonaws.aws-java-sdk-iam から 1.12.610 から 1.12.638
    • com.amazonaws.aws-java-sdk-importexport 1.12.610 から 1.12.638
    • com.amazonaws.aws-java-sdk-kinesis 1.12.610 から 1.12.638
    • com.amazonaws.aws-java-sdk-kms から 1.12.610 から 1.12.638
    • com.amazonaws.aws-java-sdk-lambda から 1.12.610 から 1.12.638
    • com.amazonaws.aws-java-sdk-logs から 1.12.610 から 1.12.638
    • com.amazonaws.aws-java-sdk-machinelearning 1.12.610 から 1.12.638
    • com.amazonaws.aws-java-sdk-opsworks から 1.12.610 から 1.12.638
    • com.amazonaws.aws-java-sdk-rds から 1.12.610 から 1.12.638
    • com.amazonaws.aws-java-sdk-redshift 1.12.610 から 1.12.638
    • com.amazonaws.aws-java-sdk-route53 から 1.12.610 から 1.12.638
    • com.amazonaws.aws-java-sdk-s3 から 1.12.610 から 1.12.638
    • com.amazonaws.aws-java-sdk-ses から 1.12.610 から 1.12.638
    • com.amazonaws.aws-java-sdk-simpledb から 1.12.610 から 1.12.638
    • com.amazonaws.aws-java-sdk-simpleworkflow from 1.12.610 から 1.12.638
    • com.amazonaws.aws-java-sdk-sns から 1.12.610 から 1.12.638
    • com.amazonaws.aws-java-sdk-sqs から 1.12.610 から 1.12.638
    • com.amazonaws.aws-java-sdk-ssm 1.12.610 から 1.12.638
    • com.amazonaws.aws-java-sdk-storagegateway 1.12.610 から 1.12.638
    • com.amazonaws.aws-java-sdk-sts から 1.12.610 から 1.12.638
    • com.amazonaws.aws-java-sdk-support バージョン 1.12.610 から 1.12.638 に
    • com.amazonaws.aws-java-sdk-workspaces from 1.12.610 から 1.12.638
    • com.amazonaws.jmespath-java から 1.12.610 から 1.12.638
    • com.google.protobuf.protobuf-java 2.6.1 から 3.25.1
    • io.airlift.aircompressor 0.25 から 0.27
    • io.delta.delta-sharing-client_2.12 から 1.1.3 から 1.2.0
    • io.netty.netty-all から 4.1.96.Final から 4.1.108.Final
    • io.netty.netty-buffer from 4.1.96.Final から 4.1.108.Final
    • 4.1.96.Final から 4.1.108.Final までの io.netty.netty-codec
    • io.netty.netty-codec-http from 4.1.96.Final から 4.1.108.Final
    • io.netty.netty-codec-http2 from 4.1.96.Final から 4.1.108.Final
    • io.netty.netty-codec-socks from 4.1.96.Final から 4.1.108.Final
    • io.netty.netty-common から 4.1.96.Final から 4.1.108.Final
    • io.netty.netty-handler を 4.1.96.Final から 4.1.108.Final に更新
    • 4.1.96.Final から 4.1.108.Final までの io.netty.netty-handler-proxy
    • io.netty.netty-resolver from 4.1.96.Final から 4.1.108.Final
    • 4.1.96.Final から 4.1.108.Final への io.netty.netty-transport
    • io.netty.netty-transport-classes-epoll from 4.1.96.Final から 4.1.108.Final
    • io.netty.netty-transport-classes-kqueue from 4.1.96.Final から 4.1.108.Final
    • io.netty.netty-transport-native-epoll から 4.1.96.Final-linux-x86_64 から 4.1.108.Final-linux-x86_64
    • io.netty.netty-transport-native-kqueue から 4.1.96.Final-osx-x86_64 から 4.1.108.Final-osx-x86_64
    • io.netty.netty-transport-native-unix-common から 4.1.96.Final から 4.1.108.Final
    • org.apache.ivy.ivy から 2.5.1 から 2.5.2
    • org.apache.zookeeper.zookeeper 3.6.3 から 3.9.2
    • org.apache.zookeeper.zookeeper-jute 3.6.3 から 3.9.2
    • org.rocksdb.rocksdbjni 8.11.4 から 9.2.1
    • org.scalactic.scalactic_2.12 から 3.2.15 から 3.2.16
    • org.scalatest.scalatest-3.2.15 から 3.2.16 への互換性
    • org.scalatest.scalatest-core_2.12 から 3.2.15 から 3.2.16
    • org.scalatest.scalatest-diagrams_2.12 から 3.2.15 から 3.2.16
    • org.scalatest.scalatest-featurespec_2.12 から 3.2.15 から 3.2.16
    • org.scalatest.scalatest-flatspec_2.12 から 3.2.15 から 3.2.16
    • org.scalatest.scalatest-freespec_2.12 から 3.2.15 から 3.2.16
    • org.scalatest.scalatest-funspec_2.12 から 3.2.15 から 3.2.16
    • org.scalatest.scalatest-funsuite_2.12 から 3.2.15 から 3.2.16
    • org.scalatest.scalatest-matchers-core_2.12 から 3.2.15 から 3.2.16
    • org.scalatest.scalatest-mustmatchers_2.12 から 3.2.15 から 3.2.16
    • org.scalatest.scalatest-propspec_2.12 から 3.2.15 から 3.2.16
    • org.scalatest.scalatest-refspec_2.12 から 3.2.15 から 3.2.16
    • org.scalatest.scalatest-shouldmatchers_2.12 から 3.2.15 から 3.2.16
    • org.scalatest.scalatest-wordspec_2.12 から 3.2.15 から 3.2.16
    • org.scalatest.scalatest_2.12 から 3.2.15 から 3.2.16

Apache Spark

Databricks Runtime 16.0 には、Apache Spark 3.5.0 が含まれています。 このリリースには、 Databricks Runtime 15.4 LTS に含まれるすべての Spark の修正と機能強化、および Spark に対して行われた次の追加のバグ修正と機能強化が含まれています。

  • [SPARK-49093] [DBRRM-1371] "Revert [SC-172958][sql] GROUP BY mapType nes...
  • [SPARK-49898] [DBRRM-1282][sc-178410] SPARK-42204 からのイベント ログ タスク メトリック アキュムレータ ログ フラグのドキュメントと既定値を修正
  • [SPARK-49743] [ES-1260022][behave-157][SC-177475][sql] GetArrayStructFields を排除するときに OptimizeCsvJsonExpr でスキーマ フィールドを変更しないでください
  • [SPARK-49816] [SC-177896][sql] 参照される外部 CTE 関係の out-going-ref-count のみを更新する必要がある
  • [SPARK-48939] [SC-177022][sc-172766][AVRO] 再帰スキーマ参照による Avro の読み取りをサポート
  • [SPARK-49688] [SC-177468][es-1242349][CONNECT] 割り込みと実行プラン間のデータ競合を修正する
  • [SPARK-49771] [SC-177466][python] 出力行が入力行を超えたときの Pandas Scalar Iter UDF エラーを改善する
  • [SPARK-48866] [SC-170772][sql] INVALID_PARAMETER_VALUE.CHARSET のエラーメッセージにおける有効な文字セットのヒントを修正します。
  • [SPARK-48195] [FIXFORWARD][sc-177267][CORE] SparkPlan によって作成された RDD/ブロードキャストを保存して再利用する
  • [SPARK-49585] [CONNECT]SessionHolder の実行マップを operationID セットに置き換える
  • [SPARK-49211] [SC-174257][sql] V2 カタログでは、組み込みのデータ ソースもサポートできます
  • [SPARK-49684] セッション復元ロックの有効期間を最小限に抑える
  • [SPARK-48059] [SPARK-48145][spark-48134][SPARK-48182][spark-48209][SPARK-48291] Java 側の構造化ログ フレームワーク
  • [SPARK-48857] [SC-170661][sql] CSVOptions で文字セットを制限する
  • [SPARK-49152] [SC-173690][sql] V2SessionCatalog で V2Command を使用する必要がある
  • [SPARK-42846] [SC-176588][sql] エラー状態_LEGACY_ERROR_TEMP_2011を削除する
  • [SPARK-48195] [SC-177267][core] SparkPlan によって作成された RDD/ブロードキャストを保存して再利用する
  • [SPARK-49630] [SC-177379][ss] 状態データ ソース リーダーを使用してコレクション型を処理するフラット化オプションを追加する
  • [SPARK-49699] [SC-177154][ss] ストリーミング ワークロードの PruneFilters を無効にする
  • [SPARK-48781] [SC-175282][sql] ストアド プロシージャを読み込むためのカタログ API の追加
  • [SPARK-49667] [SC-177068][sql] StringSearch を使用する式でCS_AIコレーターの使用を禁止する
  • [SPARK-49737] [SC-177207][sql] 複合型内の照合列のバケット化を無効化する
  • [SPARK-48712] [SC-169794][sql] 空の値または UTF-8 文字セットを使用したエンコードのパフォーマンス向上
  • [SPARK-49038] [SC-173933][sql] SQLMetric はアキュムレータ更新イベントの生の値を報告する必要があります
  • [SPARK-48541] [SC-169066][core] TaskReaper によって強制終了された Executor の新しい終了コードを追加する
  • [SPARK-48774] [SC-170138][sql] SQLImplicits で SparkSession を使用する
  • [SPARK-49719] [SC-177139][sql] UUID と SHUFFLE が整数の seed を受け入れられるようにする
  • [SPARK-49713] [SC-177135][python][CONNECT] 関数を数値引数 count_min_sketch 受け入れるようにする
  • [SPARK-47601] [SC-162499][graphx] Graphx: 変数を含むログを構造化ログ フレームワークに移行する
  • [SPARK-49738] [SC-177219][sql] Endswith のバグ修正
  • [SPARK-48623] [SC-170822][core] 構造化ログの移行 [パート 3]
  • [SPARK-49677] [SC-177148][ss] 変更ログ ファイルがコミット時に書き込まれ、forceSnapshot フラグもリセットされるようにする
  • [SPARK-49684] [SC-177040][connect] セッションおよび実行マネージャーからグローバル ロックを削除する
  • [SPARK-48302] [SC-168814][python] PyArrow テーブルのマップ列に null を保持する
  • [SPARK-48601] [SC-169025][sql] JDBC オプションに null 値を設定するときに、わかりやすいエラー メッセージを表示する
  • [SPARK-48635] [SC-169263][sql] 結合型エラーと as-of 結合エラーにクラスを割り当てる
  • [SPARK-49673] [SC-177032][connect] CONNECT_GRPC_ARROW_MAX_BATCH_SIZEを 0.7 * CONNECT_GRPC_MAX_MESSAGE_SIZEに増やす
  • [SPARK-49693] [SC-177071][python][CONNECT] の文字列表現を絞り込む timedelta
  • [SPARK-49687] [SC-176901][sql] validateAndMaybeEvolveStateSchemaでの並べ替えを遅延させる
  • [SPARK-49718] [SC-177112][ps] Scatter プロットをサンプリングデータに切り替える
  • [SPARK-48472] [SC-169044][sql] 照合された文字列を含む式の反映を有効にする
  • [SPARK-48484] [SC-167484][sql] 修正: V2Write は異なるタスク試行に同じ TaskAttemptId を使用する
  • [SPARK-48341] [SC-166560][connect] プラグインがテストで QueryTest を使用できるようにする
  • [SPARK-42252] [SC-168723][core] spark.shuffle.localDisk.file.output.buffer を追加し、spark.shuffle.unsafe.file.output.buffer を非推奨とする
  • [SPARK-48314] [SC-166565][ss] Trigger.AvailableNow を使用して FileStreamSource のキャッシュ ファイルを二重にしない
  • [SPARK-49567] [SC-176241][python] PySpark コード ベースからclassicの代わりにvanillaを使用する
  • [SPARK-48374] [SC-167596][python] 追加の PyArrow テーブル列の種類をサポート
  • [SPARK-48300] [SC-166481][sql] コード生成のサポートfrom_xml
  • [SPARK-49412] [SC-177059][ps] 1 つのジョブですべてのボックス プロット メトリックを計算する
  • [SPARK-49692] [SC-177031][python][CONNECT] リテラル日付と datetime の文字列形式を調整する
  • [SPARK-49392] [ES-1130351][sc-176705][SQL] 外部データ ソースへの書き込みに失敗したときにエラーをキャッチする
  • [SPARK-48306] [SC-166241][sql] エラー メッセージの UDT の改善
  • [SPARK-44924] [SC-166379][ss] FileStreamSource キャッシュ ファイルの構成を追加する
  • [SPARK-48176] [SC-165644][sql] FIELD_ALREADY_EXISTSエラー状態の名前を調整する
  • [SPARK-49691] [SC-176988][python][CONNECT] 関数 substring は列名を受け入れる必要があります
  • [SPARK-49502] [SC-176077][core] SparkEnv.get.shuffleManager.unregisterShuffle で NPE を避ける
  • [SPARK-49244] [SC-176703][sql] パーサー/インタープリターの例外がさらに改善されました
  • [SPARK-48355] [SC-176684][sql] CASE ステートメントのサポート
  • [SPARK-49355] [SC-175121][sql] levenshtein は、すべてのパラメーター型の collation 値が同じかどうかを確認する必要があります
  • [SPARK-49640] [SC-176953][ps] にリザーバー サンプリングを適用する SampledPlotBase
  • [SPARK-49678] [SC-176857][core] spark.test.master を SparkSubmitArguments でサポートします
  • [SPARK-49680] [SC-176856][python] ビルドの並列処理を既定で4に制限する
  • [SPARK-49396] "[SC-176030][sql] CaseWhen 式の null 許容チェックを変更する" を元に戻す
  • [SPARK-48419] [SC-167443][sql] 折りたたみ可能な伝播で、折りたたみ可能な列が置き換えられるべきです...
  • [SPARK-49556] [SC-176757][sql] SELECT 演算子の SQL パイプ構文を追加する
  • [SPARK-49438] [SC-175237][sql] FromAvro & ToAvro 式の美しい名前を修正
  • [SPARK-49659] [SC-1229924][sql] VALUES 句内のスカラー サブクエリに対するユーザー向けの優しいエラーを追加する
  • [SPARK-49646] [SC-176778][sql] parentOuterReferences に collectedChildOuterReferences で参照が含まれていない場合の結合/集合操作のサブクエリの非相関化を修正する
  • [SPARK-49354] [SC-175034][sql] split_part は、すべてのパラメーター型の collation 値が同じかどうかを確認する必要があります
  • [SPARK-49478] [SC-175914][connect] ConnectProgressExecutionListener で null メトリックを処理する
  • [SPARK-48358] [SC-176374][sql] REPEAT ステートメントのサポート
  • [SPARK-49183] [SC-173680][sql] V2SessionCatalog.createTable は PROP_IS_MANAGED_LOCATION を尊重すべきです。
  • [SPARK-49611] [SC-176791][sql] TVF collations() を導入し、 SHOW COLLATIONS コマンドを削除する
  • [SPARK-49261] [SC-176589][sql] 集計式のリテラルをグループ化式に置き換えないでください
  • [SPARK-49099] [SC-173229][sql] CatalogManager.setCurrentNamespace はカスタム セッション カタログを考慮する必要がある
  • [SPARK-49594] [SC-176569][ss] StateSchemaV3 ファイルを書き込むときに columnFamilies が追加または削除されたかどうかのチェックを追加する
  • [SPARK-49578] [SC-176385][sql] CAST_INVALID_INPUTとCAST_OVERFLOWの ANSI 構成候補を削除する
  • [SPARK-48882] [SC-174256][ss] ストリーミング出力モード関連のエラー クラスに名前を割り当てる
  • [SPARK-49155] [SC-176506][sql][SS] より適切なパラメーター型を使用して構築する GenericArrayData
  • [SPARK-49519] [SC-176388][sql] FileScanBuilder を構築するときのテーブルとリレーションシップのマージ オプション
  • [SPARK-49591] [SC-176587][sql] バリアント readme に論理型列を追加する
  • [SPARK-49596] [SC-176423][sql] のパフォーマンスを向上させる FormatString
  • [SPARK-49525] [SC-176044][ss][CONNECT] サーバー側ストリーミング クエリ ListenerBus リスナーに対する軽微なログの改善
  • [SPARK-49583] [SC-176272][sql] 無効な秒分数パターンのエラーサブ条件 SECONDS_FRACTION を定義する
  • [SPARK-49536] [SC-176242]Python ストリーミング データ ソース レコードプリフェッチでエラーを処理する
  • [SPARK-49443] [SC-176273][sql][PYTHON] to_variant_object式を実装し、schema_of_variant式がバリアントオブジェクトに対して「OBJECT」を出力するようにする。
  • [SPARK-49544] [SASP-3990][sc-176557][CONNECT] SparkConnectExecutionManager の粗ロックを ConcurrentMap に置き換える
  • [SPARK-49548] [SASP-3990][sc-176556][CONNECT] SparkConnectSessionManager の粗ロックを ConcurrentMap に置き換える
  • [SPARK-49551] [SC-176218][ss] replayChangelog の RocksDB ログを改善する
  • [SPARK-49595] [SC-176396][connect][SQL] Spark Connect Scala Client の DataFrame.unpivot/melt を修正
  • [SPARK-49006] [SC-176162]OperatorStateMetadataV2 ファイルと StateSchemaV3 ファイルの消去を実装する
  • [SPARK-49600] [SC-176426][python] Python 3.6 and older関連のロジックを削除する try_simplify_traceback
  • [SPARK-49303] [SC-176013][ss] transformWithStateInPandas API に ValueState の TTL を実装する
  • [SPARK-49191] [SC-176243][ss] 状態データ ソース リーダーを使用した transformWithState マップ状態変数の読み取りのサポートを追加
  • [SPARK-49593] [SC-176371][ss] エラーが見つかった場合、データベースを閉じる際に呼び出し元に RocksDB 例外をスローする
  • [SPARK-49334] [SC-174803][sql] str_to_map は、すべてのパラメーター型の collation 値が同じかどうかを確認する必要があります
  • [SPARK-42204] [SC-176126][core] イベント ログの TaskMetrics 内部アキュムレータの冗長ログを無効にするオプションを追加
  • [SPARK-49575] [SC-176256][ss] acquiredThreadInfo が null でない場合にのみロックリリースのログを追加する
  • [SPARK-49539] [SC-176250][ss] 内部 col ファミリの開始識別子を別のものに更新する
  • [SPARK-49205] [SC-173853][sql] KeyGroupedPartitioning は HashPartitioningLike を継承する必要がある
  • [SPARK-49396] [SC-176030][sql] CaseWhen 式の null 許容チェックを変更する
  • [SPARK-49476] [SC-175700][sql] base64 関数の null 値の許容を修正
  • [SPARK-47262] [SC-174829][sql] Parquet 変換のエラー条件に名前を割り当てる
  • [SPARK-47247] [SC-158349][sql] エクスプロージョン ジョインを伴うパーティションの集約時に、より小さなターゲット サイズを使用する
  • [SPARK-49501] [SC-176166][sql] テーブルの場所の二重エスケープを修正
  • [SPARK-49083] [SC-173214][connect] json スキーマをネイティブに操作するためのfrom_xmlとfrom_jsonを許可する
  • [SPARK-49043] [SC-174673][sql] 照合された文字列を含むマップ上で解釈されたコードパス グループを修正する
  • [SPARK-48986] [SC-172265][connect][SQL] ColumnNode 中間表現の追加
  • [SPARK-49326] [SC-176016][ss] Foreachシンクユーザー関数のエラークラスを分類する
  • [SPARK-48348] [SC-175950][spark-48376][SQL] LEAVE ステートメントと ITERATE ステートメントの導入
  • [SPARK-49523] [SC-175949][connect] テスト用に接続サーバーが起動するまでの最大待機時間を増やす
  • [SPARK-49000] [BEHAVE-105][es-1194747][SQL] tが空であるテーブルにおける"select count(distinct 1) from t"の問題を、RewriteDistinctAggregatesを拡張することで修正 - DBR バージョン 16.x
  • [SPARK-49311] [SC-175038][sql] 大きな 'interval second' 値を 10 進数にキャストできるようにします
  • [SPARK-49200] [SC-173699][sql] null 型の非 codegen 順序付け例外を修正
  • [SPARK-49467] [SC-176051][ss] 状態データ ソースリーダーとリスト状態のサポートを追加
  • [SPARK-47307] [SC-170891][sql] 必要に応じて base64 文字列をチャンクする構成を追加する
  • [SPARK-49391] [SC-176032][ps] 箱ひげ図のフェンスからの距離に基づいて外れ値を選択する
  • [SPARK-49445] [SC-175845][ui] UI の進行状況バーにツールヒントを表示するサポート
  • [SPARK-49451] [SC-175702]parse_jsonで重複するキーを許可します。
  • [SPARK-49275] [SC-175701][sql] xpath 式の戻り値の型 null を修正
  • [SPARK-49021] [SC-175578][ss] 状態データ ソース リーダーを使用した transformWithState 値の状態変数の読み取りのサポートを追加
  • [SPARK-49474] [BEHAVE-143][sc-169253][SC-175933][ss] FlatMapGroupsWithState ユーザ関数エラーのエラークラスを分類
  • [SPARK-49408] [SC-175932][sql] ProjectingInternalRow で IndexedSeq を使用する
  • [SPARK-49509] [SC-175853][core] の代わりに Platform.allocateDirectBuffer を使用する ByteBuffer.allocateDirect
  • [SPARK-49382] [SC-175013][ps] フレームボックスプロットで、異常値や外れ値を適切に表示する
  • [SPARK-49002] [SC-172846][sql] WAREHOUSE/SCHEMA/TABLE/PARTITION/DIRECTORY 内の無効な場所を一貫して処理する
  • [SPARK-49480] [SC-175699][core] から NullPointerException を修正 SparkThrowableHelper.isInternalError
  • [SPARK-49477] [SC-175828][python] pandas udf の戻り値の型が無効なエラー メッセージを改善する
  • [SPARK-48693] [SC-169492][sql] Invoke と StaticInvoke の toString を簡略化して統合する
  • [SPARK-49441] [SC-175716][ml] StringIndexer executorにおける配列を並べ替える
  • [SPARK-49347] [SC-175004][r] SparkR の非推奨
  • [SPARK-49357] [SC-175227][connect][PYTHON] 深く入れ子になった protobuf メッセージを垂直方向に切り捨てる
  • [SPARK-41982] [SC-120604][sql] 文字列型のパーティションを数値型として扱わない
  • [SPARK-48776] [SC-170452][behave-72] json、xml、csv のタイムスタンプの書式設定を修正
  • [SPARK-49223] [SC-174800][ml] 組み込み関数を使用して StringIndexer.countByValue を簡略化する
  • [SPARK-49016] "[SC-174663][sql] 破損したレコード列のみを含め、名前を _LEGACY_ERROR_TEMP_1285に割り当てる場合、生の CSV ファイルからクエリを実行する動作を復元できません" を元に戻します。
  • [SPARK-49041] [SC-172392][python][CONNECT] 間違ったdropDuplicatesが与えられた場合にsubsetに対して適切なエラーを発生させる
  • [SPARK-49050] [SC-175235]仮想列ファミリを使用して TWS で deleteIfExists 演算子を有効にする
  • [SPARK-49216] [SC-173919][core]Structured Logging conf がオフのときに LogEntry が明示的に構築されたメッセージ コンテキストをログに記録しないように修正
  • [SPARK-49252] [SC-175596][core] TaskSetExcludeListおよびHeathTrackerを独立させる
  • [SPARK-49352] [SC-174971][sql] 同一式の冗長な配列変換を回避する
  • [SPARK-42307] [SC-173863][sql] エラー _LEGACY_ERROR_TEMP_2232の名前を割り当てる
  • [SPARK-49197] [SC-173732][core] Spark Command モジュールでのlauncher出力の編集
  • [SPARK-48913] [SC-173934][sql] IndentingXMLStreamWriter を実装する
  • [SPARK-49306] [SC-175363][python][SQL] 'zeroifnull' と 'nullifzero' の SQL 関数エイリアスを作成する
  • [SPARK-48344] [SQL]SQL スクリプトの実行 (Spark Connect を含む)
  • [SPARK-49402] [SC-175122][python] PySpark ドキュメントでの Binder 統合の修正
  • [SPARK-49017] [SC-174664][sql] 複数のパラメーターを使用しているときに Insert ステートメントが失敗する
  • [SPARK-49318] [SC-174733][sql] エラー エクスペリエンスを向上させるために、チェック分析が終了するまで LCA で優先順位の低いエラーをプリエンプトする
  • [SPARK-49016] [SC-174663][sql] 生の CSV ファイルに対して、破損したレコード列のみを含む場合や名前を割り当てる場合のクエリを許可しない動作を復元する _LEGACY_ERROR_TEMP_1285
  • [SPARK-49387] [SC-175124][python] accuracyおよびpercentile_approxのapprox_percentileに関する型ヒントを修正
  • [SPARK-49131] [SC-174666][ss] TransformWithState は、遅延反復子でも暗黙的なグループ化キーを適切に設定する必要がある
  • [SPARK-49301] [SC-174795][ss] Python worker に渡されるチャンク矢印データ
  • [SPARK-49039] [SC-174651][ui] Executor メトリックが [ステージ] タブに読み込まれるときにチェック ボックスをリセットする
  • [SPARK-48428] [SC-169806][sql]: NestedColumnAliasing での IllegalStateException の修正
  • [SPARK-49353] [SC-174830][sql] UTF-32 エンコード/デコードに関連するドキュメントを更新する
  • [SPARK-48613] [SC-170966][sql] SPJ: 1 つの側の自動シャッフルとパーティション キーよりも少ない結合キーのサポート
  • [SPARK-47473] [SC-160450][behave-127][SQL] postgres INFINITY タイムスタンプの変換の正確性の問題を修正する
  • [SPARK-49142] [SC-173658][connect][PYTHON] プロトを文字列に戻すことによるパフォーマンスコストの改善作業についてのフォローアップ
  • [SPARK-49300] [SC-175008][core] tokenRenewalInterval が設定されていない場合の Hadoop 委任トークン リークを修正します。
  • [SPARK-49367] [SC-175012][ps] 複数の列の KDE 計算を並列化する (プロット バックエンド)
  • [SPARK-49365] [SC-175011][ps] バケット集計を hist プロットで簡略化する
  • [SPARK-49372] [SC-175003][ss] 閉じる際にlatestSnapshotが何もセットされていないようにして、以降の使用を回避します。
  • [SPARK-49341] [SC-174785]を優先して connector/docker を削除する Apache Spark Operator
  • [SPARK-49344] [SC-174894][ps] Spark での Pandas API のサポート json_normalize
  • [SPARK-49306] [SC-174794][sql] 新しい SQL 関数 'zeroifnull' と 'nullifzero' を作成する
  • [SPARK-48796] [SC-174668][ss] 再起動時に VCF の RocksDBCheckpointMetadata から列ファミリ ID を読み込む
  • [SPARK-49342] [SC-174899][sql] TO_AVRO SQL 関数の 'jsonFormatSchema' 引数を省略可能にする
  • [SPARK-48628] [SC-174695][core] タスクのピークオン/オフ ヒープ メモリ メトリックを追加する
  • [SPARK-47407] [SC-159379][behave-126][SQL] nullType への java.sql.Types.NULL マップのサポート
  • [SPARK-48628] [SC-173407][core] タスクのピークオン/オフ ヒープ メモリ メトリックを追加する
  • [SPARK-49166] [SC-173987][sql] 相関サブクエリでの OFFSET のサポート
  • [SPARK-49269] [SC-174676][sql] AstBuilder の VALUES() リストを積極的に評価する
  • [SPARK-49281] [SC-174782][sql] コピーコストを回避するため、getBytesUnsafe を用いて Parquet バイナリ getBytes を最適化する
  • [SPARK-49113] [SC-174734]翻訳バグをアサートしない - サイレントモードで例外を飲み込む
  • [SPARK-49098] [SC-173253][sql] の書き込みオプションを追加する INSERT
  • [SPARK-48638] [SC-174694][follow][CONNECT] ExecutionInfo のドキュメントを修正する
  • [SPARK-49250] [ES-1222826][sql] CheckAnalysis における、入れ子構造になった未解決のWindowExpressionのエラーメッセージを改善する
  • [SPARK-48755] [SC-174258][ss][PYTHON] transformWithState pyspark 基本実装と ValueState のサポート
  • [SPARK-48966] [SC-174329][sql] UDTF 呼び出しで無効な未解決の列参照を含むエラー メッセージを改善する
  • [SPARK-46590] [SC-154115][sql] 予期しないパーティションの宣言で結合が失敗する修正
  • [SPARK-49235] [SC-174159][sql] ツリー全体を走査しないように ResolveInlineTables ルールをリファクタリングする
  • [SPARK-49060] [SC-173107][connect] SQL-Connect バイナリ互換性チェックの Mima ルールをクリーンアップする
  • [SPARK-48762] [SC-172525][sql] python 用 clusterBy DataFrameWriter API の導入
  • [SPARK-49207] [SC-173852][sql] SplitPart と StringSplitSQL での一対多のケース マッピングを修正する
  • [SPARK-49204] [SC-173850][sql] StringInstr と StringLocate でのサロゲート ペアの処理を修正
  • [SPARK-36680] [SC-170640][sql] Spark SQL の動的テーブル オプションをサポート
  • [SPARK-49204] [SC-173849][sql] SubstringIndex でのサロゲート ペアの処理を修正する
  • [SPARK-49204] [SC-173848][sql] StringTrim でのサロゲート ペアの処理を修正
  • [SPARK-48967] [SC-173993]OPTIMIZE_INSERT_INTO_VALUES_PARSERの SparkConfigOwnershipSuite の前方テストを修正する
  • [SPARK-49204] [SC-173851][sql] StringReplace でのサロゲート ペア処理の修正
  • [SPARK-48967] [SC-173993][sql][16.x] “INSERT INTO … の性能とメモリ使用量を改善する” VALUES" ステートメント
  • [SPARK-49099] Revert “[SC-173229][sql] CatalogManager.setCurrent…
  • [SPARK-48347] [SC-173812][sql] WHILE ステートメントのサポート
  • [SPARK-49128] [SC-173344][core] カスタム History Server UI タイトルのサポート
  • [SPARK-49146] [SC-173825][ss] 追加モードのストリーミングクエリでのウォーターマークの欠落に関連するアサーションエラーをエラーフレームワークに移行する
  • [SPARK-45787] [SC-172197][sql] クラスタリング列の Catalog.listColumns のサポート
  • [SPARK-49099] [SC-173229][sql] CatalogManager.setCurrentNamespace はカスタム セッション カタログを考慮する必要がある
  • [SPARK-49138] [SC-173483][sql] 複数の式の CollationTypeCasts を修正する
  • [SPARK-49163] [SC-173666][sql] 壊れた Parquet パーティション データの結果に基づいてテーブルを作成しようとすると、ユーザー側のエラーが返されます
  • [SPARK-49201] [SC-173793][ps][PYTHON][connect] Spark SQL を使用した hist プロットの再実装
  • [SPARK-49188] [SC-173682][sql] 文字列の配列の配列に対して呼び出されたconcat_wsで発生した内部エラー
  • [SPARK-49137] [SC-173677][sql] if statement のブール条件が無効な場合は、例外をスローする必要があります
  • [SPARK-49193] [SC-173672][sql] RowSetUtils.toColumnBasedSet のパフォーマンスを向上させる
  • [SPARK-49078] [SC-173078][sql] v2 テーブルでの列の表示構文のサポート
  • [SPARK-49141] [SC-173388][sql] バリアントを Hive 互換性のないデータ型としてマークする
  • [SPARK-49059] [Cherry-Pick][15.x][SC-172528][connect] SessionHolder.forTesting(...) をテスト パッケージに移動する
  • [SPARK-49111] [SC-173661][sql] WithProjectAndFilter を DataSourceV2Strategy のコンパニオン オブジェクトに移動する
  • [SPARK-49185] [SC-173688][ps][PYTHON][connect] Spark SQL を使用した kde プロットの再実装
  • [SPARK-49178] [SC-173673][sql] Scala 2.12 で Spark 3.5 を使用する場合のパフォーマンスに合わせて Row#getSeq のパフォーマンスを最適化する
  • [SPARK-49093] [SC-172958][sql] 複合型内に入れ子になった MapType のGROUP BY
  • [SPARK-49142] [SC-173469][connect][PYTHON] デバッグする Spark Connect クライアント ログ レベルを下げる
  • [SPARK-48761] [SC-172048][sql] Scala 用 clusterBy DataFrameWriter API の導入
  • [SPARK-48346] [SC-173083][sql] SQL スクリプトでの IF ELSE ステートメントのサポート
  • [SPARK-48338] [SC-173112][sql] パーサー/インタープリターからスローされる例外を改善する
  • [SPARK-48658] [SC-169474][sql] エンコード/デコード関数は、マップできない文字に対して mojibake の代わりにコーディング エラーを報告します
  • [SPARK-49071] [SC-172954][sql] ArraySortLike の特徴を削除する
  • [SPARK-49107] "「[SC-173103][sql] ROUTINE_ALREADY_EXISTS が RoutineType をサポート」を再度元に戻す"
  • [SPARK-49070] [SC-172907][ss][SQL] TransformWithStateExec.initialState が誤って書き換えられ、無効なクエリ プランが生成される
  • [SPARK-49114] [SC-173217]サブカテゴリで状態ストア エラーを読み込めません
  • [SPARK-49107] 元に戻す "[SC-173103][sql] ROUTINE_ALREADY_EXISTS は RoutineType をサポートしています"
  • [SPARK-49048] [SC-173223][ss] 指定されたバッチ ID で関連する演算子メタデータを読み取るためのサポートを追加
  • [SPARK-49094] [SC-173049][sql] mergeSchema をオフにした Hive orc impl で ignoreCorruptFiles が機能しない問題を修正
  • [SPARK-49108] [SC-173102][例] REST API の例 submit_pi.sh 追加する
  • [SPARK-49107] [SC-173103][sql] ROUTINE_ALREADY_EXISTS は RoutineType をサポートしています
  • [SPARK-48997] [SC-172484][ss] メンテナンス スレッド プールのスレッドエラーに対して個々のアンロードを実装する
  • [SPARK-49063] [SC-173094][sql] ScalarSubqueries との間の修正
  • [SPARK-45891] [SC-172305][sql][PYTHON][variant] バリアント スペックの間隔型のサポートを追加
  • [SPARK-49074] [BEHAVE-110][sc-172815][SQL] df.cache()を用いたバリアントを修正
  • [SPARK-49003] [SC-172613][sql] 照合順序に対応するように解釈されたコード パス ハッシュを修正
  • [SPARK-48740] [SC-172430][sql] 不足しているウィンドウ指定エラーを早期にキャッチする
  • [SPARK-48999] [SC-172245][ss] PythonStreamingDataSourceSimpleSuiteを分割
  • [SPARK-49031] [SC-172602]OperatorStateMetadataV2 を使用して TransformWithStateExec 演算子の検証を実装する
  • [SPARK-49053] [SC-172494][python][ML] モデルの保存/読み込みヘルパー関数が Spark セッションを受け入れるようにする
  • [SPARK-49032] [Backport][15.x][SS]メタデータ テーブル エントリにスキーマ パスを追加し、予想されるバージョンを確認し、演算子メタデータ形式 v2 の演算子メタデータ関連テストを追加します
  • [SPARK-49034] [SC-172306][core] REST Submission API でサーバー側の sparkProperties 置換をサポートする
  • [SPARK-48931] [SC-171895][ss] 状態ストアメンテナンス タスクのクラウド ストア リスト API コストを削減する
  • [SPARK-48849] [SC-172068][ss]TransformWithStateExec 演算子の OperatorStateMetadataV2 を作成する
  • [SPARK-49013] [SC-172322]scala の Map 型と配列型の collationsMap のキーを変更する
  • [SPARK-48414] [SC-171884][python] python の破壊的変更を修正 fromJson
  • [SPARK-48910] [SC-171001][sql] HashSet/HashMap を使用して、PreprocessTableCreation での線形検索を回避する
  • [SPARK-49007] [SC-172204][core] カスタム タイトルをサポートするように MasterPage を改善する
  • [SPARK-49009] [SC-172263][sql][PYTHON] 列挙型を受け入れるように列 API と関数を修正する
  • [SPARK-49033] [SC-172303][core] REST Submission API でサーバー側の environmentVariables 置換をサポートする
  • [SPARK-48363] [SC-166470][sql] で一部の冗長コードをクリーンアップする from_xml
  • [SPARK-46743] [SC-170867][sql][BEHAVE-84] ScalarSubqery が折りたたまれた後のカウント バグ (空のリレーションシップがある場合)
  • [SPARK-49040] [SC-172351][sql] ドキュメントの修正 sql-ref-syntax-aux-exec-imm.md
  • [SPARK-48998] [SC-172212][ml] SparkSession を使用したメタ アルゴリズムの保存/読み込みモデル
  • [SPARK-48959] [SC-171708][sql] 例外処理 NoSuchNamespaceException 復元するために NoSuchDatabaseException を拡張する
  • [SPARK-48996] [SC-172130][sql][PYTHON] 列のANDおよびOR演算子に対して裸のリテラルを許可する
  • [SPARK-48990] [SC-171936]#101759 のフォローアップ - テスト修正
  • [SPARK-48338] [SC-171912][sql] 変数宣言を確認する
  • [SPARK-48990] [SC-171936][sql] 統合変数関連の SQL 構文キーワード
  • [SPARK-48988] [SC-171915][ml] spark セッションでメタデータ DefaultParamsReader/Writer 処理する
  • [SPARK-48974] [SC-171978][sql][SS][ml][MLLIB] 代わりに SparkSession.implicits を使用する SQLContext.implicits
  • [SPARK-48760] [SC-170870][sql] CatalogV2Util.applyClusterByChanges の修正
  • [SPARK-48928] [SC-171956]ローカルチェックポイント RDD で .unpersist() を呼び出すためのログ警告
  • [SPARK-48760] [SC-170139][sql] ALTER TABLE の導入... CLUSTER BY クラスタリング列を変更するための SQL 構文
  • [SPARK-48844] "[SC-170669][sql] パスが空の場合にUNSUPPORTED_DATASOURCE_FOR_DIRECT_QUERYの代わりに USE INVALID_EMPTY_LOCATION" を元に戻す
  • [SPARK-48833] [SC-171914][sql][VARIANT] のサポート バリアント InMemoryTableScan
  • [SPARK-48975] [SC-171894][protobuf] 不要な ScalaReflectionLock 定義を削除する protobuf
  • [SPARK-48970] [SC-171800][python][ML] Spark ML リーダー/ライターで SparkSession.getActiveSession を使用しないようにする
  • [SPARK-48844] [SC-170669][sql] パスが空のときはUNSUPPORTED_DATASOURCE_FOR_DIRECT_QUERYではなくINVALID_EMPTY_LOCATIONを使用します。
  • [SPARK-48714] [SC-170136]PySpark および UC での df.mergeInto テストの失敗を修正する
  • [SPARK-48957] [SC-171797][ss] hdfs および rocksdb プロバイダーの状態ストアの負荷に関するサブ分類エラー クラスを返す
  • [SPARK-48891] [Backport][15x][SC-171677][ss] StateSchemaCompatibilityChecker をリファクタリングして、すべての状態スキーマ形式を統一する
  • [SPARK-48972] [SC-171795][python] 関数のリテラル文字列処理を統合する
  • [SPARK-48388] [SC-171337][sql] SQL スクリプトの SET ステートメントの動作を修正
  • [SPARK-48743] [SC-170552][sql][SS] MergingSessionIterator は、getStruct が null を返すときにより適切に処理する必要があります
  • [SPARK-48623] [15.x][sc-171322][CORE] FileAppender ログを構造化ログに移行する
  • [SPARK-36680] [DBRRM-1123] "[SC-170640][sql] は Spark SQL の動的テーブル オプションをサポートしています" を元に戻す
  • [SPARK-48841] [SC-170868][behave-83][SQL] のcollationNameにsql()を含めるCollate
  • [SPARK-48941] [SC-171703][python][ML] RDD 読み取り/書き込み API 呼び出しをデータフレーム読み取り/書き込み API に置き換える
  • [SPARK-48938] [SC-171577][python] Python UDF を登録するときのエラー メッセージを改善する
  • [SPARK-48350] [SC-171040][sql] Sql スクリプトのカスタム例外の概要
  • [SPARK-48907] [SC-171158][sql] で explicitTypes 値を修正 COLLATION_MISMATCH.EXPLICIT
  • [SPARK-48945] [SC-171658][python] 正規表現関数を簡略化する lit
  • [SPARK-48944] [SC-171576][connect] Connect Server で JSON 形式のスキーマ処理を統合する
  • [SPARK-48836] [SC-171569]SQL スキーマを状態スキーマ/メタデータと統合する
  • [SPARK-48946] [SC-171504][sql] セッションが null の場合のレダクト方法における NPE
  • [SPARK-48921] [SC-171412][sql] サブクエリ内の ScalaUDF エンコーダーを MergeInto で解決する必要がある
  • [SPARK-45155] [SC-171048][connect] Spark Connect JVM/Scala クライアントの API Docs を追加する
  • [SPARK-48900][SC-171319]reasonとcancelJobGroupフィールドの追加cancelJobsWithTag
  • [SPARK-48865] [SC-171154][sql] try_url_decode関数を追加する
  • [SPARK-48851] [SC-170767][sql] SCHEMA_NOT_FOUND の値を namespace から catalog.namespace に変更する
  • [SPARK-48510] [SC-170893][2/2] Spark Connect での UDAF toColumn API のサポート
  • [SPARK-45190] [SC-171055][spark-48897][PYTHON][connect] from_xml が StructType スキーマをサポートするようにする
  • [SPARK-48930] [SC-171304][core] awsAccessKeyId パターンを含めることでaccesskeyを編集する
  • [SPARK-48909] [SC-171080][ml][MLLIB] メタデータの書き込み時に SparkContext 上で SparkSession を使用する
  • [SPARK-48883] [SC-171133][ml][R] RDD 読み取り/書き込み API 呼び出しをデータフレーム読み取り/書き込み API に置き換える
  • [SPARK-48924] [SC-171313][ps] pandas のような make_interval ヘルパー関数を追加する
  • [SPARK-48884] [SC-171051][python] 未使用のヘルパー関数を削除する PythonSQLUtils.makeInterval
  • [SPARK-48817] [SC-170636][sql] 和集合の複数コマンドを積極的にまとめて一括実行する
  • [SPARK-48896] [SC-171079][ml][MLLIB] メタデータを書き出す際にパーティションの再分割を避ける
  • [SPARK-48892] [SC-171127][ml] 行ごとのパラメーターの読み取りを回避する Tokenizer
  • [SPARK-48927] [SC-171227][core] キャッシュされた RDD の数を表示する StoragePage
  • [SPARK-48886] [15.x][backport][SC-171039][ss] バージョン情報を changelog v2 に追加して進化を容易にする
  • [SPARK-48903] [SC-171136][ss] リモート 読み込み時に RocksDB の最後のスナップショット バージョンを正しく設定する
  • [SPARK-48742] [SC-170538][ss] RocksDB の仮想列ファミリ
  • [SPARK-48726] [15.x][sc-170753][SS] StateSchemaV3 ファイル形式を作成し、TransformWithStateExec 演算子に対してこれを書き出す
  • [SPARK-48794] [SC-170882][connect][15.x] df.mergeInto での Spark Connect (Scala と Python) のサポート
  • [SPARK-48714] [SC-170136][python] PySpark に DataFrame.mergeInto を実装する
  • [SPARK-48772] [SC-170642][ss][SQL] 状態データソースの変更フィードリーダーモード
  • [SPARK-48666] [SC-170887][sql] Python UDF が含まれている場合はフィルターをプッシュダウンしない
  • [SPARK-48845] [SC-170889][sql] GenericUDF が子からの例外をキャッチする
  • [SPARK-48880] [SC-170974][core] ドライバー プラグインの初期化に失敗した場合に NullPointerException をスローしないようにする
  • [SPARK-48888] [Backport][15x][SC-170973][ss] 変更ログ操作のサイズに基づいてスナップショットの作成を削除する
  • [SPARK-48871] [SC-170876]検証INVALID_NON_DETERMINISTIC_EXPRESSIONS修正...
  • [SPARK-48883] [SC-170894][ml][R] RDD 読み取り/書き込み API 呼び出しをデータフレーム読み取り/書き込み API に置き換える
  • [SPARK-36680] [SC-170640][sql] Spark SQL の動的テーブル オプションをサポート
  • [SPARK-48804] [SC-170558][sql] classIsLoadableとOutputCommitter.isAssignableFromのチェックを出力コミッタクラスの設定に追加する
  • [SPARK-46738] [SC-170791][python] doctests のグループを再び有効にします
  • [SPARK-48858] [SC-170756][python] setDaemonの非推奨のThread メソッド呼び出しを削除するlog_communication.py
  • [SPARK-48639] [SC-169801][connect][PYTHON] RelationCommon に配信元を追加する
  • [SPARK-48863] [SC-170770][es-1133940][SQL] "spark.sql.json.enablePartialResults" を有効にして JSON を解析するときの ClassCastException を修正する
  • [SPARK-48343] [SC-170450][sql] SQL スクリプト インタープリターの概要
  • [SPARK-48529] [SC-170755][sql] SQL スクリプトでのラベルの概要
  • [SPARK-45292] "[SC-151609][sql][HIVE] IsolatedClientLoader から共有クラスから Guava を削除する" を取り消す
  • [SPARK-48037] [SC-165330][core][3.5] SortShuffleWriter にシャッフル書き込みに関連するメトリックがないため、データが不正確な可能性がある問題を修正する
  • [SPARK-48720] [SC-170551][sql] v1 と v2 でコマンド ALTER TABLE ... UNSET TBLPROPERTIES ... を配置する
  • [SPARK-48485] [SC-167825][connect][SS] ストリーミング クエリでの interruptTag と interruptAll のサポート
  • [SPARK-45292] [SC-151609][sql][HIVE] IsolatedClientLoader から共有クラスから Guava を削除する
  • [SPARK-48668] [SC-169815][sql] ALTER NAMESPACEのサポートを追加する... v2 の UNSET プロパティ
  • [SPARK-47914] [SC-165313][sql] 範囲に splits パラメーターを表示しない
  • [SPARK-48807] [SC-170643][sql] CSV データソースのバイナリ サポート
  • [SPARK-48220] [SC-167592][python][15.X] PyArrow テーブルを渡して createDataFrame() を許可する
  • [SPARK-48545] [SC-169543][sql] DataFrame の同等の関数と一致する sql 関数to_avroとfrom_avroを作成する
  • [SPARK-47577] [SC-168875][spark-47579] ログ キーの誤った使用法を修正TASK_ID

Databricks ODBC/JDBC ドライバーのサポート

Databricks では、過去 2 年間にリリースされた ODBC/JDBC ドライバーがサポートされています。 最近リリースされたドライバーをダウンロードしてアップグレードしてください (ODBC のダウンロード、JDBC のダウンロード)。

システム環境

  • オペレーティングシステム: Ubuntu 24.04.1 LTS
  • Java: Zulu17.50+19-CA
  • Scala: 2.12.15
  • Python: 3.12.3
  • R: 4.4.0
  • Delta Lake: 3.2.1

インストールされている Python ライブラリ

図書館 バージョン 図書館 バージョン 図書館 バージョン
注釈付き型 0.7.0 アストトークン 2.0.5 astunparse 1.6.3
自動コマンド 2.2.2 azure-core (アジュール コア) 1.31.0 アジュール・ストレージ・ブロブ 12.23.0
azure-storage-file-datalake（アジュールストレージファイルデータレイク） 12.17.0 backports.tarfile 1.2.0 黒い 24.4.2
ウインカー 1.7.0 boto3 1.34.69 botocore 1.34.69
キャッシュツールズ (cachetools) 5.3.3 サーティフィ 2024年6月2日 cffi 1.16.0
チャーデット 4.0.0 charset-normalizer (文字コード正規化ツール) 2.0.4 クリック 8.1.7
クラウドピックル 2.2.1 通信 0.2.1 コンツアーピー 1.2.0
暗号技術 42.0.5 サイクリスト 0.11.0 Cython 3.0.11
databricks-sdk（データブリックスSDK） 0.30.0 dbus-python 1.3.2 debugpy 1.6.7
デコレーター 5.1.1 推奨されない 1.2.14 distlib 0.3.8
ドックストリングをMarkdownに変換 0.11 入口点 0.4 実行中 0.8.3
ファセットの概要 1.1.1 ファイルロック 3.15.4 fonttools（フォントツールズ） 4.51.0
ギットディービー 4.0.11 GitPython 3.1.37 google-api-core 2.20.0
google-auth（Google認証） 2.35.0 グーグルクラウドコア 2.4.1 Googleクラウドストレージ 2.18.2
google-crc32c（GoogleのCRC32Cライブラリ） 1.6.0 google-resumable-media（Googleの継続可能なメディアライブラリ） 2.7.2 Google API 共通プロトコル (googleapis-common-protos) 1.65.0
grpcio 1.60.0 grpcio-status 1.60.0 httplib2 0.20.4
idna 3.7 importlib-metadata 6.0.0 importlib_resources（インポートライブラリリソース) 6.4.0
活用 7.3.1 ipyflow-core 0.0.198 ipykernel 6.28.0
ipython 8.25.0 ipython-genutils (IPython用のユーティリティ) 0.2.0 ipywidgets (インタラクティブウィジェット) 7.7.2
アイソデート 0.6.1 jaraco.context 5.3.0 jaraco.functools 4.0.1
jaraco.text 3.12.1 ジェダイ 0.19.1 jmespath 1.0.1
「joblib」 1.4.2 jupyter_client 8.6.0 jupyter_core（ジュピター・コア） 5.7.2
キウィソルバー 1.4.4 launchpadlib 1.11.0 lazr.restfulclient 0.14.6
lazr.uri 1.0.6 matplotlib 3.8.4 matplotlib-インライン 0.1.6
マッケイブ 0.7.0 mlflow-skinny 2.15.1 more-itertools 10.3.0
マイピー 1.10.0 mypy-extensions (マイパイ拡張機能) 1.0.0 nest-asyncio（ネスト・アサインキオ） 1.6.0
nodeenv 1.9.1 NumPy (数値計算ライブラリ) 1.26.4 oauthlib 3.2.2
opentelemetry-api 1.27.0 opentelemetry-sdk (OpenTelemetry ソフトウェア開発キット) 1.27.0 OpenTelemetryセマンティック規約 0.48b0
包装 24.1 パンダ 1.5.3 パルソ 0.8.3
pathspec 0.10.3 パッツィ 0.5.6 ペキスペクト 4.8.0
枕 10.3.0 種 24.2 プラットフォームディレクトリ 3.10.0
plotly 5.22.0 pluggy 1.0.0 prompt-toolkit（プロンプトツールキット） 3.0.43
proto-plus 1.24.0 プロトバフ 4.24.1 psutil 5.9.0
psycopg2 2.9.3 ptyprocess 0.7.0 pure-eval (ピュア・イヴァル) 0.2.2
pyarrow (パイアロー) 15.0.2 pyasn1 0.4.8 pyasn1-modules 0.2.8
ピッコロ 0.0.52 pycparser（パイシーパーサー） 2.21 Pythonのデータバリデーションライブラリ「pydantic」 2.8.2
pydantic_core 2.20.1 パイフレークス 3.2.0 Pygments 2.15.1
PyGObject 3.48.2 PyJWT 2.7.0 pyodbc (Pythonのデータベース接続用ライブラリ) 5.0.1
パイパーシング (Pyparsing) 3.0.9 pyright 1.1.294 python-dateutil (Python用の日付処理ライブラリ) 2.9.0.post0
python-lsp-jsonrpc 1.1.2 Python LSP サーバー 1.10.0 Pytoolconfig 1.2.6
pytz 2024.1 PyYAML 6.0.1 pyzmq 25.1.2
リクエスト 2.32.2 ロープ 1.12.0 RSA（アールエスエー） 4.9
s3transfer 0.10.2 scikit-learn（サイキット・ラーン） 1.4.2 scipy 1.13.1
seaborn（シーボーン） 0.13.2 setuptools（セットアップツール） 74.0.0 6 1.16.0
smmap 5.0.0 sqlparse 0.5.1 ssh-import-id 5.11
スタックデータ 0.2.0 statsmodels（スタッツモデルズ） 0.14.2 粘り強さ 8.2.2
Threadpoolctl 2.2.0 トークナイズ-RT 4.2.1 tomli 2.0.1
竜巻 6.4.1 traitlets（トレイトレット） 5.14.3 タイプガード 4.3.0
types-protobuf（タイプス-プロトバフ） 3.20.3 types-psutil 5.9.0 types-pytz 2023.3.1.1
types-PyYAML 6.0.0 リクエストの種類 2.31.0.0 typesセットアップツール 68.0.0.0
タイプ六 1.16.0 types-urllib3 1.26.25.14 タイピングエクステンションズ (typing_extensions) 4.11.0
ujson 5.10.0 無人アップグレード 0.1 urllib3 1.26.16
virtualenv 20.26.2 wadllib 1.3.6 wcwidth（文字の幅を測定するプログラム関数） 0.2.5
whatthepatch（ホワットザパッチ） 1.0.2 車輪 0.43.0 包まれた 1.14.1
yapf (ヤップフ) 0.33.0 ジップ 3.17.0

インストールされている R ライブラリ

R ライブラリは、2024-08-04: https://packagemanager.posit.co/cran/2024-08-04/に Posit パッケージ マネージャー CRAN スナップショットからインストールされます。

図書館 バージョン 図書館 バージョン 図書館 バージョン
矢印 16.1.0 アスクパス 1.2.0 assertthat（アサートザット関数） 0.2.1
バックポート（旧バージョンへの機能移植） 1.5.0 基盤 4.4.0 base64enc 0.1-3
bigD 0.2.0 ビット 4.0.5 ビット64 4.0.5
ビット演算 1.0 から 8 ブロブ 1.2.4 起動 1.3-30
醸造 1.0-10 活気 1.1.5 箒 1.0.6
bslib 0.8.0 キャシェム 1.1.0 コールアール 3.7.6
キャレット 6.0-94 セルレンジャー (cellranger) 1.1.0 クロノ 2.3-61
クラス 7.3-22 CLI 3.6.3 clipr 0.8.0
時計 0.7.1 クラスタ 2.1.6 codetools 0.2-20
カラースペース 2.1-1 コモンマーク 1.9.1 コンパイラ 4.4.0
設定 0.3.2 葛藤している 1.2.0 cpp11 0.4.7
クレヨン 1.5.3 資格情報 2.0.1 カール 5.2.1
データテーブル (data.table) 1.15.4 データセット 4.4.0 DBI 1.2.3
dbplyr 2.5.0 説明 1.4.3 devtools 2.4.5
ダイアグラム 1.6.5 diffobj 0.3.5 ダイジェスト 0.6.36
ダウンライト 0.4.4 dplyr 1.1.4 dtplyr 1.3.1
e1071 1.7-14 省略記号 0.3.2 評価する 0.24.0
ファンシ 1.0.6 farver 2.1.2 fastmap (ファストマップ) 1.2.0
fontawesome (フォントオーサム) 0.5.2 フォーキャッツ 1.0.0 foreach 1.5.2
外国の 0.8-86 鍛冶場 0.2.0 fs 1.6.4
未来 1.34.0 future.apply（将来の機能を適用するためのプログラミング関数） 1.11.2 うがい 1.5.2
ジェネリクス 0.1.3 ゲルト 2.1.0 ggplot2 3.5.1
gh 1.4.1 git2r 0.33.0 gitcreds 0.1.2
glmnet(英語) 4.1-8 グローバル 0.16.3 接着剤 1.7.0
googledrive 2.1.1 googlesheets4 1.1.1 ガウアー 1.0.1
グラフィックス 4.4.0 grDevices 4.4.0 グリッド 4.4.0
gridExtra 2.3 gsubfn 0.7 gt; 0.11.0
gtable 0.3.5 ヘルメット 1.4.0 安らぎの場 2.5.4
ハイヤー 0.11 エイチ・エム・エス 1.1.3 HTMLツール 0.5.8.1
HTMLウィジェット 1.6.4 httpuv 1.6.15 「httr」パッケージ（HTTPリクエストを簡単に送信するためのライブラリ） 1.4.7
httr2 1.0.2 識別子 1.0.1 ini 0.3.1
アイプレッド 0.9-15 アイソバンド 0.2.7 イテレーター 1.0.14
jquerylib 0.1.4 jsonlite 1.8.8 ジュージージュース 0.1.0
カーンスムース 2.23-22 ニット 1.48 ラベリング 0.4.3
あとで 1.3.2 格子構造 0.22-5 溶岩 1.8.0
ライフサイクル 1.0.4 listenv 0.9.1 ルブリデート 1.9.3
Magrittr 2.0.3 マークダウン 1.13 質量 7.3-60.0.1
マトリックス 1.6-5 メモ化 2.0.1 メソッド 4.4.0
mgcv 1.9-1 マイム 0.12 ミニUI 0.1.1.1
mlflow 2.14.1 モデルメトリクス 1.2.2.2 モデルル 0.1.11
munsell 0.5.1 nlme 3.1-165 ニューラルネットワーク (nnet) 7.3-19
numDeriv（ヌムデリヴ） 2016年8月～2016年1月1日 openssl (オープンソースの暗号化ツール) 2.2.0 並行 4.4.0
平行に 1.38.0 柱 1.9.0 pkgbuild（パッケージビルド） 1.4.4
pkgconfig 2.0.3 pkgdown 2.1.0 pkgload(パッケージロード) 1.4.0
plogr 0.2.0 プライル 1.8.9 賞賛 1.0.0
プリティーユニッツ 1.2.0 プロック (pROC) 1.18.5 プロセスエックス 3.8.4
プロッドリム 2024.06.25 プロフビス 0.3.8 進捗 1.2.3
progressr 0.14.0 約束 1.3.0 プロト 1.0.0
プロキシ 0.4-27 ps 1.7.7 purrr 1.0.2
R6 2.5.1 ragg 1.3.2 randomForest（ランダムフォレスト） 4.7-1.1
rappdirs 0.3.3 rcmdcheck 1.4.0 RColorブリューワー 1.1-3
Rcpp 1.0.13 RcppEigen 0.3.4.0.0 反応可能 0.4.4
reactR 0.6.0 readr 2.1.5 readxl (エクセルファイルの読み取り用パッケージ/関数) 1.4.3
レシピ 1.1.0 再戦 2.0.0 リマッチ2 2.1.2
リモコン 2.5.0 再現可能な例 2.1.1 リシェイプ2 1.4.4
rlang 1.1.4 rmarkdown 2.27 RODBC 1.3-23
リオキシジェン2 7.3.2 rpart（Rプログラミング言語における再帰的分割のためのパッケージ） 4.1.23 rprojroot さん 2.0.4
Rサーブ 1.8-13 RSQLite (英語) 2.3.7 rstudioapi 0.16.0
アールバージョンズ 2.1.2 rvest 1.0.4 サス 0.4.9
秤 1.3.0 selectr 0.4-2 セッション情報 1.2.2
形状 1.4.6.1 光沢がある 1.9.1 ソースツール 0.1.7-1
スパークラー (sparklyr) 1.8.6 SparkR 3.5.0 空間的 7.3-17
スプライン 4.4.0 sqldf 0.4-1 スクウェアム 2021年1月
統計 4.4.0 統計プログラミングパッケージ「stats4」 4.4.0 ストリンギ 1.8.4
stringr 1.5.1 サバイバル 3.6-4 Swagger 5.17.14.1
システム 3.4.2 systemfonts 1.1.0 tcltk（ティーシーエルティーケー） 4.4.0
テストザット 3.2.1.1 テキスト整形 0.4.0 tibble（ティブル） 3.2.1
ティディル 1.3.1 tidyselect関数 1.2.1 tidyverse（タイディバース） 2.0.0
時刻変更 0.3.0 時刻と日付 4032.109 tinytex 0.52
ツール 4.4.0 tzdb 0.4.0 URLチェッカー 1.0.1
この機能を使う 3.0.0 utf8 1.2.4 ユーティリティ 4.4.0
UUID（ユニバーサルユニーク識別子） 1.2-1 V8 4.4.2 vctrs 0.6.5
ヴィリディスライト 0.4.2 ブルーム 1.6.5 ワルド 0.5.2
ウイスカー 0.4.1 withr 3.0.1 xfun 0.46
xml2 1.3.6 xopen (エックスオープン) 1.0.1 xtable (エクステーブル) 1.8-4
YAML 2.3.10 zeallot 0.1.0 ジップ 2.3.1

インストールされている Java および Scala ライブラリ (Scala 2.12 クラスター バージョン)

グループ識別子 アーティファクト ID バージョン
アンラル（ANTLR） アンラル（ANTLR） 2.7.7
com.amazonaws amazon-kinesis-client（アマゾン・キネシス・クライアント） 1.12.0
com.amazonaws aws-java-sdk-autoscaling (オートスケーリング用Java SDK) 1.12.638
com.amazonaws aws-java-sdk-cloudformation 1.12.638
com.amazonaws AWSのJava SDKパッケージであるCloudFront 1.12.638
com.amazonaws aws-java-sdk-cloudhsm（AWSのクラウドHSM用Javaソフトウェア開発キット） 1.12.638
com.amazonaws AWSのJava SDK - cloudsearch 1.12.638
com.amazonaws aws-java-sdk-cloudtrail 1.12.638
com.amazonaws aws-java-sdk-cloudwatch 1.12.638
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.638
com.amazonaws aws-java-sdk-codedeploy（AWSのJava SDK用CodeDeployサービス） 1.12.638
com.amazonaws aws-java-sdk-cognitoidentity (AWS Java SDK コグニトアイデンティティ) 1.12.638
com.amazonaws aws-java-sdk-cognitosync 1.12.638
com.amazonaws aws-java-sdk-config（AWS Java SDK 設定） 1.12.638
com.amazonaws aws-java-sdk-core（AWS Java SDKのコア） 1.12.638
com.amazonaws aws-java-sdk-datapipeline (AWS Java SDKのデータパイプラインモジュール) 1.12.638
com.amazonaws aws-java-sdk-directconnect (AWSのJava SDKのDirect Connect機能) 1.12.638
com.amazonaws aws-java-sdk-directory 1.12.638
com.amazonaws aws-java-sdk-dynamodb 1.12.638
com.amazonaws aws-java-sdk-ec2 1.12.638
com.amazonaws aws-java-sdk-ecs 1.12.638
com.amazonaws aws-java-sdk-efs 1.12.638
com.amazonaws AWS Java SDK エラスティキャッシュ 1.12.638
com.amazonaws AWS Java SDK エラスティックビーンストーク 1.12.638
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.638
com.amazonaws aws-java-sdk-elastictranscoder (AWS用のJava開発ツールキット - Elastic Transcoder) 1.12.638
com.amazonaws aws-java-sdk-emr 1.12.638
com.amazonaws aws-java-sdk-glacier 1.12.638
com.amazonaws aws-java-sdk-glue (AWSのJava用SDKであるGlue) 1.12.638
com.amazonaws AWSのJava SDK（IAM用） 1.12.638
com.amazonaws AWS Java SDK インポートエクスポート 1.12.638
com.amazonaws aws-java-sdk-kinesis 1.12.638
com.amazonaws aws-java-sdk-kms 1.12.638
com.amazonaws aws-java-sdk-lambda 1.12.638
com.amazonaws aws-java-sdk-logs 1.12.638
com.amazonaws aws-java-sdk-機械学習 1.12.638
com.amazonaws aws-java-sdk-opsworks 1.12.638
com.amazonaws aws-java-sdk-rds（AWSのJava用RDSソフトウェア開発キット） 1.12.638
com.amazonaws AWS Java SDK Redshift 1.12.638
com.amazonaws aws-java-sdk-route53 1.12.638
com.amazonaws aws-java-sdk-s3 1.12.638
com.amazonaws aws-java-sdk-ses 1.12.638
com.amazonaws aws-java-sdk-simpledb 1.12.638
com.amazonaws aws-java-sdk-simpleworkflow 1.12.638
com.amazonaws aws-java-sdk-sns 1.12.638
com.amazonaws aws-java-sdk-sqs 1.12.638
com.amazonaws aws-java-sdk-ssm 1.12.638
com.amazonaws AWS Java SDK ストレージゲートウェイ 1.12.638
com.amazonaws aws-java-sdk-sts 1.12.638
com.amazonaws AWS Java SDK サポート 1.12.638
com.amazonaws aws-java-sdk-swf-libraries (AWS Java SDK SWFライブラリ) 1.11.22
com.amazonaws aws-java-sdk-workspacesとはAWSのワークスペースを管理するためのJava用SDKです。 1.12.638
com.amazonaws jmespath-java 1.12.638
com.clearspring.analytics 川 2.9.6
com.databricks Rサーブ 1.8-3
com.databricks Databricks SDK (Java) 0.27.0
com.databricks jets3t (ジェットスリート) 0.7.1-0
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-shaded 4.0.2
com.esotericsoftware minlog (ミンログ) 1.3.0
com.fasterxml クラスメイト 1.3.4
com.fasterxml.jackson.core jackson-annotations (ジャクソン・アノテーション) 2.15.2
com.fasterxml.jackson.core ジャクソン・コア (jackson-core) 2.15.2
com.fasterxml.jackson.core ジャクソン・データバインド (jackson-databind) 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor（ジャクソンデータフォーマットCBOR） 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-yaml（ジャクソン・データフォーマット・YAML） 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-joda 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.16.0
com.fasterxml.jackson.module jackson-module-paranamer 2.15.2
com.fasterxml.jackson.module jackson-module-scala_2.12 2.15.2
com.github.ben-manes.カフェイン カフェイン 2.9.3
com.github.fommil jniloader 1.1
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java 1.1-ネイティブス
com.github.fommil.netlib ネイティブシステム-Java 1.1
com.github.fommil.netlib ネイティブシステム-Java 1.1-ネイティブス
com.github.fommil.netlib netlib-native_ref-linux-x86_64 1.1-ネイティブス
com.github.fommil.netlib netlib-ネイティブシステム-linux-x86_64 1.1-ネイティブス
com.github.luben zstd-jni (ゼットスタッドジェイエヌアイ) 1.5.5-4
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.10.1
com.google.crypto.tink ティンク 1.9.0
com.google.errorprone エラーが発生しやすいアノテーション 2.10.0
com.google.flatbuffers flatbuffers-java 23年5月26日
com.google.guava グアバ 15.0
com.google.protobuf protobuf-java 3.25.1
com.helger プロファイラー 1.1.1
com.ibm.icu icu4j 75.1
com.jcraft jsch 0.1.55
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk（アジュール・データ・レイク・ストア・SDK） 2.3.9
com.microsoft.sqlserver mssql-jdbc 11.2.2.jre8
com.ning Compress-LZF (コンプレス-LZF) 1.1.2
com.sun.mail javax.mail 1.5.2
.bind の com.sun.xml jaxb-core 2.2.11
.bind の com.sun.xml jaxb-impl 2.2.11
com.tdunning JSON 1.8
com.thoughtworks.paranamer パラナマー 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter チル-ジャヴァ 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe 設定 1.4.3
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.3
com.univocity univocity-parsers（ユニボシティ・パーサーズ） 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
コモンズ・コーデック コモンズ・コーデック 1.16.0
コモンズ・コレクションズ コモンズ・コレクションズ 3.2.2
commons-dbcp（コモンズ-DBCP） commons-dbcp（コモンズ-DBCP） 1.4
コモンズ-ファイルアップロード コモンズ-ファイルアップロード 1.5
commons-httpclient（コモンズHTTPクライアント） commons-httpclient（コモンズHTTPクライアント） 3.1
commons-io commons-io 2.13.0
commons-lang (コモンズ・ラン、Javaの汎用ユーティリティライブラリ) commons-lang (コモンズ・ラン、Javaの汎用ユーティリティライブラリ) 2.6
commons-logging commons-logging 1.1.3
commons-pool（コモンズプール） commons-pool（コモンズプール） 1.5.4
dev.ludovic.netlib アーパック 3.0.3
dev.ludovic.netlib ブラス 3.0.3
dev.ludovic.netlib ラパック 3.0.3
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift エアコンプレッサー 0.27
io.delta delta-sharing-client_2.12 1.2.0
io.dropwizard.metrics メトリクスアノテーション 4.2.19
io.dropwizard.metrics メトリクス・コア 4.2.19
io.dropwizard.metrics メトリクス・グラファイト 4.2.19
io.dropwizard.metrics メトリクス-ヘルスチェック 4.2.19
io.dropwizard.metrics メトリクス-ジェッティ9 4.2.19
io.dropwizard.metrics メトリクス-JMX 4.2.19
io.dropwizard.metrics metrics-json 4.2.19
io.dropwizard.metrics メトリックス-JVM 4.2.19
io.dropwizard.metrics メトリクス-サーブレット 4.2.19
io.netty netty-all (ライブラリ名) 4.1.108.Final
io.netty ネットィバッファー 4.1.108.Final
io.netty netty-codec 4.1.108.Final
io.netty netty-codec-http 4.1.108.Final
io.netty netty-codec-http2（ネットティー・コーデック・HTTP2） 4.1.108.Final
io.netty netty-codec-socks 4.1.108.Final
io.netty netty-common 4.1.108.Final
io.netty ネットティ・ハンドラー 4.1.108.Final
io.netty ネッティ・ハンドラー・プロキシ 4.1.108.Final
io.netty ネッティ・リゾルバー 4.1.108.Final
io.netty netty-tcnative-boringssl-static 2.0.61.Final
io.netty netty-tcnative-boringssl-static 2.0.61.Final-linux-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-linux-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-osx-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-osx-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-windows-x86_64
io.netty netty-tcnative-classes 2.0.61.Final
io.netty netty-transport（ネットティ・トランスポート） 4.1.108.Final
io.netty netty-transport-classes-epoll 4.1.108.Final
io.netty netty-トランスポートクラス-kqueue 4.1.108.Final
io.netty netty-transport-native-epoll 4.1.108.Final
io.netty netty-transport-native-epoll 4.1.108.Final-linux-aarch_64
io.netty netty-transport-native-epoll 4.1.108.Final-linux-riscv64
io.netty netty-transport-native-epoll 4.1.108.Final-linux-x86_64
io.netty netty-transport-native-kqueue 4.1.108.Final-osx-aarch_64
io.netty netty-transport-native-kqueue 4.1.108.Final-osx-x86_64
io.netty netty-transport-native-unix-common (ネットワーク通信を行うためのユニックス向け共通ライブラリ) 4.1.108.Final
io.prometheus simpleclient 0.7.0
io.prometheus シンプルクライアント_コモン 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus シンプルクライアント_プッシュゲートウェイ 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx 収集家 0.12.0
jakarta.annotation ジャカルタ・アノテーションAPI 1.3.5
ジャカルタ.サーブレット jakarta.サーブレット-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation アクティベーション 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1.1
javax.transaction トランザクションAPI 1.1
.bind の javax.xml jaxb-api 2.2.11
「ジャボリューション（Javolution）」 「ジャボリューション（Javolution）」 5.5.1
ジェイライン ジェイライン 2.14.6
joda-time joda-time 2.12.1
net.java.dev.jna jna 5.8.0
net.razorvine 漬物 1.3
net.sf.jpam ジェーパム 1.1
net.sf.opencsv opencsv (CSVファイル操作のためのライブラリ) 2.3
net.sf.supercsv スーパCSV (スーパーシーエスブイ) 2.2.0
net.snowflake snowflake-ingest-sdk（スノーフレーク・インジェスト・SDK） 0.9.6
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.9.3
org.antlr ストリングテンプレート 3.2.1
org.apache.ant 蟻 1.10.11
org.apache.ant ant-jsch 1.10.11
org.apache.ant ant-launcher 1.10.11
org.apache.arrow 矢印フォーマット 15.0.0
org.apache.arrow アロー・メモリー・コア 15.0.0
org.apache.arrow アロー・メモリー・ネッティ 15.0.0
org.apache.arrow 矢印ベクトル 15.0.0
org.apache.avro アブロ 1.11.3
org.apache.avro avro-ipc 1.11.3
org.apache.avro avro-mapred 1.11.3
org.apache.commons commons-collections4 4.4.
org.apache.commons コモンズ・コンプレス 1.23.0
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons コモンズテキスト 1.10.0
org.apache.curator キュレーター-クライアント 2.13.0
org.apache.curator Curator Framework（キュレーター・フレームワーク） 2.13.0
org.apache.curator キュレーターのレシピ 2.13.0
org.apache.datasketches datasketches-java 3.1.0
org.apache.datasketches datasketches-memory (データスケッチズ・メモリー) 2.0.0
org.apache.derby ダービー 10.14.2.0
org.apache.hadoop hadoop-client-runtime (ハドゥープ・クライアント・ランタイム) 3.3.6
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde (Hiveのシリアライゼーション/デシリアライゼーション) 2.3.9
org.apache.hive ハイブシムス 2.3.9
org.apache.hive hive-storage-api (ハイブストレージAPI) 2.8.1
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler (ハイブシムススケジューラー) 2.3.9
org.apache.httpcomponents httpclient 4.5.14
org.apache.httpcomponents httpcore 4.4.16
org.apache.ivy アイビー 2.5.2
org.apache.logging.log4j log4j-1.2-api 2.22.1
org.apache.logging.log4j log4j-api 2.22.1
org.apache.logging.log4j log4j-core 2.22.1
org.apache.logging.log4j log4j-layout-template-json (ログ4jのレイアウト・テンプレート・JSON) 2.22.1
org.apache.logging.log4j log4j-slf4j2-impl 2.22.1
org.apache.orc オーク・コア 1.9.2-shaded-protobuf
org.apache.orc orc-mapreduce 1.9.2-shaded-protobuf
org.apache.orc orc-shims（オーク・シムズ） 1.9.2
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift (リブスリフト) 0.12.0
org.apache.ws.xmlschema xmlschema-core 2.3.0
org.apache.xbean xbean-asm9-shaded 4.23
org.apache.yetus オーディエンス注釈 0.13.0
org.apache.zookeeper 動物園の飼育員 3.9.2
org.apache.zookeeper zookeeper-jute（ズーキーパー・ジュート） 3.9.2
org.checkerframework チェッカー・クオール 3.31.0
org.codehaus.jackson ジャクソンコアASL 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino コモンズコンパイラー 3.0.16
org.codehaus.janino ジャニーノ (janino) 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus データニュクレウス-RDBMS 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.collections Eclipse-collections（エクリプス・コレクション） 11.1.0
org.eclipse.collections エクリプスコレクションズAPI 11.1.0
org.eclipse.jetty jetty-client 9.4.52.v20230823
org.eclipse.jetty ジェッティ・コンティニュエーション 9.4.52.v20230823
org.eclipse.jetty ジェッティ-HTTP 9.4.52.v20230823
org.eclipse.jetty jetty-io 9.4.52.v20230823
org.eclipse.jetty jetty-jndi（ジェッティ-JNDI） 9.4.52.v20230823
org.eclipse.jetty ジェッティプラス 9.4.52.v20230823
org.eclipse.jetty jetty-proxy (ジェッティプロキシ) 9.4.52.v20230823
org.eclipse.jetty ジェッティ・セキュリティ 9.4.52.v20230823
org.eclipse.jetty ジェッティ・サーバー 9.4.52.v20230823
org.eclipse.jetty ジェッティ-サーブレット 9.4.52.v20230823
org.eclipse.jetty ジェッティ・サーブレット (jetty-servlets) 9.4.52.v20230823
org.eclipse.jetty jetty-util (ジェッティユーティル) 9.4.52.v20230823
org.eclipse.jetty jetty-util-ajax (ジェティ・ユーティル・エイジャックス) 9.4.52.v20230823
org.eclipse.jetty jetty-webapp（ジェッティ・ウェブアプリ） 9.4.52.v20230823
org.eclipse.jetty jetty-xml 9.4.52.v20230823
org.eclipse.jetty.websocket ウェブソケットAPI 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-client (ウェブソケット・クライアント) 9.4.52.v20230823
org.eclipse.jetty.websocket ウェブソケット-コモン 9.4.52.v20230823
org.eclipse.jetty.websocket ウェブソケットサーバー 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-サーブレット 9.4.52.v20230823
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2ユーティリティー 2.6.1
org.glassfish.hk2 OSGiリソースロケーター 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-サーブレット 2.40
org.glassfish.jersey.containers ジャージー-コンテナ-サーブレット-コア 2.40
org.glassfish.jersey.core jersey-client 2.40
org.glassfish.jersey.core ジャージーコモン 2.40
org.glassfish.jersey.core ジャージーサーバー 2.40
org.glassfish.jersey.inject jersey-hk2 2.40
org.hibernate.validator hibernate-validator (ハイバーネイト検証ツール) 6.1.7.Final
org.ini4j ini4j 0.5.4
org.javassist javassist（ジャバアシスト） 3.29.2-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains 注釈 17.0.0
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mlflow mlflow-spark_2.12 2.9.1
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.6.1
org.roaringbitmap RoaringBitmap 0.9.45-databricks
org.roaringbitmap シム 0.9.45-databricks
org.rocksdb rocksdbjni 9.2.1
org.rosuda.REngine REngine（アールエンジン） 2.1.0
org.scala-lang scala-compiler_2.12 2.12.15
org.scala-lang scala-library_2.12 2.12.15
org.scala-lang scala-reflect_2.12 2.12.15
org.scala-lang.modules scala-collection-compat_2.12 2.11.0
org.scala-lang.modules scala-java8-compat_2.12 0.9.1
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt テストインターフェイス 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.2.16
org.scalanlp breeze-macros_2.12 2.1.0
org.scalanlp breeze_2.12 2.1.0
org.scalatest スカラテスト互換 3.2.16
org.scalatest scalatest-core_2.12 3.2.16
org.scalatest scalatest-diagrams_2.12 3.2.16
org.scalatest scalatest-featurespec_2.12 3.2.16
org.scalatest scalatest-flatspec_2.12 3.2.16
org.scalatest scalatest-freespec_2.12 3.2.16
org.scalatest scalatest-funspec_2.12 3.2.16
org.scalatest scalatest-funsuite_2.12 3.2.16
org.scalatest scalatest-matchers-core_2.12 3.2.16
org.scalatest scalatest-mustmatchers_2.12 3.2.16
org.scalatest scalatest-propspec_2.12 3.2.16
org.scalatest scalatest-refspec_2.12 3.2.16
org.scalatest scalatest-shouldmatchers_2.12 3.2.16
org.scalatest scalatest-wordspec_2.12 3.2.16
org.scalatest scalatest_2.12 3.2.16
org.slf4j jcl-over-slf4j 2.0.7
org.slf4j jul-to-slf4j 2.0.7
org.slf4j slf4j-api 2.0.7
org.slf4j slf4j-simple 1.7.25
org.threeten threeten-extra（スリー・テン・エクストラ） 1.7.1
org.tukaani xz 1.9
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel スパイア-プラットフォーム_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl ワイルドフライ-オープンSSL 1.1.3.Final
org.xerial sqlite-jdbc 3.42.0.0
org.xerial.snappy snappy-java 1.1.10.3
org.yaml snakeyaml（スネークヤムル） 2.0
oro oro 2.0.8
pl.edu.icm JLargeArrays (ジェイラージアレイ) 1.5
software.amazon.cryptools AmazonCorrettoCryptoProvider 1.6.2-linux-x86_64
スタックス stax-api 1.0.1