次の方法で共有

Databricks Runtime 11.3 LTS

次のリリース ノートには、Apache Spark 3.3.0 で稼働する Databricks Runtime 11.3 LTS に関する情報が記載されています。 Databricks は、2022 年 10 月にこのバージョンをリリースしました。

注

LTS は、このバージョンが長期的にサポートされていることを意味します。 Databricks Runtime LTS バージョンのライフサイクルに関する記事を参照してください。

ヒント

サポート終了 (EoS) を迎えた Databricks Runtime のバージョンのリリース ノートについては、「サポート終了 Databricks Runtime のリリース ノート」を参照してください。 EoS Databricks Runtime のバージョンは廃止されており、更新されない可能性があります。

動作の変更

[破壊的変更] 新しい Python バージョンでは、Databricks Connect V1 Python クライアントを更新する必要があります

注

以降の更新では、Databricks Runtime 11.3 LTS の Python バージョンが 3.9.21 に移動されます。 3.9.21 バージョンでは、動作の変更はありません。

必要なセキュリティ パッチを適用するために、Databricks Runtime 11.3 LTS の Python バージョンが 3.9.5 から 3.9.19 に更新されます。 これらの変更により、特定の PySpark 関数を使用するクライアントでエラーが発生する可能性があるため、Databricks Runtime 11.3 LTS で Databricks Connect V1 for Python を使用するすべてのクライアントを Python 3.9.7 以降に更新する必要があります。

新機能と機能強化

Python が 3.9.19 から 3.9.21 にアップグレードされました

Databricks Runtime 11.3 LTS の Python バージョンが 3.9.19 から 3.9.21 に更新されました。

構造化ストリーミングの 1 回だけのトリガーは非推奨

この Trigger.Once 設定は非推奨になりました。 Databricks では Trigger.AvailableNow を使用することをお勧めします。 「構造化ストリーミングのトリガー間隔を構成する」を参照してください。

自動ローダーのソース パスを変更する

新しいチェックポイント ディレクトリを選択しなくても、ディレクトリ一覧モードで構成された自動ローダーのディレクトリ入力パスを変更できるようになりました。 「自動ローダーのソース パスを変更する」を参照してください。

Databricks Kinesis コネクタで、EFO モードでの Kinesis データ ストリームからの読み取りがサポートされるようになりました。

Databricks Runtime 11.3 LTS の Databricks Kinesis Structured Streaming ソースを使用して、拡張ファンアウト モードで Kinesis データ ストリームから読み取るクエリを実行できるようになりました。 これにより、シャードごとおよびコンシューマーごとの専用スループット、およびプッシュ モードでのレコード配信が可能になります。

新しい H3 地理空間関数と、すべての H3 関数に Photon のサポートが追加されました。

4 つの新しい H3 関数 h3_maxchild、h3_minchild、h3_pointash3、および h3_pointash3string について説明します。 これらの関数は、SQL、Scala、Python で使用できます。 すべての H3 式が Photon でサポートされるようになりました。 「H3 地理空間の関数」を参照してください。

予測 I/O の新機能

Photon では、RANGE BETWEEN UNBOUNDED PRECEDING AND CURRENT ROW を使用してフレームを実行するための範囲モードがサポートされています。 さらに Photon では、RANGE BETWEEN UNBOUNDED PRECEDING AND offset_stop { PRECEDING | FOLLOWING } を使用してフレームを拡大するための範囲モードもサポートされています。

選択的クエリをスキャンするために初期パーティションを増やす

Photon 対応クラスターの take/tail/limit と Databricks SQL のLIMIT で選択的クエリで、スキャンする初期パーティションの値が 10 に増加しました。 10 個のパーティションを使用すると、複数の小さなジョブを起動し、スケールアップが遅くなるオーバーヘッドを回避できます。 spark.sql.limit.selectiveInitialNumPartitions を介してこれを構成することもできます。

新しい AQE プランバージョンの視覚化

アダプティブ クエリ実行 (AQE) からランタイム プランの更新を視覚化できる AQE プランのバージョンを紹介します。

新しい非同期進行状況の追跡モードとログ消去モード

非同期進行状況追跡と非同期ログ消去と呼ばれる構造化ストリーミング モードの導入。 非同期ログ消去モードでは、バックグラウンドで進行状況の追跡に使用されるログを削除することで、ストリーミング クエリの待機時間が短縮されます。

Unity Catalog での構造化ストリーミングが display() をサポートするようになりました

構造化ストリーミングを使用して Unity カタログに登録されたテーブルを操作するときに、display() を使用できるようになりました。

パイプライン イベントが JSON 形式でログに記録されるようになりました

Azure Databricks は、JSON 形式でドライバー ログにパイプライン イベントを書き込むようになりました。 各イベントは JSON で解析できますが、大きなイベントにすべてのフィールドが含まれていないか、フィールドが切り捨てられる可能性があります。 各イベントは、プレフィックス Event received: が付いた単一の行に記録されます。 イベントの例を次に示します。

Event received: {"id":"some-event-id","origin":{"pipeline_id":"some-pipeline-id","cluster_id":"some-cluster id"},"message":"simple [truncated] message","level":"WARN"}

Python の構造化ストリーミングでの自由裁量によるステートフル処理

PySpark で任意のステートフル処理を実行するために使用できる applyInPandasWithState 関数を紹介します。 これは、Java API の flatMapGroupsWithState 関数と同じです。

CSV ファイルの日付推論

CSV ファイルの日付型列の推論の改善について紹介します。 列のレコード間で日付形式が一貫している場合、それらの列は DateType のように推論できます。 異なる列に日付形式を組み合わせることもできます。 Azure Databricks では、各列の日付形式を自動的に推論できます。 Databricks Runtime 11.3 LTS より前の CSV ファイルの日付列は、StringType のように残されています。

Apache Parquet テーブルと Apache Iceberg テーブルのサポートを複製する (パブリック プレビュー)

複製を使用して、Apache Parquet テーブルと Apache Iceberg テーブルをミラー化する Delta テーブルを作成および増分更新できるようになりました。 clone コマンドを使用して、ソース Parquet テーブルを更新し、その変更を複製された Delta テーブルに増分適用できます。 「Parquet テーブルと Apache Iceberg テーブルを Delta Lake に増分複製する」を参照してください。

SQL を使用して、Unity Catalog マネージド テーブルのスキーマ レベルとカタログ レベルのストレージの場所を指定する

MANAGED LOCATION SQL コマンドを使用して、カタログ レベルとスキーマ レベルでマネージド テーブルのクラウド ストレージの場所を指定できるようになりました。 CREATE CATALOG と CREATE SCHEMAを参照してください。

動作の変更

Databricks Connect 11.3.2

Databricks Connect クライアント更新プログラム 11.3.2 がサポートされるようになりました。 「Databricks Connect」および「Databricks Connect リリース ノート」を参照してください。

更新された Azure Databricks Snowflake コネクタ

Azure Databricks Snowflake コネクタは、オープンソース リポジトリ Snowflake Data Source for Apache Spark から最新バージョンのコードに更新されました。 オープンソース バージョンのすべての機能を維持しながら、述語プッシュダウンや内部クエリ プランのプッシュダウンなど、Databricks Runtime 11.3 LTS との完全な互換性を実現しました。

S3A の Hadoop キャッシュが無効になりました

S3A の Hadoop キャッシュ (FileSystem Apache Hadoop Main 3.3.4 API) が無効になりました。 これは、他のクラウド ストレージ コネクタと揃えるためです。 ファイル システムのキャッシュに依存するワークロードの場合は、新しく作成されたファイル システムに、資格情報プロバイダーを含む適切な Hadoop 構成が提供されていることを確認します。

Delta Lake 統計コレクション スキーマがテーブル スキーマ定義の列の順序と一致するようになりました

この変更は、DataFrame とテーブル列の順序が一致していないために列の統計が収集されなかった Delta Lake プロトコルのバグに対処します。 場合によっては、以前に追跡されていないフィールドの統計収集が原因で、書き込みパフォーマンスが低下することがあります。 「Delta Lake に対するデータのスキップ」を参照してください。

applyInPandasWithState は、演算子の後にクエリにシャッフルがある場合にエラーをスローする

演算子の後にクエリに applyInPandasWithState がある場合、演算子 shuffle はエラーをスローします。 これは、ユーザーが操作の後に shuffle を追加するか、オプティマイザーまたはシンクが暗黙的に shuffle を追加した場合に発生します。

ライブラリのアップグレード

  • アップグレードされた Python ライブラリ:
    • distlib (0.3.5 から 0.3.6 へ)
  • アップグレードされた R ライブラリ:
    • broom (1.0.0 から 1.0.1 へ)
    • callr (3.7.1 から 3.7.2 へ)
    • dplyr (1.0.9 から 1.0.10 へ)
    • dtplyr (1.2.1 から 1.2.2 へ)
    • forcats (0.5.1 から 0.5.2 へ)
    • future (1.27.0 から 1.28.0 へ)
    • future.apply (1.9.0 から 1.9.1 へ)
    • gert (1.7.0 から 1.8.0 へ)
    • globals (0.16.0 から 0.16.1 へ)
    • globals (0.3.0 から 0.3.1 へ)
    • haven (2.5.0 から 2.5.1 へ)
    • hms (1.1.1 から 1.1.2 へ)
    • httr (1.4.3 から 1.4.4 へ)
    • knitr (1.39 から 1.40 へ)
    • modelr (0.1.8 から 0.1.9 へ)
    • pillar (1.8.0 から 1.8.1 へ)
    • progressr (0.10.1 から 0.11.0 へ)
    • readxl (1.4.0 から 1.4.1 へ)
    • reprex (2.0.1 から 2.0.2 へ)
    • rlang (1.0.4 から 1.0.5 へ)
    • rmarkdown (2.14 から 2.16 へ)
    • RSQLite (2.2.15 から 2.2.16 へ)
    • rstudioapi (0.13 から 0.14 へ)
    • rversions (2.1.1 から 2.1.2 へ)
    • rvest (1.0.2 から 1.0.3 へ)
    • scales (1.2.0 から 1.2.1 へ)
    • sparklyr (1.7.7 から 1.7.8 へ)
    • stringr (1.4.0 から 1.4.1 へ)
    • survival (3.2-13 から 3.4-0 へ)
    • tinytex (0.40 から 0.41 へ)
    • viridisLite (0.4.0 から 0.4.1 へ)
  • アップグレードされた Java ライブラリ:
    • com.fasterxml.jackson.core.jackson-annotations (2.13.3 から 2.13.4 へ)
    • com.fasterxml.jackson.core.jackson-core (2.13.3 から 2.13.4 へ)
    • com.fasterxml.jackson.core.jackson-databind (2.13.3 から 2.13.4 へ)
    • com.fasterxml.jackson.dataformat.jackson-dataformat-cbor (2.13.3 から 2.13.4 へ)
    • com.fasterxml.jackson.datatype.jackson-datatype-joda (2.13.3 から 2.13.4 へ)
    • com.fasterxml.jackson.datatype.jackson-datatype-jsr310 (2.13.3 から 2.13.4 へ)
    • com.fasterxml.jackson.module.jackson-module-paranamer (2.13.3 から 2.13.4 へ)
    • com.fasterxml.jackson.module.jackson-module-scala_2.12 (2.13.3 から 2.13.4 へ)
    • org.apache.hadoop.hadoop-client-api (3.3.2-databricks から 3.3.4-databricks へ)
    • org.apache.hadoop.hadoop-client-runtime (3.3.2 から 3.3.4 へ)
    • org.apache.orc.orc-core (1.7.5 から 1.7.6 へ)
    • org.apache.orc.orc-mapreduce (1.7.5 から 1.7.6 へ)
    • org.apache.orc.orc-shims (1.7.5 から 1.7.6 へ)
    • org.apache.parquet.parquet-column (1.12.0-databricks-0004 から 1.12.0-databricks-0007 へ)
    • org.apache.parquet.parquet-common (1.12.0-databricks-0004 から 1.12.0-databricks-0007 へ)
    • org.apache.parquet.parquet-encoding (1.12.0-databricks-0004 から 1.12.0-databricks-0007 へ)
    • org.apache.parquet.parquet-format-structures (1.12.0-databricks-0004 から 1.12.0-databricks-0007 へ)
    • org.apache.parquet.parquet-hadoop (1.12.0-databricks-0004 から 1.12.0-databricks-0007 へ)
    • org.apache.parquet.parquet-jackson (1.12.0-databricks-0004 から 1.12.0-databricks-0007 へ)
    • org.glassfish.jersey.containers.jersey-container-servlet (2.34 から 2.36 へ)
    • org.glassfish.jersey.containers.jersey-container-servlet (2.34 から 2.36 へ)
    • org.glassfish.jersey.core.jersey-client (2.34 から 2.36 へ)
    • org.glassfish.jersey.core.jersey-common (2.34 から 2.36 へ)
    • org.glassfish.jersey.core.jersey-server from (2.34 から 2.36 へ)
    • org.glassfish.jersey.inject.jersey-hk2 (2.34 から 2.36 へ)

Apache Spark

Databricks Runtime 11.3 LTS には、Apache Spark 3.3.0 が含まれています。 このリリースには、Databricks Runtime 11.2 (サポート期間終了) に含まれるすべての Spark の修正プログラムおよび機能強化と、Spark に対して行われた次の追加のバグ修正と機能強化が含まれています。

  • [SPARK-39957] [WARMFIX][sc-111425][CORE] ドライバーが ExecutorExitCode を受信できるように、onDisconnected の処理を遅延させる
  • [SPARK-39955] [WARMFIX][sc-111424][CORE] LaunchTask プロセスを改善して、LaunchTask メッセージの送信失敗によって発生するステージエラーを回避する
  • [SPARK-40474] [SC-106248][cherry-pick] datetime 列の CSV スキーマ推論動作を修正し、日付フィールドの自動検出を導入する
  • [SPARK-40535] [SC-111243][sql] 入力行が空の場合、AggregatingAccumulator のバッファーが作成されないバグを修正
  • [SPARK-40434] [SC-111125][sc-111144][SC-111138][spark-40435][11.3][ss][PYTHON] pySpark に applyInPandasWithState を実装する
  • [SPARK-40460] [SC-110832][ss] 選択時のストリーミング メトリックを修正する _metadata
  • [SPARK-40324] [SC-109943][sql] のクエリ コンテキストを指定する ParseException
  • [SPARK-40466] [SC-110899][ss] DSv1 が使用できないときに DSv2 が無効になっている場合のエラー メッセージを改善する
  • [SPARK-40456] [SC-110848][sql] PartitionIterator.hasNext は、繰り返し呼び出すには安価である必要があります
  • [SPARK-40169] [SC-110772][sql] データ スキーマへの参照がない Parquet フィルターをプッシュダウンしない
  • [SPARK-40467] [SC-110759][ss] FlatMapGroupsWithState を複数のテスト スイートに分割する
  • [SPARK-40468] [SC-110813][sql] _corrupt_recordが選択されている場合の CSV での列の排除を修正する
  • [SPARK-40291] [SC-110085][sql] group by 句に含まれていない列に関するエラーメッセージを改善する
  • [SPARK-40398] [SC-110762][core][SQL] Arrays.stream api の代わりにループを使用する
  • [SPARK-40433] [SC-110684][ss][PYTHON] PythonSQLUtils で toJVMRow を追加して、ピクルスされた PySpark 行を JVM 行に変換する
  • [SPARK-40414] [SC-110568][sql][PYTHON] PythonArrowInput と PythonArrowOutput のその他のジェネリック型
  • [SPARK-40352] [SC-109945][sql] 関数エイリアスの追加: len、datepart、dateadd、date_diff、curdate
  • [SPARK-40470] [SC-110761][sql] GetArrayStructFields と GetMapValue を "arrays_zip" 関数で処理する
  • [SPARK-40387] [SC-110685][sql] Spark Decimal の実装を改善する
  • [SPARK-40429] [SC-110675][sql] 参照される列が出力内にある場合にのみ KeyGroupedPartitioning を設定する
  • [SPARK-40432] [SC-110716][ss][PYTHON] PySpark で GroupStateImpl と GroupStateTimeout を導入する
  • [SPARK-39915] [SC-110496][sql] 出力パーティション分割が AQE でユーザー指定されていることを確認する
  • [SPARK-29260] [SQL] HMS でサポートされている場合の ALTER DATABASE SET LOCATION のサポート
  • [SPARK-40185] [SC-110056][sql] 候補リストが空のときに列候補を削除する
  • [SPARK-40362] [SC-110401][sql] BinaryComparison 正規化の修正
  • [SPARK-40411] [SC-110381][ss] 親の特性を持つ FlatMapGroupsWithStateExec をリファクターする
  • [SPARK-40293] [SC-110084][sql] V2 テーブルのエラー メッセージをより意味のあるものにする
  • [SPARK-38734] [SC-110383][sql] エラー クラスを削除する INDEX_OUT_OF_BOUNDS
  • [SPARK-40292] [SC-110300][sql] 入れ子になった構造体から配列が参照されている場合の "arrays_zip" 関数の列名を修正する
  • [SPARK-40276] [SC-109674][core] RDD.takeOrdered の結果サイズを小さくする
  • [SPARK-40197] [SC-109176][sql] クエリ プランをMULTI_VALUE_SUBQUERY_ERRORのコンテキストに置き換える
  • [SPARK-40300] [SC-109942][sql] DATATYPE_MISMATCH エラー クラスに移行する
  • [SPARK-40149] [SC-110055][sql] Project を介してメタデータ列を伝達する
  • [SPARK-40280] [SC-110146][sql] 注釈付き int と long の Parquet プッシュダウンのサポートを追加
  • [SPARK-40220] [SC-110143][sc-109175][SQL] エラー メッセージ パラメーターの空のマップを出力しない
  • [SPARK-40295] [SC-110070][sql] 書き込みディストリビューション/順序付けでリテラル引数を持つ v2 関数を許可する
  • [SPARK-40156] [SC-109264][sql] url_decode() エラー クラスを返す必要があります
  • [SPARK-39195] [SQL] コミットされたファイルがタスクの状態と一致しない場合、Spark OutputCommitCoordinator はステージを中止する必要がある
  • [SPARK-40260] [SC-109424][sql] 位置のコンパイル エラーでエラー クラス GROUP BY 使用する
  • [SPARK-40205] [SC-110144][sc-109082][SQL] ELEMENT_AT_BY_INDEX_ZEROのクエリ コンテキストを提供する
  • [SPARK-40112] [SC-109676][sql] TO_BINARY() 関数を改善する
  • [SPARK-40209] [SC-109081][sql] エラーの changePrecision() で Decimal の間隔値を変更しない
  • [SPARK-40319] [SC-109873][sql] PARSE_DATETIME_BY_NEW_PARSERの重複したクエリ実行エラーメソッドを削除する
  • [SPARK-40222] [SC-109209][sql] 数値try_add/try_divide/try_subtract/try_multiplyが子からエラーをスローする必要がある
  • [SPARK-40183] [SC-108907][sql] 10進変換時のオーバーフローに対して、エラークラスNUMERIC_VALUE_OUT_OF_RANGEを適用する
  • [SPARK-40180] [SC-109069][sql] エラー メッセージの書式設定 spark-sql
  • [SPARK-40153] [SC-109165][sql] 解決関数とテーブル値関数の統合
  • [SPARK-40308] [SC-109880][sql] 関数に折りたたみ不可能な区切り記号引数を許可str_to_map
  • [SPARK-40219] [SC-110052][sc-109663][SQL] 冗長参照を回避するために、解決されたビューの論理プランにスキーマを保持する必要がある
  • [SPARK-40098] [SC-109939][sc-108693][SQL] Thrift Server でのエラー メッセージの書式設定
  • [SPARK-39917] [SC-109038][sql] 数値/間隔の算術オーバーフローに異なるエラー クラスを使用する
  • [SPARK-40033] [SC-109875][sql] element_atによる入れ子になったスキーマの排除のサポート
  • [SPARK-40194] [SC-109660][sql] 空の正規表現の SPLIT 関数は、末尾の空の文字列を切り捨てる必要があります。
  • [SPARK-40228] [SC-109835][sql] 子が低コストの式でない場合は multiLike を簡略化しない
  • [SPARK-40039] [SC-109896][sc-109260][SS] Hadoop の Abortable インターフェイスに基づくストリーミング チェックポイント ファイル マネージャーの導入
  • [SPARK-40285] [SC-109679][sql] Spark の roundTo[Numeric] を簡略化する Decimal
  • [SPARK-39896] [SC-109658][sql] In/InSet ダウンキャストのリテラルが失敗したときに UnwrapCastInBinaryComparison が機能する必要がある
  • [SPARK-40040] [SC-109662][sql] 結合条件が空の場合にローカル制限を両側にプッシュする
  • [SPARK-40055] [SC-109075][sql] listCatalogs は、spark_catalog実装が defaultSessionCatalog の場合でもspark_catalogを返す必要があります
  • [SPARK-39915] [SC-109391][sql] Dataset.repartition(N) では、場合によっては非AQE部でN個のパーティションが作成されない可能性がある。
  • [SPARK-40207] [SC-109401][sql] データ型がデータソースでサポートされていない場合に列名を指定する
  • [SPARK-40245] [SC-109295][sql] パーティションまたはデータ フィルター列が読み取られない場合の FileScan の等価性チェックを修正する
  • [SPARK-40113] [SC-109405][sql] Reactor ParquetScanBuilder DataSourceV2 インターフェイスの実装
  • [SPARK-40211] [SC-109226][core][SQL] take() 動作で初期パーティション数をカスタマイズできるようにする
  • [SPARK-40252] [SC-109379][sql] Stream.collect(Collectors.joining) を StringJoiner Api に置き換える
  • [SPARK-40247] [SC-109272][sql] BitSet の等価チェックを修正する
  • [SPARK-40067] [SQL] Scan#name() 代わりに Table#name() を使用して SparkUI の BatchScan ノード内のテーブル名を設定する
  • [SPARK-39966] [SQL] SupportsDelete で V2 フィルターを使用する
  • [SPARK-39607] [SC-109268][sql][DSV2] 書き込みの際に、配布と順序指定をサポートする V2 関数
  • [SPARK-40224] [SC-109271][sql] ObjectHashAggregateExec が並べ替えベースにフォールバックした際に迅速にメモリを解放する
  • [SPARK-40013] [SQL] DS V2 式に既定値を設定する必要がある toString
  • [SPARK-40214] [SC-109079][python][SQL] 関数に 'get' を追加する
  • [SPARK-40192] [SC-109089][sql][ML] 冗長グループを削除する
  • [SPARK-40146] [SC-108694][sql] 単純にマップ値を取得する codegen
  • [SPARK-40109][SQL] 新しい SQL 関数: get()
  • [SPARK-39929] [SQL] DS V2 でプッシュダウン文字列関数がサポートされている (ANSI 以外)
  • [SPARK-39819] [SQL] DS V2 集計プッシュダウンは、上位 N またはページング (式による並べ替え) で動作できる
  • [SPARK-40213] [SC-109077][sql] ラテン 1 文字の ASCII 値変換をサポート
  • [SPARK-39887] [SQL] RemoveRedundantAliases は、プロジェクション ノードの出力を一意にするエイリアスを保持する必要がある
  • [SPARK-39764] [SQL] PhysicalOperation を ScanOperation と同じにする
  • [SPARK-39964] [SQL] DS V2 プッシュダウンで翻訳パスを統一する必要がある
  • [SPARK-39528] [SQL] SupportsRuntimeFiltering で V2 フィルターを使用する
  • [SPARK-40066] [SQL] ANSI モード: マップ列への無効なアクセスで常に null を返す
  • [SPARK-39912] [SPARK-39828][sql] Refine CatalogImpl
  • [SPARK-39833] [SC-108736][sql] DSv1 の Parquet 列インデックスを無効にして、パーティションとデータ列が重複する場合の正確性の問題を修正する
  • [SPARK-39880] [SQL] V2 SHOW FUNCTIONS コマンドは、v1 などの修飾関数名を出力する必要があります
  • [SPARK-39767] [SQL] UnresolvedDBObjectName を削除し、UnresolvedIdentifier を追加する
  • [SPARK-40163] [SC-108740][sql] feat: SparkSession.config(マップ)
  • [SPARK-40136] [SQL] SQL クエリ コンテキストのフラグメントを修正する
  • [SPARK-40107] [SC-108689][sql] FileFormatWriter から empty2null 変換をプルアウトする
  • [SPARK-40121] [PYTHON][sql] Python UDF に使用されるプロジェクションを初期化する
  • [SPARK-40128] [SQL] VectorizedColumnReader にスタンドアロン列エンコードとしてDELTA_LENGTH_BYTE_ARRAYを認識させる
  • [SPARK-40132] [ML] rawPredictionCol を MultilayerPerceptronClassifier.setParams に復元する
  • [SPARK-40050] [SC-108696][sql] EliminateSorts の強化で LocalLimit を通じて並べ替えの削除をサポートする
  • [SPARK-39629] [SQL] サポート v2 SHOW FUNCTIONS
  • [SPARK-39925] [SC-108734][sql] DataFrame 操作にarray_sort(列、比較子) オーバーロードを追加する
  • [SPARK-40117] [PYTHON][sql] DataFrameWriterV2.overwrite で条件を java に変換する
  • [SPARK-40105] [SQL] ReplaceCTERefWithRepartition での再パーティションの改善
  • [SPARK-39503] [SQL] v1 データベース テーブルと関数のセッション カタログ名を追加する
  • [SPARK-39889] [SQL] 数値/間隔に異なるエラー クラスを 0 で除算して使用する
  • [SPARK-39741][SQL] URL エンコード/デコードを組み込み関数としてサポートし、URL 関連の関数を整理する
  • [SPARK-40102] [SQL] SparkPlan で IllegalStateException の代わりに SparkException を使用する
  • [SPARK-40014] [SQL] ANSI 間隔の 10 進数へのキャストをサポートする
  • [SPARK-39776] [SQL][follow] PlanStabilitySuite の UT を ANSI モードで更新する
  • [SPARK-39963] [SQL] 簡略化 SimplifyCasts.isWiderCast

メンテナンスの更新

Databricks Runtime 11.3 のメンテナンス更新プログラムに関するページを参照してください。

システム環境

  • オペレーティング システム: Ubuntu 20.04.5 LTS
    • 注: これは、Databricks ランタイム コンテナーで使用される Ubuntu バージョンです。 DBR コンテナーは、異なる Ubuntu バージョンまたは Linux ディストリビューションを使用する可能性があるクラウド プロバイダーの仮想マシン上で実行されます。
  • Java: Zulu 8.56.0.21-CA-linux64
  • Scala: 2.12.14
  • Python: 3.9.21
  • R: 4.1.3
  • Delta Lake: 2.1.0

インストールされている Python ライブラリ

ライブラリ バージョン ライブラリ バージョン ライブラリ バージョン
argon2-cffi 20.1.0 async-generator (非同期ジェネレーター) 1.10 属性 21.2.0
バックコール (再発信機能) 0.2.0 バックポート.entry-points-selectable 1.1.1 黒い 22.3.0
漂白剤 4.0.0 boto3 1.21.18 botocore 1.24.18
サーティフィ 2021.10.8 cffi 1.14.6 チャーデット 4.0.0
charset-normalizer (文字コード正規化ツール) 2.0.4 クリックし 8.0.3 暗号技術 3.4.8
サイクリスト 0.10.0 Cython 0.29.24 dbus-python 1.2.16
debugpy 1.4.1 デコレーター 5.1.0 デフューズドXML (defusedxml) 0.7.1
distlib 0.3.6 入口点 0.3 ファセット概要 1.0.0
ファイルロック 3.8.0 idna 3.2 ipykernel 6.12.1
ipython 7.32.0 ipython-genutils (IPython用のユーティリティ) 0.2.0 ipywidgets (インタラクティブウィジェット) 7.7.0
ジェダイ 0.18.0 ジンジャ2 2.11.3 jmespath 0.10.0
「joblib」 1.0.1 JSONスキーマ 3.2.0 ジュピタークライアント 6.1.12
ジュピター・コア 4.8.1 jupyterlab-pygments 0.1.2 jupyterlab ウィジェット 1.0.0
キウィソルバー 1.3.1 マークアップセーフ 2.0.1 matplotlib 3.4.3
matplotlib-インライン 0.1.2 ミスチューン 0.8.4 mypy-extensions (マイパイ拡張機能) 0.4.3
nbclient（エヌビー・クライアント） 0.5.3 NBコンバート 6.1.0 nbフォーマット 5.1.3
nest-asyncio（ネスト・アサインキオ） 1.5.1 ノートブック 6.4.5 NumPy (数値計算ライブラリ) 1.20.3
パッケージング 21.0 パンダ 1.3.4 パンドックフィルターズ 1.4.3
パルソ 0.8.2 パススペック 0.9.0 パッツィ 0.5.2
ペキスペクト 4.8.0 ピクルシェア 0.7.5 枕 8.4.0
種 21.2.4 プラットフォームディレクトリ 2.5.2 plotly - データビジュアライゼーションツール 5.9.0
prometheus-クライアント 0.11.0 prompt-toolkit（プロンプトツールキット） 3.0.20 プロトバフ 4.21.5
psutil 5.8.0 psycopg2 2.9.3 ptyprocess 0.7.0
pyarrow (パイアロー) 7.0.0 pycparser（パイシーパーサー） 2.20 Pygments 2.10.0
PyGObject 3.36.0 pyodbc (Pythonのデータベース接続用ライブラリ) 4.0.31 パイパーシング (Pyparsing) 3.0.4
pyrsistent 0.18.0 python-dateutil (Python用の日付処理ライブラリ) 2.8.2 pytz 2021年3月
pyzmq 22.2.1 リクエスト 2.26.0 requests-unixsocket 0.2.0
s3transfer 0.5.2 scikit-learn（サイキット・ラーン） 0.24.2 scipy 1.7.1
seaborn（シーボーン） 0.11.2 Send2Trash(センド2トラッシュ) 1.8.0 setuptools（セットアップツール） 58.0.4
6 1.16.0 ssh-import-id 5.10 statsmodels（スタッツモデルズ） 0.12.2
粘り強さ 8.0.1 終了しました 0.9.4 テストパス (testpath) 0.5.0
Threadpoolctl 2.2.0 トークナイズ-RT 4.2.1 tomli 2.0.1
竜巻 6.1 traitlets（トレイトレット） 5.1.0 タイピング拡張 3.10.0.2
無人アップグレード 0.1 urllib3 1.26.7 virtualenv 20.8.0
wcwidth（文字の幅を測定するプログラム関数） 0.2.5 ウェブエンコーディングス 0.5.1 車輪 0.37.0
ウィジェットNBエクステンション 3.6.0

インストールされている R ライブラリ

R ライブラリは、2022 年 9 月 8 日に Microsoft CRAN スナップショットからインストールされています。 スナップショットは使用できなくなりました。

ライブラリ バージョン ライブラリ バージョン ライブラリ バージョン
アスクパス 1.1 assertthat（アサートザット関数） 0.2.1 バックポート（旧バージョンへの機能移植） 1.4.1
基盤 4.1.3 base64enc 0.1-3 ビット 4.0.4
ビット64 4.0.5 blob (blob) 1.2.3 起動 1.3-28
醸成 1.0-7 活気 1.1.3 箒 1.0.1
bslib 0.4.0 キャシェム 1.0.6 コールアール 3.7.2
キャレット 6.0-93 セルレンジャー (cellranger) 1.1.0 クロノ 2.3-57
クラス 7.3-20 CLI 3.3.0 クリッパー 0.8.0
クラスタ 2.1.3 コードツール 0.2-18 カラー空間 2.0-3
コモンマーク 1.8.0 コンパイラ 4.1.3 設定 0.3.1
CPP11 0.4.2 クレヨン 1.5.1 資格情報 1.3.2
カール 4.3.2 データテーブル (data.table) 1.14.2 データセット 4.1.3
DBI 1.1.3 dbplyr 2.2.1 説明 1.4.1
開発ツール 2.4.4 diffobj 0.3.5 ダイジェスト 0.6.29
ダウンライト 0.4.2 dplyr 1.0.10 dtplyr 1.2.2
e1071 1.7-11 省略記号 0.3.2 評価する 0.16
ファンシ 1.0.3 farver 2.1.1 fastmap (ファストマップ) 1.1.0
fontawesome (フォントオーサム) 0.3.0 フォーキャッツ 0.5.2 フォーリーチ 1.5.2
外国の 0.8-82 鍛冶場 0.2.0 FS 1.5.2
未来 1.28.0 future.apply（将来の機能を適用するためのプログラミング関数） 1.9.1 うがい 1.2.0
ジェネリクス 0.1.3 ゲルト 1.8.0 ggplot2 3.3.6
gh 1.3.0 gitcreds 0.1.1 glmnet(英語) 4.1-4
グローバル変数 0.16.1 接着剤 1.6.2 googledrive 2.0.0
googlesheets4 1.0.1 ガウアー 1.0.0 グラフィックス 4.1.3
grDevices 4.1.3 グリッド 4.1.3 gridExtra 2.3
gsubfn 0.7 gtable 0.3.1 安全帽 1.2.0
安らぎの場 2.5.1 ハイヤー 0.9 エイチ・エム・エス 1.1.2
HTMLツール 0.5.3 HTMLウィジェット 1.5.4 httpuv 1.6.5
「httr」パッケージ（HTTPリクエストを簡単に送信するためのライブラリ） 1.4.4 識別子 1.0.1 ini 0.3.1
アイプレッド 0.9-13 アイソバンド 0.2.5 イテレータ 1.0.14
jquerylib 0.1.4 jsonlite 1.8.0 カーンスムース 2.23-20
ニット 1.40 ラベリング 0.4.2 あとで 1.3.0
格子構造 0.20-45 溶岩 1.6.10 ライフサイクル 1.0.1
listenv 0.8.0 ルブリデート 1.8.0 Magrittr 2.0.3
値下げ 1.1 質量 7.3-56 マトリックス 1.4-1
メモ化 2.0.1 メソッド 4.1.3 mgcv 1.8-40
マイム 0.12 ミニUI 0.1.1.1 モデルメトリクス 1.2.2.2
モデルル 0.1.9 munsell 0.5.0 nlme 3.1-157
ニューラルネットワーク (nnet) 7.3-17 numDeriv（ヌムデリヴ） 2016年8月～2016年1月1日 openssl (オープンソースの暗号化ツール) 2.0.2
並行 4.1.3 平行に 1.32.1 柱 1.8.1
pkgbuild（パッケージビルド） 1.3.1 pkgconfig 2.0.3 pkgdown 2.0.6
pkgload(パッケージロード) 1.3.0 plogr 0.2.0 プライル 1.8.7
賞賛 1.0.0 プリティーユニッツ 1.1.1 プロック (pROC) 1.18.0
プロセスエックス 3.7.0 プロッドリム 2019.11.13 プロフビス 0.3.7
進捗 1.2.2 progressr 0.11.0 約束 1.2.0.1
プロト 1.0.0 プロキシ 0.4-27 PS 1.7.1
ゴロゴロ 0.3.4 R2D3 0.2.6 R6 2.5.1
ragg 1.2.2 randomForest（ランダムフォレスト） 4.7-1.1 rappdirs 0.3.3
rcmdcheck 1.4.0 RColorブリューワー 1.1-3 Rcpp 1.0.9
RcppEigen 0.3.3.9.2 読み取り 2.1.2 readxl (エクセルファイルの読み取り用パッケージ/関数) 1.4.1
レシピ 1.0.1 再戦 1.0.1 リマッチ2 2.1.2
リモコン 2.4.2 再現可能な例 (reprex) 2.0.2 リシェイプ2 1.4.4
rlang 1.0.5 rmarkdown 2.16 RODBC 1.3-19
リオキシジェン2 7.2.1 rpart（Rプログラミング言語における再帰的分割のためのパッケージ） 4.1.16 rprojroot さん 2.0.3
Rサーブ 1.8-11 RSQLite (英語) 2.2.16 rstudioapi 0.14
アールバージョンズ 2.1.2 アヴェスト 1.0.3 サス 0.4.2
秤 1.2.1 セレクター 0.4-2 セッション情報 1.2.2
形状 1.4.6 光沢がある 1.7.2 ソースツール 0.1.7
スパークラー (sparklyr) 1.7.8 SparkR 3.3.0 空間的 7.3-11
スプライン 4.1.3 sqldf 0.4-11 スクウェアム 2021年1月
統計 4.1.3 統計プログラミングパッケージ「stats4」 4.1.3 ストリンギ 1.7.8
stringr 1.4.1 サバイバル 3.4-0 システム 3.4
systemfonts 1.0.4 tcltk（ティーシーエルティーケー） 4.1.3 テストザット 3.1.4
テキスト整形 0.3.6 tibble（ティブル） 3.1.8 ティディル 1.2.0
tidyselect関数 1.1.2 tidyverse（タイディバース） 1.3.2 時刻と日付 4021.104
tinytex 0.41 ツール 4.1.3 tzdb 0.3.0
URLチェッカー 1.0.1 この機能を使う 2.1.6 UTF8 1.2.2
ユーティリティ 4.1.3 UUID（ユニバーサルユニーク識別子） 1.1-0 VCTRSの 0.4.1
ヴィリディスライト 0.4.1 ブルーム 1.5.7 ワルド 0.4.0
ウイスカー 0.4 ウィザー 2.5.0 xfun 0.32
xml2 1.3.3 xopen (エックスオープン) 1.0.0 xtable (エクステーブル) 1.8-4
YAML 2.3.5 ジップ 2.2.0

インストールされている Java ライブラリと Scala ライブラリ (Scala 2.12 クラスター バージョン)

グループ ID 成果物 ID バージョン
アンラル（ANTLR） アンラル（ANTLR） 2.7.7
com.amazonaws amazon-kinesis-client（アマゾン・キネシス・クライアント） 1.12.0
com.amazonaws aws-java-sdk-autoscaling (オートスケーリング用Java SDK) 1.12.189
com.amazonaws aws-java-sdk-cloudformation 1.12.189
com.amazonaws AWSのJava SDKパッケージであるCloudFront 1.12.189
com.amazonaws aws-java-sdk-cloudhsm（AWSのクラウドHSM用Javaソフトウェア開発キット） 1.12.189
com.amazonaws AWSのJava SDK - cloudsearch 1.12.189
com.amazonaws aws-java-sdk-cloudtrail 1.12.189
com.amazonaws aws-java-sdk-cloudwatch 1.12.189
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.189
com.amazonaws aws-java-sdk-codedeploy（AWSのJava SDK用CodeDeployサービス） 1.12.189
com.amazonaws aws-java-sdk-cognitoidentity (AWS Java SDK コグニトアイデンティティ) 1.12.189
com.amazonaws aws-java-sdk-cognitosync 1.12.189
com.amazonaws aws-java-sdk-config（AWS Java SDK 設定） 1.12.189
com.amazonaws aws-java-sdk-core（AWS Java SDKのコア） 1.12.189
com.amazonaws aws-java-sdk-datapipeline (AWS Java SDKのデータパイプラインモジュール) 1.12.189
com.amazonaws aws-java-sdk-directconnect (AWSのJava SDKのDirect Connect機能) 1.12.189
com.amazonaws aws-java-sdk-directory 1.12.189
com.amazonaws aws-java-sdk-dynamodb 1.12.189
com.amazonaws aws-java-sdk-ec2 1.12.189
com.amazonaws aws-java-sdk-ecs 1.12.189
com.amazonaws aws-java-sdk-efs 1.12.189
com.amazonaws AWS Java SDK エラスティキャッシュ 1.12.189
com.amazonaws AWS Java SDK エラスティックビーンストーク 1.12.189
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.189
com.amazonaws aws-java-sdk-elastictranscoder (AWS用のJava開発ツールキット - Elastic Transcoder) 1.12.189
com.amazonaws aws-java-sdk-emr 1.12.189
com.amazonaws aws-java-sdk-glacier 1.12.189
com.amazonaws aws-java-sdk-glue (AWSのJava用SDKであるGlue) 1.12.189
com.amazonaws AWSのJava SDK（IAM用） 1.12.189
com.amazonaws AWS Java SDK インポートエクスポート 1.12.189
com.amazonaws aws-java-sdk-kinesis 1.12.189
com.amazonaws aws-java-sdk-kms 1.12.189
com.amazonaws aws-java-sdk-lambda 1.12.189
com.amazonaws aws-java-sdk-logs 1.12.189
com.amazonaws aws-java-sdk-機械学習 1.12.189
com.amazonaws aws-java-sdk-opsworks 1.12.189
com.amazonaws aws-java-sdk-rds（AWSのJava用RDSソフトウェア開発キット） 1.12.189
com.amazonaws AWS Java SDK Redshift 1.12.189
com.amazonaws aws-java-sdk-route53 1.12.189
com.amazonaws aws-java-sdk-s3 1.12.189
com.amazonaws aws-java-sdk-ses 1.12.189
com.amazonaws aws-java-sdk-simpledb 1.12.189
com.amazonaws aws-java-sdk-simpleworkflow 1.12.189
com.amazonaws aws-java-sdk-sns 1.12.189
com.amazonaws aws-java-sdk-sqs 1.12.189
com.amazonaws aws-java-sdk-ssm 1.12.189
com.amazonaws AWS Java SDK ストレージゲートウェイ 1.12.189
com.amazonaws aws-java-sdk-sts 1.12.189
com.amazonaws AWS Java SDK サポート 1.12.189
com.amazonaws aws-java-sdk-swf-libraries (AWS Java SDK SWFライブラリ) 1.11.22
com.amazonaws aws-java-sdk-workspacesとはAWSのワークスペースを管理するためのJava用SDKです。 1.12.189
com.amazonaws jmespath-java 1.12.189
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics ストリーム (stream) 2.9.6
com.databricks Rサーブ 1.8-3
com.databricks jets3t (ジェットスリート) 0.7.1-0
com.databricks.scalapb コンパイラプラグイン_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-シェーデッド 4.0.2
com.esotericsoftware minlog (ミンログ) 1.3.0
com.fasterxml クラスメイト 1.3.4
com.fasterxml.jackson.core jackson-annotations (ジャクソン・アノテーション) 2.13.4
com.fasterxml.jackson.core ジャクソン・コア (jackson-core) 2.13.4
com.fasterxml.jackson.core ジャクソン・データバインド (jackson-databind) 2.13.4
com.fasterxml.jackson.dataformat jackson-dataformat-cbor（ジャクソンデータフォーマットCBOR） 2.13.4
com.fasterxml.jackson.datatype jackson-datatype-joda 2.13.4
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.13.4
com.fasterxml.jackson.module jackson-module-paranamer 2.13.4
com.fasterxml.jackson.module jackson-module-scala_2.12 2.13.4
com.github.ben-manes.カフェイン カフェイン 2.3.4
com.github.fommil jniloader 1.1
com.github.fommil.netlib コア 1.1.2
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-ジャバ-ネイティブス 1.1
com.github.fommil.netlib ネイティブシステム-Java 1.1
com.github.fommil.netlib ネイティブシステム-Java-ネイティブ 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1.1
com.github.luben zstd-jni (ゼットスタッドジェイエヌアイ) 1.5.2-1
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.8.6
com.google.crypto.tink ティンク 1.6.1
com.google.flatbuffers flatbuffers-java 1.12.0
com.google.guava グアバ 15.0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 2.0.204
com.helger プロファイラー 1.1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk（アジュール・データ・レイク・ストア・SDK） 2.3.9
com.microsoft.sqlserver mssql-jdbc 9.2.1.jre8
com.ning Compress-LZF (コンプレス-LZF) 1.1
com.sun.mail javax.mail 1.5.2
com.tdunning JSON 1.8
com.thoughtworks.paranamer パラナマー 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter チル-ジャヴァ 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe 設定 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.0
com.univocity univocity-parsers（ユニボシティ・パーサーズ） 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
コモンズ・コーデック コモンズ・コーデック 1.15
コモンズ・コレクションズ コモンズ・コレクションズ 3.2.2
commons-dbcp（コモンズ-DBCP） commons-dbcp（コモンズ-DBCP） 1.4
コモンズ-ファイルアップロード コモンズ-ファイルアップロード 1.3.3
commons-httpclient（コモンズHTTPクライアント） commons-httpclient（コモンズHTTPクライアント） 3.1
commons-io commons-io 2.11.0
commons-lang (コモンズ・ラン、Javaの汎用ユーティリティライブラリ) commons-lang (コモンズ・ラン、Javaの汎用ユーティリティライブラリ) 2.6
commons-logging commons-logging 1.1.3
commons-pool（コモンズプール） commons-pool（コモンズプール） 1.5.4
dev.ludovic.netlib アーパック 2.2.1
dev.ludovic.netlib ブラス 2.2.1
dev.ludovic.netlib ラパック 2.2.1
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift エアコンプレッサー 0.21
io.delta delta-sharing-spark_2.12 0.5.1
io.dropwizard.metrics メトリクス・コア 4.1.1
io.dropwizard.metrics メトリクス・グラファイト 4.1.1
io.dropwizard.metrics メトリクス-ヘルスチェック 4.1.1
io.dropwizard.metrics メトリクス-ジェッティ9 4.1.1
io.dropwizard.metrics メトリクス-JMX 4.1.1
io.dropwizard.metrics metrics-json 4.1.1
io.dropwizard.metrics メトリックス-JVM 4.1.1
io.dropwizard.metrics メトリクス-サーブレット 4.1.1
io.netty netty-all (ライブラリ名) 4.1.74.Final
io.netty ネットィバッファー 4.1.74.Final
io.netty netty-codec 4.1.74.Final
io.netty netty-common 4.1.74.Final
io.netty ネットティ・ハンドラー 4.1.74.Final
io.netty ネッティ・リゾルバー 4.1.74.Final
io.netty netty-tcnative-classes 2.0.48.Final
io.netty netty-transport（ネットティ・トランスポート） 4.1.74.Final
io.netty netty-transport-classes-epoll 4.1.74.Final
io.netty netty-トランスポートクラス-kqueue 4.1.74.Final
io.netty netty-transport-native-epoll-linux-aarch_64 4.1.74.Final
io.netty netty-transport-native-epoll-linux-x86_64 4.1.74.Final
io.netty netty-transport-native-kqueue-osx-aarch_64 4.1.74.Final
io.netty netty-transport-native-kqueue-osx-x86_64 4.1.74.Final
io.netty netty-transport-native-unix-common (ネットワーク通信を行うためのユニックス向け共通ライブラリ) 4.1.74.Final
io.prometheus simpleclient 0.7.0
io.prometheus シンプルクライアント_コモン 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus シンプルクライアント_プッシュゲートウェイ 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx コレクタ 0.12.0
jakarta.annotation ジャカルタ・アノテーションAPI 1.3.5
ジャカルタ.サーブレット jakarta.サーブレット-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation アクティベーション 1.1.1
javax.annotation javax.annotation-api 1.3.2
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1.1
javax.transaction トランザクションAPI 1.1
.bind の javax.xml jaxb-api 2.2.11
「ジャボリューション（Javolution）」 「ジャボリューション（Javolution）」 5.5.1
ジェイライン ジェイライン 2.14.6
joda-time joda-time 2.10.13
net.java.dev.jna jna 5.8.0
net.razorvine 漬物 1.2
net.sf.jpam ジェーパム 1.1
net.sf.opencsv opencsv (CSVファイル操作のためのライブラリ) 2.3
net.sf.supercsv スーパCSV (スーパーシーエスブイ) 2.2.0
net.snowflake snowflake-ingest-sdk（スノーフレーク・インジェスト・SDK） 0.9.6
net.snowflake スノーフレーク-JDBC 3.13.14
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.8
org.antlr ストリングテンプレート 3.2.1
org.apache.ant 蟻 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow 矢印フォーマット 7.0.0
org.apache.arrow アロー・メモリー・コア 7.0.0
org.apache.arrow アロー・メモリー・ネッティ 7.0.0
org.apache.arrow 矢印ベクトル 7.0.0
org.apache.avro アブロ 1.11.0
org.apache.avro avro-ipc 1.11.0
org.apache.avro avro-mapred 1.11.0
org.apache.commons commons-collections4 4.4.
org.apache.commons コモンズ・コンプレス 1.21
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons コモンズテキスト 1.9
org.apache.curator キュレータークライアント 2.13.0
org.apache.curator Curator Framework（キュレーター・フレームワーク） 2.13.0
org.apache.curator キュレーターのレシピ 2.13.0
org.apache.derby ダービー 10.14.2.0
org.apache.hadoop hadoopクライアントAPI 3.3.4-databricks
org.apache.hadoop hadoop-client-runtime (ハドゥープ・クライアント・ランタイム) 3.3.4
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde (Hiveのシリアライゼーション/デシリアライゼーション) 2.3.9
org.apache.hive ハイブシムス 2.3.9
org.apache.hive hive-storage-api (ハイブストレージAPI) 2.7.2
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler (ハイブシムススケジューラー) 2.3.9
org.apache.httpcomponents httpclient 4.5.13
org.apache.httpcomponents httpcore 4.4.14
org.apache.ivy アイビー 2.5.0
org.apache.logging.log4j log4j-1.2-api 2.18.0
org.apache.logging.log4j log4j-api 2.18.0
org.apache.logging.log4j log4j-core 2.18.0
org.apache.logging.log4j log4j-slf4j-impl 2.18.0
org.apache.mesos mesos-shaded-protobuf 1.4.0
org.apache.orc オーク・コア 1.7.6
org.apache.orc orc-mapreduce 1.7.6
org.apache.orc orc-shims（オーク・シムズ） 1.7.6
org.apache.parquet パーケット列 1.12.0-databricks-0007
org.apache.parquet パーケット・コモン 1.12.0-databricks-0007
org.apache.parquet パーケットエンコーディング 1.12.0-databricks-0007
org.apache.parquet Parquet-フォーマット構造 1.12.0-databricks-0007
org.apache.parquet parquet-hadoop 1.12.0-databricks-0007
org.apache.parquet parquet-jackson 1.12.0-databricks-0007
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift (リブスリフト) 0.12.0
org.apache.xbean xbean-asm9-shaded 4.20
org.apache.yetus オーディエンス注釈 0.5.0
org.apache.zookeeper 動物園の飼育員 3.6.2
org.apache.zookeeper zookeeper-jute（ズーキーパー・ジュート） 3.6.2
org.checkerframework チェッカー・クオール 3.5.0
org.codehaus.jackson ジャクソンコアASL 1.9.13
org.codehaus.jackson ジャクソン・マッパー・ASL 1.9.13
org.codehaus.janino コモンズコンパイラー 3.0.16
org.codehaus.janino ジャニーノ (janino) 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus データニュクレウス-RDBMS 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.46.v20220331
org.eclipse.jetty ジェッティ・コンティニュエーション 9.4.46.v20220331
org.eclipse.jetty ジェッティ-HTTP 9.4.46.v20220331
org.eclipse.jetty jetty-io 9.4.46.v20220331
org.eclipse.jetty jetty-jndi（ジェッティ-JNDI） 9.4.46.v20220331
org.eclipse.jetty ジェッティプラス 9.4.46.v20220331
org.eclipse.jetty jetty-proxy (ジェッティプロキシ) 9.4.46.v20220331
org.eclipse.jetty ジェッティ・セキュリティ 9.4.46.v20220331
org.eclipse.jetty ジェッティ・サーバー 9.4.46.v20220331
org.eclipse.jetty ジェッティ-サーブレット 9.4.46.v20220331
org.eclipse.jetty ジェッティ・サーブレット (jetty-servlets) 9.4.46.v20220331
org.eclipse.jetty jetty-util (ジェッティユーティル) 9.4.46.v20220331
org.eclipse.jetty jetty-util-ajax (ジェティ・ユーティル・エイジャックス) 9.4.46.v20220331
org.eclipse.jetty jetty-webapp（ジェッティ・ウェブアプリ） 9.4.46.v20220331
org.eclipse.jetty jetty-xml 9.4.46.v20220331
org.eclipse.jetty.websocket ウェブソケットAPI 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-client (ウェブソケット・クライアント) 9.4.46.v20220331
org.eclipse.jetty.websocket ウェブソケット-コモン 9.4.46.v20220331
org.eclipse.jetty.websocket ウェブソケットサーバー 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-サーブレット 9.4.46.v20220331
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2ユーティリティー 2.6.1
org.glassfish.hk2 OSGiリソースロケーター 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-サーブレット 2.36
org.glassfish.jersey.containers jersey-container-サーブレット-コア 2.36
org.glassfish.jersey.core jersey-client 2.36
org.glassfish.jersey.core ジャージーコモン 2.36
org.glassfish.jersey.core ジャージーサーバー 2.36
org.glassfish.jersey.inject jersey-hk2 2.36
org.hibernate.validator hibernate-validator (ハイバーネイト検証ツール) 6.1.0.Final
org.javassist javassist（ジャバアシスト） 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains 注釈 17.0.0
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mariadb.jdbc mariadb-java-client（MariaDB用Javaクライアント） 2.7.4
org.mlflow mlflow-spark 1.27.0
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.3.3
org.roaringbitmap RoaringBitmap 0.9.25
org.roaringbitmap シム 0.9.25
org.rocksdb rocksdbjni 6.24.2
org.rosuda.REngine REngine（アールエンジン） 2.1.0
org.scala-lang scala-compiler_2.12 2.12.14
org.scala-lang scala-library_2.12 2.12.14
org.scala-lang scala-reflect_2.12 2.12.14
org.scala-lang.modules scala-collection-compat_2.12 2.4.3
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt テストインターフェイス 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 1.2
org.scalanlp breeze_2.12 1.2
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.36
org.slf4j jul-to-slf4j 1.7.36
org.slf4j slf4j-api 1.7.36
org.spark-project.spark 未使用 1.0.0
org.threeten threeten-extra（スリー・テン・エクストラ） 1.5.0
org.tukaani xz 1.8
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel macro-compat_2.12 1.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel スパイア-プラットフォーム_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl ワイルドフライ-オープンSSL 1.0.7.Final
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.8.4
org.yaml snakeyaml（スネークヤムル） 1.24
oro oro 2.0.8
pl.edu.icm JLargeArrays (ジェイラージアレイ) 1.5
software.amazon.ion ion-java 1.0.2
スタックス stax-api 1.0.1