次の方法で共有

Databricks Runtime 12.2 LTS

次のリリース ノートには、Apache Spark 3.3.2 で稼働する Databricks Runtime 12.2 LTS に関する情報が記載されています。

Databricks は、2023 年 3 月にこのバージョンをリリースしました。

注

LTS は、このバージョンが長期的にサポートされていることを意味します。 Databricks Runtime LTS バージョンのライフサイクルに関する記事を参照してください。

ヒント

サポート終了 (EoS) を迎えた Databricks Runtime のバージョンのリリース ノートについては、「サポート終了 Databricks Runtime のリリース ノート」を参照してください。 EoS Databricks Runtime のバージョンは廃止されており、更新されない可能性があります。

動作の変更

[破壊的変更] 新しい Python バージョンでは、Databricks Connect V1 Python クライアントを更新する必要があります

注

以降の更新では、Databricks Runtime 12.2 LTS の Python バージョンが 3.9.21 に移動されます。 3.9.21 バージョンでは、動作の変更はありません。

必要なセキュリティ パッチを適用するため、Databricks Runtime 12.2 LTS の Python バージョンが 3.9.5 から 3.9.19 にアップグレードされます。 これらの変更により、特定の PySpark 関数を使用するクライアントでエラーが発生する可能性があるため、Databricks Runtime 12.2 LTS で Databricks Connect V1 for Python を使用するすべてのクライアントを Python 3.9.7 以降に更新する必要があります。

新機能と機能強化

Python が 3.9.19 から 3.9.21 にアップグレードされました

Databricks Runtime 12.2 LTS の Python バージョンが 3.9.19 から 3.9.21 に更新されました。

Delta Lake スキーマの展開時、merge ステートメントにおいてソース列の指定をサポート

スキーマの展開が有効になっている場合のマージ ステートメントの挿入または更新アクションで、ソース テーブルにのみ存在する列を指定できるようになりました。 Databricks Runtime 12.1 以下では、マージを使用したスキーマの展開には、INSERT * または UPDATE SET * アクションのみを使用できます。 「Delta Lake マージの自動スキーマの進化」を参照してください。

共有アクセス モードのクラスターで、構造化ストリーミング ワークロードをサポート

構造化ストリーミングを使用して、標準アクセス モードのコンピューティングで Unity カタログと対話できるようになりました。 いくつかの制限が適用されます。 「Unity Catalog でサポートされている構造化ストリーミング機能」を参照してください。

予測 I/O の新機能

Foreachbatch シンクの Photon サポートを利用できるようになりました。 ソースからストリーミングし、Delta Tables へのマージや複数のシンクへの書き込みを行うワークロードが Photonized Foreachbatch シンクの恩恵を受けるようになりました。

暗黙的な横列エイリアシング サポート

Azure Databricks では、既定で、暗黙的な横列エイリアシングがサポートされるようになりました。 同じ SELECT リストで前に指定した式を再利用できるようになりました。 たとえば、SELECT 1 AS a, a + 1 AS b の場合、a の a + 1 は前に定義された 1 AS a として解決できます。 解決順序の詳細については、名前解決に関するこちらのページを参照してください。 この機能をオフにするには、spark.sql.lateralColumnAlias.enableImplicitResolution を false に設定します。

新しい forEachBatch 機能

foreachBatch を使用してデータ シンクに書き込む際について、Photon の使用がサポートされました。

クエリ フェデレーションの標準化された接続オプション

統合された一連のオプション (ホスト、ポート、データベース、ユーザー、パスワード) を使用して、クエリ フェデレーションでサポートされているデータ ソースに接続できるようになりました。 Port は省略可能であり、指定されていない限り、各データ ソースの既定のポート番号が使用されます。

配列管理用の拡張 SQL 関数ライブラリ

array_compact を使用して、配列からすべての NULL 要素を削除できるようになりました。 配列に要素を追加するには、array_append を使用します。

文字列を匿名化する新しい mask 関数

mask 関数を呼び出し、機密性の高い文字列値を匿名化します。

一般的なエラー条件で SQLSTATE が返されるようになりました

Databricks Runtime に含まれるようになったほとんどのエラー条件で SQLSTATE 値が記録されています。それを SQL 標準に準拠する方法でエラーのテストに利用できます。

FROM 句でジェネレーター関数を呼び出す

クエリの通常の 句で、FROM など、テーブル値ジェネレーター関数を呼び出せるようになりました。 これにより、ジェネレーター関数の呼び出しと、他の組み込みテーブル関数やユーザー定義関数との足並みが揃います。

プロトコル バッファーのサポートを一般提供段階へ移行

from_protobuf と to_protobuf 関数を使用して、バイナリと構造体の型の間でデータを交換できます。 「プロトコル バッファーの読み取りと書き込みを行う」を参照してください。

ノートブックの変数と関数の定義に移動する

ノートブックでは、変数または関数の名前を右クリックして、 ステートメントの背後にある関数、コード、または%runできます。

ライブラリを自動インポートするためのノートブック クイック修正

Databricks ノートブックでは、ライブラリを自動インポートするためのクイック修正機能が提供されるようになりました。 Pandas などのライブラリをインポートし忘れた場合に、下線付きの構文に関する警告の上にホバーした後、[クイック修正] をクリックします。この機能を使用するには、ワークスペースで Databricks アシスタントを有効にする必要があります。

バグ修正

  • update、delete、および merge コマンドに関連する空のトランザクションに対する Delta コミット動作の一貫性が向上しました。 WriteSerializable 分離レベルでは、コマンドの結果として変更が発生しない場合に空のコミットが作成されるようになりました。 Serializable 分離レベルでは、そのような空のトランザクションの場合にはコミットが作成されません。

動作変更

新しい横列別名機能の導入に伴う動作変更

新しい横列別名機能では、名前解決中、次のケースに対して動作変更が導入されます。

  • 同じ名前の相関参照よりも横列の別名が優先されるようになりました。 たとえば、クエリ SELECT (SELECT c2 FROM (SELECT 1 AS c1, c1 AS c2) WHERE c2 > 5) FROM VALUES(6) AS t(c1) の場合、内部 c1 の c1 AS c2 が相関参照 t.c1 に解決されましたが、横列別名 1 AS c1 に変更されました。 クエリからは NULL が返されるようになります。
  • 同じ名前の関数パラメーターよりも横列の別名が優先されるようになりました。 たとえば、関数 CREATE OR REPLACE TEMPORARY FUNCTION func(x INT) RETURNS TABLE (a INT, b INT, c DOUBLE) RETURN SELECT x + 1 AS x, x の場合、関数本体の x は関数パラメーター x に解決されましたが、関数本体で横列別名 x + 1 に変更されます。 クエリ SELECT * FROM func(1) からは 2, 2 が返されるようになります。
  • 横列別名機能をオフにするには、spark.sql.lateralColumnAlias.enableImplicitResolution を false に設定します。 詳細については、「名前解決」を参照してください。

ライブラリのアップグレード

  • アップグレードされた Python ライブラリ:
    • filelock (3.8.2 から 3.9.0 へ)
    • joblib (1.1.0 から 1.1.1 へ)
    • platformdirs (2.6.0 から 2.6.2 へ)
    • whatthepatch (1.0.3 から 1.0.4 へ)
  • アップグレードされた R ライブラリ:
    • class (7.3-20 から 7.3-21 へ)
    • codetools (0.2-18 から 0.2-19 へ)
    • MASS (7.3-58 から 7.3-58.2 へ)
    • nlme (3.1-160 から 3.1-162 へ)
    • Rserve (1.8-11 から 1.8-12 へ)
    • SparkR (3.3.1 から 3.3.2 へ)

動作変更

  • 定義済みの場所を使用してユーザーがスキーマを作成するには、任意のファイルの SELECT 権限と MODIFY 権限を持っていることが必要になりました。

Apache Spark

Databricks Runtime 12.2 には、Apache Spark 3.3.2 が含まれています。 このリリースには、Databricks Runtime 12.1 (サポート期間終了) に含まれるすべての Spark の修正プログラムおよび機能強化に加え、Spark に対して行われた以下のバグ修正と機能強化が含まれています。

  • [SPARK-42416] [SC-123205][sc-122851][SQL] Dateset 操作で分析された論理プランを再度解決しないでください
  • [SPARK-41848] "[CHERRY-PICK][12.x][12.1][12.0][SC-120037][core] TaskResourceProfile でスケジュール超過のタスクを修正する" を元に戻す
  • [SPARK-42162] [SC-122711][es-556261] 可換式の大きなツリーを正規化するためのメモリ最適化として MultiCommutativeOp 式を導入する
  • [SPARK-42406] [SC-122998][protobuf][Cherry-pick] Protobuf 関数の再帰深度設定を修正
  • [SPARK-42002] [SC-122476][connect][PYTHON] DataFrameWriterV2 を実装する
  • [SPARK-41716] [SC-122545][connect] _catalog_to_pandasの名前をカタログ内の_execute_and_fetchに変更する
  • [SPARK-41490] [SC-121774][sql] _LEGACY_ERROR_TEMP_2441に名前を割り当てる
  • [SPARK-41600] [SC-122538][spark-41623][SPARK-41612][connect] Catalog.cacheTable、isCached、uncache を実装する
  • [SPARK-42191] [SC-121990][sql] udf 'luhn_check' のサポート
  • [SPARK-42253] [SC-121976][python] 重複するエラー クラスを検出するためのテストを追加する
  • [SPARK-42268] [SC-122251][connect][PYTHON] Protos に UserDefinedType を追加する
  • [SPARK-42231] [SC-121841][sql] MISSING_STATIC_PARTITION_COLUMN を internalError
  • [SPARK-42136] [SC-122554] BroadcastHashJoinExec 出力パーティション計算のリファクター
  • [SPARK-42158] [SC-121610][sql] _LEGACY_ERROR_TEMP_1003 を統合する FIELD_NOT_FOUND
  • [SPARK-42192] [12.x][sc-121820][PYTHON] TypeError を pyspark/sql/dataframe.py から PySparkTypeError に移行する
  • [SPARK-35240] "[SC-118242][ss] CheckpointFileManager を使用..."の「Revert」
  • [SPARK-41488] [SC-121858][sql] _LEGACY_ERROR_TEMP_1176に名前を割り当てる (および 1177)
  • [SPARK-42232] [SC-122267][sql] 名前の変更エラー クラス: UNSUPPORTED_FEATURE.JDBC_TRANSACTION
  • [SPARK-42346] [SC-122480][sql] サブクエリのマージ後に個別の集計を書き換える
  • [SPARK-42306] [SC-122539][sql] _LEGACY_ERROR_TEMP_1317 を統合する UNRESOLVED_COLUMN.WITH_SUGGESTION
  • [SPARK-42234] [SC-122354][sql] 名前の変更エラー クラス: UNSUPPORTED_FEATURE.REPEATED_PIVOT
  • [SPARK-42343] [SC-122437][core] SparkContext が停止している場合、IOExceptionのhandleBlockRemovalFailureを無視する
  • [SPARK-41295] [SC-122442][spark-41296][SQL] エラー クラスの名前を変更する
  • [SPARK-42320] [SC-122478][sql] _LEGACY_ERROR_TEMP_2188に名前を割り当てる
  • [SPARK-42255] [SC-122483][sql] _LEGACY_ERROR_TEMP_2430に名前を割り当てる
  • [SPARK-42156] [SC-121851][connect] SparkConnectClient で RetryPolicies がサポートされるようになりました
  • [SPARK-38728] [SC-116723][sql] エラー クラスをテストする: FAILED_RENAME_PATH
  • [SPARK-40005] [12.X] PySpark の自己完結型の例
  • [SPARK-39347] [SC-122457][ss] イベント時間が 0 < 場合の時間枠計算のバグ修正
  • [SPARK-42336] [SC-122458][core] ResourceAllocator でgetOrElse()ではなくcontains()を使用する
  • [SPARK-42125] [SC-121827][connect][PYTHON] Spark Connect の Pandas UDF
  • [SPARK-42217] [SC-122263][sql] Window を使用したクエリでの暗黙的な横列エイリアスのサポート
  • [SPARK-35240] [SC-118242][ss] チェックポイント ファイル操作に CheckpointFileManager を使用する
  • [SPARK-42294] [SC-122337][sql] V2 テーブルの DESCRIBE 出力に列の既定値を含める
  • [SPARK-41979] "[12.x][sc-121190][SQL] エラー クラスのエラー メッセージに不足しているドットを追加する" を元に戻します。
  • [SPARK-42286] [SC-122336][sql] CAST を使用した複雑な expr の前の codegen コード パスへのフォールバック
  • [SPARK-42275] [SC-122249][connect][PYTHON] 組み込みのリストを使用しないようにし、静的な型指定でディクテーションする
  • [SPARK-41985] [SC-122172][sql] 列解決規則の一元化
  • [SPARK-42126] [SC-122330][python][CONNECT] Spark Connect の Python スカラー UDF の DDL 文字列で戻り値の型を受け入れる
  • [SPARK-42197] [SC-122328][sc-121514][CONNECT] JVM 初期化を再利用し、リモートローカルモードでの設定用に構成グループを個別に分ける
  • [SPARK-41575] [SC-120118][sql] _LEGACY_ERROR_TEMP_2054に名前を割り当てる
  • [SPARK-41985] "[SC-122172][sql] 列解決ルールの一元化" を元に戻す
  • [SPARK-42123] [SC-122234][sc-121453][SQL] DESCRIBE と SHOW CREATE TABLE 出力に列の既定値を含める
  • [SPARK-41985] [SC-122172][sql] 列解決規則の一元化
  • [SPARK-42284] [SC-122233][connect] クライアント テストを実行する前に接続サーバー アセンブリがビルドされていることを確認する - SBT
  • [SPARK-42239] [SC-121790][sql] 統合 MUST_AGGREGATE_CORRELATED_SCALAR_SUBQUERY
  • [SPARK-42278] [SC-122170][sql] DS V2 プッシュダウンは、JDBC 方言がそれ自体でコンパイルをサポートするように対応します SortOrder
  • [SPARK-42259] [SC-122168][sql] ResolveGroupingAnalytics が Python UDAF を処理する必要がある
  • [SPARK-41979] "[12.x][sc-121190][SQL] エラー クラスのエラー メッセージに不足しているドットを追加する" を元に戻します。
  • [SPARK-42224] [12.x][sc-121708][CONNECT] Spark Connect 関数のエラー フレームワークに TypeError を移行する
  • [SPARK-41712] [12.x][sc-121189][PYTHON][connect] Spark Connect エラーを PySpark エラー フレームワークに移行します。
  • [SPARK-42119] [SC-121913][sc-121342][SQL] 組み込みのテーブル値関数をインライン化し、inline_outer 関数を追加
  • [SPARK-41489] [SC-121713][sql] _LEGACY_ERROR_TEMP_2415に名前を割り当てる
  • [SPARK-42082] [12.x][sc-121163][SPARK-41598][python][CONNECT] PySparkValueError と PySparkTypeError の導入
  • [SPARK-42081] [SC-121723][sql] プラン変更の検証を改善する
  • [SPARK-42225] [12.x][sc-121714][CONNECT] Spark Connect エラーを正確に処理する SparkConnectIllegalArgumentException を追加します。
  • [SPARK-42044] [12.x][sc-121280][SQL] 正しくないエラー メッセージの修正 MUST_AGGREGATE_CORRELATED_SCALAR_SUBQUERY
  • [SPARK-42194] [12.x][sc-121712][PS] 系列を使用して DataFrame を作成するときに列パラメーターを許可します。
  • [SPARK-42078] [12.x][sc-120761][PYTHON] JVM によってスローされたエラーを PySparkException に移行します。
  • [SPARK-42133] [12.x][sc-121250] SparkConnect Scala Client に基本的なデータセット API メソッドを追加する
  • [SPARK-41979] [12.x][sc-121190][SQL] エラー クラスのエラー メッセージに不足しているドットを追加します。
  • [SPARK-42124] [12.x][sc-121420][PYTHON][connect] Spark Connect のスカラーインラインPythonユーザー定義関数 (UDF)
  • [SPARK-42051] [SC-121994][sql] HiveGenericUDF の Codegen サポート
  • [SPARK-42257] [SC-121948][core] 使用されていない変数外部ソーターを削除する
  • [SPARK-41735] [SC-121771][sql] SPARKListenerSQLExecutionEnd に STANDARD の代わりに MINIMAL を使用する
  • [SPARK-42236] [SC-121882][sql] Refine NULLABLE_ARRAY_OR_MAP_ELEMENT
  • [SPARK-42233] [SC-121775][sql] 次のエラー メッセージを改善する PIVOT_AFTER_GROUP_BY
  • [SPARK-42229] [SC-121856][core] SparkCoreErrors をエラー クラスに移行する
  • [SPARK-42163] [SC-121839][sql] 折りたたみ不可能な配列インデックスまたはマップキーに対するスキーマ最適化を修正
  • [SPARK-40711] [SC-119990][sql] ウィンドウのスピル サイズ メトリックを追加する
  • [SPARK-42023] [SC-121847][spark-42024][CONNECT][python] 強制createDataFrameAtomicType -> StringTypeサポートを行う
  • [SPARK-42202] [SC-121837][接続][テスト] E2E テスト サーバー停止ロジックの改善
  • [SPARK-41167] [SC-117425][sql] バランス式ツリー述語を作成してマルチライキング パフォーマンスを向上させる
  • [SPARK-41931] [SC-121618][sql] 不完全な複合型定義のエラー メッセージの改善
  • [SPARK-36124] [SC-121339][sc-110446][SQL] UNION による相関関係を持つサブクエリのサポート
  • [SPARK-42090] [SC-121290][3.3] RetryingBlockTransferor で sasl 再試行カウントを導入
  • [SPARK-42157] [SC-121264][core] spark.scheduler.mode=FAIR は FAIR スケジューラを提供する必要があります
  • [SPARK-41572] [SC-120772][sql] _LEGACY_ERROR_TEMP_2149に名前を割り当てる
  • [SPARK-41983] [SC-121224][sql] 名前の変更とエラー メッセージの改善 NULL_COMPARISON_RESULT
  • [SPARK-41976] [SC-121024][sql] 次のエラー メッセージを改善する INDEX_NOT_FOUND
  • [SPARK-41994] [SC-121210][sc-120573] SQLSTATE の割り当て (1/2)
  • [SPARK-41415] [SC-121117][3.3] SASL 要求再試行
  • [SPARK-38591] [SC-121018][sql] flatMapSortedGroups と cogroupSorted を追加する
  • [SPARK-41975] [SC-120767][sql] のエラー メッセージを改善する INDEX_ALREADY_EXISTS
  • [SPARK-42056] [SC-121158][sql][PROTOBUF] Protobuf 関数に不足しているオプションを追加する
  • [SPARK-41984] [SC-120769][sql] 名前の変更とエラー メッセージの改善 RESET_PERMISSION_TO_ORIGINAL
  • [SPARK-41948] [SC-121196][sql] エラー クラスの NPE の修正: CANNOT_PARSE_JSON_FIELD
  • [SPARK-41772] [SC-121176][connect][PYTHON] withFieldの doctest で正しくない列名を修正しました
  • [SPARK-41283] [SC-121175][connect][PYTHON] 接続に array_append を追加する
  • [SPARK-41960] [SC-120773][sql] _LEGACY_ERROR_TEMP_1056に名前を割り当てる
  • [SPARK-42134] [SC-121116][sql] 参照される属性のないフィルターを処理するように getPartitionFiltersAndDataFilters() を修正
  • [SPARK-42096] [SC-121012][connect] connect モジュールのコード クリーンアップ
  • [SPARK-42099] [SC-121114][spark-41845][CONNECT][python] count(*) と count(col(*)) を修正
  • [SPARK-42045] [SC-120958][sc-120450][SQL] ANSI SQL モード: Round/Bround は整数オーバーフローでエラーを返す必要があります
  • [SPARK-42043] [SC-120968][connect] E2E テストを使用した Scala クライアントの結果
  • [SPARK-41884] [SC-121022][connect] 入れ子になった行として単純なタプルをサポートする
  • [SPARK-42112] [SC-121011][sql][SS] 関数を閉じる前に null チェック ContinuousWriteRDD#compute 追加する dataWriter
  • [SPARK-42077] [SC-120553][connect][PYTHON] サポートされていない DataType に対してリテラルが TypeError をスローする必要がある
  • [SPARK-42108] [SC-120898][sql] アナライザーを Count(*) 変換する Count(1)
  • [SPARK-41666] [SC-120928][sc-119009][PYTHON] パラメーター化された SQL のサポート sql()
  • [SPARK-40599] [SC-120930][sql] 代替手段を任意の種類の Seq にできるように multiTransform ルールの種類を緩和する
  • [SPARK-41574] [SC-120771][sql] _LEGACY_ERROR_TEMP_2009 を INTERNAL_ERRORとして更新します。
  • [SPARK-41579] [SC-120770][sql] _LEGACY_ERROR_TEMP_1249に名前を割り当てる
  • [SPARK-41974] [SC-120766][sql] INCORRECT_END_OFFSET を INTERNAL_ERROR
  • [SPARK-41530] [SC-120916][sc-118513][CORE] MedianHeap の名前を PercentileMap に変更し、パーセンタイルをサポートする
  • [SPARK-41757] [SC-120608][spark-41901][CONNECT] Column クラスの文字列表現を修正する
  • [SPARK-42084] [SC-120775][sql] 修飾アクセスのみの制限の漏洩を回避する
  • [SPARK-41973] [SC-120765][sql] _LEGACY_ERROR_TEMP_1311に名前を割り当てる
  • [SPARK-42039] [SC-120655][sql] SPJ: KeyGroupedPartitioning#partitionValuesOpt の削除オプション
  • [SPARK-42079] [SC-120712][connect][PYTHON] toDF と withColumnsRenamed のプロトメッセージの名前を変更するための作業
  • [SPARK-42089] [SC-120605][connect][PYTHON] 入れ子になったラムダ関数の変数名の問題を修正する
  • [SPARK-41982] [SC-120604][sql] 文字列型のパーティションを数値型として扱わない
  • [SPARK-40599] [SC-120620][sql] TreeNode に multiTransform メソッドを追加して代替手段を生成する
  • [SPARK-42085] [SC-120556][connect][PYTHON] from_arrow_schema が入れ子型をサポートできるようにする
  • [SPARK-42057] [SC-120507][sql][PROTOBUF] エラー報告での例外の処理方法を修正します。
  • [SPARK-41586] [12.x][すべてのテスト][SC-120544][python] PySpark の pyspark.errors クラスとエラー クラスについて説明します。
  • [SPARK-41903] [SC-120543][connect][PYTHON] Literal は 1-dim ndarray をサポートする必要があります
  • [SPARK-42021] [SC-120584][connect][PYTHON] createDataFrame サポートする array.array
  • [SPARK-41896] [SC-120506][sql] 行インデックスによるフィルター処理で空の結果が返される
  • [SPARK-41162] [SC-119742][sql] 集計を使用した自己結合のアンチ結合と半結合の修正
  • [SPARK-41961] [SC-120501][sql] LATERAL でテーブル値関数をサポートする
  • [SPARK-41752] [SC-120550][sql][UI] ルート実行の下で入れ子になった実行をグループ化する
  • [SPARK-42047] [SC-120586][spark-41900][CONNECT][python][12.X] リテラルは Numpy データ型をサポートする必要がある
  • [SPARK-42028] [SC-120344][connect][PYTHON] ナノ秒単位のタイムスタンプを切り捨てる
  • [SPARK-42011] [SC-120534][connect][PYTHON] DataFrameReader.csv を実装する
  • [SPARK-41990] [SC-120532][sql] V1 から V2 へのフィルター変換でFieldReference.columnの代わりにapplyを使用する
  • [SPARK-39217] [SC-120446][sql] DPP が剪定プロセスで Union をサポートします
  • [SPARK-42076] [SC-120551][connect][PYTHON] データ変換の要素をarrow -> rowsからconversion.pyに分離
  • [SPARK-42074] [SC-120540][sql] KryoSerializerでTPCDSQueryBenchmarkを有効にして SQL クラスの登録を強制する
  • [SPARK-42012] [SC-120517][connect][PYTHON] DataFrameReader.orc を実装する
  • [SPARK-41832] [SC-120513][connect][PYTHON] DataFrame.unionByNameの修正とallow_missing_columnsの追加
  • [SPARK-38651] [SC-120514] [SQL] spark.sql.legacy.allowEmptySchemaWrite を追加
  • [SPARK-41991] [SC-120406][sql] CheckOverflowInTableInsert は ExpressionProxy を子として受け入れる必要があります
  • [SPARK-41232] [SC-120073][sql][PYTHON] array_append関数の追加
  • [SPARK-42041] [SC-120512][spark-42013][CONNECT][python] DataFrameReader はパスの一覧をサポートする必要がある
  • [SPARK-42071] [SC-120533][core] scala.math.Ordering$Reverse を KyroSerializer に登録する
  • [SPARK-41986] [SC-120429][sql] SinglePartition でのシャッフルの導入
  • [SPARK-42016] [SC-120428][connect][PYTHON] 入れ子になった列に関連するテストを有効にする
  • [SPARK-42042] [SC-120427][connect][PYTHON] DataFrameReader は StructType スキーマをサポートする必要があります
  • [SPARK-42031] [SC-120389][core][SQL] オーバーライドを必要としない remove メソッドをクリーンアップする
  • [SPARK-41746] [SC-120463][spark-41838][SPARK-41837][spark-41835][SPARK-41836][spark-41847][CONNECT][python] createDataFrame(rows/lists/tuples/dicts) で入れ子になった型をサポートするように変更する
  • [SPARK-41437] [SC-117601][sql][ALL TESTS] v1 書き込みフォールバックに対して入力クエリを 2 回最適化しない
  • [SPARK-41840] [SC-119719][connect][PYTHON] 不足しているエイリアスを追加する groupby
  • [SPARK-41846] [SC-119717][connect][PYTHON] ウィンドウ関数の doctests を有効にする
  • [SPARK-41914] [SC-120094][sql] FileFormatWriter が outputOrdering にアクセスする前に AQE プランを具体化する
  • [SPARK-41805] [SC-119992][sql] WindowSpecDefinition で式を再利用する
  • [SPARK-41977] [SC-120269][spark-41978][CONNECT] 引数として float を受け取る SparkSession.range
  • [SPARK-42029] [SC-120336][connect] 起動エラーを回避するために、 connect-common に Guava Shading ルールを追加する
  • [SPARK-41989] [SC-120334][python] pyspark.pandas からの構成のログ記録を中断しないようにする
  • [SPARK-42003] [SC-120331][sql] ResolveGroupByAll の重複するコードを減らす
  • [SPARK-41635] [SC-120313][sql] GROUP BY ALLのエラー報告を修正
  • [SPARK-41047] [SC-120291][sql] ラウンドのドキュメントを改善する
  • [SPARK-41822] [SC-120122][connect] Scala/JVM クライアントの gRPC 接続のセットアップ
  • [SPARK-41879] [SC-120264][connect][PYTHON] DataFrame.collectが入れ子になった型をサポートするようにする
  • [SPARK-41887] [SC-120268][connect][PYTHON] リストに型指定されたパラメーター DataFrame.hint 受け入れるようにする
  • [SPARK-41964] [SC-120210][connect][PYTHON] サポートされていない IO 関数の一覧を追加する
  • [SPARK-41595] [SC-120097][sql] FROM句でジェネレーター関数explode/explode_outerをサポート
  • [SPARK-41957] [SC-120121][connect][PYTHON] の doctest を有効にする DataFrame.hint
  • [SPARK-41886] [SC-120141][connect][PYTHON] DataFrame.intersect doctest 出力の順序が異なる
  • [SPARK-41442] [SC-117795][sql][ALL TESTS] 有効なメトリックとマージする場合にのみ SQLMetric 値を更新する
  • [SPARK-41944] [SC-120046][connect] ローカル リモート モードがオンのときに構成を渡す
  • [SPARK-41708] [SC-119838][sql] v1write 情報を取得するWriteFiles
  • [SPARK-41780] [SC-120000][sql] パラメーター regexp が無効な場合、INVALID_PARAMETER_VALUE.PATTERN エラーをスローする必要があります。
  • [SPARK-41889] [SC-119975][sql] 根本原因を invalidPatternError にアタッチし、エラー クラスをリファクタリングINVALID_PARAMETER_VALUE
  • [SPARK-41860] [SC-120028][sql] AvroScanBuilder と JsonScanBuilder のケース クラスを作成する
  • [SPARK-41945] [SC-120010][connect][PYTHON] Python: connect クライアントが pyarrow.Table.to_pylist の使用により列データを失いました。
  • [SPARK-41690] [SC-119102][sc-119087][SQL][connect] 非依存エンコーダー
  • [SPARK-41354] [SC-119995][connect][PYTHON] RepartitionByExpression を実装する
  • [SPARK-41581] [SC-119997][sql] _LEGACY_ERROR_TEMP_1230 を INTERNAL_ERROR として更新する
  • [SPARK-41928] [SC-119972][connect][PYTHON] サポートされていないリストを追加します。 functions
  • [SPARK-41933] [SC-119980][connect] サーバーを自動的に起動するローカル モードを提供する
  • [SPARK-41899] [SC-119971][connect][PYTHON] createDataFrame' はユーザーが指定した DDL スキーマを尊重する必要がある
  • [SPARK-41936] [SC-119978][connect][PYTHON] withMetadataを再利用してwithColumnsプロトを作成する
  • [SPARK-41898] [SC-119931][接続][PYTHON] Window.rowsBetween、Window.rangeBetweenのパラメーター型の整合性がpysparkと一致します。
  • [SPARK-41939] [SC-119977][connect][PYTHON] catalog 関数のサポートされていないリストを追加する
  • [SPARK-41924] [SC-119946][connect][PYTHON] StructType のサポート メタデータを作成して実装する DataFrame.withMetadata
  • [SPARK-41934] [SC-119967][connect][PYTHON] サポートされていない関数リストを追加します。 session
  • [SPARK-41875] [SC-119969][connect][PYTHON] テスト ケースを追加する Dataset.to()
  • [SPARK-41824] [SC-119970][connect][PYTHON] 接続の説明に関する doctest を無視する
  • [SPARK-41880] [SC-119959][connect][PYTHON] 関数 from_json 非リテラル スキーマを受け入れるようにする
  • [SPARK-41927] [SC-119952][connect][PYTHON] サポートされていないリストを追加する GroupedData
  • [SPARK-41929] [SC-119949][connect][PYTHON] 関数の追加 array_compact
  • [SPARK-41827] [SC-119841][connect][PYTHON] 列リスト GroupBy 受け入れるようにする
  • [SPARK-41925] [SC-119905][sql] 既定で spark.sql.orc.enableNestedColumnVectorizedReader を有効にする
  • [SPARK-41831] [SC-119853][connect][PYTHON] 列リスト DataFrame.select 受け入れるようにする
  • [SPARK-41455] [SC-119858][connect][PYTHON] DataFrame.collect にタイムゾーン情報を破棄させる
  • [SPARK-41923] [SC-119861][connect][PYTHON] サポートされていないリストに DataFrame.writeTo を追加する
  • [SPARK-41912] [SC-119837][sql] サブクエリで CTE を検証しない
  • [SPARK-41828] [SC-119832][connect][PYTHON][12.x] 空のデータフレームをサポートできるようにする
  • [SPARK-41905] [SC-119848][connect] スライス内の文字列としてのサポート名
  • [SPARK-41869] [SC-119845][connect] dropDuplicates で 1 つの文字列を拒否する
  • [SPARK-41830] [SC-119840][connect][PYTHON] DataFrame.sample PySpark と同じパラメーターを受け入れるようにする
  • [SPARK-41849] [SC-119835][connect] DataFrameReader.text を実装する
  • [SPARK-41861] [SC-119834][sql] v2 ScanBuilders の build() が型指定されたスキャンを返すようにする
  • [SPARK-41825] [SC-119710][connect][PYTHON] に関連するドキュメントテストを有効にする DataFrame.show
  • [SPARK-41855] [SC-119804][sc-119410][SPARK-41814][spark-41851][SPARK-41852][connect][PYTHON][12.x] createDataFrame で None/NaN を適切に処理する
  • [SPARK-41833] [SC-119685][spark-41881][SPARK-41815][connect][PYTHON] DataFrame.collect で None/NaN/Array/Binary を適切に処理する
  • [SPARK-39318] [SC-119713][sql] tpch-plan-stability WithStats ゴールデン ファイルを削除する
  • [SPARK-41791] [SC-119745] 新しいファイル ソース メタデータ列型を追加
  • [SPARK-41790] [SC-119729][sql] TRANSFORM リーダーとライターの形式を正しく設定する
  • [SPARK-41829] [SC-119725][connect][PYTHON] 不足している順序指定パラメーターを Sort に追加し、 sortWithinPartitions
  • [SPARK-41576] [SC-119718][sql] _LEGACY_ERROR_TEMP_2051に名前を割り当てる
  • [SPARK-41821] [SC-119716][connect][PYTHON] DataFrame.describe のドキュメント テストを修正
  • [SPARK-41871] [SC-119714][connect] DataFrame ヒント パラメーターには str、float、または int を指定できます
  • [SPARK-41720] [SC-119076][sql] UnresolvedFunc の名前を UnresolvedFunctionName に変更する
  • [SPARK-41573] [SC-119567][sql] _LEGACY_ERROR_TEMP_2136に名前を割り当てる
  • [SPARK-41862] [SC-119492][sql] Orc リーダーの既定値に関連する正確性のバグを修正する
  • [SPARK-41582] [SC-119482][sc-118701][CORE][sql] 代わりに INVALID_TYPED_LITERAL を再利用する _LEGACY_ERROR_TEMP_0022

メンテナンスの更新

「Databricks Runtime 12.2 メンテナンス更新プログラム」を参照してください。

システム環境

  • オペレーティング システム: Ubuntu 20.04.5 LTS
    • 注: これは、Databricks ランタイム コンテナーで使用される Ubuntu バージョンです。 Databricks ランタイム コンテナーは、クラウド プロバイダーの仮想マシン上で実行されます。これは、別の Ubuntu バージョンまたは Linux ディストリビューションを使用する可能性があります。
  • Java: Zulu 8.68.0.21-CA-linux64
  • Scala: 2.12.15
  • Python: 3.9.21
  • R: 4.2.2
  • Delta Lake: 2.2.0

インストールされている Python ライブラリ

ライブラリ バージョン ライブラリ バージョン ライブラリ バージョン
argon2-cffi 21.3.0 argon2-cffi-bindings 21.2.0 アストトークン 2.0.5
属性 21.4.0 バックコール (再発信機能) 0.2.0 バックポート.entry-points-selectable 1.2.0
beautifulsoup4 4.11.1 黒い 22.3.0 漂白剤 4.1.0
boto3 1.21.32 botocore 1.24.32 サーティフィ 2021.10.8
cffi 1.15.0 チャーデット 4.0.0 charset-normalizer (文字コード正規化ツール) 2.0.4
クリックし 8.0.4 暗号技術 3.4.8 サイクリスト 0.11.0
Cython 0.29.28 dbus-python 1.2.16 debugpy 1.5.1
デコレーター 5.1.1 デフューズドXML (defusedxml) 0.7.1 distlib 0.3.6
ドックストリングをMarkdownに変換 0.11 入口点 0.4 実行中 0.8.3
ファセット概要 1.0.0 fastjsonschema 2.16.2 ファイルロック 3.9.0
fonttools（フォントツールズ） 4.25.0 idna 3.3 ipykernel 6.15.3
ipython 8.5.0 ipython-genutils (IPython用のユーティリティ) 0.2.0 ipywidgets (インタラクティブウィジェット) 7.7.2
ジェダイ 0.18.1 ジンジャ2 2.11.3 jmespath 0.10.0
「joblib」 1.1.1 JSONスキーマ 4.4.0 ジュピタークライアント 6.1.12
jupyter_core（ジュピター・コア） 4.11.2 jupyterlab-pygments 0.1.2 jupyterlab ウィジェット 1.0.0
キウィソルバー 1.3.2 マークアップセーフ 2.0.1 matplotlib 3.5.1
matplotlib-インライン 0.1.2 マッケイブ 0.7.0 ミスチューン 0.8.4
mypy-extensions (マイパイ拡張機能) 0.4.3 nbclient（エヌビー・クライアント） 0.5.13 NBコンバート 6.4.4
nbフォーマット 5.3.0 nest-asyncio（ネスト・アサインキオ） 1.5.5 nodeenv 1.7.0
ノートブック 6.4.8 NumPy (数値計算ライブラリ) 1.21.5 パッケージング 21.3
パンダ 1.4.2 パンドックフィルターズ 1.5.0 パルソ 0.8.3
パススペック 0.9.0 パッツィ 0.5.2 ペキスペクト 4.8.0
ピクルシェア 0.7.5 枕 9.0.1 種 21.2.4
プラットフォームディレクトリ 2.6.2 plotly - データビジュアライゼーションツール 5.6.0 プラグイン管理ツール 1.0.0
prometheus-クライアント 0.13.1 prompt-toolkit（プロンプトツールキット） 3.0.20 プロトバフ 3.19.4
psutil 5.8.0 psycopg2 2.9.3 ptyprocess 0.7.0
pure-eval (ピュア・イヴァル) 0.2.2 pyarrow (パイアロー) 7.0.0 pycparser（パイシーパーサー） 2.21
パイフレークス 2.5.0 Pygments 2.11.2 PyGObject 3.36.0
pyodbc (Pythonのデータベース接続用ライブラリ) 4.0.32 パイパーシング (Pyparsing) 3.0.4 pyright 1.1.283
pyrsistent 0.18.0 python-dateutil (Python用の日付処理ライブラリ) 2.8.2 python-lsp-jsonrpc 1.0.0
Python LSP サーバー 1.6.0 pytz 2021年3月 pyzmq 22.3.0
リクエスト 2.27.1 requests-unixsocket 0.2.0 ロープ 0.22.0
s3transfer 0.5.0 scikit-learn（サイキット・ラーン） 1.0.2 scipy 1.7.3
seaborn（シーボーン） 0.11.2 Send2Trash(センド2トラッシュ) 1.8.0 setuptools（セットアップツール） 61.2.0
6 1.16.0 スープこし器 (soup strainer) 2.3.1 ssh-import-id 5.10
スタックデータ 0.2.0 statsmodels（スタッツモデルズ） 0.13.2 粘り強さ 8.0.1
終了しました 0.13.1 テストパス (testpath) 0.5.0 Threadpoolctl 2.2.0
トークナイズ-RT 4.2.1 tomli 1.2.2 竜巻 6.1
traitlets（トレイトレット） 5.1.1 タイピングエクステンションズ (typing_extensions) 4.1.1 ujson 5.1.0
無人アップグレード 0.1 urllib3 1.26.9 virtualenv 20.8.0
wcwidth（文字の幅を測定するプログラム関数） 0.2.5 ウェブエンコーディングス 0.5.1 whatthepatch（ホワットザパッチ） 1.0.4
車輪 0.37.0 ウィジェットNBエクステンション 3.6.1 yapf (ヤップフ) 0.31.0

インストールされている R ライブラリ

R ライブラリは、2022 年 11 月 11 日に Microsoft CRAN スナップショットからインストールされています。 スナップショットは使用できなくなりました。

ライブラリ バージョン ライブラリ バージョン ライブラリ バージョン
矢印 10.0.0 アスクパス 1.1 assertthat（アサートザット関数） 0.2.1
バックポート（旧バージョンへの機能移植） 1.4.1 基盤 4.2.2 base64enc 0.1-3
ビット 4.0.4 ビット64 4.0.5 blob (blob) 1.2.3
起動 1.3-28 醸成 1.0 から 8 活気 1.1.3
箒 1.0.1 bslib 0.4.1 キャシェム 1.0.6
コールアール 3.7.3 キャレット 6.0-93 セルレンジャー (cellranger) 1.1.0
クロノ 2.3-58 クラス 7.3-21 CLI 3.4.1
クリッパー 0.8.0 時計 0.6.1 クラスタ 2.1.4
コードツール 0.2-19 カラー空間 2.0-3 コモンマーク 1.8.1
コンパイラ 4.2.2 設定 0.3.1 CPP11 0.4.3
クレヨン 1.5.2 資格情報 1.3.2 カール 4.3.3
データテーブル (data.table) 1.14.4 データセット 4.2.2 DBI 1.1.3
dbplyr 2.2.1 説明 1.4.2 開発ツール 2.4.5
diffobj 0.3.5 ダイジェスト 0.6.30 ダウンライト 0.4.2
dplyr 1.0.10 dtplyr 1.2.2 e1071 1.7-12
省略記号 0.3.2 評価する 0.18 ファンシ 1.0.3
farver 2.1.1 fastmap (ファストマップ) 1.1.0 fontawesome (フォントオーサム) 0.4.0
フォーキャッツ 0.5.2 フォーリーチ 1.5.2 外国の 0.8-82
鍛冶場 0.2.0 FS 1.5.2 未来 1.29.0
future.apply（将来の機能を適用するためのプログラミング関数） 1.10.0 うがい 1.2.1 ジェネリクス 0.1.3
ゲルト 1.9.1 ggplot2 3.4.0 gh 1.3.1
gitcreds 0.1.2 glmnet(英語) 4.1-4 グローバル変数 0.16.1
接着剤 1.6.2 googledrive 2.0.0 googlesheets4 1.0.1
ガウアー 1.0.0 グラフィックス 4.2.2 grDevices 4.2.2
グリッド 4.2.2 gridExtra 2.3 gsubfn 0.7
gtable 0.3.1 安全帽 1.2.0 安らぎの場 2.5.1
ハイヤー 0.9 エイチ・エム・エス 1.1.2 HTMLツール 0.5.3
HTMLウィジェット 1.5.4 httpuv 1.6.6 「httr」パッケージ（HTTPリクエストを簡単に送信するためのライブラリ） 1.4.4
識別子 1.0.1 ini 0.3.1 アイプレッド 0.9-13
アイソバンド 0.2.6 イテレータ 1.0.14 jquerylib 0.1.4
jsonlite 1.8.3 カーンスムース 2.23-20 ニット 1.40
ラベリング 0.4.2 あとで 1.3.0 格子構造 0.20-45
溶岩 1.7.0 ライフサイクル 1.0.3 listenv 0.8.0
ルブリデート 1.9.0 Magrittr 2.0.3 値下げ 1.3
質量 7.3-58.2 マトリックス 1.5-1 メモ化 2.0.1
メソッド 4.2.2 mgcv 1.8-41 マイム 0.12
ミニUI 0.1.1.1 モデルメトリクス 1.2.2.2 モデルル 0.1.9
munsell 0.5.0 nlme 3.1-162 ニューラルネットワーク (nnet) 7.3-18
numDeriv（ヌムデリヴ） 2016年8月～2016年1月1日 openssl (オープンソースの暗号化ツール) 2.0.4 並行 4.2.2
平行に 1.32.1 柱 1.8.1 pkgbuild（パッケージビルド） 1.3.1
pkgconfig 2.0.3 pkgdown 2.0.6 pkgload(パッケージロード) 1.3.1
plogr 0.2.0 プライル 1.8.7 賞賛 1.0.0
プリティーユニッツ 1.1.1 プロック (pROC) 1.18.0 プロセスエックス 3.8.0
プロッドリム 2019.11.13 プロフビス 0.3.7 進捗 1.2.2
progressr 0.11.0 約束 1.2.0.1 プロト 1.0.0
プロキシ 0.4-27 PS 1.7.2 ゴロゴロ 0.3.5
R2D3 0.2.6 R6 2.5.1 ragg 1.2.4
randomForest（ランダムフォレスト） 4.7-1.1 rappdirs 0.3.3 rcmdcheck 1.4.0
RColorブリューワー 1.1-3 Rcpp 1.0.9 RcppEigen 0.3.3.9.3
読み取り 2.1.3 readxl (エクセルファイルの読み取り用パッケージ/関数) 1.4.1 レシピ 1.0.3
再戦 1.0.1 リマッチ2 2.1.2 リモコン 2.4.2
再現可能な例 (reprex) 2.0.2 リシェイプ2 1.4.4 rlang 1.0.6
rmarkdown 2.18 RODBC 1.3-19 リオキシジェン2 7.2.1
rpart（Rプログラミング言語における再帰的分割のためのパッケージ） 4.1.19 rprojroot さん 2.0.3 Rサーブ 1.8-12
RSQLite (英語) 2.2.18 rstudioapi 0.14 アールバージョンズ 2.1.2
アヴェスト 1.0.3 サス 0.4.2 秤 1.2.1
セレクター 0.4-2 セッション情報 1.2.2 形状 1.4.6
光沢がある 1.7.3 ソースツール 0.1.7 スパークラー (sparklyr) 1.7.8
SparkR 3.3.2 空間的 7.3-11 スプライン 4.2.2
sqldf 0.4-11 スクウェアム 2021年1月 統計 4.2.2
統計プログラミングパッケージ「stats4」 4.2.2 ストリンギ 1.7.8 stringr 1.4.1
サバイバル 3.4-0 システム 3.4.1 systemfonts 1.0.4
tcltk（ティーシーエルティーケー） 4.2.2 テストザット 3.1.5 テキスト整形 0.3.6
tibble（ティブル） 3.1.8 ティディル 1.2.1 tidyselect関数 1.2.0
tidyverse（タイディバース） 1.3.2 時刻変更 0.1.1 時刻と日付 4021.106
tinytex 0.42 ツール 4.2.2 tzdb 0.3.0
URLチェッカー 1.0.1 この機能を使う 2.1.6 UTF8 1.2.2
ユーティリティ 4.2.2 UUID（ユニバーサルユニーク識別子） 1.1-0 VCTRSの 0.5.0
ヴィリディスライト 0.4.1 ブルーム 1.6.0 ワルド 0.4.0
ウイスカー 0.4 ウィザー 2.5.0 xfun 0.34
xml2 1.3.3 xopen (エックスオープン) 1.0.0 xtable (エクステーブル) 1.8-4
YAML 2.3.6 ジップ 2.2.2

インストールされている Java ライブラリと Scala ライブラリ (Scala 2.12 クラスター バージョン)

グループ ID 成果物 ID バージョン
アンラル（ANTLR） アンラル（ANTLR） 2.7.7
com.amazonaws amazon-kinesis-client（アマゾン・キネシス・クライアント） 1.12.0
com.amazonaws aws-java-sdk-autoscaling (オートスケーリング用Java SDK) 1.12.189
com.amazonaws aws-java-sdk-cloudformation 1.12.189
com.amazonaws AWSのJava SDKパッケージであるCloudFront 1.12.189
com.amazonaws aws-java-sdk-cloudhsm（AWSのクラウドHSM用Javaソフトウェア開発キット） 1.12.189
com.amazonaws AWSのJava SDK - cloudsearch 1.12.189
com.amazonaws aws-java-sdk-cloudtrail 1.12.189
com.amazonaws aws-java-sdk-cloudwatch 1.12.189
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.189
com.amazonaws aws-java-sdk-codedeploy（AWSのJava SDK用CodeDeployサービス） 1.12.189
com.amazonaws aws-java-sdk-cognitoidentity (AWS Java SDK コグニトアイデンティティ) 1.12.189
com.amazonaws aws-java-sdk-cognitosync 1.12.189
com.amazonaws aws-java-sdk-config（AWS Java SDK 設定） 1.12.189
com.amazonaws aws-java-sdk-core（AWS Java SDKのコア） 1.12.189
com.amazonaws aws-java-sdk-datapipeline (AWS Java SDKのデータパイプラインモジュール) 1.12.189
com.amazonaws aws-java-sdk-directconnect (AWSのJava SDKのDirect Connect機能) 1.12.189
com.amazonaws aws-java-sdk-directory 1.12.189
com.amazonaws aws-java-sdk-dynamodb 1.12.189
com.amazonaws aws-java-sdk-ec2 1.12.189
com.amazonaws aws-java-sdk-ecs 1.12.189
com.amazonaws aws-java-sdk-efs 1.12.189
com.amazonaws AWS Java SDK エラスティキャッシュ 1.12.189
com.amazonaws AWS Java SDK エラスティックビーンストーク 1.12.189
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.189
com.amazonaws aws-java-sdk-elastictranscoder (AWS用のJava開発ツールキット - Elastic Transcoder) 1.12.189
com.amazonaws aws-java-sdk-emr 1.12.189
com.amazonaws aws-java-sdk-glacier（AWSのJava SDKのGlacierツール） 1.12.189
com.amazonaws aws-java-sdk-glue (AWSのJava用SDKであるGlue) 1.12.189
com.amazonaws AWSのJava SDK（IAM用） 1.12.189
com.amazonaws AWS Java SDK インポートエクスポート 1.12.189
com.amazonaws aws-java-sdk-kinesis (AWS用Java SDKのKinesis) 1.12.189
com.amazonaws aws-java-sdk-kms 1.12.189
com.amazonaws aws-java-sdk-lambda 1.12.189
com.amazonaws aws-java-sdk-logs 1.12.189
com.amazonaws aws-java-sdk-機械学習 1.12.189
com.amazonaws aws-java-sdk-opsworks 1.12.189
com.amazonaws aws-java-sdk-rds（AWSのJava用RDSソフトウェア開発キット） 1.12.189
com.amazonaws AWS Java SDK Redshift 1.12.189
com.amazonaws aws-java-sdk-route53 1.12.189
com.amazonaws aws-java-sdk-s3 1.12.189
com.amazonaws aws-java-sdk-ses 1.12.189
com.amazonaws aws-java-sdk-simpledb 1.12.189
com.amazonaws aws-java-sdk-simpleworkflow 1.12.189
com.amazonaws aws-java-sdk-sns 1.12.189
com.amazonaws aws-java-sdk-sqs 1.12.189
com.amazonaws aws-java-sdk-ssm 1.12.189
com.amazonaws AWS Java SDK ストレージゲートウェイ 1.12.189
com.amazonaws aws-java-sdk-sts 1.12.189
com.amazonaws AWS Java SDK サポート 1.12.189
com.amazonaws aws-java-sdk-swf-libraries (AWS Java SDK SWFライブラリ) 1.11.22
com.amazonaws aws-java-sdk-workspacesとはAWSのワークスペースを管理するためのJava用SDKです。 1.12.189
com.amazonaws jmespath-java 1.12.189
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics ストリーム (stream) 2.9.6
com.databricks Rサーブ 1.8-3
com.databricks jets3t (ジェットスリート) 0.7.1-0
com.databricks.scalapb コンパイラプラグイン_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-シェーデッド 4.0.2
com.esotericsoftware minlog (ミンログ) 1.3.0
com.fasterxml クラスメイト 1.3.4
com.fasterxml.jackson.core jackson-annotations (ジャクソン・アノテーション) 2.13.4
com.fasterxml.jackson.core ジャクソン・コア (jackson-core) 2.13.4
com.fasterxml.jackson.core ジャクソン・データバインド (jackson-databind) 2.13.4.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor（ジャクソンデータフォーマットCBOR） 2.13.4
com.fasterxml.jackson.datatype jackson-datatype-joda 2.13.4
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.13.4
com.fasterxml.jackson.module jackson-module-paranamer 2.13.4
com.fasterxml.jackson.module jackson-module-scala_2.12 2.13.4
com.github.ben-manes.カフェイン カフェイン 2.3.4
com.github.fommil jniloader 1.1
com.github.fommil.netlib コア 1.1.2
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-ジャバ-ネイティブス 1.1
com.github.fommil.netlib ネイティブシステム-Java 1.1
com.github.fommil.netlib ネイティブシステム-Java-ネイティブ 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1.1
com.github.luben zstd-jni (ゼットスタッドジェイエヌアイ) 1.5.2-1
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.8.6
com.google.crypto.tink ティンク 1.6.1
com.google.flatbuffers flatbuffers-java 1.12.0
com.google.guava グアバ 15.0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 2.0.204
com.helger プロファイラー 1.1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk（アジュール・データ・レイク・ストア・SDK） 2.3.9
com.microsoft.sqlserver mssql-jdbc 11.2.2.jre8
com.ning Compress-LZF (コンプレス-LZF) 1.1
com.sun.mail javax.mail 1.5.2
com.tdunning JSON 1.8
com.thoughtworks.paranamer パラナマー 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter チル-ジャヴァ 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe 設定 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.0
com.univocity univocity-parsers（ユニボシティ・パーサーズ） 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
コモンズ・コーデック コモンズ・コーデック 1.15
コモンズ・コレクションズ コモンズ・コレクションズ 3.2.2
commons-dbcp（コモンズ-DBCP） commons-dbcp（コモンズ-DBCP） 1.4
コモンズ-ファイルアップロード コモンズ-ファイルアップロード 1.3.3
commons-httpclient（コモンズHTTPクライアント） commons-httpclient（コモンズHTTPクライアント） 3.1
commons-io commons-io 2.11.0
commons-lang (コモンズ・ラン、Javaの汎用ユーティリティライブラリ) commons-lang (コモンズ・ラン、Javaの汎用ユーティリティライブラリ) 2.6
commons-logging commons-logging 1.1.3
commons-pool（コモンズプール） commons-pool（コモンズプール） 1.5.4
dev.ludovic.netlib アーパック 2.2.1
dev.ludovic.netlib ブラス 2.2.1
dev.ludovic.netlib ラパック 2.2.1
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift エアコンプレッサー 0.21
io.delta delta-sharing-spark_2.12 0.6.3
io.dropwizard.metrics メトリクス・コア 4.1.1
io.dropwizard.metrics メトリクス・グラファイト 4.1.1
io.dropwizard.metrics メトリクス-ヘルスチェック 4.1.1
io.dropwizard.metrics メトリクス-ジェッティ9 4.1.1
io.dropwizard.metrics メトリクス-JMX 4.1.1
io.dropwizard.metrics metrics-json 4.1.1
io.dropwizard.metrics メトリックス-JVM 4.1.1
io.dropwizard.metrics メトリクス-サーブレット 4.1.1
io.netty netty-all (ライブラリ名) 4.1.74.Final
io.netty ネットィバッファー 4.1.74.Final
io.netty netty-codec 4.1.74.Final
io.netty netty-common 4.1.74.Final
io.netty ネットティ・ハンドラー 4.1.74.Final
io.netty ネッティ・リゾルバー 4.1.74.Final
io.netty netty-tcnative-classes 2.0.48.Final
io.netty netty-transport（ネットティ・トランスポート） 4.1.74.Final
io.netty netty-transport-classes-epoll 4.1.74.Final
io.netty netty-トランスポートクラス-kqueue 4.1.74.Final
io.netty netty-transport-native-epoll-linux-aarch_64 4.1.74.Final
io.netty netty-transport-native-epoll-linux-x86_64 4.1.74.Final
io.netty netty-transport-native-kqueue-osx-aarch_64 4.1.74.Final
io.netty netty-transport-native-kqueue-osx-x86_64 4.1.74.Final
io.netty netty-transport-native-unix-common (ネットワーク通信を行うためのユニックス向け共通ライブラリ) 4.1.74.Final
io.prometheus simpleclient 0.7.0
io.prometheus シンプルクライアント_コモン 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus シンプルクライアント_プッシュゲートウェイ 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx コレクタ 0.12.0
jakarta.annotation ジャカルタ・アノテーションAPI 1.3.5
ジャカルタ.サーブレット jakarta.サーブレット-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation アクティベーション 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1.1
javax.transaction トランザクションAPI 1.1
.bind の javax.xml jaxb-api 2.2.11
「ジャボリューション（Javolution）」 「ジャボリューション（Javolution）」 5.5.1
ジェイライン ジェイライン 2.14.6
joda-time joda-time 2.10.13
net.java.dev.jna jna 5.8.0
net.razorvine 漬物 1.2
net.sf.jpam ジェーパム 1.1
net.sf.opencsv opencsv (CSVファイル操作のためのライブラリ) 2.3
net.sf.supercsv スーパCSV (スーパーシーエスブイ) 2.2.0
net.snowflake snowflake-ingest-sdk（スノーフレーク・インジェスト・SDK） 0.9.6
net.snowflake スノーフレーク-JDBC 3.13.22
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.8
org.antlr ストリングテンプレート 3.2.1
org.apache.ant 蟻 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow 矢印フォーマット 7.0.0
org.apache.arrow アロー・メモリー・コア 7.0.0
org.apache.arrow アロー・メモリー・ネッティ 7.0.0
org.apache.arrow 矢印ベクトル 7.0.0
org.apache.avro アブロ 1.11.0
org.apache.avro avro-ipc 1.11.0
org.apache.avro avro-mapred 1.11.0
org.apache.commons commons-collections4 4.4.
org.apache.commons コモンズ・コンプレス 1.21
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons コモンズテキスト 1.10.0
org.apache.curator キュレータークライアント 2.13.0
org.apache.curator Curator Framework（キュレーター・フレームワーク） 2.13.0
org.apache.curator キュレーターのレシピ 2.13.0
org.apache.derby ダービー 10.14.2.0
org.apache.hadoop hadoopクライアントAPI 3.3.4-databricks
org.apache.hadoop hadoop-client-runtime (ハドゥープ・クライアント・ランタイム) 3.3.4
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde (Hiveのシリアライゼーション/デシリアライゼーション) 2.3.9
org.apache.hive ハイブシムス 2.3.9
org.apache.hive hive-storage-api (ハイブストレージAPI) 2.8.1
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler (ハイブシムススケジューラー) 2.3.9
org.apache.httpcomponents httpclient 4.5.13
org.apache.httpcomponents httpcore 4.4.14
org.apache.ivy アイビー 2.5.0
org.apache.logging.log4j log4j-1.2-api 2.18.0
org.apache.logging.log4j log4j-api 2.18.0
org.apache.logging.log4j log4j-core 2.18.0
org.apache.logging.log4j log4j-slf4j-impl 2.18.0
org.apache.mesos mesos-shaded-protobuf 1.4.0
org.apache.orc オーク・コア 1.7.6
org.apache.orc orc-mapreduce 1.7.6
org.apache.orc orc-shims（オーク・シムズ） 1.7.6
org.apache.parquet パーケット列 1.12.3-databricks-0002
org.apache.parquet パーケット・コモン 1.12.3-databricks-0002
org.apache.parquet パーケットエンコーディング 1.12.3-databricks-0002
org.apache.parquet Parquet-フォーマット構造 1.12.3-databricks-0002
org.apache.parquet parquet-hadoop 1.12.3-databricks-0002
org.apache.parquet parquet-jackson 1.12.3-databricks-0002
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift (リブスリフト) 0.12.0
org.apache.xbean xbean-asm9-shaded 4.20
org.apache.yetus オーディエンス注釈 0.13.0
org.apache.zookeeper 動物園の飼育員 3.6.2
org.apache.zookeeper zookeeper-jute（ズーキーパー・ジュート） 3.6.2
org.checkerframework チェッカー・クオール 3.5.0
org.codehaus.jackson ジャクソンコアASL 1.9.13
org.codehaus.jackson ジャクソン・マッパー・ASL 1.9.13
org.codehaus.janino コモンズコンパイラー 3.0.16
org.codehaus.janino ジャニーノ (janino) 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus データニュクレウス-RDBMS 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.46.v20220331
org.eclipse.jetty ジェッティ・コンティニュエーション 9.4.46.v20220331
org.eclipse.jetty ジェッティ-HTTP 9.4.46.v20220331
org.eclipse.jetty jetty-io 9.4.46.v20220331
org.eclipse.jetty jetty-jndi（ジェッティ-JNDI） 9.4.46.v20220331
org.eclipse.jetty ジェッティプラス 9.4.46.v20220331
org.eclipse.jetty jetty-proxy (ジェッティプロキシ) 9.4.46.v20220331
org.eclipse.jetty ジェッティ・セキュリティ 9.4.46.v20220331
org.eclipse.jetty ジェッティ・サーバー 9.4.46.v20220331
org.eclipse.jetty ジェッティ-サーブレット 9.4.46.v20220331
org.eclipse.jetty ジェッティ・サーブレット (jetty-servlets) 9.4.46.v20220331
org.eclipse.jetty jetty-util (ジェッティユーティル) 9.4.46.v20220331
org.eclipse.jetty jetty-util-ajax (ジェティ・ユーティル・エイジャックス) 9.4.46.v20220331
org.eclipse.jetty jetty-webapp（ジェッティ・ウェブアプリ） 9.4.46.v20220331
org.eclipse.jetty jetty-xml 9.4.46.v20220331
org.eclipse.jetty.websocket ウェブソケットAPI 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-client (ウェブソケット・クライアント) 9.4.46.v20220331
org.eclipse.jetty.websocket ウェブソケット-コモン 9.4.46.v20220331
org.eclipse.jetty.websocket ウェブソケットサーバー 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-サーブレット 9.4.46.v20220331
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2ユーティリティー 2.6.1
org.glassfish.hk2 OSGiリソースロケーター 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-サーブレット 2.36
org.glassfish.jersey.containers jersey-container-サーブレット-コア 2.36
org.glassfish.jersey.core jersey-client 2.36
org.glassfish.jersey.core ジャージーコモン 2.36
org.glassfish.jersey.core ジャージーサーバー 2.36
org.glassfish.jersey.inject jersey-hk2 2.36
org.hibernate.validator hibernate-validator (ハイバーネイト検証ツール) 6.1.0.Final
org.javassist javassist（ジャバアシスト） 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains 注釈 17.0.0
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mariadb.jdbc mariadb-java-client（MariaDB用Javaクライアント） 2.7.4
org.mlflow mlflow-spark 2.1.1
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.3.3
org.roaringbitmap RoaringBitmap 0.9.25
org.roaringbitmap シム 0.9.25
org.rocksdb rocksdbjni 6.28.2
org.rosuda.REngine REngine（アールエンジン） 2.1.0
org.scala-lang scala-compiler_2.12 2.12.14
org.scala-lang scala-library_2.12 2.12.14
org.scala-lang scala-reflect_2.12 2.12.14
org.scala-lang.modules scala-collection-compat_2.12 2.4.3
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt テストインターフェイス 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 1.2
org.scalanlp breeze_2.12 1.2
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.36
org.slf4j jul-to-slf4j 1.7.36
org.slf4j slf4j-api 1.7.36
org.spark-project.spark 未使用 1.0.0
org.threeten threeten-extra（スリー・テン・エクストラ） 1.5.0
org.tukaani xz 1.9
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel macro-compat_2.12 1.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel スパイア-プラットフォーム_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl ワイルドフライ-オープンSSL 1.0.7.Final
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.8.4
org.yaml snakeyaml（スネークヤムル） 1.24
oro oro 2.0.8
pl.edu.icm JLargeArrays (ジェイラージアレイ) 1.5
software.amazon.cryptools AmazonCorrettoCryptoProvider 1.6.1-linux-x86_64
software.amazon.ion ion-java 1.0.2
スタックス stax-api 1.0.1