次の方法で共有

Databricks Runtime 13.2 (サポート期間終了)

注

この Databricks Runtime バージョンのサポートは終了しました。 サポート終了日については、「サポート終了の履歴」を参照してください。 サポートされている Databricks Runtime のすべてのバージョンについては、「Databricks Runtime リリース ノートのバージョンと互換性」を参照してください。

次のリリース ノートには、Apache Spark 3.4.0 で稼働する Databricks Runtime 13.2 に関する情報が記載されています。

Databricks は、2023 年 7 月にこのバージョンをリリースしました。

新機能と機能強化

RocksDB 状態ストアの変更ログ チェックポイント処理

ステートフルな構造化ストリーミング ワークロードのチェックポイント期間とエンドツーエンドの待機時間を短縮するために、変更ログのチェックポイント処理を有効にすることができます。 Databricks では、すべての構造化ストリーミング ステートフル クエリに対して変更ログのチェックポイント処理を有効にすることをお勧めします。 変更ログのチェックポイント処理を有効にするを参照してください。

Unity Catalog 内で浅いクローンを用いることにより、VACUUM の信頼性が向上しました。

シャロー クローン操作のソースとターゲットに Unity Catalog マネージド テーブルを使用すると、Unity Catalog によって基になるデータ ファイルが管理され、複製操作のソースとターゲットの信頼性が向上します。 シャロー クローンのソースで VACUUM を実行しても、複製されたテーブルは中断されません。 「Vacuum と Unity Catalog のシャロー クローン」を参照してください。

SQL で Python UDF がサポートされました

Unity Catalog の SQL CREATE FUNCTION ステートメント内で Python を使用してユーザー定義関数を宣言できるようになりました。 「Unity Catalog のユーザー定義関数 (UDF)」を参照してください。

Delta Lake UniForm for Apache Iceberg はパブリック プレビュー段階です

Delta Lake Universal Format (UniForm) を使用すると、Apache Iceberg クライアントで Delta テーブルを読み取ることができます。 デルタテーブルをIcebergクライアントで読む方法については、を参照してください。

Delta Lake リキッド クラスタリングはパブリック プレビュー段階です

Delta Lake リキッド クラスタリングでは、テーブルのパーティション分割と ZORDER が置き換えられ、データ レイアウトの決定が簡略化され、クエリのパフォーマンスが最適化されます。 表に液体クラスタリングを使用するを参照してください。

Azure Databricks でのアーカイブ サポート

Azure Databricks のアーカイブサポートでは、Delta テーブルを含むクラウド オブジェクト ストレージでクラウドベースのライフサイクル ポリシーを使用して、アーカイブ ストレージ層にファイルを移動できるようにする一連の機能が導入されています。 「Azure Databricks でのアーカイブ サポート」を参照してください。

IDENTIFIER 条項のサポート

IDENTIFIER(:mytable) を使用して、多くの SQL ステートメントでテーブル、列、関数、スキーマの名前を安全にパラメーター化します。

Python と Pandas ユーザー定義関数 (UDF) に対する Unity Catalog のサポート

Databricks Runtime 13.2 以降では、Python で記述されたユーザー定義関数 (UDF) は、Unity カタログ対応ワークスペースで標準アクセス モード (以前の共有アクセス モード) を使用するクラスターでサポートされています。 これには、Python と Pandas の UDF が含まれます。 Python UDF の詳細については、「ユーザー定義スカラー関数 - Python」を参照してください。

Delta Sharing を使用してスキーマを共有する

Databricks Runtime 13.2 では、Delta Sharing を使用してスキーマ全体を共有するために ALTER SHARE <share-name> ADD SCHEMA <schema-name> を使用できるようになりました。共有した時点で、受信者はスキーマ内のすべてのテーブルとビューにアクセスできるようになり、今後スキーマに追加されるテーブルとビューにもアクセスできます。 「」を参照してください。

バグ修正

  • PERMISSIVE が有効になっている場合にレコードが failOnUnknownFieldsmode モードで解析される JSON リーダーのバグを修正しました。 レコードは DROPMALFORMEDparser モードで削除されるか、badRecordsPath に書き込まれます (これらのオプションのいずれかが設定されている場合)。 FAILFAST は、列の型が一致しない場合にエラーを発生させます。

ライブラリのアップグレード

  • アップグレードされた Python ライブラリ:
    • nodeenv (1.7.0 から 1.8.0 へ)
  • アップグレードされた R ライブラリは次のとおりです。
  • アップグレードされた Java ライブラリ:
    • io.delta.delta-sharing-spark_2.12 (0.6.7 から 0.7.0 へ)

Apache Spark

Databricks Runtime 13.2 には、Apache Spark 3.4.0 が含まれています。 このリリースには、Databricks Runtime 13.1 (サポート期間終了) に含まれるすべての Spark の修正プログラムおよび機能強化と、Spark に対して行われた次の追加のバグ修正と機能強化が含まれています:

  • [SPARK-42750] [SC-133452][dbrrm-273] Insert By Name ステートメントのサポート
  • [SPARK-43133] [SC-133728] Scala Client DataStreamWriter Foreach のサポート
  • [SPARK-43663] [SC-134135][connect][PS] 有効 SeriesParityTests.test_compare
  • [SPARK-43684] [SC-134162][spark-43685][SPARK-43686][spark-43691][CONNECT][ps] Spark Connect の (NullOps|NumOps).(eq|ne) を修正します。
  • [SPARK-44021] [SC-134109][sql] spark.sql.files.maxPartitionNumを追加
  • [SPARK-43910] [SC-132936][sql] エラーの ID から __auto_generated_subquery_name を削除する
  • [SPARK-43976] [SC-133375][core] イベント ログに modifiedConfigs が存在しないケースを処理する
  • [SPARK-32559] [SC-133992][sql] トリミング ロジックで ASCII 制御文字が正しく処理されない問題を修正しました
  • [SPARK-43421] [SC-132930][ss] RocksDB ステート ストア プロバイダーの変更ログ ベースのチェックポイント処理を実装する
  • [SPARK-43594] [SC-133851][sql] AnyToMicros に LocalDateTime を追加する
  • [SPARK-43884] [SC-133867] DDL のパラメーター マーカー
  • [SPARK-43398] [SC-133894][core] Executor のタイムアウトは、アイドル シャッフルと rdd タイムアウトの最大値にする必要があります
  • [SPARK-43610] [SC-133892][connect][PS] Spark Connect で InternalFrame.attach_distributed_column を有効にします。
  • [SPARK-43971] [SC-133826][connect][PYTHON] ストリーミング方式での Python の createDataFrame のサポート
  • [SPARK-44006] [SC-133652][connect][PYTHON] キャッシュアーティファクトのサポート
  • [SPARK-43790] [SC-133468][python][CONNECT][ml] copyFromLocalToFs API の追加
  • [SPARK-43921] [SC-133461][protobuf] ビルド時に Protobuf 記述子ファイルを生成する
  • [SPARK-43906] [SC-133638][sc-133404][PYTHON][connect] SparkSession.addArtifacts でファイルのサポートを実装する
  • [SPARK-44010] [SC-133744][python][SS][minor] Python StreamingQueryProgress rowsPerSecond 型の修正
  • [SPARK-43768] [SC-132398][python][CONNECT] Python Spark Connect での Python 依存関係管理のサポート
  • [SPARK-43979] [13.X] 元に戻す "[SC-133456][sql] CollectedMetrics は、自己結合の場合と同じものとして扱う必要があります"
  • [SPARK-42290] [SC-133696][sql] AQE がオンのときに OOM エラーを報告できない問題を修正
  • [SPARK-43943] [SC-133648][sql][PYTHON][connect] Scala と Python に SQL 数学関数を追加する
  • [SPARK-43747] [SC-132047][python][CONNECT] SparkSession.addArtifacts で pyfile サポートを実装する
  • [SPARK-43700] [SC-133726][spark-43701][CONNECT][ps] Spark Connect で TimedeltaOps.(sub|rsub) を有効にする
  • [SPARK-43712] [SC-133641][spark-43713][CONNECT][ps] パリティ テストを有効にする: test_line_plot、 test_pie_plot。
  • [SPARK-43867] [SC-132895][sql] 未解決の属性の候補を改善する
  • [SPARK-43901] [SC-133454][sql] AvroはLongを利用した独自の小数型をサポートします。
  • [SPARK-43267] [SC-133024][jdbc] postgres 不明なユーザー定義列を配列内の文字列として処理する
  • [SPARK-43935] [SC-133637][sql][PYTHON][connect] Scala と Python にxpath_* 関数を追加する
  • [SPARK-43916] [SC-133647][sql][PYTHON][connect] Scala と Python API にパーセンタイルを追加する
  • [SPARK-43717] [SC-133455][connect] Scala クライアントの reduce agg は Scala のプリミティブ入力に対する null パーティションを処理できません。
  • [SPARK-43984] [SC-133469][sql][PROTOBUF] foreach結果が生成されない場合にmapを使用するように変更
  • [SPARK-43612] [SC-132011][connect][PYTHON] Python クライアントで SparkSession.addArtifact を実装する
  • [SPARK-44002] [SC-133606][connect] アーティファクトの状態ハンドラーを修正する
  • [SPARK-43933] [SC-133470][sql][PYTHON][connect] Scala と Python に線形回帰集計関数を追加する
  • [SPARK-43920] [SC-133614][sql][CONNECT] sql/api モジュールを作成する
  • [SPARK-43979] [SC-133456][sql] CollectedMetrics は、自己結合の場合と同じものとして扱う必要があります
  • [SPARK-43977] [SC-133373][connect] の予期しないチェック結果を修正 dev/connect-jvm-client-mima-check
  • [SPARK-43985] [SC-133412][protobuf] spark protobuf: 列挙型を整数として扱うバグを修正
  • [SPARK-43930] [SC-133406][sql][PYTHON][connect] Scala と Python にunix_* 関数を追加する
  • [SPARK-43807] [SC-132545][sql] _LEGACY_ERROR_TEMP_1269をPARTITION_SCHEMA_IS_EMPTYに移行する
  • [SPARK-43956] [SC-133123][sql] Percentile[Cont|ディスクリート]の列の SQL が表示されないバグを修正
  • [SPARK-42626] [SC-133248][connect] SparkResult の破壊的反復子を追加する
  • [SPARK-43333] [SC-132898][sql] Avro が共用体型を、その型に応じた安定したフィールド名で SQL に変換できるようにする
  • [SPARK-43953] [SC-133134][connect] 削除 pass
  • [SPARK-43970] [SC-133403][python][CONNECT] サポートされていないデータフレーム メソッドをオートコンプリートから非表示にする
  • [SPARK-43973] [SC-133272][ss][UI] 構造化ストリーミング UI で失敗したクエリが正しく表示される
  • [SPARK-42577] [SC-125445][core] 無限再試行の可能性を回避するために、ステージの最大試行数制限を追加する
  • [SPARK-43841] [SC-132699][sql] プレフィックスのない候補属性を処理する StringUtils#orderSuggestedIdentifiersBySimilarity
  • [SPARK-41497] [SC-124795][コア][フォローアップ]設定を3.5.0バージョンにサポートするよう変更spark.rdd.cache.visibilityTracking.enabled
  • [SPARK-37942] [SC-130983][core][SQL] エラー クラスの移行
  • [SPARK-43898] [SC-132926][core] Scala 2.13 のimmutable.ArraySeq$ofRefにKryoSerializerを自動的に登録する
  • [SPARK-43775] [SC-132891][sql] DataSource V2: 更新プログラムを削除および挿入として表すことを許可する
  • [SPARK-43817] [SC-132662][spark-43702][PYTHON] pandas DataFrame と toPandas からの createDataFrame での UserDefinedType のサポート
  • [SPARK-43418] [SC-132753][sc-130685][CONNECT] SparkSession.Builder.getOrCreate を追加する
  • [SPARK-43549] [SC-132383][sql] _LEGACY_ERROR_TEMP_0036をINVALID_SQL_SYNTAX.ANALYZE_TABLE_UNEXPECTED_NOSCANに変換します。
  • [SPARK-41497] [SC-124644][core] rdd キャッシュを使用した再試行タスクの場合のアキュムレータのアンダーカウントの修正
  • [SPARK-43892] [SC-133006][python] で df[|] のオートコンプリート のサポートを追加する pyspark.sql.dataframe.DataFrame
  • [SPARK-43881] [SC-133140][sql][PYTHON][connect] Catalog.listDatabases のオプション パターンを追加する
  • [SPARK-43205] [SC-132623] IDENTIFIER 節
  • [SPARK-43545] [SC-132378][sql][PYTHON] 入れ子になったタイムスタンプ型をサポート
  • [SPARK-43949] [SC-133048][python] cloudpickle を 2.2.1 にアップグレードする
  • [SPARK-43760] [SC-132809][sql] スカラー サブクエリの結果の Null 許容
  • [SPARK-43696] [SC-132737][spark-43697][SPARK-43698][spark-43699][PS] Spark Connect の TimedeltaOps の修正
  • [SPARK-43895] [SC-132897][connect][GO] go パッケージ パスを準備する
  • [SPARK-43894] [SC-132892][python] df.cache() のバグを修正
  • [SPARK-43509] [SC-131625][connect] 複数の Spark Connect セッションの作成のサポート
  • [SPARK-43882] [SC-132888][sql] _LEGACY_ERROR_TEMP_2122に名前を割り当てる
  • [SPARK-43687] [SC-132747][spark-43688][SPARK-43689][spark-43690][PS] Spark Connect の NumOps を修正
  • [SPARK-43604] [SC-132165][sql] エラーのテキストをソース コードに埋め込むのを避けるために INVALID_SQL_SYNTAX をリファクタリングする
  • [SPARK-43859] [SC-132883][sql] LateralColumnAliasReference で toString をオーバーライドする
  • [SPARK-43792] [SC-132939][sql][PYTHON][connect] Catalog.listCatalogs のオプション パターンを追加する
  • [SPARK-43353] "[SC-132734][python] 残りのセッション エラーをエラー クラスに移行する" を元に戻す
  • [SPARK-43375] [SC-130309][connect] INVALID_CONNECT_URLのエラー メッセージを改善する
  • [SPARK-43863] [SC-132721][connect] Scala 2.13 のtoSeqから冗長なSparkConnectPlannerを削除する
  • [SPARK-43676] [SC-132708][spark-43677][SPARK-43678][spark-43679][PS] Spark Connect の DatetimeOps を修正
  • [SPARK-43666] [SC-132689][spark-43667][SPARK-43668][spark-43669][PS] Spark Connect の BinaryOps の修正
  • [SPARK-43680] [SC-132709][spark-43681][SPARK-43682][spark-43683][PS] Spark Connect の NullOps を修正
  • [SPARK-43782] [SC-132885][core] 静的 Spark conf でのログ レベル構成のサポート
  • [SPARK-43132] [SC-131623] [SS] [CONNECT] Python Client DataStreamWriter foreach() API
  • [SPARK-43290] [SC-131961][sql] ExpressionImplUtils に AES IV と AAD のサポートを追加
  • [SPARK-43795] [SC-132532][connect] SparkConnectPlanner に使用されていないパラメーターを削除する
  • [SPARK-42317] [SC-129194][sql] _LEGACY_ERROR_TEMP_2247に名前を割り当てる: CANNOT_MERGE_SCHEMAS
  • [SPARK-43597] [SC-131960][sql] エラー クラスに名前を割り当てる_LEGACY_ERROR_TEMP_0017
  • [SPARK-43834] [SC-132679][sql] のコンパイル エラーでエラー クラスを使用する ResolveDefaultColumns
  • [SPARK-43749] [SC-132423][spark-43750][SQL] エラー クラスに名前を割り当てる _LEGACY_ERROR_TEMP_240[4-5]
  • [SPARK-43576] [SC-132533][core] Core モジュールから未使用の宣言を削除する
  • [SPARK-43314] [SC-129970][connect][PYTHON] Spark Connect クライアント エラーをエラー クラスに移行する
  • [SPARK-43799] [SC-132715][python] Pyspark Protobuf API に記述子バイナリ オプションを追加する
  • [SPARK-43837] [SC-132678][sql] エラー クラスに名前を割り当てる _LEGACY_ERROR_TEMP_103[1-2]
  • [SPARK-43862] [SC-132750][sql] エラー クラスに名前を割り当てる LEGACY_ERROR_TEMP(1254 & 1315)
  • [SPARK-43886] [SC-132808][python] Pandas UDF の入力ヒントとしてジェネリックタプルを受け入れる
  • [SPARK-43530] [SC-132653][protobuf] 記述子ファイルを 1 回だけ読み取ります
  • [SPARK-43820] [SC-132676][spark-43822][SPARK-43823][spark-43826][SPARK-43827] エラー クラスに名前を割り当てる _LEGACY_ERROR_TEMP_241[1-7]
  • [SPARK-43671] [SC-132519][spark-43672][SPARK-43673][spark-43674][PS] Spark Connect の CategoricalOps の修正
  • [SPARK-39979] [SC-132685][sql] 矢印 UDF 操作に大きな可変幅ベクトルを使用するオプションを追加
  • [SPARK-43692] [SC-132660][spark-43693][SPARK-43694][spark-43695][PS] Spark Connect の StringOps の修正
  • [SPARK-43353] [SC-132734][python] 残りのセッション エラーをエラー クラスに移行する
  • [SPARK-43815] [SC-132781][sql] to_varchar に to_char エイリアスを追加する
  • [SPARK-43543] [13.x][sc-131839][PYTHON] Pandas UDF での入れ子になった MapType の動作を修正
  • [SPARK-43361] [SC-131789][protobuf] 列挙型のシリアル化に関連するエラーのドキュメントを更新する
  • [SPARK-43740] [SC-132035][python][CONNECT] サポートされていない session メソッドをオートコンプリートから非表示にする
  • [SPARK-43022] [SC-131681][connect] Scala クライアントの protobuf 関数のサポート
  • [SPARK-43304] [13.x][sc-129969][CONNECT][python] NotImplementedError を移行する PySparkNotImplementedError
  • [SPARK-43860] [SC-132713][sql] 可能な限り末尾再帰を有効にする
  • [SPARK-42421] [SC-132695][core] ユーティリティを使用して、ローカル チェックポイントで使用される動的割り当てのスイッチを取得する
  • [SPARK-43590] [SC-132012][connect] connect-jvm-client-mima-check が protobuf モジュールで mima チェックをサポートするようにする
  • [SPARK-43315] [13.x][connect][PYTHON][ss] DataFrame(Reader|Writer)の残りのエラーをエラークラスに移行する
  • [SPARK-43361] [SC-130980][protobuf] spark-protobuf: 列挙型を ints として serde を許可する
  • [SPARK-43789] [SC-132397][r] R の createDataFrame で Arrow を使用する際、既定で 'spark.sql.execution.arrow.maxRecordsPerBatch' を使用します
  • [SPARK-43596] [SC-126994][sql] rewriteDomainJoins で IsNull 述語を処理する
  • [SPARK-42249] [SC-122565][sql] エラー メッセージ内のドキュメントの HTML リンクを絞り込みます。
  • [SPARK-43128] [SC-131628][connect][SS] ネイティブの Scala Api に基づいて、recentProgressとlastProgressがStreamingQueryProgressを一貫した戻り値にする
  • [SPARK-43387] [SC-130448][sql] _LEGACY_ERROR_TEMP_1168の人間が判読できるエラー コードを提供します。
  • [SPARK-43334] [SC-132358] [UI] ExecutorPeakMetricsDistributions を API 応答にシリアル化するときのエラーを修正する
  • [SPARK-42958] [SC-131475][connect] avro モジュールで mima チェックをサポートするように connect-jvm-client-mima-check をリファクタリングする
  • [SPARK-43591] [SC-131977][sql] エラー クラスに名前を割り当てる_LEGACY_ERROR_TEMP_0013
  • [SPARK-38464] [SC-132211][core] org.apache.spark.io でエラー クラスを使用する
  • [SPARK-43759] [SC-132189][sql][PYTHON] pyspark.sql.types で TimestampNTZType を公開する
  • [SPARK-43649] [SC-132036][spark-43650][SPARK-43651][sql] エラー クラスに名前を割り当てる _LEGACY_ERROR_TEMP_240[1-3]
  • [SPARK-43719] [SC-132016][webui] missing row.excludedInStages フィールドを処理する
  • [SPARK-42956] [SC-127257][connect] Scala クライアントの avro 関数のサポート
  • [SPARK-43487] [SC-131975][sql] 入れ子になった CTE エラー メッセージを修正する
  • [SPARK-43265] [SC-129653] エラー フレームワークを共通の utils モジュールに移動する
  • [SPARK-40912] [SC-131547][core]KryoDeserializationStream における例外処理のオーバーヘッド
  • [SPARK-43583] [SC-131976][core] SaslRpcHandler インスタンスの代わりにデリゲートから MergedBlockedMetaReqHandler を取得する
  • [SPARK-42996] [SC-131997][connect][PS][ml] 失敗したすべてのテストに適切な JIRA チケットを作成して割り当てます。
  • [SPARK-38469] [SC-131425][core] org.apache.spark.network でエラー クラスを使用する
  • [SPARK-43718] [SC-132014][sql] USING 結合のキーに対して null 許容を正しく設定する
  • [SPARK-43502] [SC-131419][python][CONNECT] DataFrame.drop は空の列を受け入れる必要があります
  • [SPARK-43743] [SC-132038][sql] ポート HIVE-12188 (Kerberos 以外のセキュリティで保護された HS2 では DoA が正しく機能しません)
  • [SPARK-43598] [SC-131929][sql] エラー クラスに名前を割り当てる_LEGACY_ERROR_TEMP_2400
  • [SPARK-43138] [SC-131031][core] 移行中の ClassNotFoundException の修正
  • [SPARK-43360] [SC-131526][ss][CONNECT] Scala クライアント StreamingQueryManager
  • [SPARK-38467] [SC-131025][core] org.apache.spark.memory でエラー クラスを使用する
  • [SPARK-43345] [SC-131790][spark-43346][SQL] エラー クラス の名前を LEGACY_ERROR_TEMP[0041|1206]
  • [SPARK-42815] [SC-126450][sql] 部分式削除をサポートするショートカット式
  • [SPARK-38462] [SC-130449][core] エラー クラスを追加INTERNAL_ERROR_EXECUTOR
  • [SPARK-43589] [SC-131798][sql] cannotBroadcastTableOverMaxTableBytesError をbytesToStringで使用するように修正
  • [SPARK-43539] [SC-131830][sql] エラー クラスに名前を割り当てる_LEGACY_ERROR_TEMP_0003
  • [SPARK-43157] [SC-131688][sql] 複製されたプランが同じオブジェクトを参照できないように、InMemoryRelation キャッシュされたプランを複製する
  • [SPARK-43309] [SC-129746][spark-38461][CORE] カテゴリを使用してINTERNAL_ERRORを拡張し、エラー クラスを追加INTERNAL_ERROR_BROADCAST
  • [SPARK-43281] [SC-131370][sql] 同時実行ライターがファイル メトリックを更新しない問題を修正する
  • [SPARK-43383] [SC-130660][sql] localRelation に rowCount 統計を追加する
  • [SPARK-43574] [SC-131739][python][SQL] 実行時にワーカーで UDF および pandas 関数 API の Python 実行可能ファイルを設定するサポート
  • [SPARK-43569] [SC-131694][sql] HADOOP-14067 の回避策を削除する
  • [SPARK-43183] [SC-128938][ss][13.x] StreamingQueryListener に新しいコールバック "onQueryIdle" を導入する
  • [SPARK-43528] [SC-131531][sql][PYTHON] pandas DataFrame での createDataFrame での重複するフィールド名のサポート
  • [SPARK-43548] [SC-131686][ss] HADOOP-16255 の回避策を削除する
  • [SPARK-43494] [SC-131272][core] リフレクションの代わりにreplicate()のHdfsDataOutputStreamBuilderを直接呼び出すSparkHadoopUtil#createFile
  • [SPARK-43471] [SC-131063][core] 不足している hadoopProperties と metricsProperties の処理
  • [SPARK-42899] [SC-126456][sql] null 許容フィールドに null 非許容の入れ子になったフィールドがある場合を処理する DataFrame.to(スキーマ) を修正
  • [SPARK-43302] [SC-129747][sql] Python UDAF を AggregateFunction にする
  • [SPARK-43223] [SC-131270][connect] 型指定された agg、reduce 関数、RelationalGroupedDataset#as
  • [SPARK-43482] [SC-131375][ss] QueryTerminatedEvent を展開して、例外に存在する場合はエラー クラスを含めます
  • [SPARK-43359] [SC-131463][sql] Hive テーブルから削除する際には、“UNSUPPORTED_FEATURE.TABLE_OPERATION”がスローされるべきです。
  • [SPARK-43284] [SC-130313] URL エンコード文字列に戻る
  • [SPARK-43492] [SC-131227][sql] DATE_ADD と 3 引数関数のエイリアスを追加する DATE_DIFF
  • [SPARK-43473] [SC-131372][python] pandas DataFrame からの createDataFrame での構造体型のサポート
  • [SPARK-43386] [SC-131110][sql] エラー クラスで推奨される列/属性の一覧 UNRESOLVED_COLUMN.WITH_SUGGESTION 改善
  • [SPARK-43443] [SC-131332][sql] 無効な値を使用する場合のタイムスタンプ型推論のベンチマークを追加する
  • [SPARK-43518] [SC-131420][sql] _LEGACY_ERROR_TEMP_2029 をINTERNAL_ERRORに変換する
  • [SPARK-42604] [SC-130648][connect] functions.typedlit を実装する
  • [SPARK-42323] [ES-669513] "[SC-123479][sql] 名前を _LEGACY_ERROR_TEMP_2332に割り当てる" を元に戻す
  • [SPARK-43357] [SC-130649][sql] 日付型のフィルターにおける日付の引用
  • [SPARK-43410] [SC-130526][sql] パックされた skipValues のベクター化されたループを改善する
  • [SPARK-43441] [SC-130995][core] DeterministicLevel が存在しない場合、 makeDotNode は失敗しない
  • [SPARK-43324] [SC-130455][sql] デルタ ベースのソースの UPDATE コマンドを処理する
  • [SPARK-43272] [SC-131168][core] リフレクションの代わりに createFile を直接呼び出す
  • [SPARK-43296] [13.x][sc-130627][CONNECT][python] Spark Connect セッション エラーをエラー クラスに移行する
  • [SPARK-43405] [SC-130987][sql] 役に立たない getRowFormatSQL、 inputRowFormatSQL、 outputRowFormatSQL メソッドを削除する
  • [SPARK-43447] [SC-131017][r] サポート R 4.3.0
  • [SPARK-43425] [SC-130981][sql] TimestampNTZType を追加する ColumnarBatchRow
  • [SPARK-41532] [SC-130523][connect][CLIENT] 複数のデータ フレームを含む操作のチェックを追加する
  • [SPARK-43262] [SC-129270][connect][SS][python] Spark Connect Structured Streaming エラーをエラー クラスに移行する
  • [SPARK-42992] [13.x][sc-129465][PYTHON] PySparkRuntimeError の導入
  • [SPARK-43422] [SC-130982][sql] メタデータ出力で LogicalRelation にタグを保持する
  • [SPARK-43390] [SC-130646][sql] DSv2 を使用すると、CTAS/RTAS でスキーマの null 許容を予約できます
  • [SPARK-43430] [SC-130989][connect][PROTO] ExecutePlanRequest は任意の要求オプションをサポートしています。
  • [SPARK-43313] [SC-130254][sql] MERGE INSERT アクションに不足している列の既定値を追加する
  • [SPARK-42842] [SC-130438][sql] エラー クラスの_LEGACY_ERROR_TEMP_2006をREGEX_GROUP_INDEXにマージする
  • [SPARK-43377] [SC-130405][sql] 既定で spark.sql.thriftServer.interruptOnCancel を有効にする
  • [SPARK-43292] [SC-130525][core][CONNECT] ExecutorClassLoader を core モジュールに移動して簡略化する Executor#addReplClassLoaderIfNeeded
  • [SPARK-43040] [SC-130310][sql] JDBC データ ソースでの TimestampNTZ 型のサポートの向上
  • [SPARK-43343] [SC-130629][ss] DataSource の作成時に FileStreamSource で追加のファイル glob チェックを無効にする必要がある
  • [SPARK-43312] [SC-130294][protobuf] 任意のフィールドを JSON に変換するオプション
  • [SPARK-43404] [SC-130586][ss] ID の不一致エラーを回避するために、同じバージョンの RocksDB 状態ストアの sst ファイルの再利用をスキップする
  • [SPARK-43397] [SC-130614][core] エグゼキューターの退役期間をexecutorLostメソッドでログに記録する
  • [SPARK-42388] [SC-128568][sql] ベクター化されたリーダーで Parquet フッターの読み取りを 2 回行わないようにする
  • [SPARK-43306] [13.x][sc-130320][PYTHON] Spark SQL 型からエラー クラスに ValueError を移行する
  • [SPARK-43337] [SC-130353][ui][3.4] 列を並べ替える Asc/desc 矢印アイコンがテーブル列に表示されない
  • [SPARK-43279] [SC-130351][core] から未使用のメンバーをクリーンアップする SparkHadoopUtil
  • [SPARK-43250] [SC-130147][sql] エラー クラスの _LEGACY_ERROR_TEMP_2014 を内部エラーに置き換える
  • [SPARK-43363] [SC-130299][sql][PYTHON] 矢印の種類が指定されていない場合にのみ、カテゴリの種類に astype を呼び出す
  • [SPARK-43261] [SC-130154][python] Spark SQL 型からエラー クラスに TypeError を移行する
  • [SPARK-41971] [SC-130230][sql][PYTHON] pandas 変換時に構造体型をどのように処理するかの設定を追加する
  • [SPARK-43381] [SC-130464][connect] 'transformStatCov' を遅延させる
  • [SPARK-43362] [SC-130481][sql] MySQL コネクタの JSON 型の特殊な処理
  • [SPARK-42843] [SC-130196][sql] エラー クラス _LEGACY_ERROR_TEMP_2007 を REGEX_GROUP_INDEX に更新
  • [SPARK-42585] [SC-129968][connect] ローカルリレーションのストリーミング
  • [SPARK-43181] [SC-130476][sql] シェルに UI WebURL を表示spark-sql
  • [SPARK-43051] [SC-130194][connect] 既定値を出力するオプションを追加する
  • [SPARK-43204] [SC-129296][sql] MERGE の割り当てをテーブル属性に合わせる
  • [SPARK-43348] [SC-130082][python] PyPy3 での Python 3.8 のサポート
  • [SPARK-42845] [SC-130078][sql] エラー クラスの_LEGACY_ERROR_TEMP_2010を InternalError に更新する
  • [SPARK-43211] [SC-128978][hive] IsolatedClientLoader での Hadoop2 サポートの削除

システム環境

  • オペレーティング システム: Ubuntu 22.04.2 LTS
  • Java: Zulu 8.70.0.23-CA-linux64
  • Scala: 2.12.15
  • Python: 3.10.12
  • R: 4.2.2
  • Delta Lake: 2.4.0

インストールされている Python ライブラリ

ライブラリ バージョン ライブラリ バージョン ライブラリ バージョン
アプリケーションディレクトリ (appdirs) 1.4.4 argon2-cffi 21.3.0 argon2-cffi-bindings 21.2.0
アストトークン 2.2.1 属性 21.4.0 バックコール (再発信機能) 0.2.0
beautifulsoup4 4.11.1 黒い 22.6.0 漂白剤 4.1.0
ウインカー 1.4 boto3 1.24.28 botocore 1.27.28
サーティフィ 2022.9.14 cffi 1.15.1 チャーデット 4.0.0
charset-normalizer (文字コード正規化ツール) 2.0.4 クリックし 8.0.4 暗号技術 37.0.1
サイクリスト 0.11.0 Cython 0.29.32 databricks-sdk（データブリックスSDK） 0.1.6
dbus-python 1.2.18 debugpy 1.5.1 デコレーター 5.1.1
デフューズドXML (defusedxml) 0.7.1 distlib 0.3.6 ドックストリングをMarkdownに変換 0.12
入口点 0.4 実行 1.2.0 ファセット概要 1.0.3
fastjsonschema 2.16.3 ファイルロック 3.12.0 fonttools（フォントツールズ） 4.25.0
Google API 共通プロトコル (googleapis-common-protos) 1.56.4 grpcio 1.48.1 grpcio-status 1.48.1
httplib2 0.20.2 idna 3.3 importlib-metadata 4.6.4
ipykernel 6.17.1 ipython 8.10.0 ipython-genutils (IPython用のユーティリティ) 0.2.0
ipywidgets (インタラクティブウィジェット) 7.7.2 ジェダイ 0.18.1 ジープニー 0.7.1
ジンジャ2 2.11.3 jmespath 0.10.0 「joblib」 1.2.0
JSONスキーマ 4.16.0 ジュピタークライアント 7.3.4 jupyter_core（ジュピター・コア） 4.11.2
jupyterlab-pygments 0.1.2 jupyterlab ウィジェット 1.0.0 キーホルダー 23.5.0
キウィソルバー 1.4.2 launchpadlib 1.10.16 lazr.restfulclient 0.14.4
lazr.uri 1.0.6 マークアップセーフ 2.0.1 matplotlib 3.5.2
matplotlib-インライン 0.1.6 マッケイブ 0.7.0 ミスチューン 0.8.4
more-itertools 8.10.0 mypy-extensions (マイパイ拡張機能) 0.4.3 nbclient（エヌビー・クライアント） 0.5.13
NBコンバート 6.4.4 nbフォーマット 5.5.0 nest-asyncio（ネスト・アサインキオ） 1.5.5
nodeenv 1.8.0 ノートブック 6.4.12 NumPy (数値計算ライブラリ) 1.21.5
oauthlib 3.2.0 パッケージング 21.3 パンダ 1.4.4
パンドックフィルターズ 1.5.0 パルソ 0.8.3 パススペック 0.9.0
パッツィ 0.5.2 ペキスペクト 4.8.0 ピクルシェア 0.7.5
枕 9.2.0 種 22.2.2 プラットフォームディレクトリ 2.5.2
plotly - データビジュアライゼーションツール 5.9.0 プラグイン管理ツール 1.0.0 prometheus-クライアント 0.14.1
prompt-toolkit（プロンプトツールキット） 3.0.36 プロトバフ 3.19.4 psutil 5.9.0
psycopg2 2.9.3 ptyprocess 0.7.0 pure-eval (ピュア・イヴァル) 0.2.2
pyarrow (パイアロー) 8.0.0 pycparser（パイシーパーサー） 2.21 Pythonのデータバリデーションライブラリ「pydantic」 1.10.6
パイフレークス 3.0.1 Pygments 2.11.2 PyGObject 3.42.1
PyJWT 2.3.0 pyodbc (Pythonのデータベース接続用ライブラリ) 4.0.32 パイパーシング (Pyparsing) 3.0.9
pyright 1.1.294 pyrsistent 0.18.0 python-dateutil (Python用の日付処理ライブラリ) 2.8.2
python-lsp-jsonrpc 1.0.0 Python LSP サーバー 1.7.1 Pytoolconfig 1.2.2
pytz 2022年1月 pyzmq 23.2.0 リクエスト 2.28.1
ロープ 1.7.0 s3transfer 0.6.0 scikit-learn（サイキット・ラーン） 1.1.1
scipy 1.9.1 seaborn（シーボーン） 0.11.2 SecretStorage 3.3.1
Send2Trash(センド2トラッシュ) 1.8.0 setuptools（セットアップツール） 63.4.1 6 1.16.0
スープこし器 (soup strainer) 2.3.1 ssh-import-id 5.11 スタックデータ 0.6.2
statsmodels（スタッツモデルズ） 0.13.2 粘り強さ 8.1.0 終了しました 0.13.1
テストパス (testpath) 0.6.0 Threadpoolctl 2.2.0 トークナイズ-RT 4.2.1
tomli 2.0.1 竜巻 6.1 traitlets（トレイトレット） 5.1.1
タイピングエクステンションズ (typing_extensions) 4.3.0 ujson 5.4.0 無人アップグレード 0.1
urllib3 1.26.11 virtualenv 20.16.3 wadllib 1.3.6
wcwidth（文字の幅を測定するプログラム関数） 0.2.5 ウェブエンコーディングス 0.5.1 whatthepatch（ホワットザパッチ） 1.0.2
車輪 0.37.1 ウィジェットNBエクステンション 3.6.1 yapf (ヤップフ) 0.31.0
ジップ 1.0.0

インストールされている R ライブラリ

R ライブラリは、2023-02-10 の Microsoft CRAN スナップショットからインストールされています。

ライブラリ バージョン ライブラリ バージョン ライブラリ バージョン
矢印 10.0.1 アスクパス 1.1 assertthat（アサートザット関数） 0.2.1
バックポート（旧バージョンへの機能移植） 1.4.1 基盤 4.2.2 base64enc 0.1-3
ビット 4.0.5 ビット64 4.0.5 blob (blob) 1.2.3
起動 1.3-28 醸成 1.0 から 8 活気 1.1.3
箒 1.0.3 bslib 0.4.2 キャシェム 1.0.6
コールアール 3.7.3 キャレット 6.0-93 セルレンジャー (cellranger) 1.1.0
クロノ 2.3から59まで クラス 7.3-21 CLI 3.6.0
クリッパー 0.8.0 時計 0.6.1 クラスタ 2.1.4
コードツール 0.2-19 カラー空間 2.1-0 コモンマーク 1.8.1
コンパイラ 4.2.2 設定 0.3.1 CPP11 0.4.3
クレヨン 1.5.2 資格情報 1.3.2 カール 5.0.0
データテーブル (data.table) 1.14.6 データセット 4.2.2 DBI 1.1.3
dbplyr 2.3.0 説明 1.4.2 開発ツール 2.4.5
diffobj 0.3.5 ダイジェスト 0.6.31 ダウンライト 0.4.2
dplyr 1.1.0 dtplyr 1.2.2 e1071 1.7-13
省略記号 0.3.2 評価する 0.20 ファンシ 1.0.4
farver 2.1.1 fastmap (ファストマップ) 1.1.0 fontawesome (フォントオーサム) 0.5.0
フォーキャッツ 1.0.0 フォーリーチ 1.5.2 外国の 0.8-82
鍛冶場 0.2.0 FS 1.6.1 未来 1.31.0
future.apply（将来の機能を適用するためのプログラミング関数） 1.10.0 うがい 1.3.0 ジェネリクス 0.1.3
ゲルト 1.9.2 ggplot2 3.4.0 gh 1.3.1
gitcreds 0.1.2 glmnet(英語) 4.1-6 グローバル変数 0.16.2
接着剤 1.6.2 googledrive 2.0.0 googlesheets4 1.0.1
ガウアー 1.0.1 グラフィックス 4.2.2 grDevices 4.2.2
グリッド 4.2.2 gridExtra 2.3 gsubfn 0.7
gtable 0.3.1 安全帽 1.2.0 安らぎの場 2.5.1
より高い 0.10 エイチ・エム・エス 1.1.2 HTMLツール 0.5.4
HTMLウィジェット 1.6.1 httpuv 1.6.8 「httr」パッケージ（HTTPリクエストを簡単に送信するためのライブラリ） 1.4.4
識別子 1.0.1 ini 0.3.1 アイプレッド 0.9-13
アイソバンド 0.2.7 イテレータ 1.0.14 jquerylib 0.1.4
jsonlite 1.8.4 カーンスムース 2.23-20 ニット 1.42
ラベリング 0.4.2 あとで 1.3.0 格子構造 0.20-45
溶岩 1.7.1 ライフサイクル 1.0.3 listenv 0.9.0
ルブリデート 1.9.1 Magrittr 2.0.3 値下げ 1.5
質量 7.3-58.2 マトリックス 1.5-1 メモ化 2.0.1
メソッド 4.2.2 mgcv 1.8-41 マイム 0.12
ミニUI 0.1.1.1 モデルメトリクス 1.2.2.2 モデルル 0.1.10
munsell 0.5.0 nlme 3.1-162 ニューラルネットワーク (nnet) 7.3-18
numDeriv（ヌムデリヴ） 2016年8月～2016年1月1日 openssl (オープンソースの暗号化ツール) 2.0.5 並行 4.2.2
平行に 1.34.0 柱 1.8.1 pkgbuild（パッケージビルド） 1.4.0
pkgconfig 2.0.3 pkgdown 2.0.7 pkgload(パッケージロード) 1.3.2
plogr 0.2.0 プライル 1.8.8 賞賛 1.0.0
プリティーユニッツ 1.1.1 プロック (pROC) 1.18.0 プロセスエックス 3.8.0
プロッドリム 2019.11.13 プロフビス 0.3.7 進捗 1.2.2
progressr 0.13.0 約束 1.2.0.1 プロト 1.0.0
プロキシ 0.4-27 PS 1.7.2 ゴロゴロ 1.0.1
R2D3 0.2.6 R6 2.5.1 ragg 1.2.5
randomForest（ランダムフォレスト） 4.7-1.1 rappdirs 0.3.3 rcmdcheck 1.4.0
RColorブリューワー 1.1-3 Rcpp 1.0.10 RcppEigen 0.3.3.9.3
読み取り 2.1.3 readxl (エクセルファイルの読み取り用パッケージ/関数) 1.4.2 レシピ 1.0.4
再戦 1.0.1 リマッチ2 2.1.2 リモコン 2.4.2
再現可能な例 (reprex) 2.0.2 リシェイプ2 1.4.4 rlang 1.0.6
rmarkdown 2.20 RODBC 1.3-20 リオキシジェン2 7.2.3
rpart（Rプログラミング言語における再帰的分割のためのパッケージ） 4.1.19 rprojroot さん 2.0.3 Rサーブ 1.8-12
RSQLite (英語) 2.2.20 rstudioapi 0.14 アールバージョンズ 2.1.2
アヴェスト 1.0.3 サス 0.4.5 秤 1.2.1
セレクター 0.4-2 セッション情報 1.2.2 形状 1.4.6
光沢がある 1.7.4 ソースツール 0.1.7-1 スパークラー (sparklyr) 1.7.9
SparkR 3.4.0 空間的 7.3-15 スプライン 4.2.2
sqldf 0.4-11 スクウェアム 2021年1月 統計 4.2.2
統計プログラミングパッケージ「stats4」 4.2.2 ストリンギ 1.7.12 stringr 1.5.0
サバイバル 3.5-3 システム 3.4.1 systemfonts 1.0.4
tcltk（ティーシーエルティーケー） 4.2.2 テストザット 3.1.6 テキスト整形 0.3.6
tibble（ティブル） 3.1.8 ティディル 1.3.0 tidyselect関数 1.2.0
tidyverse（タイディバース） 1.3.2 時刻変更 0.2.0 時刻と日付 4022.108
tinytex 0.44 ツール 4.2.2 tzdb 0.3.0
URLチェッカー 1.0.1 この機能を使う 2.1.6 UTF8 1.2.3
ユーティリティ 4.2.2 UUID（ユニバーサルユニーク識別子） 1.1-0 VCTRSの 0.5.2
ヴィリディスライト 0.4.1 ブルーム 1.6.1 ワルド 0.4.0
ウイスカー 0.4.1 ウィザー 2.5.0 xfun 0.37
xml2 1.3.3 xopen (エックスオープン) 1.0.0 xtable (エクステーブル) 1.8-4
YAML 2.3.7 ジップ 2.2.2

インストールされている Java ライブラリと Scala ライブラリ (Scala 2.12 クラスター バージョン)

グループ ID 成果物 ID バージョン
アンラル（ANTLR） アンラル（ANTLR） 2.7.7
com.amazonaws amazon-kinesis-client（アマゾン・キネシス・クライアント） 1.12.0
com.amazonaws aws-java-sdk-autoscaling (オートスケーリング用Java SDK) 1.12.390
com.amazonaws aws-java-sdk-cloudformation 1.12.390
com.amazonaws AWSのJava SDKパッケージであるCloudFront 1.12.390
com.amazonaws aws-java-sdk-cloudhsm（AWSのクラウドHSM用Javaソフトウェア開発キット） 1.12.390
com.amazonaws AWSのJava SDK - cloudsearch 1.12.390
com.amazonaws aws-java-sdk-cloudtrail 1.12.390
com.amazonaws aws-java-sdk-cloudwatch 1.12.390
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.390
com.amazonaws aws-java-sdk-codedeploy（AWSのJava SDK用CodeDeployサービス） 1.12.390
com.amazonaws aws-java-sdk-cognitoidentity (AWS Java SDK コグニトアイデンティティ) 1.12.390
com.amazonaws aws-java-sdk-cognitosync 1.12.390
com.amazonaws aws-java-sdk-config（AWS Java SDK 設定） 1.12.390
com.amazonaws aws-java-sdk-core（AWS Java SDKのコア） 1.12.390
com.amazonaws aws-java-sdk-datapipeline (AWS Java SDKのデータパイプラインモジュール) 1.12.390
com.amazonaws aws-java-sdk-directconnect (AWSのJava SDKのDirect Connect機能) 1.12.390
com.amazonaws aws-java-sdk-directory 1.12.390
com.amazonaws aws-java-sdk-dynamodb 1.12.390
com.amazonaws aws-java-sdk-ec2 1.12.390
com.amazonaws aws-java-sdk-ecs 1.12.390
com.amazonaws aws-java-sdk-efs 1.12.390
com.amazonaws AWS Java SDK エラスティキャッシュ 1.12.390
com.amazonaws AWS Java SDK エラスティックビーンストーク 1.12.390
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.390
com.amazonaws aws-java-sdk-elastictranscoder (AWS用のJava開発ツールキット - Elastic Transcoder) 1.12.390
com.amazonaws aws-java-sdk-emr 1.12.390
com.amazonaws aws-java-sdk-glacier 1.12.390
com.amazonaws aws-java-sdk-glue (AWSのJava用SDKであるGlue) 1.12.390
com.amazonaws AWSのJava SDK（IAM用） 1.12.390
com.amazonaws AWS Java SDK インポートエクスポート 1.12.390
com.amazonaws aws-java-sdk-kinesis 1.12.390
com.amazonaws aws-java-sdk-kms 1.12.390
com.amazonaws aws-java-sdk-lambda 1.12.390
com.amazonaws aws-java-sdk-logs 1.12.390
com.amazonaws aws-java-sdk-機械学習 1.12.390
com.amazonaws aws-java-sdk-opsworks 1.12.390
com.amazonaws aws-java-sdk-rds（AWSのJava用RDSソフトウェア開発キット） 1.12.390
com.amazonaws AWS Java SDK Redshift 1.12.390
com.amazonaws aws-java-sdk-route53 1.12.390
com.amazonaws aws-java-sdk-s3 1.12.390
com.amazonaws aws-java-sdk-ses 1.12.390
com.amazonaws aws-java-sdk-simpledb 1.12.390
com.amazonaws aws-java-sdk-simpleworkflow 1.12.390
com.amazonaws aws-java-sdk-sns 1.12.390
com.amazonaws aws-java-sdk-sqs 1.12.390
com.amazonaws aws-java-sdk-ssm 1.12.390
com.amazonaws AWS Java SDK ストレージゲートウェイ 1.12.390
com.amazonaws aws-java-sdk-sts 1.12.390
com.amazonaws AWS Java SDK サポート 1.12.390
com.amazonaws aws-java-sdk-swf-libraries (AWS Java SDK SWFライブラリ) 1.11.22
com.amazonaws aws-java-sdk-workspacesとはAWSのワークスペースを管理するためのJava用SDKです。 1.12.390
com.amazonaws jmespath-java 1.12.390
com.clearspring.analytics ストリーム (stream) 2.9.6
com.databricks Rサーブ 1.8-3
com.databricks jets3t (ジェットスリート) 0.7.1-0
com.databricks.scalapb コンパイラプラグイン_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-シェーデッド 4.0.2
com.esotericsoftware minlog (ミンログ) 1.3.0
com.fasterxml クラスメイト 1.3.4
com.fasterxml.jackson.core jackson-annotations (ジャクソン・アノテーション) 2.14.2
com.fasterxml.jackson.core ジャクソン・コア (jackson-core) 2.14.2
com.fasterxml.jackson.core ジャクソン・データバインド (jackson-databind) 2.14.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor（ジャクソンデータフォーマットCBOR） 2.14.2
com.fasterxml.jackson.datatype jackson-datatype-joda 2.14.2
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.13.4
com.fasterxml.jackson.module jackson-module-paranamer 2.14.2
com.fasterxml.jackson.module jackson-module-scala_2.12 2.14.2
com.github.ben-manes.カフェイン カフェイン 2.9.3
com.github.fommil jniloader 1.1
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java 1.1-ネイティブス
com.github.fommil.netlib ネイティブシステム-Java 1.1
com.github.fommil.netlib ネイティブシステム-Java 1.1-ネイティブス
com.github.fommil.netlib netlib-native_ref-linux-x86_64 1.1-ネイティブス
com.github.fommil.netlib netlib-ネイティブシステム-linux-x86_64 1.1-ネイティブス
com.github.luben zstd-jni (ゼットスタッドジェイエヌアイ) 1.5.2-5
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.8.9
com.google.crypto.tink ティンク 1.7.0
com.google.errorprone エラーが発生しやすいアノテーション 2.10.0
com.google.flatbuffers flatbuffers-java 1.12.0
com.google.guava グアバ 15.0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 2.1.214
com.helger プロファイラー 1.1.1
com.jcraft jsch 0.1.55
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk（アジュール・データ・レイク・ストア・SDK） 2.3.9
com.microsoft.sqlserver mssql-jdbc 11.2.2.jre8
com.ning Compress-LZF (コンプレス-LZF) 1.1.2
com.sun.mail javax.mail 1.5.2
.bind の com.sun.xml jaxb-core 2.2.11
.bind の com.sun.xml jaxb-impl 2.2.11
com.tdunning JSON 1.8
com.thoughtworks.paranamer パラナマー 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter チル-ジャヴァ 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe 設定 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.0
com.univocity univocity-parsers（ユニボシティ・パーサーズ） 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
コモンズ・コーデック コモンズ・コーデック 1.15
コモンズ・コレクションズ コモンズ・コレクションズ 3.2.2
commons-dbcp（コモンズ-DBCP） commons-dbcp（コモンズ-DBCP） 1.4
コモンズ-ファイルアップロード コモンズ-ファイルアップロード 1.5
commons-httpclient（コモンズHTTPクライアント） commons-httpclient（コモンズHTTPクライアント） 3.1
commons-io commons-io 2.11.0
commons-lang (コモンズ・ラン、Javaの汎用ユーティリティライブラリ) commons-lang (コモンズ・ラン、Javaの汎用ユーティリティライブラリ) 2.6
commons-logging commons-logging 1.1.3
commons-pool（コモンズプール） commons-pool（コモンズプール） 1.5.4
dev.ludovic.netlib アーパック 3.0.3
dev.ludovic.netlib ブラス 3.0.3
dev.ludovic.netlib ラパック 3.0.3
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift エアコンプレッサー 0.21
io.delta delta-sharing-spark_2.12 0.7.0
io.dropwizard.metrics メトリクス・コア 4.2.10
io.dropwizard.metrics メトリクス・グラファイト 4.2.10
io.dropwizard.metrics メトリクス-ヘルスチェック 4.2.10
io.dropwizard.metrics メトリクス-ジェッティ9 4.2.10
io.dropwizard.metrics メトリクス-JMX 4.2.10
io.dropwizard.metrics metrics-json 4.2.10
io.dropwizard.metrics メトリックス-JVM 4.2.10
io.dropwizard.metrics メトリクス-サーブレット 4.2.10
io.netty netty-all (ライブラリ名) 4.1.87.Final
io.netty ネットィバッファー 4.1.87.Final
io.netty netty-codec 4.1.87.Final
io.netty netty-codec-http 4.1.87.Final
io.netty netty-codec-http2（ネットティー・コーデック・HTTP2） 4.1.87.Final
io.netty netty-codec-socks 4.1.87.Final
io.netty netty-common 4.1.87.Final
io.netty ネットティ・ハンドラー 4.1.87.Final
io.netty ネッティ・ハンドラー・プロキシ 4.1.87.Final
io.netty ネッティ・リゾルバー 4.1.87.Final
io.netty netty-transport（ネットティ・トランスポート） 4.1.87.Final
io.netty netty-transport-classes-epoll 4.1.87.Final
io.netty netty-トランスポートクラス-kqueue 4.1.87.Final
io.netty netty-transport-native-epoll 4.1.87.Final
io.netty netty-transport-native-epoll 4.1.87.Final-linux-aarch_64
io.netty netty-transport-native-epoll 4.1.87.Final-linux-x86_64
io.netty netty-transport-native-kqueue 4.1.87.Final-osx-aarch_64
io.netty netty-transport-native-kqueue 4.1.87.Final-osx-x86_64
io.netty netty-transport-native-unix-common (ネットワーク通信を行うためのユニックス向け共通ライブラリ) 4.1.87.Final
io.prometheus simpleclient 0.7.0
io.prometheus シンプルクライアント_コモン 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus シンプルクライアント_プッシュゲートウェイ 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx コレクタ 0.12.0
jakarta.annotation ジャカルタ・アノテーションAPI 1.3.5
ジャカルタ.サーブレット jakarta.サーブレット-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation アクティベーション 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1.1
javax.transaction トランザクションAPI 1.1
.bind の javax.xml jaxb-api 2.2.11
「ジャボリューション（Javolution）」 「ジャボリューション（Javolution）」 5.5.1
ジェイライン ジェイライン 2.14.6
joda-time joda-time 2.12.1
ml.combust.mleap mleap-databricks-runtime_2.12 v0.20.0-db2
net.java.dev.jna jna 5.8.0
net.razorvine 漬物 1.3
net.sf.jpam ジェーパム 1.1
net.sf.opencsv opencsv (CSVファイル操作のためのライブラリ) 2.3
net.sf.supercsv スーパCSV (スーパーシーエスブイ) 2.2.0
net.snowflake snowflake-ingest-sdk（スノーフレーク・インジェスト・SDK） 0.9.6
net.snowflake スノーフレーク-JDBC 3.13.29
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt.remotetea リモートティー-オンシーRPC 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.9.3
org.antlr ストリングテンプレート 3.2.1
org.apache.ant 蟻 1.9.16
org.apache.ant ant-jsch 1.9.16
org.apache.ant ant-launcher 1.9.16
org.apache.arrow 矢印フォーマット 11.0.0
org.apache.arrow アロー・メモリー・コア 11.0.0
org.apache.arrow アロー・メモリー・ネッティ 11.0.0
org.apache.arrow 矢印ベクトル 11.0.0
org.apache.avro アブロ 1.11.1
org.apache.avro avro-ipc 1.11.1
org.apache.avro avro-mapred 1.11.1
org.apache.commons commons-collections4 4.4.
org.apache.commons コモンズ・コンプレス 1.21
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons コモンズテキスト 1.10.0
org.apache.curator キュレータークライアント 2.13.0
org.apache.curator Curator Framework（キュレーター・フレームワーク） 2.13.0
org.apache.curator キュレーターのレシピ 2.13.0
org.apache.datasketches datasketches-java 3.1.0
org.apache.datasketches datasketches-memory (データスケッチズ・メモリー) 2.0.0
org.apache.derby ダービー 10.14.2.0
org.apache.hadoop hadoop-client-runtime (ハドゥープ・クライアント・ランタイム) 3.3.4
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive ハイブセーデ 2.3.9
org.apache.hive ハイブシムス 2.3.9
org.apache.hive hive-storage-api (ハイブストレージAPI) 2.8.1
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler (ハイブシムススケジューラー) 2.3.9
org.apache.httpcomponents httpclient 4.5.14
org.apache.httpcomponents httpcore 4.4.16
org.apache.ivy アイビー 2.5.1
org.apache.logging.log4j log4j-1.2-api 2.19.0
org.apache.logging.log4j log4j-api 2.19.0
org.apache.logging.log4j log4j-core 2.19.0
org.apache.logging.log4j log4j-slf4j2-impl 2.19.0
org.apache.mesos メソス 1.11.0-shaded-protobuf
org.apache.orc オーク・コア 1.8.3-shaded-protobuf
org.apache.orc orc-mapreduce 1.8.3-shaded-protobuf
org.apache.orc orc-shims（オーク・シムズ） 1.8.3
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift (リブスリフト) 0.12.0
org.apache.xbean xbean-asm9-shaded 4.22
org.apache.yetus オーディエンス注釈 0.13.0
org.apache.zookeeper 動物園の飼育員 3.6.3
org.apache.zookeeper zookeeper-jute（ズーキーパー・ジュート） 3.6.3
org.checkerframework チェッカー・クオール 3.19.0
org.codehaus.jackson ジャクソンコアASL 1.9.13
org.codehaus.jackson ジャクソン・マッパー・ASL 1.9.13
org.codehaus.janino コモンズコンパイラー 3.0.16
org.codehaus.janino ジャニーノ (janino) 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus データニュクレウス-RDBMS 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.50.v20221201
org.eclipse.jetty ジェッティ・コンティニュエーション 9.4.50.v20221201
org.eclipse.jetty ジェッティ-HTTP 9.4.50.v20221201
org.eclipse.jetty jetty-io 9.4.50.v20221201
org.eclipse.jetty jetty-jndi（ジェッティ-JNDI） 9.4.50.v20221201
org.eclipse.jetty ジェッティプラス 9.4.50.v20221201
org.eclipse.jetty jetty-proxy (ジェッティプロキシ) 9.4.50.v20221201
org.eclipse.jetty ジェッティ・セキュリティ 9.4.50.v20221201
org.eclipse.jetty ジェッティ・サーバー 9.4.50.v20221201
org.eclipse.jetty ジェッティ-サーブレット 9.4.50.v20221201
org.eclipse.jetty ジェッティ・サーブレット (jetty-servlets) 9.4.50.v20221201
org.eclipse.jetty jetty-util (ジェッティユーティル) 9.4.50.v20221201
org.eclipse.jetty jetty-util-ajax (ジェティ・ユーティル・エイジャックス) 9.4.50.v20221201
org.eclipse.jetty jetty-webapp（ジェッティ・ウェブアプリ） 9.4.50.v20221201
org.eclipse.jetty jetty-xml 9.4.50.v20221201
org.eclipse.jetty.websocket ウェブソケットAPI 9.4.50.v20221201
org.eclipse.jetty.websocket websocket-client (ウェブソケット・クライアント) 9.4.50.v20221201
org.eclipse.jetty.websocket ウェブソケット-コモン 9.4.50.v20221201
org.eclipse.jetty.websocket ウェブソケットサーバー 9.4.50.v20221201
org.eclipse.jetty.websocket websocket-サーブレット 9.4.50.v20221201
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2ユーティリティー 2.6.1
org.glassfish.hk2 OSGiリソースロケーター 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-サーブレット 2.36
org.glassfish.jersey.containers jersey-container-サーブレット-コア 2.36
org.glassfish.jersey.core ジャージー・クライアント 2.36
org.glassfish.jersey.core ジャージーコモン 2.36
org.glassfish.jersey.core ジャージーサーバー 2.36
org.glassfish.jersey.inject jersey-hk2 2.36
org.hibernate.validator hibernate-validator (ハイバーネイト検証ツール) 6.1.7.Final
org.javassist javassist（ジャバアシスト） 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains 注釈 17.0.0
org.joda joda-convert（ジョーダライブラリの日付・時間操作用コンバート） 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mariadb.jdbc mariadb-java-client（MariaDB用Javaクライアント） 2.7.4
org.mlflow mlflow-spark 2.2.0
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.3.8
org.roaringbitmap RoaringBitmap 0.9.39
org.roaringbitmap シム 0.9.39
org.rocksdb rocksdbjni 7.8.3
org.rosuda.REngine REngine（アールエンジン） 2.1.0
org.scala-lang scala-compiler_2.12 2.12.15
org.scala-lang scala-library_2.12 2.12.15
org.scala-lang scala-reflect_2.12 2.12.15
org.scala-lang.modules scala-collection-compat_2.12 2.4.3
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt テストインターフェイス 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.2.15
org.scalanlp breeze-macros_2.12 2.1.0
org.scalanlp breeze_2.12 2.1.0
org.scalatest スカラテスト互換 3.2.15
org.scalatest scalatest-core_2.12 3.2.15
org.scalatest scalatest-diagrams_2.12 3.2.15
org.scalatest scalatest-featurespec_2.12 3.2.15
org.scalatest scalatest-flatspec_2.12 3.2.15
org.scalatest scalatest-freespec_2.12 3.2.15
org.scalatest scalatest-funspec_2.12 3.2.15
org.scalatest scalatest-funsuite_2.12 3.2.15
org.scalatest scalatest-matchers-core_2.12 3.2.15
org.scalatest scalatest-mustmatchers_2.12 3.2.15
org.scalatest scalatest-propspec_2.12 3.2.15
org.scalatest scalatest-refspec_2.12 3.2.15
org.scalatest scalatest-shouldmatchers_2.12 3.2.15
org.scalatest scalatest-wordspec_2.12 3.2.15
org.scalatest scalatest_2.12 3.2.15
org.slf4j jcl-over-slf4j 2.0.6
org.slf4j jul-to-slf4j 2.0.6
org.slf4j slf4j-api 2.0.6
org.threeten threeten-extra（スリー・テン・エクストラ） 1.7.1
org.tukaani xz 1.9
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel スパイア-プラットフォーム_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl ワイルドフライ-オープンSSL 1.1.3.Final
org.xerial sqlite-jdbc 3.42.0.0
org.xerial.snappy snappy-java 1.1.8.4
org.yaml snakeyaml（スネークヤムル） 1.33
oro oro 2.0.8
pl.edu.icm JLargeArrays (ジェイラージアレイ) 1.5
software.amazon.cryptools AmazonCorrettoCryptoProvider 1.6.1-linux-x86_64
software.amazon.ion ion-java 1.0.2
スタックス stax-api 1.0.1