次の方法で共有

Databricks Runtime 14.3 LTS

以下のリリース ノートには、Apache Spark 3.5.0 で稼働する Databricks Runtime 14.3 LTS に関する情報が記載されています。

Databricks は、2024 年 2 月にこのバージョンをリリースしました。

注意

LTS は、このバージョンが長期的にサポートされていることを意味します。 Databricks Runtime LTS バージョンのライフサイクルに関する記事を参照してください。

ヒント

サポート終了 (EoS) を迎えた Databricks Runtime のバージョンのリリース ノートについては、「サポート終了 Databricks Runtime のリリース ノート」を参照してください。 EoS Databricks Runtime のバージョンは廃止されており、更新されていない可能性があります。

新機能と機能強化

標準アクセス モード クラスター (以前の共有アクセス モード) での PySpark User-Defined Functions (UDF) でのワークスペース ファイル システムのサポート

標準クラスター上の PySpark UDF は、Git フォルダー、ワークスペース ファイル 、または UC ボリューム から Python モジュールをインポートできるようになりました。

Git フォルダーまたはワークスペース ファイルでモジュールを使用する方法の詳細については、「Python と R のモジュールを使用する」を参照してください。

Photon を使用しない削除ベクトル MERGE 最適化のサポート

削除ベクトルの最適化を利用するための MERGE 操作に Photon が不要になりました。 「削除ベクトルとは」を参照してください。

Spark カタログ API が標準アクセス モードで完全にサポートされるようになりました

標準アクセス モードで構成されたコンピューティング上の Python と Scala の両方で、spark.catalog API のすべての関数を使用できるようになりました。

Delta UniForm が一般提供されるようになった

UniForm が一般提供になり、IcebergCompatV2 テーブル機能を使うようになりました。 既存のテーブルで UniForm を有効化またはアップグレードできるようになりました。 「Iceberg クライアントを使って Delta テーブルを読み取る」を参照してください。

新しい SQL 関数 EXECUTE IMMEDIATE

EXECUTE IMMEDIATE 構文を使用して、SQL でパラメーター化されたクエリをサポートできるようになりました。 EXECUTE IMMEDIATEを参照してください。

Deltaテーブルのデータスキッピング統計を再計算する

データのスキップに使用される列を変更した後、Delta ログに格納されている統計を再計算できるようになりました。 「Delta 統計の列を指定する」を参照してください。

ステートフル ストリーミング クエリについての状態情報のクエリを実行する

構造化ストリーミング状態データとメタデータに対してクエリを実行できるようになりました。 「構造化ストリーミング状態情報の読み取り」をご覧ください。

標準クラスターでの Kafka 認証に Microsoft Entra ID を使用する

標準アクセス モードで構成されたコンピューティングで、Microsoft Entra ID を使用して OAuth を介して Event Hubs サービスを認証できるようになりました。 「Microsoft Entra ID と Azure Event Hubs を使用したサービス プリンシパル認証」を参照してください。

ファイルとパーティションを排除してクエリのパフォーマンスを改善するために追加されたサポート

JOIN 条件で null トレラントな等価性に依存する一部のクエリを高速化するために、JOIN の DynamicFilePruning 演算子の DynamicPartitionPruning と EqualNullSafe がサポートされるようになりました。

SQL セッションで一時変数を宣言する

このリリースでは、セッションで一時変数を宣言し、クエリ内で設定して参照できるようになりました。 「変数」を参照してください。

未使用の機能を削除するための Thriftserver の更新プログラム

古い機能のコードを削除するために Thriftserver コードが更新されました。 これらの変更のため、次の構成はサポートされなくなりました。

  • hive.aux.jars.path プロパティを使用して構成された Hive 補助 JAR は、hive-thriftserver 接続ではサポートされなくなりました。
  • .hiverc プロパティまたは hive.server2.global.init.file.___location 環境変数を使用して場所が構成されている Hive グローバル init ファイル (HIVE_CONF_DIR) は、hive-thriftserver 接続ではサポートされなくなりました。

Unity Catalog ボリュームでトラストストアおよびキーストア ファイルを使用する

Unity Catalog ボリュームでトラストストアおよびキーストア ファイルを使用して、Avro またはプロトコル バッファー データの Confluent スキーマ レジストリに対する認証を行えるようになりました。 Avro またはプロトコル バッファーのドキュメントをご参照ください。

ネイティブ XML ファイル形式のサポート (パブリック プレビュー)

ネイティブ XML ファイル形式のサポートは現在、パブリック プレビュー段階にあります。 XML ファイル形式のサポートにより、バッチ処理またはストリーミングのための XML データのインジェスト、クエリ、解析が可能になります。 スキーマとデータ型を自動的に推論および進化させることができ、from_xml などの SQL 式がサポートされ、XML ドキュメントを生成できます。 外部 jar は必要ありません。自動ローダー、 read_files、 COPY INTO、DLT とシームレスに連携します。 「XML ファイルの読み取りと書き込み」をご参照ください。

Cloudflare R2 ストレージのサポート (パブリック プレビュー)

Unity Catalog に登録されたデータのクラウド ストレージとして Cloudflare R2 を使用できるようになりました。 Cloudflare R2 は主に、データがリージョンをまたがるときに、クラウド プロバイダーから課金されるデータ エグレス料金を回避しようと考える Delta Sharing のユース ケースを想定しています。 R2 ストレージは、AWS S3、Azure Data Lake Storage、Google Cloud Storage でサポートされているすべての Databricks データと AI 資産をサポートします。 「Cloudflare R2 レプリカを使うか、ストレージを R2 に移行する」および「Cloudflare R2 に接続するためのストレージ資格情報を作成する」を参照してください。

標準アクセス Unity カタログ クラスターでのワークスペース ファイルへの Spark および dbutils アクセスのサポート

ワークスペース ファイルへの Spark および dbutils 読み取りおよび書き込みアクセスが、標準アクセス モード Unity カタログ クラスターでサポートされるようになりました。 「ワークスペース ファイルを操作する」を参照してください。

標準アクセス Unity カタログ クラスターでの Init スクリプトとクラスター ライブラリのサポート

標準アクセス モードの Unity Catalog クラスターでのクラスター スコープの init スクリプトと Python および JAR ライブラリのインストール (クラスター ポリシーを使用したインストールを含む) が、一般提供されるようになりました。 Databricks では、Unity Catalog ボリュームから init スクリプトとライブラリをインストールすることをお勧めします。

ライブラリのアップグレード

  • アップグレードされた Python ライブラリ:
    • fastjsonschema (2.19.0 から 2.19.1 へ)
    • filelockのバージョンを3.12.4から3.13.1へ更新
    • googleapis-common-protos (1.61.0 から 1.62.0 へ)
    • packaging (22.0 から 23.2 へ)
  • アップグレードされた R ライブラリ:
    • foreign の範囲を 0.8-82 から 0.8-85 に変更する
    • nlme (3.1-162 から 3.1-163 へ)
    • rpart (4.1.19 から 4.1.21 へ)
  • アップグレードされた Java ライブラリ:
    • com.databricks.databricks-sdk-java (0.7.0 から 0.13.0)
    • org.apache.orc.orc-core (1.9.1-shaded-protobuf から 1.9.2-shaded-protobuf へ)
    • org.apache.orc.orc-mapreduce を 1.9.1-shaded-protobuf から 1.9.2-shaded-protobuf へアップグレードする
    • org.apache.orc.orc-shims (1.9.1 から 1.9.2 へ)
    • org.scala-lang.modules.scala-collection-compat_2.12 (2.9.0 から 2.11.0 へ)

Apache Spark

Databricks Runtime 14.3 には、Apache Spark 3.5.0 が含まれています。 このリリースには、 Databricks Runtime 14.2 (EoS)に含まれるすべての Spark の修正と機能強化、および Spark に対する次の追加のバグ修正と機能強化が含まれています。

  • [SPARK-46541] [SC-153546][sql][CONNECT] 自己結合のあいまいな列参照を修正する
  • [SPARK-45433] "[SC-145163][sql] CSV/JSON スキーマ推測の修正…" を元に戻す
  • [SPARK-46723] [14.3][sasp-2792][SC-153425][connect][SCALA] addArtifact を再試行可能にする
  • [SPARK-46660] [SC-153391][connect] ReattachExecute リクエストが SessionHolder のアライブネスを更新します。
  • [SPARK-46670] [SC-153273][python][SQL] 静的な Python データ ソースとランタイム Python データ ソースを分離して DataSourceManager を自己複製できるようにする
  • [SPARK-46720] [SC-153410][sql][PYTHON] 他の DSv2 組み込みデータ ソースに合わせて Python データ ソースをリファクターする
  • [SPARK-46684] [SC-153275][python][CONNECT] 引数を正しく渡す CoGroup.applyInPandas/Arrow を修正
  • [SPARK-46667] [SC-153271][sc-153263][SQL] XML: 複数の XML データ ソースでエラーを発生させる
  • [SPARK-46382] [SC-151881][sql]XML: デフォルトでignoreSurroundingSpacesをtrueに設定する
  • [SPARK-46382] [SC-153178][sql] XML: ignoreSurroundingSpaces のドキュメントを更新します
  • [SPARK-45292] "[SC-151609][sql][HIVE] IsolatedClientLoader から共有クラスから Guava を削除する" を取り消す
  • [SPARK-45292] [SC-151609][sql][HIVE] IsolatedClientLoader から共有クラスから Guava を削除する
  • [SPARK-46311] [SC-150137][core] Master.removeDriver 中にドライバーの最終状態をログに記録する
  • [SPARK-46413] [SC-151052][python] Arrow Python UDF の returnType を検証する
  • [SPARK-46633] [WARMFIX][sc-153092][SQL] Avro リーダーが長さ 0 のブロックを処理するように修正
  • [SPARK-46537] [SC-151286][sql] コマンドからの NPE とアサートを内部エラーに変換する
  • [SPARK-46179] [SC-151678][sql] Postgres 以降、他の DBMS でゴールデン ファイルに対して他の DBMS を実行する CrossDbmsQueryTestSuites を追加する
  • [SPARK-44001] [SC-151413][protobuf] protobuf の既知のラッパー型のラップ解除を許可するオプションを追加する
  • [SPARK-40876] [SC-151786][sql] Parquet リーダー内の小数点以下桁数が大きい 10 進数の型の上位変換の拡大
  • [SPARK-46605] [SC-151769][connect] connect モジュールの lit/typedLit 関数が s.c.immutable.ArraySeq をサポートするようにする
  • [SPARK-46634] [SC-153005][sql] リテラル検証を null フィールドにドリルダウンしないでください
  • [SPARK-37039] [SC-153094][ps] 欠損値で正常に動作するように Series.astype を修正
  • [SPARK-46312] [SC-150163][core] lower_camel_case で store_types.proto を使用する
  • [SPARK-46630] [SC-153084][sql] XML: 書き込み時に XML 要素名を検証する
  • [SPARK-46627] [SC-152981][ss][UI] ストリーミング UI のタイムライン ヒントコンテンツを修正
  • [SPARK-46248] [SC-151774][sql] XML: ignoreCorruptFiles および ignoreMissingFiles オプションのサポート
  • [SPARK-46386] [SC-150766][python] 観測のアサーションを改善する (pyspark.sql.observation)
  • [SPARK-46581] [SC-151789][core] アキュムレータ V2 の isZero に関する更新コメント
  • [SPARK-46601] [SC-151785] [CORE] handleStatusMessage のログ エラーを修正する
  • [SPARK-46568] [SC-151685][python] Python データ ソース オプションを大文字と小文字を区別しないディクショナリにする
  • [SPARK-46611] [SC-151783][core] SimpleDateFormat を DateTimeFormatter に置き換えて ThreadLocal を削除する
  • [SPARK-46604] [SC-151768][sql] Literal.apply が s.c.immuable.ArraySeq をサポートする
  • [SPARK-46324] [SC-150223][sql][PYTHON] pyspark.sql.functions.user と session_user の出力名を修正します
  • [SPARK-46621] [SC-151794][python] Py4J キャプチャされた例外の Exception.getMessage における null の問題を対処する
  • [SPARK-46598] [SC-151767][sql] OrcColumnarBatchReader は、不足している列の列ベクトルを作成するときにメモリ モードを考慮する必要があります
  • [SPARK-46613] [SC-151778][sql][PYTHON] Python データ ソースの参照に失敗したときの完全な例外をログに記録する
  • [SPARK-46559] [SC-151364][mllib] パッケージ名の export をバックティックでラップする
  • [SPARK-46522] [SC-151784][python] 名前の競合による Python データ ソースの登録をブロックする
  • [SPARK-45580] [SC-149956][sql] 入れ子になったサブクエリが存在結合になるケースを処理する
  • [SPARK-46609] [SC-151714][sql] PartitioningPreservingUnaryExecNode で指数関数的な爆発を回避する
  • [SPARK-46535] [SC-151288][sql] 列統計なしで列に describe extended を実行する場合の NPE を修正する
  • [SPARK-46599] [SC-147661][sc-151770][SQL] XML: 互換性チェックに TypeCoercion.findTightestCommonType を使用する
  • [SPARK-40876] [SC-151129][sql] Parquet リーダー内の型の上位変換の拡大
  • [SPARK-46179] [SC-151069][sql] SQLQueryTestSuite の再利用可能な関数にコードをプルする
  • [SPARK-46586] [SC-151679][sql] s.c.immutable.ArraySeq で customCollectionCls を MapObjects としてサポートする
  • [SPARK-46585] [SC-151622][core] metricPeaks で immutable.ArraySeq を使用する代わりに mutable.ArraySeq.toSeq として Executor を直接構築
  • [SPARK-46488] [SC-151173][sql] タイムスタンプの解析中に trimAll 呼び出しをスキップする
  • [SPARK-46231] [SC-149724][python] 残りのすべての NotImplementedError & TypeError を PySpark エラー フレームワークに移行する
  • [SPARK-46348] [SC-150281][core] spark.deploy.recoveryTimeout をサポートする
  • [SPARK-46313] [SC-150164][core] Spark HA 回復期間をログする
  • [SPARK-46358] [SC-150307][connect] ResponseValidator#verifyResponse の条件チェックを簡略化する
  • [SPARK-46380] [SC-151078][sql]インライン テーブル式を評価する前の現在の時刻/日付を置き換えます。
  • [SPARK-46563] [SC-151441][sql] conf spark.sql.debug.maxToStringFields に従わない simpleString を表示する
  • [SPARK-46101] [SC-149211][core][SQL][mllib][SS][r][CONNCT][graphx] (string|array).sizeを(string|array).lengthに置き換えてスタックの深さを減らす
  • [SPARK-46539] [SC-151469][sql] SELECT * EXCEPT (構造体のすべてのフィールド) が原因でアサーションが失敗する
  • [SPARK-46565] [SC-151414][python] Python データ ソースのエラー クラスとエラー メッセージを絞り込む
  • [SPARK-46576] [SC-151614][sql] サポートされていないデータ ソース保存モードのエラー メッセージを改善する
  • [SPARK-46540] [SC-151355][python] Python データ ソースが Row オブジェクトという名前の関数出力を読み取るときに列名を優先する
  • [SPARK-46577] [SC-151448][sql] HiveMetastoreLazyInitializationSuite が hive の SessionState をリークする
  • [SPARK-44556] [SC-151562][sql] vectorizedReader を有効にしたときに OrcTail を再利用する
  • [SPARK-46587] [SC-151618][sql] XML: XSD の大きな整数変換を修正する
  • [SPARK-46382] [SC-151297][sql] XML: 要素間に散在する値をキャプチャする
  • [SPARK-46567] [SC-151447][core] ReadAheadInputStream の ThreadLocal の削除
  • [SPARK-45917] [SC-151269][python][SQL] 起動時の Python データ ソースの自動登録
  • [SPARK-28386] [SC-151014][sql] ORDER BY と GROUP BY を含む HAVING 列を解決できません
  • [SPARK-46524] [SC-151446][sql] 無効な保存モードのエラー メッセージを改善する
  • [SPARK-46294] [SC-150672][sql] init とゼロ値のセマンティクスをクリーンアップする
  • [SPARK-46301] [SC-150100][core] spark.worker.(initial|max)RegistrationRetries をサポートする
  • [SPARK-46542] [SC-151324][sql] 常に true であるため、c>=0 から ExternalCatalogUtils#needsEscaping のチェックを削除します
  • [SPARK-46553] [SC-151360][ps] オブジェクト dtype を使用した FutureWarning の interpolate
  • [SPARK-45914] [SC-151312][python] Python データ ソース書き込みのコミットと中止 API のサポート
  • [SPARK-46543] [SC-151350][python][CONNECT] 空のフィールドに対して json_tuple が PySparkValueError をスローするようにする
  • [SPARK-46520] [SC-151227][python] Python データ ソース書き込みの上書きモードをサポートする
  • [SPARK-46502] [SC-151235][sql] UnwrapCastInBinaryComparison でのタイムスタンプ型のサポート
  • [SPARK-46532] [SC-151279][connect] ErrorInfo のメタデータにメッセージ パラメーターを渡す
  • [SPARK-46397] "[SC-151311][python][CONNECT] 無効な sha2に対して関数 PySparkValueError が numBits を送出するべきです" を元に戻す
  • [SPARK-46170] [SC-149472][sql] SparkSessionExtensions でのアダプティブクエリ後処理プランナーストラテジールールの挿入のサポート
  • [SPARK-46444] [SC-151195][sql] V2SessionCatalog#createTable はテーブルを読み込むべきではありません
  • [SPARK-46397] [SC-151311][python][CONNECT] 関数 sha2 が無効な PySparkValueError に対して numBits を発生させる必要がある
  • [SPARK-46145] [SC-149471][sql] テーブルまたはビューが見つからないときに spark.catalog.listTables が例外をスローしない
  • [SPARK-46272] [SC-151012][sql] DSv2 ソースを使用した CTAS のサポート
  • [SPARK-46480] [SC-151127][core][SQL] テーブル キャッシュ タスクの試行時に NPE を修正する
  • [SPARK-46100] [SC-149051][core][PYTHON] (string|array).size を (string|array).length に置換してスタックの深さを減らす
  • [SPARK-45795] [SC-150764][sql] DS V2 ではプッシュダウン モードがサポートされます
  • [SPARK-46485] [SC-151133][sql] V1Write は不要なときに Sort を追加しないでください
  • [SPARK-46468] [SC-151121] [SQL] キーをグループ化せずに集計を使用して EXISTS サブクエリの COUNT バグを処理する
  • [SPARK-46246] [SC-150927][sql] EXECUTE IMMEDIATE SQL のサポート
  • [SPARK-46498] [SC-151199][core] shuffleServiceEnabled から o.a.spark.util.Utils#getConfiguredLocalDirs を削除する
  • [SPARK-46440] [SC-150807][sql] 既定でリベース構成を CORRECTED モードに設定します
  • [SPARK-45525] [SC-151120][sql][PYTHON] DSv2 を使用した Python データ ソース書き込みのサポート
  • [SPARK-46505] [SC-151187][connect] ProtoUtils.abbreviate でバイトしきい値を構成可能にする
  • [SPARK-46447] [SC-151025][sql] 従来の datetime リベース SQL 構成を削除する
  • [SPARK-46443] [SC-151123][sql] 10 進数の精度と小数点以下桁数を H2 言語で決定する必要がある
  • [SPARK-46384] [SC-150694][spark-46404][SS][ui] 構造化ストリーミング ページの操作期間スタック グラフを修正
  • [SPARK-46207] [SC-151068][sql] DataFrameWriterV2 での MergeInto のサポート
  • [SPARK-46452] [SC-151018][sql] DataWriter に新しい API を追加してレコードの反復子を書き込む
  • [SPARK-46273] [SC-150313][sql] DSv2 ソースを使用して INSERT INTO/OVERWRITE をサポートする
  • [SPARK-46344] [SC-150267][core] ドライバーが正常に存在するがマスターが切断されているときに適切に警告する
  • [SPARK-46284] [SC-149944][python][CONNECT] Python に session_user 関数を追加する
  • [SPARK-46043] [SC-149786][sql] DSv2 ソースを使用したテーブルの作成のサポート
  • [SPARK-46323] [SC-150191][python] pyspark.sql.functions の出力名を修正しました。now
  • [SPARK-46465] [SC-151059][python][CONNECT] PySpark に Column.isNaN を追加する
  • [SPARK-46456] [SC-151050][core] SparkContextシャットダウンのブロックを解除するためのJettyサーバーの停止タイムアウトを設定するspark.ui.jettyStopTimeoutを追加する
  • [SPARK-43427] [SC-150356][protobuf] spark protobuf: 符号なし整数型のアップキャストを許可する
  • [SPARK-46399] [SC-151013][14.x][Core] Spark リスナーを使用するためにアプリケーション終了イベントに終了状態を追加する
  • [SPARK-46423] [SC-150752][python][SQL] DataSource.lookupDataSourceV2 で Python データ ソース インスタンスを作成する
  • [SPARK-46424] [SC-150765][python][SQL] Python データ ソースでの Python メトリックのサポート
  • [SPARK-46330] [SC-151015] HybridStore が有効になっている場合の Spark UI ブロックの長時間読み込み
  • [SPARK-46378] [SC-150397][sql] 集計をプロジェクトに変換した後も並べ替えを削除する
  • [SPARK-45506] [SC-146959][connect] SparkConnect addArtifact に ivy URI のサポートを追加する
  • [SPARK-45814] [SC-147871][connect][SQL] メモリリークを防ぐため、ArrowConverters.createEmptyArrowBatch が close() を呼び出すようにする
  • [SPARK-46427] [SC-150759][python][SQL] Pythonデータソースの説明を説明の中でわかりやすく変更する
  • [SPARK-45597] [SC-150730][python][SQL] SQL での Python データ ソースを使用したテーブルの作成のサポート (DSv2 exec)
  • [SPARK-46402] [SC-150700][python] getMessageParameters と getQueryContext のサポートを追加する
  • [SPARK-46453] [SC-150897][connect] internalError() で SessionHolder からの例外をスローする
  • [SPARK-45758] [SC-147454][sql] hadoop 圧縮コーデック用マッパーの導入
  • [SPARK-46213] [PYTHON] エラー フレームワークの PySparkImportError を導入する
  • [SPARK-46230] [SC-149960][python] RetriesExceeded を PySpark に移行するエラー
  • [SPARK-45035] [SC-145887][sql] 複数行 CSV/JSON で ignoreCorruptFiles/ignoreMissingFiles を修正するとエラーが報告されます
  • [SPARK-46289] [SC-150846][sql] 解釈モードでの UDT の並べ替えのサポート
  • [SPARK-46229] [SC-150798][python][CONNECT] Spark Connect で groupBy と cogroup に applyInArrow を追加する
  • [SPARK-46420] [SC-150847][sql] SparkSQLCLIDriver で未使用のトランスポートを削除する
  • [SPARK-46226] [PYTHON] 残りすべての RuntimeError を PySpark エラー フレームワークに移行する
  • [SPARK-45796] [SC-150613][sql] MODE() WITHIN GROUP (ORDER BY 列) をサポートする
  • [SPARK-40559] [SC-149686][python][14.X] applyInArrow を groupBy と cogroup に追加する
  • [SPARK-46069] [SC-149672][sql] タイムスタンプ型から日付型へのラップ解除をサポート
  • [SPARK-46406] [SC-150770][sql] エラー クラスに名前を割り当てる_LEGACY_ERROR_TEMP_1023
  • [SPARK-46431] [SC-150782][ss] セッション反復子で IllegalStateException を internalError に変換する
  • [SPARK-45807] [SC-150751][sql] ViewCatalog API の改善
  • [SPARK-46009] [SC-149771][sql][CONNECT] PercentileCont と PercentileDisc の解析規則を functionCall にマージする
  • [SPARK-46403] [SC-150756][sql] getBytesUnsafe メソッドを使用して Parquet バイナリをデコードする
  • [SPARK-46389] [SC-150779][core] RocksDB/LevelDBが例外をスローしたときに、手動でcheckVersionインスタンスを閉じる。
  • [SPARK-46360] [SC-150376][python] 新しい getMessage API でエラー メッセージのデバッグを強化する
  • [SPARK-46233] [SC-149766][python] 残りのすべての AttributeError を PySpark エラー フレームワークに移行する
  • [SPARK-46394] [SC-150599][sql] spark.sql.legacy.keepCommandOutputSchema true に設定されている場合に特殊文字を持つスキーマに関する spark.catalog.listDatabases() の問題を修正します
  • [SPARK-45964] [SC-148484][sql] Catalyst パッケージの XML および JSON パッケージのプライベート sql アクセサーを削除します
  • [SPARK-45856] [SC-148691] ArtifactManager を Spark Connect から SparkSession (SQL/Core) に移動する
  • [SPARK-46409] [SC-150714][connect] spark-connect-scala-client 起動スクリプトを修正
  • [SPARK-46416] [SC-150699][core] @tailrec を HadoopFSUtils#shouldFilterOutPath に追加する
  • [SPARK-46115] [SC-149154][sql] encode() の文字セットを制限する
  • [SPARK-46253] [SC-150416][python] MapInArrow を使用して Python データ ソースの読み取りを計画する
  • [SPARK-46339] [SC-150266][ss] バッチ番号の名前を持つディレクトリをメタデータ ログとして扱うべきではありません
  • [SPARK-46353] [SC-150396][core] RegisterWorker 単体テスト カバレッジを改善するためにリファクタリングする
  • [SPARK-45826] [SC-149061][sql] DataFrame クエリ コンテキストにスタック トレース用の SQL 構成を追加する
  • [SPARK-45649] [SC-150300][sql] OffsetWindowFunctionFrame の準備フレームワークを統合する
  • [SPARK-46346] [SC-150282][core] UNKNOWN メッセージでワーカーを ALIVE から RegisterWorker に更新するようにマスターを修正する
  • [SPARK-46388] [SC-150496][sql] HiveAnalysis が query.resolved のパターン ガードを見逃す
  • [SPARK-46401] [SC-150609][core] !isEmpty() で RoaringBitmap するのではなく、getCardinality() > 0 で RemoteBlockPushResolver を使用する
  • [SPARK-46393] [SC-150603][sql] JDBC テーブル カタログの例外を分類する
  • [SPARK-45798] [SC-150513][connect] Followup: serverSessionId を SessionHolderInfo に追加する
  • [SPARK-46153] [SC-146564][sc-150508][SQL] XML: TimestampNTZType のサポートの追加
  • [SPARK-46075] [SC-150393][connect] SparkConnectSessionManager の機能強化
  • [SPARK-46357] [SC-150596] setConf の不適切なドキュメント使用を conf.set に置き換える
  • [SPARK-46202] [SC-150420][connect] カスタム ターゲット ディレクトリをサポートする新しい ArtifactManager API を公開する
  • [SPARK-45824] [SC-147648][sql] ParseException でエラー クラスを強制する
  • [SPARK-45845] [SC-148163][ss][UI] ストリーミング UI に削除された状態行の数を追加する
  • [SPARK-46316] [SC-150181][core] buf-lint-action モジュールで core を有効にする
  • [SPARK-45816] [SC-147656][sql] タイムスタンプから整数へのキャスト中にオーバーフローしたときに NULL を返します
  • [SPARK-46333] [SC-150263][sql] IllegalStateException を触媒の SparkException.internalError に置き換える
  • [SPARK-45762] [SC-148486][core] スタートアップ順序を変更してユーザー jar で定義されたシャッフル マネージャーをサポートする
  • [SPARK-46239] [SC-149752][core] Jetty 情報を非表示にする
  • [SPARK-45886] [SC-148089][sql] DataFrame コンテキストの callSite で完全スタック トレースを出力する
  • [SPARK-46290] [SC-150059][python] SaveMode を DataSourceWriter のブール値フラグに変更する
  • [SPARK-45899] [SC-148097][connect] errorInfoToThrowable で errorClass を設定する
  • [SPARK-45841] [SC-147657][sql] DataFrameQueryContext によるスタック トレースの公開
  • [SPARK-45843] [SC-147721][core] REST Submission API での killall のサポート
  • [SPARK-46234] [SC-149711][python] PySpark エラー フレームワークの PySparkKeyError を導入
  • [SPARK-45606] [SC-147655][sql] 多層ランタイム フィルターのリリース制限
  • [SPARK-45725] [SC-147006][sql] 既定以外の IN サブクエリ ランタイム フィルターを削除する
  • [SPARK-45694] [SC-147314][spark-45695][SQL] 非推奨の API 使用 View.force と ScalaNumberProxy.signum をクリーンアップする
  • [SPARK-45805] [SC-147488][sql] withOrigin を汎用的にする
  • [SPARK-46292] [SC-150086][core][UI] MasterPage のワーカーの概要を表示する
  • [SPARK-45685] [SC-146881][core][SQL] LazyList の代わりに Stream を使用する
  • [SPARK-45888] [SC-149945][ss] エラー クラス フレームワークを状態 (メタデータ) データ ソースに適用する
  • [SPARK-46261] [SC-150111][connect] DataFrame.withColumnsRenamed は dict/map の順序を維持する必要があります
  • [SPARK-46263] [SC-149933][sql][SS][ml][MLLIB][ui] SeqOps.view と ArrayOps.view の変換をクリーンアップする
  • [SPARK-46029] [SC-149255][sql] DS V2 プッシュダウンの一重引用符、_、% をエスケープする
  • [SPARK-46275] [SC-150189] Protobuf: 逆シリアル化が失敗したときに許容モードで null を返す。
  • [SPARK-46320] [SC-150187][core] spark.master.rest.host をサポートする
  • [SPARK-46092] [SC-149658][sql] オーバーフローする Parquet 行グループ フィルターをプッシュダウンしない
  • [SPARK-46300] [SC-150097][python][CONNECT] 完全なテスト カバレッジを持つ列で一致するマイナー動作を照合する
  • [SPARK-46298] [SC-150092][python][CONNECT] Catalog.createExternalTable の非推奨に関する警告、テスト ケース、エラーを照合する
  • [SPARK-45689] [SC-146898][spark-45690][SPARK-45691][core][SQL] StringContext/StringOps/RightProjection/LeftProjection/Either および BufferedIterator/CanBuildFrom/Traversable の型の使用に関連する非推奨 API の使用を整理します。
  • [SPARK-33393] [SC-148407][sql] v2 での SHOW TABLE EXTENDED のサポート
  • [SPARK-45737] [SC-147011][sql] .toArray[InternalRow] の不要な SparkPlan#executeTake を削除する
  • [SPARK-46249] [SC-149797][ss] バックグラウンド操作との競合を防ぐために RocksDB メトリックを取得するためにインスタンス ロックが必要
  • [SPARK-46260] [SC-149940][python][SQL] DataFrame.withColumnsRenamed はディクテーションの順序を考慮する必要があります
  • [SPARK-46274] [SC-150043] [SQL] 変換する前に長い有効性をチェックするように範囲演算子 computeStats() を修正する
  • [SPARK-46040] [SC-149767][sql][Python] UDTF API を更新して、一般的な式をサポートするようにパーティション分割/並べ替え列を "分析" する
  • [SPARK-46287] [SC-149949][python][CONNECT] DataFrame.isEmpty はすべてのデータ型で動作する必要があります
  • [SPARK-45678] [SC-146825][core] tryOrFetchFailedException の下の BufferReleasingInputStream.available/reset を対象に含める
  • [SPARK-45667] [SC-146716][core][SQL][connect] IterableOnceExtensionMethodsに関連する非推奨の API の使用をクリーンアップします。
  • [SPARK-43980] [SC-148992][sql] select * except 構文を導入
  • [SPARK-46269] [SC-149816][ps] NumPy の互換性関数テストをさらに有効にする
  • [SPARK-45807] [SC-149851][sql] createOrReplaceView(..) / replaceView(..) を ViewCatalog に追加する
  • [SPARK-45742] [SC-147212][core][CONNECT][mllib][PYTHON] Scala Array を immutable.ArraySeqにラップするための暗黙的な関数を導入します。
  • [SPARK-46205] [SC-149655][core] PersistenceEngine を使用して KryoSerializer のパフォーマンスを向上させる
  • [SPARK-45746] [SC-149359][python] UDTF 'analyze' メソッドまたは 'eval' メソッドが正しくない値を受け入れるか返す場合、特定のエラー メッセージを返します
  • [SPARK-46186] [SC-149707][connect] ExecuteThreadRunner が開始前に中断されたときに無効な状態遷移を修正する
  • [SPARK-46262] [SC-149803][ps] Pandas-on-Spark オブジェクトの np.left_shift のテストを有効にします。
  • [SPARK-45093] [SC-149679][connect][PYTHON] AddArtifactHandler のエラー処理と変換を適切にサポート
  • [SPARK-46188] [SC-149571][doc][3.5] Spark ドキュメントで生成されたテーブルの CSS を修正する
  • [SPARK-45940] [SC-149549][python] DataSourceReader インターフェイスに InputPartition を追加する
  • [SPARK-43393] [SC-148301][sql] アドレス シーケンス式のオーバーフローのバグに対処する。
  • [SPARK-46144] [SC-149466][sql] 条件にサブクエリが含まれている場合に INSERT INTO … REPLACE ステートメント に失敗する
  • [SPARK-46118] [SC-149096][sql][SS][connect] SparkSession.sessionState.conf の代わりに SQLContext.conf を使用し、SQLContext.conf を非推奨としてマークする
  • [SPARK-45760] [SC-147550][sql] 式で追加して式の重複を回避する
  • [SPARK-43228] [SC-149670][sql] 結合キーも CoalesceBucketsInJoin の PartitioningCollection と一致します
  • [SPARK-46223] [SC-149691][ps] 未使用のコードをクリーンアップして SparkPandasNotImplementedError をテストする
  • [SPARK-46119] [SC-149205][sql] toString の UnresolvedAlias メソッドをオーバーライドする
  • [SPARK-46206] [SC-149674][ps] SQL プロセッサに対してより狭いスコープ例外を使用する
  • [SPARK-46191] [SC-149565][core] 既存のファイルの場合 FileSystemPersistenceEngine.persist エラー メッセージを改善する
  • [SPARK-46036] [SC-149356][sql] raise_error関数からのエラー クラスの削除
  • [SPARK-46055] [SC-149254][sql] カタログ データベース API の書き換えの実装
  • [SPARK-46152] [SC-149454][sql] XML: XML スキーマ推論で DecimalType のサポートを追加する
  • [SPARK-45943] [SC-149452][sql] DetermineTableStats を解決規則に移動する
  • [SPARK-45887] [SC-148994][sql] Encode の codegen と非 codegen 実装を統一する
  • [SPARK-45022] [SC-147158][sql] データセット API エラーのコンテキストを指定する
  • [SPARK-45469] [SC-145135][core][SQL][connect][PYTHON] toIterator を iterator の IterableOnce に置き換える
  • [SPARK-46141] [SC-149357][sql] spark.sql.legacy.ctePrecedencePolicy の既定値を CORRECTED に変更
  • [SPARK-45663] [SC-146617][core][MLLIB] IterableOnceOps#aggregate を IterableOnceOps#foldLeft に置き換える
  • [SPARK-45660] [SC-146493][sql] ComputeCurrentTime ルールでリテラル オブジェクトを再利用する
  • [SPARK-45803] [SC-147489][core] 使用されなくなった RpcAbortException を削除する
  • [SPARK-46148] [SC-149350][ps] pyspark.pandas.mlflow.load_model テストの修正 (Python 3.12)
  • [SPARK-46110] [SC-149090][python] カタログ、conf、connect、observation、pandas モジュールでエラー クラスを使用する
  • [SPARK-45827] [SC-149203][sql] codegen と vectorized リーダーが無効になっているバリアント修正
  • [SPARK-46080] "[SC-149012][python] Cloudpickle を 3.0.0 にアップグレードする" を元に戻します
  • [SPARK-45460] [SC-144852][sql] scala.collection.convert.ImplicitConversions を scala.jdk.CollectionConverters に置き換えます
  • [SPARK-46073] [SC-149019][sql] 特定のコマンドの UnresolvedNamespace の特別な解決を削除する
  • [SPARK-45600] [SC-148976][python] Python データ ソース登録セッション レベルを作成する
  • [SPARK-46074] [SC-149063][connect][SCALA] UDF エラー時のエラー メッセージの詳細が不十分です
  • [SPARK-46114] [SC-149076][python] エラー フレームワークに PySparkIndexError を追加する
  • [SPARK-46120] [SC-149083][connect][PYTHON] ヘルパー関数の削除 DataFrame.withPlan
  • [SPARK-45927] [SC-148660][python] Python データ ソースの更新パスの処理
  • [SPARK-46062] [14.x][sc-148991][SQL] CTE 定義と参照の間で isStreaming フラグを同期する
  • [SPARK-45698] [SC-146736][core][SQL][ss] Buffer に関連する非推奨の API の使用をクリーンアップします
  • [SPARK-46064] [SC-148984][sql][SS] EliminateEventTimeWatermark をアナライザーに移動し、解決された子にのみ有効に変更する
  • [SPARK-45922] [SC-149038][connect][CLIENT] マイナー再試行のリファクタリング (複数のポリシーへのフォローアップ)
  • [SPARK-45851] [SC-148419][connect][SCALA] scala クライアントで複数のポリシーをサポート
  • [SPARK-45974] [SC-149062][sql] RowLevelOperationRuntimeGroupFiltering に scan.filterAttributes の空でない判断を追加する
  • [SPARK-46085] [SC-149049][connect] Scala Spark Connect クライアントの Dataset.groupingSets
  • [SPARK-45136] [SC-146607][connect] アンモナイト サポートで ClosureCleaner を強化する
  • [SPARK-46084] [SC-149020][ps] カテゴリ型のデータ型キャスト操作をリファクタリングする
  • [SPARK-46083] [SC-149018][python] SparkNoSuchElementException を正規エラー API として作成する
  • [SPARK-46048] [SC-148982][python][CONNECT] Python Spark Connect での DataFrame.groupingSets のサポート
  • [SPARK-46080] [SC-149012][python] Cloudpickle を 3.0.0 にアップグレードする
  • [SPARK-46082] [SC-149015][python][CONNECT] Spark Connect を使用した Pandas Functions API の protobuf 文字列表現を修正
  • [SPARK-46065] [SC-148985][ps] (DataFrame|Series).factorize()を使用するように create_map をリファクタリングします。
  • [SPARK-46070] [SC-148993][sql] ホット ループ外の SparkDateTimeUtils.getZoneId で正規表現パターンをコンパイルする
  • [SPARK-46063] [SC-148981][python][CONNECT] cute、rollup、groupby、 pivot の引数の型に関連するエラー メッセージを改善する
  • [SPARK-44442] [SC-144120][mesos] Mesos のサポートを削除する
  • [SPARK-45555] [SC-147620][python] 失敗したアサーションのデバッグ可能なオブジェクトが含まれています
  • [SPARK-46048] [SC-148871][python][SQL] PySpark での DataFrame.groupingSets のサポート
  • [SPARK-45768] [SC-147304][sql][PYTHON] SQL での Python 実行時に faulthandler をランタイム構成にする
  • [SPARK-45996] [SC-148586][python][CONNECT] Spark Connect の適切な依存関係要件メッセージを表示する
  • [SPARK-45681] [SC-146893][ui] UIUtils.errorMessageCell の js バージョンを複製して、UI での一貫性のあるエラー レンダリングを行います
  • [SPARK-45767] [SC-147225][core] TimeStampedHashMap とその UT を削除する
  • [SPARK-45696] [SC-148864][core] 特性 Promise のメソッド tryCompleteWith の修正は非推奨になった
  • [SPARK-45503] [SC-146338][ss] RocksDB 圧縮を設定するための構成を追加する
  • [SPARK-45338] [SC-143934][core][SQL] scala.collection.JavaConverters を scala.jdk.CollectionConverters に置き換える
  • [SPARK-44973] [SC-148804][sql] ArrayIndexOutOfBoundsException の conv() を修正
  • [SPARK-45912] [SC-144982][sc-148467][SQL] XSDToSchema API の機能強化: クラウド ストレージアクセシビリティのための HDFS API への変更
  • [SPARK-45819] [SC-147570][core] REST Submission APIでclearをサポート
  • [SPARK-45552] [14.x][sc-146874][PS] assertDataFrameEqual に柔軟なパラメーターを導入
  • [SPARK-45815] [SC-147877][sql][Streaming][14.x][CHERRY-PICK] 他のストリーミング ソースのインターフェイスを提供して _metadata 列を追加する
  • [SPARK-45929] [SC-148692][sql] データフレーム API での groupingSets 操作のサポート
  • [SPARK-46012] [SC-148693][core] アプリの状態ファイルがない場合、EventLogFileReader はローリング ログを読み取るべきではありません
  • [SPARK-45965] [SC-148575][sql] DSv2 パーティション分割式を functions.partitioning に移動する
  • [SPARK-45971] [SC-148541][core][SQL] SparkCollectionUtils のパッケージ名を org.apache.spark.util に修正する
  • [SPARK-45688] [SC-147356][spark-45693][CORE] MapOps & 非推奨の API の使用をクリーンアップし、修正を行う method += in trait Growable is deprecated
  • [SPARK-45962] [SC-144645][sc-148497][SQL] treatEmptyValuesAsNulls を削除し、代わりに XML で nullValue オプションを使用する
  • [SPARK-45988] [SC-148580][spark-45989][PYTHON] Python 3.11 以降で genericAlias list 処理するように typehints を修正
  • [SPARK-45999] [SC-148595][ps] PandasProduct で専用 cumprod を使用
  • [SPARK-45986] [SC-148583][ml][PYTHON] Python 3.11 の pyspark.ml.torch.tests.test_distributor を修正
  • [SPARK-45994] [SC-148581][python] description-file を description_file に変更する
  • [SPARK-45575] [SC-146713][sql] df read API に対するタイムトラベルオプションのサポート
  • [SPARK-45747] [SC-148404][ss] セッション ウィンドウ集計の読み取り状態を処理するために、状態メタデータのプレフィックス キー情報を使用する
  • [SPARK-45898] [SC-148213][sql] 未解決の論理プランを使用するようにカタログ テーブル API を書き換える
  • [SPARK-45828] [SC-147663][sql] dsl で非推奨のメソッドを削除する
  • [SPARK-45990] [SC-148576][spark-45987][PYTHON][connect] protobufを4.25.1にアップグレードしてPython 3.11をサポート
  • [SPARK-45911] [SC-148226][core] TLS1.3 を RPC SSL の既定値にする
  • [SPARK-45955] [SC-148429][ui] フレームグラフとスレッド ダンプの詳細のサポートを折りたたむ
  • [SPARK-45936] [SC-148392][ps] Index.symmetric_difference を最適化する
  • [SPARK-45389] [SC-144834][sql][3.5] パーティション メタデータの取得に関する MetaException 照合規則の修正
  • [SPARK-45655] [SC-148085][sql][SS] CollectMetrics の AggregateFunctions 内で非決定論的な式を許可する
  • [SPARK-45946] [SC-148448][ss] 非推奨の FileUtils 書き込みの使用を修正し、RocksDBSuite でデフォルトの文字セットを渡せるようにする
  • [SPARK-45511] [SC-148285][ss] 状態データ ソース - 閲覧者
  • [SPARK-45918] [SC-148293][ps] MultiIndex.symmetric_difference を最適化する
  • [SPARK-45813] [SC-148288][connect][PYTHON] コマンドから観察されたメトリックを返します
  • [SPARK-45867] [SC-147916][core] spark.worker.idPattern をサポートする
  • [SPARK-45945] [SC-148418][connect] parser のヘルパー関数を追加する
  • [SPARK-45930] [SC-148399][sql] MapInPandas/MapInArrow での非決定論的 UDF のサポート
  • [SPARK-45810] [SC-148356][python] 入力テーブルからの行の使用を停止する Python UDTF API を作成する
  • [SPARK-45731] [SC-147929][sql] また、ANALYZE TABLE コマンドを使用してパーティション統計を更新します
  • [SPARK-45868] [SC-148355][connect] Vanilla Spark と同じパーサーを spark.table が使用するようにする
  • [SPARK-45882] [SC-148161][sql] BroadcastHashJoinExec のパーティショニング伝播は CoalescedHashPartitioning を尊重するべきである
  • [SPARK-45710] [SC-147428][sql] エラー _LEGACY_ERROR_TEMP_21に名前を割り当てる[59,60,61,62]
  • [SPARK-45915] [SC-148306][sql] decimal(x, 0) は、PromoteStrings の IntegralType と同じように扱います
  • [SPARK-45786] [SC-147552][sql] 不正確な 10 進数の乗算と除算の結果を修正
  • [SPARK-45871] [SC-148084][connect] .toBuffer モジュールの connect に関連する最適化コレクション変換
  • [SPARK-45822] [SC-147546][connect] SparkConnectSessionManager が停止した sparkcontext を検索する場合がある
  • [SPARK-45913] [SC-148289][python] PySpark エラーから内部属性をプライベートにします。
  • [SPARK-45827] [SC-148201][sql] Spark にバリアント型を追加します。
  • [SPARK-44886] [SC-147876][sql] CREATE/REPLACE CLUSTER BY に TABLE 句を導入
  • [SPARK-45756] [SC-147959][core] spark.master.useAppNameAsAppId.enabled をサポートする
  • [SPARK-45798] [SC-147956][connect] Assert サーバー側セッション ID
  • [SPARK-45896] [SC-148091][sql] 期待される正しい型で ValidateExternalType を構築
  • [SPARK-45902] [SC-148123][sql] resolvePartitionColumns から未使用の関数 DataSource を削除します
  • [SPARK-45909] [SC-148137][sql] NumericType で安全にアップキャストできる場合は、IsNotNull キャストを削除します
  • [SPARK-42821] [SC-147715][sql] splitFiles メソッドの未使用のパラメーターを削除する
  • [SPARK-45875] [SC-148088][core] MissingStageTableRowData モジュールから core を削除する
  • [SPARK-45783] [SC-148120][python][CONNECT] Spark Connect モードが有効になっていてもリモート URL が設定されていない場合のエラー メッセージを改善する
  • [SPARK-45804] [SC-147529][ui] 炎グラフのオン/オフを切り替える spark.ui.threadDump.flamegraphEnabled 構成を追加する
  • [SPARK-45664] [SC-146878][sql] orc 圧縮コーデック用マッパーの導入
  • [SPARK-45481] [SC-146715][sql] parquet 圧縮コーデック用マッパーを導入する
  • [SPARK-45752] [SC-148005][sql] 参照されていない CTE 関係を確認するためのコードを簡略化する
  • [SPARK-44752] [SC-146262][sql] XML: Spark Docs の更新
  • [SPARK-45752] [SC-147869][sql] 参照されていない CTE はすべて CheckAnalysis0 でチェックする必要があります
  • [SPARK-45842] [SC-147853][sql] アナライザーを使用するようにカタログ関数 API をリファクタリングする
  • [SPARK-45639] [SC-147676][sql][PYTHON] DataFrameReader での Python データ ソースの読み込みのサポート
  • [SPARK-45592] [SC-146977][sql] InMemoryTableScanExec を使用した AQE での正確性の問題
  • [SPARK-45794] [SC-147646][ss] ストリーミング状態メタデータ情報を照会する状態メタデータ ソースを導入する
  • [SPARK-45739] [SC-147059][python] faulthandler に関して EOFException のみの代わりに IOException をキャッチする
  • [SPARK-45677] [SC-146700] 観測 API のエラー ログを改善する
  • [SPARK-45544] [SC-146873][core] SSL サポートを TransportContext に統合する
  • [SPARK-45654] [SC-147152][python] Python データ ソース書き込み API を追加する
  • [SPARK-45771] [SC-147270][core] 既定で spark.eventLog.rolling.enabled を有効にする
  • [SPARK-45713] [SC-146986][python] Python データ ソースの登録のサポート
  • [SPARK-45656] [SC-146488][sql] 異なるデータセットで同じ名前の観測値を指定した場合の観測値を修正する
  • [SPARK-45808] [SC-147571][connect][PYTHON] SQL 例外のエラー処理の改善
  • [SPARK-45774] [SC-147353][core][UI] spark.master.ui.historyServerUrl での ApplicationPage のサポート
  • [SPARK-45776] [SC-147327][core] SPARK-39553で追加されたMapOutputTrackerMaster#unregisterShuffleの防御的nullチェックを削除する
  • [SPARK-45780] [SC-147410][connect] InheritableThread ですべての Spark Connect クライアント スレッドローカルを伝達する
  • [SPARK-45785] [SC-147419][core] アプリ番号をローテーションする spark.deploy.appNumberModulo のサポート
  • [SPARK-45793] [SC-147456][core] 組み込みの圧縮コーデックを改善する
  • [SPARK-45757] [SC-147282][ml] Binarizer での NNZ の再計算を回避する
  • [SPARK-45209] [SC-146490][core][UI] Executor スレッド ダンプ ページのフレーム グラフのサポート
  • [SPARK-45777] [SC-147319][core] spark.test.appId のサポートを LocalSchedulerBackend で提供
  • [SPARK-45523] [SC-146331][python] null チェックをショートカットを取り入れる形でリファクタリングする
  • [SPARK-45711] [SC-146854][sql] avro 圧縮コーデック用マッパーの導入
  • [SPARK-45523] [SC-146077][python] UDTF が null 非許容列に対して None を返した場合に役立つエラー メッセージを返します
  • [SPARK-45614] [SC-146729][sql] エラー _LEGACY_ERROR_TEMP_215 [6,7,8] に名前を割り当てる
  • [SPARK-45755] [SC-147164][sql] グローバル制限を適用して Dataset.isEmpty() を向上 1
  • [SPARK-45569] [SC-145915][sql] エラー _LEGACY_ERROR_TEMP_2153に名前を割り当てる
  • [SPARK-45749] [SC-147153][core][WEBUI] Spark History Server 列を正しく並べ替えるように Duration を修正する
  • [SPARK-45754] [SC-147169][core] spark.deploy.appIdPattern をサポートする
  • [SPARK-45707] [SC-146880][sql] DataFrameStatFunctions.countMinSketch で CountMinSketchAgg を簡略化する
  • [SPARK-45753] [SC-147167][core] spark.deploy.driverIdPattern をサポートする
  • [SPARK-45763] [SC-147177][core][UI] 存在する場合にのみ MasterPage 列を表示するように Resource を改善する
  • [SPARK-45112] [SC-143259][sql] SQL データセット関数で UnresolvedFunction ベースの解決を使用する

Databricks ODBC/JDBC ドライバーのサポート

Databricks では、過去 2 年間にリリースされた ODBC/JDBC ドライバーがサポートされています。 最近リリースされたドライバーをダウンロードしてアップグレードしてください (ODBC のダウンロード、JDBC のダウンロード)。

メンテナンスアップデート

「Databricks Runtime 14.3 メンテナンス更新プログラム」をご参照ください。

システム環境

  • オペレーティング システム: Ubuntu 22.04.3 LTS
    • 注: これは、Databricks ランタイム コンテナーで使用される Ubuntu バージョンです。 DBR コンテナーは、異なる Ubuntu バージョンまたは Linux ディストリビューションを使用する可能性があるクラウド プロバイダーの仮想マシン上で実行されます。
  • Java: Zulu 8.74.0.17-CA-linux64
  • Scala: 2.12.15
  • Python: 3.10.12
  • R: 4.3.1
  • Delta Lake: 3.1.0

インストールされている Python ライブラリ

ライブラリ バージョン ライブラリ バージョン ライブラリ バージョン
anyio 3.5.0 argon2-cffi 21.3.0 argon2-cffi-bindings 21.2.0
アストトークン 2.0.5 属性 22.1.0 バックコール (再発信機能) 0.2.0
beautifulsoup4 4.11.1 黒 22.6.0 漂白剤 4.1.0
ウインカー 1.4 boto3 1.24.28 botocore 1.27.96
サーティフィ 2022.12.7 cffi 1.15.1 チャーデット 4.0.0
charset-normalizer (文字コード正規化ツール) 2.0.4 クリック 8.0.4 通信 0.1.2
コンツアーピー 1.0.5 暗号技術 39.0.1 サイクラー 0.11.0
Cython 0.29.32 databricks-sdk（データブリックスSDK） 0.1.6 dbus-python 1.2.18
debugpy 1.6.7 デコレーター 5.1.1 デフューズドXML (defusedxml) 0.7.1
distlib 0.3.7 ドックストリングをMarkdownに変換 0.11 入口点 0.4
実行中 0.8.3 ファセット概要 1.1.1 fastjsonschema 2.19.1
ファイルロック 3.13.1 フォントツール (fonttools) 4.25.0 Google API 共通プロトコル (googleapis-common-protos) 1.62.0
grpcio 1.48.2 grpcio-status 1.48.1 httplib2 0.20.2
idna 3.4 importlib-metadata 4.6.4 ipykernel 6.25.0
ipython 8.14.0 ipython-genutils (IPython用のユーティリティ) 0.2.0 ipywidgets (インタラクティブウィジェット) 7.7.2
ジェダイ 0.18.1 ジープニー 0.7.1 ジンジャ2 3.1.2
jmespath 0.10.0 「joblib」 1.2.0 JSONスキーマ 4.17.3
ジュピタークライアント 7.3.4 jupyterサーバー 1.23.4 jupyter_core（ジュピター・コア） 5.2.0
jupyterlab-pygments 0.1.2 jupyterlab ウィジェット 1.0.0 キーホルダー 23.5.0
キウィソルバー 1.4.4 launchpadlib 1.10.16 lazr.restfulclient 0.14.4
lazr.uri 1.0.6 lxml 4.9.1 マークアップセーフ 2.1.1
matplotlib 3.7.0 matplotlib-インライン 0.1.6 マッケイブ 0.7.0
ミスチューン 0.8.4 more-itertools 8.10.0 mypy-extensions (マイパイ拡張機能) 0.4.3
nbclassic 0.5.2 nbclient（エヌビー・クライアント） 0.5.13 NBコンバート 6.5.4
nbフォーマット 5.7.0 nest-asyncio（ネスト・アサインキオ） 1.5.6 nodeenv 1.8.0
ノートブック 6.5.2 ノートブックシム 0.2.2 NumPy (数値計算ライブラリ) 1.23.5
oauthlib 3.2.0 パッケージング 23.2 パンダ 1.5.3
パンドックフィルターズ 1.5.0 パルソ 0.8.3 パススペック 0.10.3
パッツィ 0.5.3 ペキスペクト 4.8.0 ピクルシェア 0.7.5
枕 9.4.0 種 22.3.1 プラットフォームディレクトリ 2.5.2
plotly - データビジュアライゼーションツール 5.9.0 プラグイン管理ツール 1.0.0 prometheus-クライアント 0.14.1
prompt-toolkit（プロンプトツールキット） 3.0.36 プロトバフ 4.24.0 psutil 5.9.0
psycopg2 2.9.3 ptyprocess 0.7.0 pure-eval (ピュア・イヴァル) 0.2.2
pyarrow (パイアロー) 8.0.0 pyarrow-hotfix 0.5 pycparser（パイシーパーサー） 2.21
Pythonのデータバリデーションライブラリ「pydantic」 1.10.6 パイフレークス 3.1.0 Pygments 2.11.2
PyGObject 3.42.1 PyJWT 2.3.0 pyodbc (Pythonのデータベース接続用ライブラリ) 4.0.32
パイパーシング (Pyparsing) 3.0.9 pyright 1.1.294 pyrsistent 0.18.0
python-dateutil (Python用の日付処理ライブラリ) 2.8.2 python-lsp-jsonrpc 1.1.1 Python LSP サーバー 1.8.0
Pytoolconfig 1.2.5 pytz 2022年7月 pyzmq 23.2.0
リクエスト 2.28.1 ロープ 1.7.0 s3transfer 0.6.2
scikit-learn（サイキット・ラーン） 1.1.1 scipy 1.10.0 seaborn（シーボーン） 0.12.2
SecretStorage 3.3.1 Send2Trash(センド2トラッシュ) 1.8.0 setuptools（セットアップツール） 65.6.3
6 1.16.0 スニフィオ 1.2.0 スープこし器 (soup strainer) 2.3.2.post1
ssh-import-id 5.11 スタックデータ 0.2.0 statsmodels（スタッツモデルズ） 0.13.5
粘り強さ 8.1.0 終了しました 0.17.1 Threadpoolctl 2.2.0
tinycss2 1.2.1 トークナイズ-RT 4.2.1 tomli 2.0.1
竜巻 6.1 traitlets（トレイトレッツ） 5.7.1 タイピングエクステンションズ (typing_extensions) 4.4.0
ujson 5.4.0 無人アップグレード 0.1 urllib3 1.26.14
virtualenv 20.16.7 wadllib 1.3.6 wcwidth（文字の幅を測定するプログラム関数） 0.2.5
ウェブエンコーディングス 0.5.1 websocket-client (ウェブソケット・クライアント) 0.58.0 whatthepatch（ホワットザパッチ） 1.0.2
ホイール 0.38.4 ウィジェットNBエクステンション 3.6.1 yapf (ヤップフ) 0.33.0
ジップ 1.0.0

インストールされている R ライブラリ

R ライブラリは、2023-07-13: https://packagemanager.posit.co/cran/2023-07-13/の Posit パッケージ マネージャー CRAN スナップショットからインストールされます。

ライブラリ バージョン ライブラリ バージョン ライブラリ バージョン
矢印 12.0.1 アスクパス 1.1 assertthat（アサートザット関数） 0.2.1
バックポート（旧バージョンへの機能移植） 1.4.1 基盤 4.3.1 base64enc 0.1-3
ビット 4.0.5 64ビット 4.0.5 ブロブ 1.2.4
起動 1.3-28 醸成 1.0 から 8 活気 1.1.3
箒 1.0.5 bslib 0.5.0 キャシェム 1.0.8
コールアール 3.7.3 キャレット 6.0-94 セルレンジャー 1.1.0
クロノ 2.3-61 クラス 7.3-22 CLI 3.6.1
クリッパー 0.8.0 時計 0.7.0 クラスター 2.1.4
コードツール 0.2-19 カラー空間 2.1-0 コモンマーク 1.9.0
コンパイラ 4.3.1 設定 0.3.1 葛藤している 1.2.0
CPP11 0.4.4 クレヨン 1.5.2 資格情報 1.3.2
カール 5.0.1 データテーブル (data.table) 1.14.8 データセット 4.3.1
DBI 1.1.3 dbplyr 2.3.3 説明 1.4.2
開発ツール 2.4.5 ダイアグラム 1.6.5 diffobj 0.3.5
ダイジェスト 0.6.33 ダウンライト 0.4.3 dplyr 1.1.2
dtplyr 1.3.1 e1071 1.7-13 省略記号 0.3.2
評価する 0.21 ファンシ 1.0.4 farver 2.1.1
fastmap (ファストマップ) 1.1.1 フォントオーサム 0.5.1 フォーキャッツ 1.0.0
フォーリーチ 1.5.2 外国の 0.8〜85 鍛冶場 0.2.0
FS 1.6.2 未来 1.33.0 future.apply（将来の機能を適用するためのプログラミング関数） 1.11.0
うがい 1.5.1 ジェネリクス 0.1.3 ゲルト 1.9.2
ggplot2 3.4.2 gh 1.4.0 gitcreds 0.1.2
glmnet(英語) 4.1-7 グローバル変数 0.16.2 接着剤 1.6.2
googledrive 2.1.1 googlesheets4 1.1.1 ガウアー 1.0.1
グラフィックス 4.3.1 grDevices 4.3.1 グリッド 4.3.1
gridExtra 2.3 gsubfn 0.7 gtable 0.3.3
安全帽 1.3.0 安らぎの場 2.5.3 highr 0.10
エイチ・エム・エス 1.1.3 HTMLツール 0.5.5 HTMLウィジェット 1.6.2
httpuv 1.6.11 「httr」パッケージ（HTTPリクエストを簡単に送信するためのライブラリ） 1.4.6 httr2 0.2.3
識別子 1.0.1 ini 0.3.1 アイプレッド 0.9-14
アイソバンド 0.2.7 イテレータ 1.0.14 jquerylib 0.1.4
jsonlite 1.8.7 カーンスムース 2.23-21 ニット 1.43
ラベリング 0.4.2 あとで 1.3.1 格子構造 0.21-8
溶岩 1.7.2.1 ライフサイクル 1.0.3 listenv 0.9.0
ルブリデート 1.9.2 Magrittr 2.0.3 値下げ 1.7
質量 7.3-60 マトリックス 1.5-4.1 メモ化 2.0.1
方法 4.3.1 mgcv 1.8-42 マイム 0.12
ミニUI 0.1.1.1 モデルメトリクス 1.2.2.2 モデルル 0.1.11
munsell 0.5.0 nlme 3.1-163 ニューラルネットワーク (nnet) 7.3-19
numDeriv（ヌムデリヴ） 2016年8月-2017年1月1日 openssl (オープンソースの暗号化ツール) 2.0.6 並行 4.3.1
平行に 1.36.0 柱 1.9.0 pkgbuild（パッケージビルド） 1.4.2
pkgconfig 2.0.3 pkgdown 2.0.7 pkgload(パッケージロード) 1.3.2.1
plogr 0.2.0 プライル 1.8.8 称賛 1.0.0
プリティーユニッツ 1.1.1 プロック (pROC) 1.18.4 プロセスエックス 3.8.2
プロドリム 2023年3月31日 プロフビス 0.3.8 進捗 1.2.2
progressr 0.13.0 約束 1.2.0.1 プロト 1.0.0
プロキシ 0.4-27 PS 1.7.5 ゴロゴロ 1.0.1
R2D3 0.2.6 R6 2.5.1 ragg 1.2.5
ランダムフォレスト 4.7-1.1 rappdirs 0.3.3 rcmdcheck 1.4.0
RColorブリューワー 1.1-3 Rcpp 1.0.11 RcppEigen 0.3.3.9.3
読み取り 2.1.4 readxl (エクセルファイルの読み取り用パッケージ/関数) 1.4.3 レシピ 1.0.6
再試合 1.0.1 リマッチ2 2.1.2 リモコン 2.4.2
再現可能な例 (reprex) 2.0.2 リシェイプ2 1.4.4 rlang 1.1.1
rmarkdown 2.23 RODBC 1.3-20 リオキシジェン2 7.2.3
rpart（Rプログラミング言語における再帰的分割のためのパッケージ） 4.1.21 rprojroot さん 2.0.3 Rサーブ 1.8-11
RSQLite (英語) 2.3.1 rstudioapi 0.15.0 アールバージョンズ 2.1.2
アヴェスト 1.0.3 サス 0.4.6 秤 1.2.1
セレクター 0.4-2 セッション情報 1.2.2 形状 1.4.6
光沢がある 1.7.4.1 ソースツール 0.1.7-1 スパークラー (sparklyr) 1.8.1
SparkR 3.5.0 空間的 7.3-15 スプライン 4.3.1
sqldf 0.4-11 スクウェアム 2021年1月 統計 4.3.1
統計プログラミングパッケージ「stats4」 4.3.1 ストリンギ 1.7.12 stringr 1.5.0
生存 3.5-5 sys 3.4.2 systemfonts 1.0.4
tcltk（ティーシーエルティーケー） 4.3.1 テストザット 3.1.10 テキスト整形 0.3.6
tibble（ティブル） 3.2.1 ティディル 1.3.0 tidyselect関数 1.2.0
tidyverse（タイディバース） 2.0.0 時間変更 0.2.0 時刻と日付 4022.108
tinytex 0.45 ツール 4.3.1 tzdb 0.4.0
URLチェッカー 1.0.1 これを使う 2.2.2 UTF8 1.2.3
ユーティリティ 4.3.1 UUID（ユニバーサルユニーク識別子） 1.1-0 VCTRSの 0.6.3
ヴィリディスライト 0.4.2 ブルーム 1.6.3 ワルド 0.5.1
ウイスカー 0.4.1 ウィザー 2.5.0 xfun 0.39
xml2 1.3.5 xopen (エックスオープン) 1.0.0 xtable (エクステーブル) 1.8-4
YAML 2.3.7 ジップ 2.3.0

インストールされている Java ライブラリと Scala ライブラリ (Scala 2.12 クラスター バージョン)

グループ識別子 アーティファクト ID バージョン
アンラル（ANTLR） アンラル（ANTLR） 2.7.7
com.amazonaws amazon-kinesis-client（アマゾン・キネシス・クライアント） 1.12.0
com.amazonaws aws-java-sdk-autoscaling (オートスケーリング用Java SDK) 1.12.390
com.amazonaws aws-java-sdk-cloudformation 1.12.390
com.amazonaws AWSのJava SDKパッケージであるCloudFront 1.12.390
com.amazonaws aws-java-sdk-cloudhsm（AWSのクラウドHSM用Javaソフトウェア開発キット） 1.12.390
com.amazonaws AWSのJava SDK - cloudsearch 1.12.390
com.amazonaws aws-java-sdk-cloudtrail 1.12.390
com.amazonaws aws-java-sdk-cloudwatch 1.12.390
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.390
com.amazonaws aws-java-sdk-codedeploy（AWSのJava SDK用CodeDeployサービス） 1.12.390
com.amazonaws aws-java-sdk-cognitoidentity (AWS Java SDK コグニトアイデンティティ) 1.12.390
com.amazonaws aws-java-sdk-cognitosync 1.12.390
com.amazonaws aws-java-sdk-config（AWS Java SDK 設定） 1.12.390
com.amazonaws aws-java-sdk-core（AWS Java SDKのコア） 1.12.390
com.amazonaws aws-java-sdk-datapipeline (AWS Java SDKのデータパイプラインモジュール) 1.12.390
com.amazonaws aws-java-sdk-directconnect (AWSのJava SDKのDirect Connect機能) 1.12.390
com.amazonaws aws-java-sdk-directory 1.12.390
com.amazonaws aws-java-sdk-dynamodb 1.12.390
com.amazonaws aws-java-sdk-ec2 1.12.390
com.amazonaws aws-java-sdk-ecs 1.12.390
com.amazonaws aws-java-sdk-efs 1.12.390
com.amazonaws AWS Java SDK エラスティキャッシュ 1.12.390
com.amazonaws AWS Java SDK エラスティックビーンストーク 1.12.390
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.390
com.amazonaws aws-java-sdk-elastictranscoder (AWS用のJava開発ツールキット - Elastic Transcoder) 1.12.390
com.amazonaws aws-java-sdk-emr 1.12.390
com.amazonaws aws-java-sdk-glacier 1.12.390
com.amazonaws aws-java-sdk-glue (AWSのJava用SDKであるGlue) 1.12.390
com.amazonaws AWSのJava SDK（IAM用） 1.12.390
com.amazonaws AWS Java SDK インポートエクスポート 1.12.390
com.amazonaws aws-java-sdk-kinesis 1.12.390
com.amazonaws aws-java-sdk-kms 1.12.390
com.amazonaws aws-java-sdk-lambda 1.12.390
com.amazonaws aws-java-sdk-logs 1.12.390
com.amazonaws aws-java-sdk-機械学習 1.12.390
com.amazonaws aws-java-sdk-opsworks 1.12.390
com.amazonaws aws-java-sdk-rds（AWSのJava用RDSソフトウェア開発キット） 1.12.390
com.amazonaws AWS Java SDK Redshift 1.12.390
com.amazonaws aws-java-sdk-route53 1.12.390
com.amazonaws aws-java-sdk-s3 1.12.390
com.amazonaws aws-java-sdk-ses 1.12.390
com.amazonaws aws-java-sdk-simpledb 1.12.390
com.amazonaws aws-java-sdk-simpleworkflow 1.12.390
com.amazonaws aws-java-sdk-sns 1.12.390
com.amazonaws aws-java-sdk-sqs 1.12.390
com.amazonaws aws-java-sdk-ssm 1.12.390
com.amazonaws AWS Java SDK ストレージゲートウェイ 1.12.390
com.amazonaws aws-java-sdk-sts 1.12.390
com.amazonaws AWS Java SDK サポート 1.12.390
com.amazonaws aws-java-sdk-swf-libraries (AWS Java SDK SWFライブラリ) 1.11.22
com.amazonaws aws-java-sdk-workspacesとはAWSのワークスペースを管理するためのJava用SDKです。 1.12.390
com.amazonaws jmespath-java 1.12.390
com.clearspring.analytics ストリーム 2.9.6
com.databricks Rサーブ 1.8-3
com.databricks Databricks SDK (Java) 0.13.0
com.databricks jets3t (ジェットスリート) 0.7.1-0
com.databricks.scalapb コンパイラプラグイン_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-シェーデッド 4.0.2
com.esotericsoftware minlog (ミンログ) 1.3.0
com.fasterxml 同級生 1.3.4
com.fasterxml.jackson.core jackson-annotations (ジャクソン・アノテーション) 2.15.2
com.fasterxml.jackson.core ジャクソン・コア (jackson-core) 2.15.2
com.fasterxml.jackson.core ジャクソン・データバインド (jackson-databind) 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor（ジャクソンデータフォーマットCBOR） 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-yaml（ジャクソン・データフォーマット・YAML） 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-joda 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.15.1
com.fasterxml.jackson.module jackson-module-paranamer 2.15.2
com.fasterxml.jackson.module jackson-module-scala_2.12 2.15.2
com.github.ben-manes.カフェイン カフェイン 2.9.3
com.github.fommil jniloader 1.1
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java 1.1-ネイティブユーザー
com.github.fommil.netlib ネイティブ_システム-Java 1.1
com.github.fommil.netlib ネイティブ_システム-Java 1.1-ネイティブユーザー
com.github.fommil.netlib netlib-native_ref-linux-x86_64 1.1-ネイティブユーザー
com.github.fommil.netlib netlib-ネイティブシステム-linux-x86_64 1.1-ネイティブユーザー
com.github.luben zstd-jni (ゼットスタッドジェイエヌアイ) 1.5.5-4
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.10.1
com.google.crypto.tink ティンク 1.9.0
com.google.errorprone エラー発生しやすい注釈 2.10.0
com.google.flatbuffers flatbuffers-java 1.12.0
com.google.guava グアバ 15.0
com.google.protobuf protobuf-java 2.6.1
com.helger プロファイラー 1.1.1
com.jcraft jsch 0.1.55
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk（アジュール・データ・レイク・ストア・SDK） 2.3.9
com.microsoft.sqlserver mssql-jdbc 11.2.2.jre8
com.ning Compress-LZF (コンプレス-LZF) 1.1.2
com.sun.mail javax.mail 1.5.2
.bind の com.sun.xml jaxb-core 2.2.11
.bind の com.sun.xml jaxb-impl 2.2.11
com.tdunning JSON 1.8
com.thoughtworks.paranamer パラナマー 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter チル-ジャヴァ 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe 設定 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.3
com.univocity univocity-parsers（ユニボシティ・パーサーズ） 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
コモンズ・コーデック コモンズ・コーデック 1.16.0
コモンズ・コレクションズ コモンズ・コレクションズ 3.2.2
commons-dbcp（コモンズ-DBCP） commons-dbcp（コモンズ-DBCP） 1.4
commons-fileupload（コモンズ・ファイルアップロード） commons-fileupload（コモンズ・ファイルアップロード） 1.5
commons-httpclient（コモンズHTTPクライアント） commons-httpclient（コモンズHTTPクライアント） 3.1
commons-io commons-io 2.13.0
commons-lang (コモンズ・ラン、Javaの汎用ユーティリティライブラリ) commons-lang (コモンズ・ラン、Javaの汎用ユーティリティライブラリ) 2.6
commons-logging commons-logging 1.1.3
commons-pool（コモンズプール） commons-pool（コモンズプール） 1.5.4
dev.ludovic.netlib アーパック 3.0.3
dev.ludovic.netlib ブラス 3.0.3
dev.ludovic.netlib ラパック 3.0.3
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift エアコンプレッサー 0.25
io.delta delta-sharing-client_2.12 1.1.4
io.dropwizard.metrics メトリクスアノテーション 4.2.19
io.dropwizard.metrics メトリクス・コア 4.2.19
io.dropwizard.metrics メトリクス・グラファイト 4.2.19
io.dropwizard.metrics メトリクス・ヘルスチェック 4.2.19
io.dropwizard.metrics メトリクス-ジェッティ9 4.2.19
io.dropwizard.metrics メトリクス-JMX 4.2.19
io.dropwizard.metrics metrics-json 4.2.19
io.dropwizard.metrics メトリックス-JVM 4.2.19
io.dropwizard.metrics メトリクス・サーブレット 4.2.19
io.netty netty-all (ライブラリ名) 4.1.96.Final
io.netty ネットィバッファー 4.1.96.Final
io.netty netty-codec 4.1.96.Final
io.netty netty-codec-http 4.1.96.Final
io.netty netty-codec-http2（ネットティー・コーデック・HTTP2） 4.1.96.Final
io.netty netty-codec-socks 4.1.96.Final
io.netty netty-common 4.1.96.Final
io.netty ネットティ・ハンドラー 4.1.96.Final
io.netty ネッティ・ハンドラー・プロキシ 4.1.96.Final
io.netty ネッティ・リゾルバー 4.1.96.Final
io.netty netty-tcnative-boringssl-static 2.0.61.Final-linux-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-linux-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-osx-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-osx-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-windows-x86_64
io.netty netty-tcnative-classes 2.0.61.Final
io.netty netty-transport（ネットティ・トランスポート） 4.1.96.Final
io.netty netty-transport-classes-epoll 4.1.96.Final
io.netty netty-トランスポートクラス-kqueue 4.1.96.Final
io.netty netty-transport-native-epoll 4.1.96.Final
io.netty netty-transport-native-epoll 4.1.96.Final-linux-aarch_64
io.netty netty-transport-native-epoll 4.1.96.Final-linux-x86_64
io.netty netty-transport-native-kqueue 4.1.96.Final-osx-aarch_64
io.netty netty-transport-native-kqueue 4.1.96.Final-osx-x86_64
io.netty netty-transport-native-unix-common (ネットワーク通信を行うためのユニックス向け共通ライブラリ) 4.1.96.Final
io.prometheus simpleclient 0.7.0
io.prometheus シンプルクライアント_コモン 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus シンプルクライアント_プッシュゲートウェイ 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx コレクタ 0.12.0
jakarta.annotation ジャカルタ・アノテーションAPI 1.3.5
ジャカルタ.サーブレット jakarta.サーブレット-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation アクティベーション 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1.1
javax.transaction トランザクションAPI 1.1
.bind の javax.xml jaxb-api 2.2.11
ジャヴォリューション ジャヴォリューション 5.5.1
ジェイライン ジェイライン 2.14.6
joda-time joda-time 2.12.1
net.java.dev.jna jna 5.8.0
net.razorvine 漬物 1.3
net.sf.jpam ジェーパム 1.1
net.sf.opencsv opencsv (CSVファイル操作のためのライブラリ) 2.3
net.sf.supercsv スーパCSV (スーパーシーエスブイ) 2.2.0
net.snowflake snowflake-ingest-sdk（スノーフレーク・インジェスト・SDK） 0.9.6
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.9.3
org.antlr ストリングテンプレート 3.2.1
org.apache.ant 蟻 1.9.16
org.apache.ant ant-jsch 1.9.16
org.apache.ant ant-launcher 1.9.16
org.apache.arrow 矢印フォーマット 12.0.1
org.apache.arrow arrow-memory-core 12.0.1
org.apache.arrow アロー・メモリー・ネッティ 12.0.1
org.apache.arrow 矢印ベクトル 12.0.1
org.apache.avro アブロ 1.11.2
org.apache.avro avro-ipc 1.11.2
org.apache.avro avro-mapred 1.11.2
org.apache.commons commons-collections4 4.4.
org.apache.commons コモンズ・コンプレス 1.23.0
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons コモンズテキスト 1.10.0
org.apache.curator キュレータークライアント 2.13.0
org.apache.curator Curator Framework（キュレーター・フレームワーク） 2.13.0
org.apache.curator キュレーターのレシピ 2.13.0
org.apache.datasketches datasketches-java 3.1.0
org.apache.datasketches datasketches-memory (データスケッチズ・メモリー) 2.0.0
org.apache.derby ダービー 10.14.2.0
org.apache.hadoop hadoop-client-runtime (ハドゥープ・クライアント・ランタイム) 3.3.6
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive ハイブセーデ 2.3.9
org.apache.hive ハイブシムス 2.3.9
org.apache.hive hive-storage-api (ハイブストレージAPI) 2.8.1
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler (ハイブシムススケジューラー) 2.3.9
org.apache.httpcomponents httpclient 4.5.14
org.apache.httpcomponents httpcore 4.4.16
org.apache.ivy アイビー 2.5.1
org.apache.logging.log4j log4j-1.2-api 2.20.0
org.apache.logging.log4j log4j-api 2.20.0
org.apache.logging.log4j log4j-core 2.20.0
org.apache.logging.log4j log4j-slf4j2-impl 2.20.0
org.apache.orc オーク・コア 1.9.2-shaded-protobuf
org.apache.orc orc-mapreduce 1.9.2-shaded-protobuf
org.apache.orc orc-shims（オーク・シムズ） 1.9.2
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift (リブスリフト) 0.12.0
org.apache.ws.xmlschema xmlschema-core 2.3.0
org.apache.xbean xbean-asm9-shaded 4.23
org.apache.yetus オーディエンス注釈 0.13.0
org.apache.zookeeper 飼育係 3.6.3
org.apache.zookeeper zookeeper-jute（ズーキーパー・ジュート） 3.6.3
org.checkerframework チェッカー・クオール 3.31.0
org.codehaus.jackson ジャクソンコアASL 1.9.13
org.codehaus.jackson ジャクソン・マッパー・ASL 1.9.13
org.codehaus.janino コモンズコンパイラー 3.0.16
org.codehaus.janino ジャニーノ (janino) 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus データニュクレウス-RDBMS 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.52.v20230823
org.eclipse.jetty ジェッティ・コンティニュエーション 9.4.52.v20230823
org.eclipse.jetty ジェッティ-HTTP 9.4.52.v20230823
org.eclipse.jetty jetty-io 9.4.52.v20230823
org.eclipse.jetty jetty-jndi（ジェッティ-JNDI） 9.4.52.v20230823
org.eclipse.jetty ジェッティープラス 9.4.52.v20230823
org.eclipse.jetty ジェッティープロキシ 9.4.52.v20230823
org.eclipse.jetty ジェッティ・セキュリティ 9.4.52.v20230823
org.eclipse.jetty ジェッティ・サーバー 9.4.52.v20230823
org.eclipse.jetty ジェッティ-サーブレット 9.4.52.v20230823
org.eclipse.jetty ジェッティ・サーブレット (jetty-servlets) 9.4.52.v20230823
org.eclipse.jetty jetty-util (ジェッティユーティル) 9.4.52.v20230823
org.eclipse.jetty jetty-util-ajax (ジェティ・ユーティル・エイジャックス) 9.4.52.v20230823
org.eclipse.jetty jetty-webapp（ジェッティ・ウェブアプリ） 9.4.52.v20230823
org.eclipse.jetty jetty-xml 9.4.52.v20230823
org.eclipse.jetty.websocket ウェブソケットAPI 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-client (ウェブソケット・クライアント) 9.4.52.v20230823
org.eclipse.jetty.websocket ウェブソケット-コモン 9.4.52.v20230823
org.eclipse.jetty.websocket WebSocketサーバー (ウェブソケットサーバー) 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-サーブレット 9.4.52.v20230823
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2ユーティリティー 2.6.1
org.glassfish.hk2 OSGiリソースロケーター 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-サーブレット 2.40
org.glassfish.jersey.containers jersey-container-サーブレット-コア 2.40
org.glassfish.jersey.core jersey-client 2.40
org.glassfish.jersey.core ジャージーコモン 2.40
org.glassfish.jersey.core jersey-server 2.40
org.glassfish.jersey.inject jersey-hk2 2.40
org.hibernate.validator hibernate-validator (ハイバーネイト検証ツール) 6.1.7.Final
org.ini4j ini4j 0.5.4
org.javassist javassist（ジャバアシスト） 3.29.2-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains 注釈 17.0.0
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mlflow mlflow-spark_2.12 2.9.1
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.6.0
org.roaringbitmap RoaringBitmap 0.9.45
org.roaringbitmap シム 0.9.45
org.rocksdb rocksdbjni 8.3.2
org.rosuda.REngine REngine（アールエンジン） 2.1.0
org.scala-lang scala-compiler_2.12 2.12.15
org.scala-lang scala-library_2.12 2.12.15
org.scala-lang scala-reflect_2.12 2.12.15
org.scala-lang.modules scala-collection-compat_2.12 2.11.0
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt テストインターフェース 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.2.15
org.scalanlp breeze-macros_2.12 2.1.0
org.scalanlp breeze_2.12 2.1.0
org.scalatest スカラテスト互換 3.2.15
org.scalatest scalatest-core_2.12 3.2.15
org.scalatest scalatest-diagrams_2.12 3.2.15
org.scalatest scalatest-featurespec_2.12 3.2.15
org.scalatest scalatest-flatspec_2.12 3.2.15
org.scalatest scalatest-freespec_2.12 3.2.15
org.scalatest scalatest-funspec_2.12 3.2.15
org.scalatest scalatest-funsuite_2.12 3.2.15
org.scalatest scalatest-matchers-core_2.12 3.2.15
org.scalatest scalatest-mustmatchers_2.12 3.2.15
org.scalatest scalatest-propspec_2.12 3.2.15
org.scalatest scalatest-refspec_2.12 3.2.15
org.scalatest scalatest-shouldmatchers_2.12 3.2.15
org.scalatest scalatest-wordspec_2.12 3.2.15
org.scalatest scalatest_2.12 3.2.15
org.slf4j jcl-over-slf4j 2.0.7
org.slf4j jul-to-slf4j 2.0.7
org.slf4j slf4j-api 2.0.7
org.slf4j slf4j-simple 1.7.25
org.threeten threeten-extra（スリー・テン・エクストラ） 1.7.1
org.tukaani xz 1.9
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel スパイア-プラットフォーム_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl ワイルドフライ-オープンSSL 1.1.3.Final
org.xerial sqlite-jdbc 3.42.0.0
org.xerial.snappy snappy-java 1.1.10.3
org.yaml snakeyaml（スネークヤムル） 2.0
oro oro 2.0.8
pl.edu.icm JLargeArrays (ジェイラージアレイ) 1.5
software.amazon.cryptools AmazonCorrettoCryptoProvider 1.6.1-linux-x86_64
software.amazon.ion ion-java 1.0.2
スタックス stax-api 1.0.1