次の方法で共有

Databricks Runtime 14.0 (サポート期間終了)

注

この Databricks Runtime バージョンのサポートは終了しました。 サポート終了日については、「サポート終了の履歴」を参照してください。 サポートされている Databricks Runtime のすべてのバージョンについては、「Databricks Runtime リリース ノートのバージョンと互換性」を参照してください。

次のリリース ノートには、Apache Spark 3.5.0 で稼働する Databricks Runtime 14.0 に関する情報が記載されています。

Databricks は、2023 年 9 月にこのバージョンをリリースしました。

新機能と機能強化

行の追跡は GA です

Delta Lake の行追跡が一般提供されました。 「Delta テーブルの行追跡の使用」を参照してください。

更新の予測 I/O は一般提供されています

更新の予測 I/O は一般提供になりました。 「予測 I/O とは」を参照してください。

削除ベクトルは一般提供されています

削除ベクトルは一般提供になりました。 「削除ベクトルとは」を参照してください。

Spark 3.5.0 が一般提供されるようになりました

Apache Spark 3.5.0 が一般提供されるようになりました。 「Spark リリース 3.5.0」をご覧ください。

Python のユーザー定義テーブル関数のパブリック プレビュー

ユーザー定義テーブル関数 (UDTF) を使用すると、スカラー値の代わりにテーブルを返す関数を登録できます。 「Python ユーザー定義テーブル関数 (UDTF)」を参照してください。

行レベルのコンカレンシーのパブリック プレビュー

行レベルのコンカレンシーは、行レベルで変更を検出し、同じデータ ファイル内の異なる行を更新または削除する同時実行書き込みの競合する変更を自動的に解決することで、同時書き込み操作間の競合を軽減します。 「行レベルのコンカレンシーでの書き込みの競合」を参照してください。

既定の現在の作業ディレクトリが変更されました

ローカルで実行されるコードの既定の現在の作業ディレクトリ (CWD) は、実行されているノートブックまたはスクリプトを含むディレクトリになりました。 これには、%sh や Python、または Spark を使わない R コードなどのコードが含まれます。 「既定の現在の作業ディレクトリとは?」を参照してください。

sparklyr に関する既知の問題

インストールされているバージョンの sparklyr パッケージ (バージョン 1.8.1) は、Databricks Runtime 14.0 と互換性がありません。 sparklyr を使用するには、バージョン 1.8.3 以降をインストールします。

共有クラスター アーキテクチャでの Spark Connect の概要

Databricks Runtime 14.0 以降では、共有クラスターでは、Python REPL の Spark ドライバーで Spark Connect が既定で使用されるようになりました。 内部 Spark API には、ユーザー コードからアクセスできなくなりました。

Spark Connect は、従来の REPL 統合ではなく、REPL から Spark ドライバーと対話するようになりました。

使用可能な Spark バージョン API の一覧の更新

runtime_engine = PHOTON を設定して Photon を有効にし、グラビトン インスタンス タイプを選択して aarch64 を有効にします。 Azure Databricks は、適切な Databricks ランタイム バージョンを設定します。 以前は、Spark バージョン API は各バージョンの実装固有のランタイムを返していました。 REST API リファレンス GET /api/2.0/clusters/spark-versions を参照してください。

破壊的変更

Databricks Runtime 14.0 以降では、標準アクセス モード (以前の共有アクセス モード) を持つクラスターは、クライアントとサーバー間の通信に Spark Connect を使用します。 この機能では、次のような点が変更されています。

標準アクセス モードの制限の詳細については、「 Unity カタログのコンピューティング アクセス モードの制限事項」を参照してください。

標準アクセス モード (以前の共有アクセス モード) を使用したクラスター上の Python

  • sqlContext が使用できません。 Azure Databricks では、spark インスタンスの SparkSession 変数を使用することをお勧めします。
  • Spark コンテキスト (sc) は、ノートブックで使用できなくなりました。または、標準アクセス モードのクラスターで Databricks Connect を使用する場合は使用できません。 以下の sc 関数は使用できなくなりました。
    • emptyRDD、 range、 init_batched_serializer、 parallelize、 pickleFile、 textFile、 wholeTextFiles、 binaryFiles、 binaryRecords、 sequenceFilenewAPIHadoopFile、 newAPIHadoopRDD、 hadoopFile、 hadoopRDD、 union、 runJob、 setSystemProperty、 uiWebUrl、 stopsetJobGroup、 setLocalProperty、 getConf
  • データセット情報機能は現在サポートされていません。
  • Apache Spark に対してクエリを実行するときに JVM に依存しなくなったため、JVM に関連する内部 API (_jsc、_jconf、_jvm、_jsparkSession、_jreader、_jc、_jseq、_jdf、_jmap、_jcols など) はサポートされなくなりました。
  • spark.conf を使用して構成値にアクセスする場合は、動的ランタイム構成値にのみアクセスできます。
  • Lakeflow 宣言型パイプライン分析コマンドは、共有クラスターではまだサポートされていません。

標準アクセス モード (以前の共有アクセス モード) を使用したクラスターでの差分

  • Python では、Apache Spark にクエリを実行する場合に JVM に依存しなくなります。 JVM に関連する内部 API (DeltaTable._jdt、DeltaTableBuilder._jbuilder、DeltaMergeBuilder._jbuilder、DeltaOptimizeBuilder._jbuilder など) はサポートされなくなりました。

標準アクセス モード (以前の共有アクセス モード) を使用したクラスター上の SQL

  • DBCACHE コマンドと DBUNCACHE コマンドはサポートされなくなりました。
  • cache table db as show databases など、まれなユース ケースはサポートされなくなりました。

ライブラリのアップグレード

  • アップグレードされた Python ライブラリ:
    • asttokens (2.2.1 から 2.0.5 へ)
    • attrs (21.4.0 から 22.1.0 へ)
    • botocore (1.27.28 から 1.27.96 へ)
    • certifi (2022.9.14 から 2022.12.7 へ)
    • 暗号 (37.0.1 から 39.0.1 へ)
    • debugpy (1.6.0 から 1.6.7 へ)
    • docstring-to-markdown (0.12 から 0.11 へ)
    • 1.2.0 から 0.8.3 への実行
    • facets-overview (1.0.3 から 1.1.1 へ)
    • googleapis-common-protos (1.56.4 から 1.60.0 へ)
    • grpcio (1.48.1 から 1.48.2 へ)
    • idna (3.3 から 3.4 へ)
    • ipykernel (6.17.1 から 6.25.0 へ)
    • ipython (8.10.0 から 8.14.0 へ)
    • Jinja2 (2.11.3 から 3.1.2 へ)
    • jsonschema (4.16.0 から 4.17.3 へ)
    • jupyter-core (4.11.2 から 5.2.0 へ)
    • kiwisolver (1.4.2 から 1.4.4 へ)
    • MarkupSafe (2.0.1 から 2.1.1 へ)
    • matplotlib (3.5.2 から 3.7.0 へ)
    • nbconvert (6.4.4 から 6.5.4 へ)
    • nbformat (5.5.0 から 5.7.0 へ)
    • nest-asyncio (1.5.5 から 1.5.6 へ)
    • notebook (6.4.12 から 6.5.2 へ)
    • numpy (1.21.5 から 1.23.5 へ)
    • packaging (21.3 から 22.0 へ)
    • pandas (1.4.4 から 1.5.3 へ)
    • pathspec (0.9.0 から 0.10.3 へ)
    • patsy (0.5.2 から 0.5.3 へ)
    • Pillow (9.2.0 から 9.4.0 へ)
    • pip (22.2.2 から 22.3.1 へ)
    • protobuf (3.19.4 から 4.24.0 へ)
    • pytoolconfig (1.2.2 から 1.2.5 へ)
    • pytz (2022.1 から 2022.7 へ)
    • s3transfer (0.6.0 から 0.6.1 へ)
    • seaborn (0.11.0 から 0.12.2 へ)
    • setuptools (63.4.1 から 65.6.3 へ)
    • soupsieve (2.3.1 から 2.3.2.post1 へ)
    • stack-data (0.6.2 から 0.2.0 へ)
    • statsmodels (0.13.2 から 0.13.5 へ)
    • terminado (0.13.1 から 0.17.1 へ)
    • traitlets (5.1.1 から 5.7.1 へ)
    • typing_extensions (4.3.0 から 4.4.0 へ)
    • urllib3 (1.26.11 から 1.26.14 へ)
    • virtualenv (20.16.3 から 20.16.7 へ)
    • wheel (0.37.1 から 0.38.4 へ)
  • アップグレードされた R ライブラリ:
    • arrow (10.0.1 から 12.0.1 へ)
    • base (4.2.2 から 4.3.1 へ)
    • BLOB (1.2.3 から 1.2.4 へ)
    • broom (1.0.3 から 1.0.5 へ)
    • bslib (0.4.2 から 0.5.0 へ)
    • cachem (1.0.6 から 1.0.8)
    • caret (6.0-93 から 6.0-94 へ)
    • chron (2.3-59 から 2.3-61 へ)
    • class (7.3-21 から 7.3-22 へ)
    • cli (3.6.0 から 3.6.1 へ)
    • clock (0.6.1 から 0.7.0 へ)
    • commonmark (1.8.1 から 1.9.0 へ)
    • compiler (4.2.2 から 4.3.1 へ)
    • cpp11 (0.4.3 から 0.4.4 へ)
    • curl (5.0.0 から 5.0.1 へ)
    • data.table (1.14.6 から 1.14.8 へ)
    • datasets (4.2.2 から 4.3.1 へ)
    • dbplyr (2.3.0 から 2.3.3)
    • digest (0.6.31 から 0.6.33 へ)
    • downlit (0.4.2 から 0.4.3 へ)
    • dplyr (1.1.0 から 1.1.2 へ)
    • dtplyr (1.2.2 から 1.3.1 へ)
    • evaluate (0.20 から 0.21 へ)
    • fastmap (1.1.0 から 1.1.1 へ)
    • fontawesome (0.5.0 から 0.5.1 へ)
    • fs (1.6.1 から 1.6.2 へ)
    • future (1.31.0 から 1.33.0 へ)
    • future.apply (1.10.0 から 1.11.0 へ)
    • gargle (1.3.0 から 1.5.1 へ)
    • ggplot2 (3.4.0 から 3.4.2 へ)
    • gh (1.3.1 から 1.4.0 へ)
    • glmnet (4.1-6 から 4.1-7 へ)
    • googledrive (2.0.0 から 2.1.1 へ)
    • googlesheets4 (1.0.1 から 1.1.1 へ)
    • graphics (4.2.2 から 4.3.1 へ)
    • grDevices (4.2.2 から 4.3.1 へ)
    • grid (4.2.2 から 4.3.1 へ)
    • globals (0.3.1 から 0.3.3 へ)
    • hardhat (1.2.0 から 1.3.0 へ)
    • haven (2.5.1 から 2.5.3 へ)
    • hms (1.1.2 から 1.1.3 へ)
    • htmltools (0.5.4 から 0.5.5 へ)
    • htmlwidgets (1.6.1 から 1.6.2 へ)
    • httpuv (1.6.8 から 1.6.11 へ)
    • httr (1.4.4 から 1.4.6 へ)
    • ipred (0.9-13 から 0.9-14 へ)
    • jsonlite (1.8.4 から 1.8.7 へ)
    • KernSmooth が 2.23-20 から 2.23-21 に
    • knitr (1.42 から 1.43 へ)
    • later (1.3.0 から 1.3.1 へ)
    • lattice (0.20-45 から 0.21-8 へ)
    • lava (1.7.1 から 1.7.2.1 へ)
    • lubridate (1.9.1 から 1.9.2 へ)
    • markdown (1.5 から 1.7 へ)
    • MASS (7.3-58 から 7.3-60 へ)
    • Matrix (1.5-1 から 1.5-4.1 へ)
    • methods (4.2,2 から 4.3.1 へ)
    • mgcv (1.8-41 から 1.8-42 へ)
    • modelr (0.1.10 から 0.1.11 へ)
    • nnet (7.3-18 から 7.3-19 へ)
    • openssl (2.0.5 から 2.0.6 へ)
    • parallel (4.2.2 から 4.3.1 へ)
    • parallelly (1.34.0 から 1.36.1 へ)
    • pillar (1.8.1 から 1.9.0 へ)
    • pkgbuild (1.4.0 から 1.4.2 へ)
    • pkgload (1.3.2 から 1.3.2.1 へ)
    • pROC (1.18.0 から 1.18.4 へ)
    • processx (3.8.0 から 3.8.2 へ)
    • prodlim (2019.11.13 から 2023.03.31 へ)
    • profvis (0.3.7 から 0.3.8 へ)
    • ps (1.7.2 から 1.7.5 へ)
    • Rcpp (1.0.10 から 1.0.11 へ)
    • readr (2.1.3 から 2.1.4 へ)
    • readxl (1.4.2 から 1.4.3 へ)
    • recipes (1.0.4 から 1.0.6 へ)
    • rlang (1.0.6 から 1.1.1 へ)
    • rmarkdown (2.20 から 2.23 へ)
    • Rserve (1.8-12 から 1.8-11 へ)
    • RSQLite (2.2.20 から 2.3.1 へ)
    • rstudioapi (0.14 から 0.15.0 へ)
    • sass (0.4.5 から 0.4.6 へ)
    • shiny (1.7.2 から 1.7.3 へ)
    • sparklyr (1.7.9 から 1.8.1 へ)
    • SparkR (3.4.1 から 3.5.0 へ)
    • splines (4.2.2 から 4.3.1 へ)
    • stats (4.2.2 から 4.3.1 へ)
    • stats4 (4.2.2 から 4.3.1 へ)
    • survival (3.5-3 から 3.5-5 へ)
    • sys (3.4.1 から 3.4.2 へ)
    • tcltk (4.2.2 から 4.3.1 へ)
    • testthat (3.1.6 から 3.1.10 へ)
    • tibble (3.1.8 から 3.2.1 へ)
    • tidyverse (1.3.2 から 2.0.0 へ)
    • tinytex (0.44 から 0.45 へ)
    • tools (4.2.2 から 4.3.1 へ)
    • tzdb (0.3.0 から 0.4.0 へ)
    • usethis (2.1.6 から 2.2.2 へ)
    • utils (4.2.2 から 4.3.1 へ)
    • vctrs (0.5.2 から 0.6.3 へ)
    • viridisLite (0.4.1 から 0.4.2 へ)
    • vroom (1.6.1 から 1.6.3 へ)
    • waldo (0.4.0 から 0.5.1 へ)
    • xfun (0.37 から 0.39 へ)
    • xml2 (1.3.3 から 1.3.5 へ)
    • zip (2.2.2 から 2.3.0 へ)
  • アップグレードされた Java ライブラリ:
    • com.fasterxml.jackson.core.jackson-annotations (2.14.2 から 2.15.2 へ)
    • com.fasterxml.jackson.core.jackson-core (2.14.2 から 2.15.2 へ)
    • com.fasterxml.jackson.core.jackson-databind (2.14.2から 2.15.2 へ)
    • com.fasterxml.jackson.dataformat.jackson-dataformat-cbor (2.14.2 から 2.15.2 へ)
    • com.fasterxml.jackson.datatype.jackson-datatype-joda (2.14.2 から 2.15.2 へ)
    • com.fasterxml.jackson.datatype.jackson-datatype-jsr310 (2.13.4 から 2.15.1 へ)
    • com.fasterxml.jackson.module.jackson-module-paranamer (2.14.2 から 2.15.2 へ)
    • com.fasterxml.jackson.module.jackson-module-scala_2.12 (2.14.2 から 2.15.2 へ)
    • com.github.luben.zstd-jni (1.5.2-5 から 1.5.5-4 へ)
    • com.google.code.gson.gson (2.8.9 から 2.10.1 へ)
    • com.google.crypto.tink.tink (1.7.0 から 1.9.0 へ)
    • commons-codec.commons-codec (1.15 から 1.16.0 へ)
    • commons-io.commons-io (2.11.0 から 2.13.0 へ)
    • io.airlift.aircompressor from が 0.21 から 0.24 へ
    • io.dropwizard.metrics.metrics-core (4.2.10 から 4.2.19 へ)
    • io.dropwizard.metrics.metrics-graphite (4.2.10 から 4.2.19 へ)
    • io.dropwizard.metrics.metrics-healthchecks (4.2.10 から 4.2.19 へ)
    • io.dropwizard.metrics.metrics-jetty9 (4.2.10 から 4.2.19 へ)
    • io.dropwizard.metrics.metrics-jmx (4.2.10 から 4.2.19 へ)
    • io.dropwizard.metrics.metrics-json (4.2.10 から 4.2.19 へ)
    • io.dropwizard.metrics.metrics-jvm (4.2.10 から 4.2.19 へ)
    • io.dropwizard.metrics.metrics-servlets (4.2.10 から 4.2.19 へ)
    • io.netty.netty-all (4.1.87.Final から 4.1.93.Final へ)
    • io.netty.netty-buffer (4.1.87.Final から 4.1.93.Final へ)
    • io.netty.netty-codec (4.1.87.Final から 4.1.93.Final へ)
    • io.netty.netty-codec-http (4.1.87.Final から 4.1.93.Final へ)
    • io.netty.netty-codec-http2 (4.1.87.Final から 4.1.93.Final へ)
    • io.netty.netty-codec-socks (4.1.87.Final から 4.1.93.Final へ)
    • io.netty.netty-common (4.1.87.Final から 4.1.93.Final へ)
    • io.netty.netty-handler (4.1.87.Final から 4.1.93.Final へ)
    • io.netty.netty-handler-proxy (4.1.87.Final から 4.1.93.Final へ)
    • io.netty.netty-resolver (4.1.87.Final から 4.1.93.Final へ)
    • io.netty.netty-transport (4.1.87.Final から 4.1.93.Final へ)
    • io.netty.netty-transport-classes-epoll (4.1.87.Final から 4.1.93.Final へ)
    • io.netty.netty-transport-classes-kqueue (4.1.87.Final から 4.1.93.Final へ)
    • io.netty.netty-transport-native-epoll (4.1.87.Final-linux-x86_64 から 4.1.93.Final-linux-x86_64 へ)
    • io.netty.netty-transport-native-kqueue (4.1.87.Final-osx-x86_64 から 4.1.93.Final-osx-x86_64 へ)
    • io.netty.netty-transport-native-unix-common (4.1.87.Final から 4.1.93.Final へ)
    • org.apache.arrow.arrow-format (11.0.0 から 12.0.1 へ)
    • org.apache.arrow.arrow-memory-core (11.0.0 から 12.0.1 へ)
    • org.apache.arrow.arrow-memory-netty (11.0.0 から 12.0.1 へ)
    • org.apache.arrow.arrow-vector (11.0.0 から 12.0.1 へ)
    • org.apache.avro.avro (1.11.1 から 1.11.2 へ)
    • org.apache.avro.avro-ipc (1.11.1 から 1.11.2 へ)
    • org.apache.avro.avro-mapred (1.11.1 から 1.11.2 へ)
    • org.apache.commons.commons-compress が 1.21 から 1.23.0 へ
    • org.apache.hadoop.hadoop-client-runtime (3.3.4 から 3.3.6 へ)
    • org.apache.logging.log4j.log4j-1.2-api (2.19.0 から 2.20.0 へ)
    • org.apache.logging.log4j.log4j-api (2.19.0 から 2.20.0 へ)
    • org.apache.logging.log4j.log4j-core (2.19.0 から 2.20.0 へ)
    • org.apache.logging.log4j.log4j-slf4j2-impl (2.19.0 から 2.20.0 へ)
    • org.apache.orc.orc-core (1.8.4-shaded-protobuf から 1.9.0-shaded-protobuf へ)
    • org.apache.orc.orc-mapreduce (1.8.4-shaded-protobuf から 1.9.0-shaded-protobuf へ)
    • org.apache.orc.orc-shims (1.8.4 から 1.9.0 へ)
    • org.apache.xbean.xbean-asm9-shaded (4.22 から 4.23)
    • org.checkerframework.checker-qual (3.19.0 から 3.31.0 へ)
    • org.glassfish.jersey.containers.jersey-container-servlet (2.36 から 2.40 へ)
    • org.glassfish.jersey.containers.jersey-container-servlet (2.36 から 2.40 へ)
    • org.glassfish.jersey.core.jersey-client (2.36 から 2.40 へ)
    • org.glassfish.jersey.core.jersey-common (2.36 から 2.40 へ)
    • org.glassfish.jersey.core.jersey-server from (2.36 から 2.40 へ)
    • org.glassfish.jersey.inject.jersey-hk2 (2.36 から 2.40 へ)
    • org.javassist.javassist (3.25.0-GA から 3.29.2-GA へ)
    • org.mariadb.jdbc.mariadb-java-client (2.7.4 から 2.7.9 へ)
    • org.postgresql.postgresql (42.3.8 から 42.6.0 へ)
    • org.roaringbitmap.RoaringBitmap (0.9.39 から 0.9.45 へ)
    • org.roaringbitmap.shims (0.9.39 から 0.9.45 へ)
    • org.rocksdb.rocksdbjni (7.8.3 から 8.3.2 へ)
    • org.scala-lang.modules.scala-collection-compat_2.12 (2.4.3 から 2.9.0 へ)
    • org.slf4j.jcl-over-slf4j (2.0.6 から 2.0.7 へ)
    • org.slf4j.jul-to-slf4j (2.0.6 から 2.0.7 へ)
    • org.slf4j.slf4j-api (2.0.6 から 2.0.7 へ)
    • org.xerial.snappy.snappy-java (1.1.10.1 から 1.1.10.3 へ)
    • org.yaml.snakeyaml (1.33 から 2.0)

Apache Spark

Databricks Runtime 14.0 このリリースには、Databricks Runtime 13.3 LTS に含まれるすべての Spark の修正プログラムおよび機能強化と、Spark に対して行われた次の追加のバグ修正と機能強化が含まれています。

  • [SPARK-45109] [DBRRM-462][sc-142247][SQL][connect] Connect のaes_decrypt関数と ln 関数を修正
  • [SPARK-44980] [DBRRM-462][sc-141024][PYTHON][connect] createDataFrame で動作するように継承された namedtuple を修正
  • [SPARK-44795] [DBRRM-462][sc-139720][CONNECT] CodeGenerator Cache はクラスローダー固有である必要がある
  • [SPARK-44861] [DBRRM-498][sc-140716][CONNECT] jsonignore SparkListenerConnectOperationStarted.planRequest
  • [SPARK-44794] [DBRRM-462][sc-139767][CONNECT] ストリーミング クエリを Connect のアーティファクト管理で機能させる
  • [SPARK-44791] [DBRRM-462][sc-139623][CONNECT] ArrowDeserializer を REPL で生成されたクラスで動作させる
  • [SPARK-44876] [DBRRM-480][sc-140431][PYTHON] Spark Connect での矢印最適化 Python UDF の修正
  • [SPARK-44877] [DBRRM-482][sc-140437][CONNECT][python] Spark Connect の python protobuf 関数をサポート
  • [SPARK-44882] [DBRRM-463][sc-140430][PYTHON][connect] PySpark から関数 uuid/random/chr を削除する
  • [SPARK-44740] [DBRRM-462][sc-140320][CONNECT][follow] Artifacts のメタデータ値を修正する
  • [SPARK-44822] [DBRRM-464][python][SQL] Python UDF を既定で非決定論的にする
  • [SPARK-44836] [DBRRM-468][sc-140228][PYTHON] Arrow Python UDTFをリファクタリング
  • [SPARK-44738] [DBRRM-462][sc-139347][PYTHON][connect] 不足しているクライアント メタデータを呼び出しに追加する
  • [SPARK-44722] [DBRRM-462][sc-139306][CONNECT] ExecutePlanResponseReattachableIterator._call_iter: AttributeError: 'NoneType' オブジェクトに属性 'message' がありません
  • [SPARK-44625] [DBRRM-396][sc-139535][CONNECT] すべての実行を追跡する SparkConnectExecutionManager
  • [SPARK-44663] [SC-139020][dbrrm-420][PYTHON] Python UDF の矢印の最適化を既定で無効にする
  • [SPARK-44709] [DBRRM-396][sc-139250][CONNECT] 新しいスレッドで再アタッチ可能な実行で ExecuteGrpcResponseSender を実行してフロー制御を修正する
  • [SPARK-44656] [DBRRM-396][sc-138924][CONNECT] すべての反復子を CloseableIterators にする
  • [SPARK-44671] [DBRRM-396][sc-138929][PYTHON][connect] 初期要求が Python クライアントのサーバーに到達しなかった場合の ExecutePlan の再試行
  • [SPARK-44624] [DBRRM-396][sc-138919][CONNECT] 初期要求がサーバーに到達しなかった場合の ExecutePlan の再試行
  • [SPARK-44574] [DBRRM-396][sc-138288][SQL][connect] sq/api に移動したエラーでも AnalysisException を使用する必要があります
  • [SPARK-44613] [DBRRM-396][sc-138473][CONNECT] エンコーダー オブジェクトの追加
  • [SPARK-44626] [DBRRM-396][sc-138828][SS][connect] Spark Connect のクライアント セッションがタイムアウトしたときのストリーミング クエリ終了のフォローアップ
  • [SPARK-44642] [DBRRM-396][sc-138882][CONNECT] サーバーからエラーを受け取った後に ReleaseExecute を ExecutePlanResponseReattachableIterator に実行する
  • [SPARK-41400] [DBRRM-396][sc-138287][CONNECT] Connect クライアント Catalyst 依存関係の削除
  • [SPARK-44664] [DBRRM-396][python][CONNECT] Python クライアントで反復子を閉じるときに実行を解放する
  • [SPARK-44631] [DBRRM-396][sc-138823][CONNECT][core][14.0.0] 分離セッション キャッシュが削除されたときにセッション ベースのディレクトリを削除する
  • [SPARK-42941] [DBRRM-396][sc-138389][SS][connect] Python StreamingQueryListener
  • [SPARK-44636] [DBRRM-396][sc-138570][CONNECT] 未解決の反復子を残さない
  • [SPARK-44424] [DBRRM-396][connect][PYTHON][14.0.0] Spark Connect で既存の実行に再アタッチするための Python クライアント
  • [SPARK-44637] [SC-138571] ExecuteResponseObserver へのアクセスを同期する
  • [SPARK-44538] [SC-138178][connect][SQL] Row.jsonValue と friends を復元する
  • [SPARK-44421] [SC-138434][spark-44423][CONNECT] Spark Connect での再接続可能な実行プロセス
  • [SPARK-44418] [SC-136807][python][CONNECT] protobuf を 3.19.5 から 3.20.3 にアップグレードする
  • [SPARK-44587] [SC-138315][sql][CONNECT] protobuf マーシャラー再帰制限の引き上げ
  • [SPARK-44591] [SC-138292][connect][SQL] SparkListenerSQLExecutionStart に jobTag を追加する
  • [SPARK-44610] [SC-138368][sql] 新しいインスタンスを作成するときに、DeduplicateRelations で Alias メタデータを保持する必要がある
  • [SPARK-44542] [SC-138323][core] 例外ハンドラーで SparkExitCode クラスを積極的に読み込む
  • [SPARK-44264] [SC-138143][python]Deepspeed の E2E テスト
  • [SPARK-43997] [SC-138347][connect] Java UDF のサポートを追加する
  • [SPARK-44507] [SQL][connect][14.x][14.0] AnalysisException を sql/api に移動する
  • [SPARK-44453] [SC-137013][python] difflib を使用して assertDataFrameEqual にエラーを表示する
  • [SPARK-44394] [SC-138291][connect][WEBUI][14.0] Spark Connect 用の Spark UI ページを追加する
  • [SPARK-44611] [SC-138415][connect] scala-xml を除外しない
  • [SPARK-44531] [SC-138044][connect][SQL][14.x][14.0] エンコーダー推論を sql/api に移動する
  • [SPARK-43744] [SC-138289][connect][14.x][14.0] クラスの読み込み問題を修正...
  • [SPARK-44590] [SC-138296][sql][CONNECT] SqlCommandResult の矢印バッチ レコード制限を削除する
  • [SPARK-43968] [SC-138115][python] 出力数が間違っている Python UDF のエラー メッセージを改善する
  • [SPARK-44432] [SC-138293][ss][CONNECT] Spark Connect でセッションがタイムアウトしたときにストリーミング クエリを終了する
  • [SPARK-44584] [SC-138295][connect] Scala Client で AddArtifactsRequest と ArtifactStatusesRequest のclient_type情報を設定する
  • [SPARK-44552] [14.0][sc-138176][SQL] から private object ParseState 定義を削除する IntervalUtils
  • [SPARK-43660] [SC-136183][connect][PS] Spark Connect で resample を有効にする
  • [SPARK-44287] [SC-136223][sql] RowToColumnarExec および ColumnarToRowExec SQL 演算子で PartitionEvaluator API を使用します。
  • [SPARK-39634] [SC-137566][sql] 行インデックスの生成と組み合わせてファイル分割を許可する
  • [SPARK-44533] [SC-138058][python] Python UDTF の分析でアキュムレータ、ブロードキャスト、および Spark ファイルのサポートを追加
  • [SPARK-44479] [SC-138146][python] 列なし pandas DataFrame を受け入れるように ArrowStreamPandasUDFSerializer を修正する
  • [SPARK-44425] [SC-138177][connect] ユーザーが指定した sessionId が UUID であることを検証する
  • [SPARK-44535] [SC-138038][接続][SQL] 必要なストリーミング API を sql/api に移動する
  • [SPARK-44264] [SC-136523][ml][PYTHON] ディープスピード分散学習クラス DeepspeedTorchDistributor を記述する
  • [SPARK-42098] [SC-138164][sql] ResolveInlineTables を RuntimeReplaceable 式で処理できない問題を修正
  • [SPARK-44060] [SC-135693][sql] 外部シャッフルハッシュ結合のビルド側に対するコード生成
  • [SPARK-44496] [SC-137682][sql][CONNECT] SCSC で必要なインターフェイスを sql/api に移動する
  • [SPARK-44532] [SC-137893][connect][SQL] ArrowUtils を sql/api に移動する
  • [SPARK-44413] [SC-137019][python] assertDataFrameEqual でサポートされていない arg データ型のエラーを明確にする
  • [SPARK-44530] [SC-138036][core][CONNECT] SparkBuildInfo を common/util に移動する
  • [SPARK-36612] [SC-133071][sql] シャッフル ハッシュ結合で左外部結合ビルドの左または右外部結合ビルドをサポート
  • [SPARK-44519] [SC-137728][connect] SparkConnectServerUtils が jar の正しくないパラメーターを生成しました
  • [SPARK-44449] [SC-137818][connect] 方向逆シリアル化のためのアップキャスト
  • [SPARK-44131] [SC-136346][sql] Scala API のcall_functionを追加し、call_udfを非推奨にしました
  • [SPARK-44541] [SQL] から役に立たない関数 hasRangeExprAgainstEventTimeCol を UnsupportedOperationChecker から削除する
  • [SPARK-44523] [SC-137859][sql] 条件が FalseLiteral の場合、フィルターの maxRows/maxRowsPerPartition が 0 である
  • [SPARK-44540] [SC-137873][ui] jsonFormatter の未使用のスタイルシートと javascript ファイルを削除する
  • [SPARK-44466] [SC-137856][sql] SPARK_DRIVER_PREFIX 以降の構成と SPARK_EXECUTOR_PREFIX を modifiedConfigs から除外する
  • [SPARK-44477] [SC-137508][sql] TYPE_CHECK_FAILURE_WITH_HINTをエラー サブクラスとして扱う
  • [SPARK-44509] [SC-137855][python][CONNECT] Spark Connect Python クライアントでジョブキャンセル API セットを追加する
  • [SPARK-44059] [SC-137023] 組み込み関数の名前付き引数のアナライザー サポートを追加
  • [SPARK-38476] [SC-136448][core] org.apache.spark.storage でエラー クラスを使用する
  • [SPARK-44486] [SC-137817][python][CONNECT] PyArrow self_destruct 機能を実装する toPandas
  • [SPARK-44361] [SC-137200][sql] MapInBatchExec で PartitionEvaluator API を使用する
  • [SPARK-44510] [SC-137652][ui] dataTables を 1.13.5 に更新し、一部の変更されていない png ファイルを削除する
  • [SPARK-44503] [SC-137808][sql] TVF 呼び出しのPARTITION引数の後に、ORDER BY BY 句と TABLE 句の SQL 文法を追加する
  • [SPARK-38477] [SC-136319][core] org.apache.spark.shuffle でエラー クラスを使用する
  • [SPARK-44299] [SC-136088][sql] エラー クラスに名前を割り当てる _LEGACY_ERROR_TEMP_227[4-6,8]
  • [SPARK-44422] [SC-137567][connect] Spark Connect の詳細な割り込み処理
  • [SPARK-44380] [SC-137415][sql][PYTHON] Python で分析する Python UDTF のサポート
  • [SPARK-43923] [SC-137020][connect] リスナーバスイベントを投稿する...
  • [SPARK-44303] [SC-136108][sql] エラー クラスに名前を割り当てる LEGACY_ERROR_TEMP[2320-2324]
  • [SPARK-44294] [SC-135885][ui] HeapHistogram 列がすべて選択ボックスにより予期せず表示される修正
  • [SPARK-44409] [SC-136975][sql] 他のユーザーと一貫性を保つために、Dataset.to で char/varchar を処理する
  • [SPARK-44334] [SC-136576][sql][UI] ジョブのない失敗した DDL/DML に対する REST API 応答の状態は、COMPLETED ではなく FAILED にする必要があります
  • [SPARK-42309] [SC-136703][sql] INCOMPATIBLE_DATA_TO_TABLE とサブクラスについて説明します。
  • [SPARK-44367] [SC-137418][sql][UI] 失敗したクエリごとに UI にエラー メッセージを表示する
  • [SPARK-44474] [SC-137195][connect] SparkConnectServiceSuite で "Test observe response" を再び実行可能
  • [SPARK-44320] [SC-136446][sql] エラー クラスに名前を割り当てる LEGACY_ERROR_TEMP[1067,1150,1220,1265,1277]
  • [SPARK-44310] [SC-136055][connect] サーバーの接続スタートアップ ログにホスト名とポートが表示されます
  • [SPARK-44309] [SC-136193][ui] Executors タブに Executor の追加/削除時刻を表示する
  • [SPARK-42898] [SC-137556][sql] 文字列/日付キャストにタイム ゾーン ID が必要ないことをマークする
  • [SPARK-44475] [SC-137422][sql][CONNECT] DataType とパーサーを sql/api に再配置する
  • [SPARK-44484] [SC-137562][ss]StreamingQueryProgress json メソッドに batchDuration を追加する
  • [SPARK-43966] [SC-137559][sql][PYTHON] 非決定論的テーブル値関数のサポート
  • [SPARK-44439] [SC-136973][connect][SS]id のみをクライアントに送り返す listListeners を修正しました
  • [SPARK-44341] [SC-137054][sql][PYTHON] PartitionEvaluator API を使用してコンピューティング ロジックを定義し、WindowExec と WindowInPandasExec で使用する
  • [SPARK-43839] [SC-132680][sql] _LEGACY_ERROR_TEMP_1337 を変換する UNSUPPORTED_FEATURE.TIME_TRAVEL
  • [SPARK-44244] [SC-135703][sql] エラー クラスに名前を割り当てる LEGACY_ERROR_TEMP[2305-2309]
  • [SPARK-44201] [SC-136778][connect][SS]Spark Connect 用 Scala でストリーミング リスナーのサポートを追加
  • [SPARK-44260] [SC-135618][sql] エラー クラス LEGACY_ERROR_TEMP[1215-1245-2329] に名前を割り当てるおよび checkError() を使用して _CharVarchar_Suite 内の例外をチェックする
  • [SPARK-42454] [SC-136913][sql] SPJ: BatchScanExec のすべての SPJ 関連パラメーターをカプセル化する
  • [SPARK-44292] [SC-135844][sql] エラー クラスに名前を割り当てる LEGACY_ERROR_TEMP[2315-2319]
  • [SPARK-44396] [SC-137221][connect] 方向逆シリアル化
  • [SPARK-44324] [SC-137172][sql][CONNECT] CaseInsensitiveMap を sql/api に移動する
  • [SPARK-44395] [SC-136744][sql] StreamingTableSuite にテストを追加し直す
  • [SPARK-44481] [SC-137401][connect][PYTHON] pyspark.sql.is_remote を API にする
  • [SPARK-44278] [SC-137400][connect] スレッドのローカル プロパティをクリーンアップする GRPC サーバー インターセプターを実装する
  • [SPARK-44264] [SC-137211][ml][PYTHON] Deepspeed を使用した関数の分散トレーニングのサポート
  • [SPARK-44430] [SC-136970][sql] オプションが無効な場合、AnalysisException に原因を追加する
  • [SPARK-44264] [SC-137167][ml][PYTHON] TorchDistributor への FunctionPickler の組み込み
  • [SPARK-44216] [SC-137046] [PYTHON] assertSchemaEqual API をパブリックにする
  • [SPARK-44398] [SC-136720][connect] Scala foreachBatch API
  • [SPARK-43203] [SC-134528][sql] すべてのドロップ テーブル ケースを DataSource V2 に移動する
  • [SPARK-43755] [SC-137171][connect][MINOR] コピーを使用する代わりに AdaptiveSparkPlanHelper.allChildren を開く MetricGenerator
  • [SPARK-44264] [SC-137187][ml][PYTHON] TorchDistributor をリファクタリングしてカスタム "run_training_on_file" 関数ポインターを許可する
  • [SPARK-43755] [SC-136838][connect] SparkExecutePlanStreamHandler から別のスレッドに実行を移動する
  • [SPARK-44411] [SC-137198][sql] ArrowEvalPythonExec と BatchEvalPythonExec で PartitionEvaluator API を使用する
  • [SPARK-44375] [SC-137197][sql] DebugExec で PartitionEvaluator API を使用する
  • [SPARK-43967] [SC-137057][python] 空の戻り値を持つ通常の Python UDF をサポートする
  • [SPARK-43915] [SC-134766][sql] エラー クラスに名前を割り当てる LEGACY_ERROR_TEMP[2438-2445]
  • [SPARK-43965] [SC-136929][python][CONNECT] Spark Connect での Python UDTF のサポート
  • [SPARK-44154] [SC-137050][sql] BitmapExpressionUtilsSuite に単体テストを追加し、ビットマップ集計式を少し改善しました
  • [SPARK-44169] [SC-135497][sql] エラー クラスに名前を割り当てる LEGACY_ERROR_TEMP[2300-2304]
  • [SPARK-44353] [SC-136578][connect][SQL] Remove StructType.toAttributes
  • [SPARK-43964] [SC-136676][sql][PYTHON] 矢印最適化 Python UDF のサポート
  • [SPARK-44321] [SC-136308][connect] AnalysisException から ParseException を分離する
  • [SPARK-44348] [SAS-1910][sc-136644][CORE][connect][PYTHON] 関連する変更でtest_artifactを再び有効にします
  • [SPARK-44145] [SC-136698][sql] 実行の準備ができたときにコールバック
  • [SPARK-43983] [SC-136404][python][ML][connect] クロスバリデータ推定テストを有効にする
  • [SPARK-44399] [SC-136669][pyhton][CONNECT] useArrow が None の場合にのみ Python UDF に SparkSession をインポートする
  • [SPARK-43631] [SC-135300][connect][PS] Spark Connect で Series.interpolate を有効にする
  • [SPARK-44374] [SC-136544][python][ML] Spark 接続用の分散 ML のコード例を追加する
  • [SPARK-44282] [SC-135948][connect] Spark Connect Scala クライアントで使用する DataType 解析を準備する
  • [SPARK-44052] [SC-134469][connect][PS] Spark Connect の適切な Column クラスまたは DataFrame クラスを取得するためのユーティリティを追加します。
  • [SPARK-43983] [SC-136404][python][ML][connect] クロスバリデータ推定機能を実装する
  • [SPARK-44290] [SC-136300][connect] Spark Connect のセッション ベースのファイルとアーカイブ
  • [SPARK-43710] [SC-134860][ps][CONNECT] Spark Connect のサポート functions.date_part
  • [SPARK-44036] [SC-134036][connect][PS] チケットをクリーンアップして統合し、タスクを簡略化します。
  • [SPARK-44150] [SC-135790][python][CONNECT] Arrow Python UDF の戻り値の型が一致しない場合に明示的に Arrow をキャストする
  • [SPARK-43903] [SC-134754][python][CONNECT] Arrow Python UDF での ArrayType 入力のサポートの向上
  • [SPARK-44250] [SC-135819][ml][PYTHON][connect] 分類エバリュエーターを実装する
  • [SPARK-44255] [SC-135704][sql] StorageLevel を common/utils に再配置する
  • [SPARK-42169] [SC-135735] [SQL] to_csv関数のコード生成を実装する (StructsToCsv)
  • [SPARK-44249] [SC-135719][sql][PYTHON] 戻り値の型を個別に送信するように PythonUDTFRunner をリファクターする
  • [SPARK-43353] [SC-132734][python] 残りのセッション エラーをエラー クラスに移行する
  • [SPARK-44133] [SC-134795][python] MyPy を 0.920 から 0.982 にアップグレードする
  • [SPARK-42941] [SC-134707][ss][CONNECT][1/2] StreamingQueryListener - JSON 形式のイベント Serde
  • [SPARK-43353] "[SC-132734][es-729763][PYTHON] 残りのセッション エラーをエラー クラスに移行する" を元に戻す
  • [SPARK-44100] [SC-134576][ml][CONNECT][python] 名前空間を pyspark.mlv2 から pyspark.ml.connect
  • [SPARK-44220] [SC-135484][sql] StringConcat を sql/api に移動する
  • [SPARK-43992] [SC-133645][sql][PYTHON][connect] Catalog.listFunctions のオプション パターンを追加する
  • [SPARK-43982] [SC-134529][ml][PYTHON][connect] Spark Connect に ML のパイプライン推定機能を実装する
  • [SPARK-43888] [SC-132893][core] 共通/ユーティリティへのログの再配置
  • [SPARK-42941] "[SC-134707][ss][CONNECT][1/2] StreamingQueryListener - JSON 形式のイベント Serde" を元に戻す
  • [SPARK-43624] [SC-134557][ps][CONNECT] SparkConnectPlanner に EWM を追加します。
  • [SPARK-43981] [SC-134137][python][ML] Spark Connect での ML の基本的な保存/読み込み実装
  • [SPARK-43205] [SC-133371][sql] SQLQueryTestSuite の修正
  • [SPARK-43376] "[SC-130433][sql] テーブル キャッシュでのサブクエリの再利用の向上" を元に戻す
  • [SPARK-44040] [SC-134366][sql] QueryStageExec の上にある AggregateExec ノードのコンピューティング統計を修正する
  • [SPARK-43919] [SC-133374][sql] JSON 機能を行外に抽出する
  • [SPARK-42618] [SC-134433][python][PS] 次のメジャー リリースでの pandas 関連の動作変更に関する警告
  • [SPARK-43893] [SC-133381][python][CONNECT] Arrow最適化されたPython UDFでの非アトミックデータ型のサポート
  • [SPARK-43627] [SC-134290][spark-43626][PS][connect] Spark Connect で pyspark.pandas.spark.functions.{kurt, skew} を有効にします。
  • [SPARK-43798] [SC-133990][sql][PYTHON] Python ユーザー定義テーブル関数をサポート
  • [SPARK-43616] [SC-133849][ps][CONNECT] Spark Connect で pyspark.pandas.spark.functions.mode を有効にする
  • [SPARK-43133] [SC-133728] Scala Client DataStreamWriter Foreach のサポート
  • [SPARK-43684] [SC-134107][spark-43685][SPARK-43686][spark-43691][CONNECT][ps] Spark Connect の (NullOps|NumOps).(eq|ne) を修正します。
  • [SPARK-43645] [SC-134151][spark-43622][PS][connect] Spark Connect で pyspark.pandas.spark.functions.{var, stddev} を有効にする
  • [SPARK-43617] [SC-133893][ps][CONNECT] Spark Connect で pyspark.pandas.spark.functions.product を有効にする
  • [SPARK-43610] [SC-133832][connect][PS] Spark Connect で InternalFrame.attach_distributed_column を有効にします。
  • [SPARK-43621] [SC-133852][ps][CONNECT] Spark Connect で pyspark.pandas.spark.functions.repeat を有効にする
  • [SPARK-43921] [SC-133461][protobuf] ビルド時に Protobuf 記述子ファイルを生成する
  • [SPARK-43613] [SC-133727][ps][CONNECT] Spark Connect で pyspark.pandas.spark.functions.covar を有効にする
  • [SPARK-43376] [SC-130433][sql] テーブル キャッシュでのサブクエリの再利用の向上
  • [SPARK-43612] [SC-132011][connect][PYTHON] Python クライアントで SparkSession.addArtifact を実装する
  • [SPARK-43920] [SC-133611][sql][CONNECT] sql/api モジュールを作成する
  • [SPARK-43097] [SC-133372][ml] ディストリビューターの上に実装された新しい pyspark ML ロジスティック回帰推定器
  • [SPARK-43783] [SC-133240][spark-43784][SPARK-43788][ml] MLv2 (spark connect 上の ML) で pandas >= 2.0 をサポートする
  • [SPARK-43024] [SC-132716][python] Pandas を 2.0.0 にアップグレードする
  • [SPARK-43881] [SC-133140][sql][PYTHON][connect] Catalog.listDatabases のオプション パターンを追加する
  • [SPARK-39281] [SC-131422][sql] JSON/CSV データ ソースのレガシ形式でタイムスタンプ型の推論を高速化する
  • [SPARK-43792] [SC-132887][sql][PYTHON][connect] Catalog.listCatalogs のオプション パターンを追加する
  • [SPARK-43132] [SC-131623] [SS] [CONNECT] Python Client DataStreamWriter foreach() API
  • [SPARK-43545] [SC-132378][sql][PYTHON] 入れ子になったタイムスタンプ型をサポート
  • [SPARK-43353] [SC-132734][python] 残りのセッション エラーをエラー クラスに移行する
  • [SPARK-43304] [SC-129969][connect][PYTHON] NotImplementedError を PySparkNotImplementedError
  • [SPARK-43516] [SC-132202][ml][PYTHON][connect] spark3.5 用 sparkML のベース インターフェイス: estimator/transformer/model/evaluator
  • [SPARK-43128]「[SC-131628][接続][SS] ネイティブ Scala Api とrecentProgresslastProgressの一貫性を持たせたStreamingQueryProgressを元に戻す」
  • [SPARK-43543] [SC-131839][python] Pandas UDF での入れ子になった MapType の動作を修正する
  • [SPARK-38469] [SC-131425][core] org.apache.spark.network でエラー クラスを使用する
  • [SPARK-43309] [SC-129746][spark-38461][CORE] カテゴリを使用してINTERNAL_ERRORを拡張し、エラー クラスを追加INTERNAL_ERROR_BROADCAST
  • [SPARK-43265] [SC-129653] エラー フレームワークを共通の utils モジュールに移動する
  • [SPARK-43440] [SC-131229][python][CONNECT] 方向最適化 Python UDF の登録をサポート
  • [SPARK-43528] [SC-131531][sql][PYTHON] pandas DataFrame での createDataFrame での重複するフィールド名のサポート
  • [SPARK-43412] [SC-130990][python][CONNECT] 方向最適化 Python UDF 用 SQL_ARROW_BATCHED_UDF EvalType を導入
  • [SPARK-40912] [SC-130986][core]KryoDeserializationStream における例外処理による負荷
  • [SPARK-39280] [SC-131206][sql] JSON/CSV データ ソースでユーザーが指定した形式でタイムスタンプ型の推論を高速化する
  • [SPARK-43473] [SC-131372][python] pandas DataFrame からの createDataFrame での構造体型のサポート
  • [SPARK-43443] [SC-131024][sql] 無効な値を使用する場合のタイムスタンプ型推論のベンチマークを追加する
  • [SPARK-41532] [SC-130523][connect][CLIENT] 複数のデータ フレームを含む操作のチェックを追加する
  • [SPARK-43296] [SC-130627][connect][PYTHON] Spark Connect セッション エラーをエラー クラスに移行する
  • [SPARK-43324] [SC-130455][sql] デルタ ベースのソースの UPDATE コマンドを処理する
  • [SPARK-43347] [SC-130148][python] Python 3.7 のサポートを削除する
  • [SPARK-43292] [SC-130525][core][CONNECT] ExecutorClassLoader を core モジュールに移動して簡略化する Executor#addReplClassLoaderIfNeeded
  • [SPARK-43081] [SC-129900] [ML] [CONNECT] Spark パーティション データからデータを読み込むトーチ ディストリビューター データ ローダーを追加する
  • [SPARK-43331] [SC-130061][connect] Spark Connect に SparkSession.interruptAll を追加する
  • [SPARK-43306] [SC-130320][python] Spark SQL 型からエラー クラスに ValueError を移行する
  • [SPARK-43261] [SC-129674][python] spark SQL 型からエラー クラスに TypeError を移行します。
  • [SPARK-42992] [SC-129465][python] PySparkRuntimeError の導入
  • [SPARK-16484] [SC-129975][sql] Datasketches HllSketch のサポートを追加
  • [SPARK-43165] [SC-128823][sql] canWrite を DataTypeUtils に移動する
  • [SPARK-43082] [SC-129112][connect][PYTHON] Spark Connect での矢印最適化 Python UDF
  • [SPARK-43084] [SC-128654] [SS] spark connect の applyInPandasWithState サポートを追加する
  • [SPARK-42657] [SC-128621][connect] クライアント側 REPL クラスファイルをアーティファクトとして検索してサーバーに転送するサポート
  • [SPARK-43098] [SC-77059][sql] スカラー サブクエリに group by 句がある場合の COUNT の正確性に関するバグを修正する
  • [SPARK-42884] [SC-126662][connect] アンモナイト REPL 統合の追加
  • [SPARK-42994] [SC-128333][ml][CONNECT] PyTorch ディストリビューターサポート ローカル モード
  • [SPARK-41498] [SC-125343] "Union を介してメタデータを伝達" を元に戻す
  • [SPARK-42993] [SC-127829][ml][CONNECT] PyTorch ディストリビューターを Spark Connect と互換性のあるものにする
  • [SPARK-42683] [LC-75] 競合するメタデータ列の名前を自動的に変更する
  • [SPARK-42874] [SC-126442][sql] すべての入力ファイルの分析用に新しいゴールデン ファイル テスト フレームワークを有効にする
  • [SPARK-42779] [SC-126042][sql] V2 書き込みに推奨シャッフルパーティションサイズを示すことを許可する
  • [SPARK-42891] [SC-126458][connect][PYTHON] CoGrouped Map API を実装する
  • [SPARK-42791] [SC-126134][sql] 分析用の新しいゴールデン ファイル テスト フレームワークを作成する
  • [SPARK-42615] [SC-124237][connect][PYTHON] AnalyzePlan RPC をリファクタリングして追加する session.version
  • [SPARK-41302] “[ALL TESTS][sc-122423][SQL] _LEGACY_ERROR_TEMP_1185に名前を割り当てる”を元に戻す
  • [SPARK-40770] [SC-122652][python] スキーマの不一致に対する applyInPandas のエラー メッセージが改善されました
  • [SPARK-40770] "[ALL TESTS][sc-122652][PYTHON] applyInPandas for schema mismatch のエラー メッセージが改善されました" を元に戻す
  • [SPARK-42398] [SC-123500][sql] 既定の列値 DS v2 インターフェイスを調整する
  • [SPARK-40770] [すべてのテスト][sc-122652][PYTHON] スキーマの不一致に対する applyInPandas のエラー メッセージが改善されました
  • [SPARK-40770] "[SC-122652][python] スキーマの不一致に対する applyInPandas のエラー メッセージの改善" を元に戻す
  • [SPARK-40770] [SC-122652][python] スキーマの不一致に対する applyInPandas のエラー メッセージが改善されました
  • [SPARK-42038] [すべてのテスト] "[SC-122533][sql] SPJ: 部分的にクラスター化されたディストリビューションをサポートする" を元に戻す"
  • [SPARK-42038] "[SC-122533][sql] SPJ: 部分的にクラスター化された分散をサポートする" を元に戻す
  • [SPARK-42038] [SC-122533][sql] SPJ: 部分的にクラスター化された配布をサポートする
  • [SPARK-40550] [SC-120989][sql] DataSource V2: デルタ ベースのソースの DELETE コマンドを処理する
  • [SPARK-40770] "[SC-122652][python] スキーマの不一致に対する applyInPandas のエラー メッセージの改善" を元に戻す
  • [SPARK-40770] [SC-122652][python] スキーマの不一致に対する applyInPandas のエラー メッセージが改善されました
  • [SPARK-41302] "[SC-122423][sql] _LEGACY_ERROR_TEMP_1185に名前を割り当てる" を元に戻す
  • [SPARK-40550] "[SC-120989][sql] DataSource V2: デルタ ベースのソースの DELETE コマンドを処理する" を元に戻す
  • [SPARK-42123] "[SC-121453][sql] DESCRIBE と SHOW CREATE TABLE 出力に列の既定値を含める" を元に戻す
  • [SPARK-42146] [SC-121172][core] sql モジュールでこのメソッドを使用するときに maven ビルド パスを作成するように Utils#setStringField リファクターする
  • [SPARK-42119] "[SC-121342][sql] 組み込みのテーブル値関数 inline および inline_outer の追加を元に戻す"

概要

  • Connect aes_decryp の lnt と 関数を修正しました
  • createDataFrame SPARK-44980 で継承された名前付きタプルが動作するように修正しました
  • CodeGenerator Cache がクラスローダー固有の [SPARK-44795] になりました
  • SparkListenerConnectOperationStarted.planRequest を追加 [SPARK-44861]
  • ストリーミング クエリを Connect のアーティファクト管理で機能させる [SPARK-44794]
  • ArrowDeserializer が REPL で生成されたクラス [SPARK-44791] で動作するようにしました
  • Spark Connect [SPARK-44876] での Arrow 最適化 Python UDF を修正 しました
  • Spark Connect での Scala と Go クライアントのサポート SPARK-42554SPARK-43351
  • Spark Connect の PyTorch ベースの分散 ML をサポート SPARK-42471
  • Python と Scala での Spark Connect の Structured Streaming をサポート SPARK-42938
  • Python Spark Connect クライアントの Pandas API をサポート SPARK-42497
  • Arrow Python UDF を導入 SPARK-40307
  • Python のユーザー定義テーブル関数をサポート SPARK-43798
  • PySpark エラーをエラー クラスに移行 SPARK-42986
  • PySpark テスト フレームワーク SPARK-44042
  • DataSketches HllSketch のサポートを追加 SPARK-16484
  • 組み込み SQL 関数を改善 SPARK-41231
  • IDENTIFIER 句 SPARK-43205
  • Scala、Python、R API に SQL 関数を追加 SPARK-43907
  • SQL 関数の名前付き引数のサポートを追加 SPARK-43922
  • シャッフル データが移行された場合に、使用停止された失われた Executor で不要なタスクが再実行されることを回避 SPARK-41469
  • 分散 ML <> Spark Connect SPARK-42471
  • DeepSpeed ディストリビューター SPARK-44264
  • RocksDB 状態ストアの変更ログのチェックポイント処理を実装 SPARK-43421
  • 演算子間で透かしの伝達を導入 SPARK-42376
  • dropDuplicatesWithinWatermark を導入 SPARK-42931
  • RocksDB ステート ストア プロバイダーのメモリ管理の機能強化 SPARK-43311

Spark Connect

  • sql モジュールを sql と sql-api にリファクタリングして、Scala Spark Connect クライアントと Spark の間で共有できる依存関係の最小セットを生成し、すべての Spark 推移的な依存関係のプルを回避します。 SPARK-44273
  • Spark Connect の Scala client を導入 SPARK-42554
  • Python Spark Connect クライアントの Pandas API をサポート SPARK-42497
  • Spark Connect の PyTorch ベースの分散 ML をサポート SPARK-42471
  • Python と Scala での Spark Connect の Structured Streaming をサポート SPARK-42938
  • Go の初期バージョン SPARK-43351
  • Python と Scala 全体の Spark ネイティブクライアントと Spark Connect クライアント間の互換性の向上
  • クライアント アプリケーションのデバッグと要求処理の向上 (非同期処理、再試行、有効期間の長いクエリ)

Spark SQL

機能

  • メタデータ列ファイルのブロックの開始と長さを追加 SPARK-42423
  • Scala/Java sql() で位置指定パラメーターをサポート SPARK-44066
  • 関数呼び出しのパーサーで名前付きパラメーターのサポートを追加 SPARK-43922
  • SELECT ソース関係のために、ORDER BYDEFAULTをLIMIT、OFFSET、INSERTでサポートする。
  • PARTITION TVF 呼び出しのORDER BY引数の後に、TABLE BY 句と 句を追加するための SQL 文法を追加する
  • DESCRIBE および SHOW CREATE TABLE 出力 SPARK-42123 に列の既定値を含める
  • Catalog.listCatalogs の省略可能なパターンを追加 SPARK-43792
  • Catalog.listDatabases の省略可能なパターンを追加 SPARK-43881
  • 実行の準備ができたときにコールバックする SPARK-44145
  • Insert By Name ステートメントをサポート SPARK-42750
  • Scala API の call_function を追加 SPARK-44131
  • 安定した派生列の別名 SPARK-40822
  • CREATE/REPLACE TABLE OPTIONS 値 SPARK-43529 として一般的な定数式をサポートする
  • INTERSECT/EXCEPT による相関関係のあるサブクエリをサポート SPARK-36124
  • IDENTIFIER 句 SPARK-43205
  • ANSI モード: 内部変換がオーバーフローすると、Conv はエラーを返す必要がある SPARK-42427

関数

  • DataSketches HllSketch のサポートを追加 SPARK-16484
  • aes_encrypt()/aes_decrypt() による CBC モードをサポート SPARK-43038
  • TableValuedFunction TABLE の引数パーサー 規則サポート
  • ビットマップ関数を実装 SPARK-44154
  • try_aes_decrypt() 関数を追加 SPARK-42701
  • array_insert は 0 インデックスで失敗する必要がある SPARK-43011
  • to_char の to_varchar 別名を追加 SPARK-43815
  • 高次関数: array_compact を実装 SPARK-41235
  • 組み込み関数の名前付き引数のアナライザー サポートを追加 SPARK-44059
  • ターゲット テーブルよりも少ない列のユーザー指定リストを使用して、INSERT に NULL 値を追加 SPARK-42521
  • aes_encrypt IV と AAD のサポートを追加 SPARK-43290
  • DECODE 関数が NULL を渡したときに間違った結果を返す SPARK-41668
  • UDF「luhn_check」SPARK-42191のサポート
  • 集計での暗黙的な横列別名解決をサポート SPARK-41631
  • Window によるクエリで暗黙的な横列別名をサポート SPARK-42217
  • 引数 3 個の関数の別名 DATE_ADD と DATE_DIFF を追加 SPARK-43492

データ ソース

  • Char/Varchar による JDBC カタログをサポート SPARK-42904
  • JDBC API と TVF を使用した SQL キーワードの動的な取得をサポート SPARK-43119
  • DataSource V2: デルタベースのソースの MERGE コマンドを処理 SPARK-43885
  • DataSource V2: グループベースのソースの MERGE コマンドを処理 SPARK-43963
  • DataSource V2: グループベースのソース UPDATE の コマンドを処理する
  • DataSource V2: 更新を削除および挿入として表すことができるようにする SPARK-43775
  • jdbc 言語でテーブルの作成に使用されるクエリをオーバーライドできるようにする SPARK-41516
  • SPJ: 部分的にクラスター化されたディストリビューションをサポート SPARK-42038
  • DSv2 で CTAS/RTAS でスキーマの NULL 値の許容が予約可能 SPARK-43390
  • spark.sql.files.maxPartitionNum を追加 SPARK-44021
  • デルタ ベースのソース UPDATE の コマンドを処理する
  • アドバイザリ シャッフル パーティション サイズを示す V2 書き込みを許可 SPARK-42779
  • Parquet の lz4raw 圧縮コーデックをサポート SPARK-43273
  • Avro: 複雑な共用体を作成 SPARK-25050
  • JSON/CSV データ ソースのユーザー指定形式でタイムスタンプ型の推論を高速化 SPARK-39280
  • Avro が Long によってサポートされるカスタム小数型をサポート SPARK-43901
  • パーティション キーが一致しないが、結合式に互換性がある場合は、Storage-Partitioned 結合 でシャッフルを避ける SPARK-41413
  • バイナリを CSV 形式でサポートされていない dataType に変更 SPARK-42237
  • Avro が共用体型を型安定のフィールド名を持つ SQL に変換できるようにする SPARK-43333
  • JSON/CSV データ ソースのレガシ形式でタイムスタンプ型の推論を高速化 SPARK-39281

クエリ最適化

  • 部分式の削除サポートのショートカット式 SPARK-42815
  • 一方の側で一意性を維持できる場合に結合統計の推定を改善 SPARK-39851
  • ランクベース フィルターの Window のグループ制限を導入して top-k 計算を最適化 SPARK-37099
  • 最適化ルールの null IN (空のリスト) の動作を修正 SPARK-44431
  • partitionSpec が空の場合にウィンドウの制限を推論してプッシュダウンする SPARK-41171
  • [SPARK-42583] [SC-124190][SQL] 外部結合がすべて個別の集計関数である場合は、外部結合を削除
  • サブクエリに同じパーティション/順序がある隣接する 2 つのウィンドウを展開 SPARK-42525
  • Python UDF を使用して制限をプッシュダウン SPARK-42115
  • フィルター述語の順序を最適化 SPARK-40045

コード生成とクエリ実行

  • ランタイム フィルターが多層シャッフル結合側をフィルター作成側としてサポートする必要がある SPARK-41674
  • HiveSimpleUDF 用の Codegen サポート SPARK-42052
  • HiveGenericUDF の Codegen サポート SPARK-42051
  • ビルド側外部シャッフル ハッシュ結合用の Codegen サポート SPARK-44060
  • to_csv 関数のコード生成を実装 (StructsToCsv) SPARK-42169
  • AQE で InMemoryTableScanExec をサポート SPARK-42101
  • シャッフルハッシュ結合で左外部結合ビルドの左または右外部結合ビルドをサポート SPARK-36612
  • CTAS/RTAS での RequiresDistributionAndOrdering の尊重 SPARK-43088
  • ブロードキャスト結合ストリーム側で適用される結合内の結合バケットを結合 SPARK-43107
  • 完全外部 USING 結合の結合キーに null 許容を正しく設定する SPARK-44251
  • IN サブクエリの ListQuery の NULL 値の許容の問題を修正 SPARK-43413

その他の注目すべき変更点

  • USING 結合のキーに対して Null 許容を正しく設定する SPARK-43718
  • 相関スカラー サブクエリの "COUNT(*) は null です" のバグを修正 SPARK-43156
  • Dataframe.joinWith outer-join は、一致しない行の null 値を返す必要がある SPARK-37829
  • 競合するメタデータ列の名前を自動的に変更する SPARK-42683
  • ユーザーに対するドキュメントで Spark SQL エラー クラスを文書化 SPARK-42706

PySpark

機能

  • Python sql() で位置指定パラメーターをサポート SPARK-44140
  • sql() によるパラメーター化された SQL をサポート SPARK-41666
  • Python のユーザー定義テーブル関数をサポート SPARK-43797
  • 実行時にワーカーで UDF と pandas 関数 API の Python 実行可能ファイルを設定するサポート SPARK-43574
  • PySpark に DataFrame.offset を追加 SPARK-43213
  • pyspark.sql.dataframe.DataFrame が列を含むように dir() を実装 SPARK-43270
  • arrow UDF 操作に大きな可変幅ベクトルを使用するオプションを追加 SPARK-39979
  • mapInPandas / mapInArrow でバリア モード実行がサポートされるようにする SPARK-42896
  • PySpark SparkContext に JobTag API を追加 SPARK-44194
  • Python で分析する Python UDTF をサポート SPARK-44380
  • pyspark.sql.types で TimestampNTZType を公開 SPARK-43759
  • 入れ子になったタイムスタンプ型をサポート SPARK-43545
  • pandas DataFrame と toPandas からの createDataFrame での UserDefinedType のサポート [SPARK-43817][spark-43702]https://issues.apache.org/jira/browse/SPARK-43702)
  • Pyspark Protobuf API に記述子バイナリ オプションを追加 SPARK-43799
  • ジェネリック タプルを Pandas UDF の入力ヒントとして受け入れる SPARK-43886
  • array_prepend 関数を追加 SPARK-41233
  • assertDataFrameEqual util 関数を追加 SPARK-44061
  • 矢印最適化 Python UDF をサポート SPARK-43964
  • fp の近似等価性のカスタム精度を許可 SPARK-44217
  • assertSchemaEqual API をパブリックにする SPARK-44216
  • ps.Series の fill_value をサポート SPARK-42094
  • pandas DataFrame からの createDataFrame で構造体型をサポート SPARK-43473

その他の注目すべき変更点

  • pyspark.sql.dataframe.DataFrame に df[|] のオートコンプリートのサポートを追加 [SPARK-43892]
  • pandas 2.0 で削除される API を非推奨にし、削除する [SPARK-42593]
  • Python をコード例の最初のタブにする - Spark SQL、DataFrames、Datasets ガイド SPARK-42493
  • Python を既定で表示するために残りの Spark ドキュメント コードを更新 SPARK-42642
  • Arrow RecordBatch を作成するときに、重複除去されたフィールド名を使用 [SPARK-41971]
  • pandas DataFrame を使用した createDataFrame で重複したフィールド名をサポート [SPARK-43528]
  • Series を使用して DataFrame を作成するときに列パラメーターを許可 [SPARK-42194]

コア

  • プッシュ マージの shuffleMapStage 再試行時に mergeFinalize をスケジュールするが、実行中のタスクがない SPARK-40082
  • SQL 演算子の実行に PartitionEvaluator を導入 SPARK-43061
  • シャッフル データが確実に格納されている場合に ShuffleDriverComponent に宣言を許可 SPARK-42689
  • 無限再試行の可能性を回避するために、ステージの最大試行数の制限を追加 SPARK-42577
  • 静的 Spark conf でログ レベルの構成をサポート SPARK-43782
  • PercentileHeap を最適化 SPARK-42528
  • TaskScheduler.cancelTasks に理由引数を追加 SPARK-42602
  • シャッフル データが移行された場合に、使用停止された失われた Executor で不要なタスクが再実行されることを回避 SPARK-41469
  • rdd キャッシュを使用した再試行タスクの場合のアキュムレータのアンダーカウントを修正 SPARK-41497
  • spark.history.store.hybridStore.diskBackend に RocksDB を規定で使用する SPARK-42277
  • Guava Cache の NonFateSharingCache ラッパー SPARK-43300
  • MapOutputTracker.updateMapOutput のパフォーマンスの向上 SPARK-43043
  • 外部シャッフル サービスによってメタデータが db に保存されるかどうかをアプリが制御できるようにする SPARK-43179
  • SPARK_DRIVER_POD_IP env 変数をExecutor ポッドを追加 SPARK-42769
  • Hadoop 構成マップを Executor ポッドにマウント SPARK-43504

構造化ストリーミング

  • RocksDB 状態ストアのピン留めされたブロック メモリ使用量の追跡のサポートを追加 SPARK-43120
  • RocksDB ステート ストア プロバイダーのメモリ管理の機能強化を追加 SPARK-43311
  • dropDuplicatesWithinWatermark を導入 SPARK-42931
  • StreamingQueryListener に新しいコールバック onQueryIdle を導入 SPARK-43183
  • DSv2 ソース/シンク用 StreamingWrite API の一部としてコミット コーディネーターをスキップするオプションを追加 SPARK-42968
  • StreamingQueryListener に新しいコールバック “onQueryIdle” を導入 SPARK-43183
  • RocksDB ステート ストア プロバイダーの変更ログ ベースのチェックポイント処理を実装 SPARK-43421
  • ストリーミング ステートフル演算子で使用される RocksDB の WRITE_FLUSH_BYTES のサポートを追加 SPARK-42792
  • ストリーミングで使用される RocksDB の max_write_buffer_number と write_buffer_size の設定のサポートを追加 SPARK-42819
  • RocksDB StateStore ロックの取得は、inputRDD から入力反復子を取得した後に発生する必要がある SPARK-42566
  • 演算子間で透かしの伝達を導入 SPARK-42376
  • RocksDB チェックポイント ディレクトリで孤立した sst ファイルとログ ファイルをクリーンアップ SPARK-42353
  • 例外に存在する場合はエラー クラスを含むように QueryTerminatedEvent を拡張 SPARK-43482

ミリリットル

  • Deepspeed を使用した関数の分散トレーニングをサポート SPARK-44264
  • sparkML for spark3.5 の基本インターフェイス: estimator/transformer/model/evaluator SPARK-43516
  • MLv2 (SPARK connect 上の ML) で pandas >= 2.0 がサポートされるようにする SPARK-43783
  • MLv2 Transformer のインターフェイスを更新 SPARK-43516
  • ディストリビューターの上に実装された新しい pyspark ML ロジスティック回帰推定器 SPARK-43097
  • Classifier.getNumClasses を再び追加 SPARK-42526
  • Deepspeed Distributed Learning Class DeepspeedTorchDistributor を記述 SPARK-44264
  • Spark Connect での ML の基本的な保存/読み込み実装 SPARK-43981
  • ロジスティック回帰モデル保存の向上 SPARK-43097
  • Spark Connect に ML のパイプライン推定機能を実装 SPARK-43982
  • クロス検証ツール推定器を実装 SPARK-43983
  • 分類エバリュエーターを実装 SPARK-44250
  • PyTorch ディストリビューターを Spark Connect と互換性のあるものにする SPARK-42993

ユーザーインターフェース

  • Spark Connect 用の Spark UI ページを追加 SPARK-44394
  • [Executors] タブの [Heap Histogram] 列をサポート SPARK-44153
  • 失敗したクエリごとに UI にエラー メッセージを表示 SPARK-44367
  • [Executors] タブに Executor の時間の追加と削除を表示 SPARK-44309

ビルドとその他

削除、動作の変更、非推奨

今後の削除

次の機能は、次の Spark メジャー リリースで削除されます

  • Java 8 と Java 11 のサポート、Java のサポートされる最低限のバージョンは Java 17 です
  • Scala 2.12 のサポートおよび Java のサポートされる最低限のバージョンは 2.13 です

移行ガイド

Databricks ODBC/JDBC ドライバーのサポート

Databricks では、過去 2 年間にリリースされた ODBC/JDBC ドライバーがサポートされています。 最近リリースされたドライバーをダウンロードしてアップグレードしてください (ODBC のダウンロード、JDBC のダウンロード)。

システム環境

  • オペレーティング システム: Ubuntu 22.04.3 LTS
  • Java: Zulu 8.70.0.23-CA-linux64
  • Scala: 2.12.15
  • Python: 3.10.12
  • R: 4.3.1
  • Delta Lake: 2.4.0

インストールされている Python ライブラリ

ライブラリ バージョン ライブラリ バージョン ライブラリ バージョン
anyio 3.5.0 argon2-cffi 21.3.0 argon2-cffi-bindings 21.2.0
アストトークン 2.0.5 属性 22.1.0 バックコール (再発信機能) 0.2.0
beautifulsoup4 4.11.1 黒い 22.6.0 漂白剤 4.1.0
ウインカー 1.4 boto3 1.24.28 botocore 1.27.96
サーティフィ 2022.12.7 cffi 1.15.1 チャーデット 4.0.0
charset-normalizer (文字コード正規化ツール) 2.0.4 クリックし 8.0.4 通信 0.1.2
コンツアーピー 1.0.5 暗号技術 39.0.1 サイクリスト 0.11.0
Cython 0.29.32 databricks-sdk（データブリックスSDK） 0.1.6 dbus-python 1.2.18
debugpy 1.6.7 デコレーター 5.1.1 デフューズドXML (defusedxml) 0.7.1
distlib 0.3.7 ドックストリングをMarkdownに変換 0.11 入口点 0.4
実行中 0.8.3 ファセット概要 1.1.1 fastjsonschema 2.18.0
ファイルロック 3.12.2 fonttools（フォントツールズ） 4.25.0 GCC ランタイム ライブラリ 1.10.0
Google API 共通プロトコル (googleapis-common-protos) 1.60.0 grpcio 1.48.2 grpcio-status 1.48.1
httplib2 0.20.2 idna 3.4 importlib-metadata 4.6.4
ipykernel 6.25.0 ipython 8.14.0 ipython-genutils (IPython用のユーティリティ) 0.2.0
ipywidgets (インタラクティブウィジェット) 7.7.2 ジェダイ 0.18.1 ジープニー 0.7.1
ジンジャ2 3.1.2 jmespath 0.10.0 「joblib」 1.2.0
JSONスキーマ 4.17.3 ジュピタークライアント 7.3.4 jupyterサーバー 1.23.4
jupyter_core（ジュピター・コア） 5.2.0 jupyterlab-pygments 0.1.2 jupyterlab ウィジェット 1.0.0
キーホルダー 23.5.0 キウィソルバー 1.4.4 launchpadlib 1.10.16
lazr.restfulclient 0.14.4 lazr.uri 1.0.6 lxml 4.9.1
マークアップセーフ 2.1.1 matplotlib 3.7.0 matplotlib-インライン 0.1.6
マッケイブ 0.7.0 ミスチューン 0.8.4 more-itertools 8.10.0
mypy-extensions (マイパイ拡張機能) 0.4.3 nbclassic 0.5.2 nbclient（エヌビー・クライアント） 0.5.13
NBコンバート 6.5.4 nbフォーマット 5.7.0 nest-asyncio（ネスト・アサインキオ） 1.5.6
nodeenv 1.8.0 ノートブック 6.5.2 ノートブックシム 0.2.2
NumPy (数値計算ライブラリ) 1.23.5 oauthlib 3.2.0 パッケージング 22.0
パンダ 1.5.3 パンドックフィルターズ 1.5.0 パルソ 0.8.3
パススペック 0.10.3 パッツィ 0.5.3 ペキスペクト 4.8.0
ピクルシェア 0.7.5 枕 9.4.0 種 22.3.1
プラットフォームディレクトリ 2.5.2 plotly - データビジュアライゼーションツール 5.9.0 プラグイン管理ツール 1.0.0
prometheus-クライアント 0.14.1 prompt-toolkit（プロンプトツールキット） 3.0.36 プロトバフ 4.24.0
psutil 5.9.0 psycopg2 2.9.3 ptyprocess 0.7.0
pure-eval (ピュア・イヴァル) 0.2.2 pyarrow (パイアロー) 8.0.0 pycparser（パイシーパーサー） 2.21
Pythonのデータバリデーションライブラリ「pydantic」 1.10.6 パイフレークス 3.0.1 Pygments 2.11.2
PyGObject 3.42.1 PyJWT 2.3.0 pyodbc (Pythonのデータベース接続用ライブラリ) 4.0.32
パイパーシング (Pyparsing) 3.0.9 pyright 1.1.294 pyrsistent 0.18.0
python-dateutil (Python用の日付処理ライブラリ) 2.8.2 python-lsp-jsonrpc 1.0.0 Python LSP サーバー 1.7.1
Pytoolconfig 1.2.5 pytz 2022年7月 pyzmq 23.2.0
リクエスト 2.28.1 ロープ 1.7.0 s3transfer 0.6.1
scikit-learn（サイキット・ラーン） 1.1.1 seaborn（シーボーン） 0.12.2 SecretStorage 3.3.1
Send2Trash(センド2トラッシュ) 1.8.0 setuptools（セットアップツール） 65.6.3 6 1.16.0
スニフィオ 1.2.0 スープこし器 (soup strainer) 2.3.2.post1 ssh-import-id 5.11
スタックデータ 0.2.0 statsmodels（スタッツモデルズ） 0.13.5 粘り強さ 8.1.0
終了しました 0.17.1 Threadpoolctl 2.2.0 tinycss2 1.2.1
トークナイズ-RT 4.2.1 tomli 2.0.1 竜巻 6.1
traitlets（トレイトレット） 5.7.1 タイピングエクステンションズ (typing_extensions) 4.4.0 ujson 5.4.0
無人アップグレード 0.1 urllib3 1.26.14 virtualenv 20.16.7
wadllib 1.3.6 wcwidth（文字の幅を測定するプログラム関数） 0.2.5 ウェブエンコーディングス 0.5.1
websocket-client (ウェブソケット・クライアント) 0.58.0 whatthepatch（ホワットザパッチ） 1.0.2 車輪 0.38.4
ウィジェットNBエクステンション 3.6.1 yapf (ヤップフ) 0.31.0 ジップ 1.0.0

インストールされている R ライブラリ

R ライブラリは、2023-07-13 の Posit パッケージ マネージャー CRAN スナップショットからインストールされています。

ライブラリ バージョン ライブラリ バージョン ライブラリ バージョン
矢印 12.0.1 アスクパス 1.1 assertthat（アサートザット関数） 0.2.1
バックポート（旧バージョンへの機能移植） 1.4.1 基盤 4.3.1 base64enc 0.1-3
ビット 4.0.5 ビット64 4.0.5 blob (blob) 1.2.4
起動 1.3-28 醸成 1.0 から 8 活気 1.1.3
箒 1.0.5 bslib 0.5.0 キャシェム 1.0.8
コールアール 3.7.3 キャレット 6.0-94 セルレンジャー (cellranger) 1.1.0
クロノ 2.3-61 クラス 7.3-22 CLI 3.6.1
クリッパー 0.8.0 時計 0.7.0 クラスタ 2.1.4
コードツール 0.2-19 カラー空間 2.1-0 コモンマーク 1.9.0
コンパイラ 4.3.1 設定 0.3.1 葛藤している 1.2.0
CPP11 0.4.4 クレヨン 1.5.2 資格情報 1.3.2
カール 5.0.1 データテーブル (data.table) 1.14.8 データセット 4.3.1
DBI 1.1.3 dbplyr 2.3.3 説明 1.4.2
開発ツール 2.4.5 ダイアグラム 1.6.5 diffobj 0.3.5
ダイジェスト 0.6.33 ダウンライト 0.4.3 dplyr 1.1.2
dtplyr 1.3.1 e1071 1.7-13 省略記号 0.3.2
評価する 0.21 ファンシ 1.0.4 farver 2.1.1
fastmap (ファストマップ) 1.1.1 fontawesome (フォントオーサム) 0.5.1 フォーキャッツ 1.0.0
フォーリーチ 1.5.2 外国の 0.8-82 鍛冶場 0.2.0
FS 1.6.2 未来 1.33.0 future.apply（将来の機能を適用するためのプログラミング関数） 1.11.0
うがい 1.5.1 ジェネリクス 0.1.3 ゲルト 1.9.2
ggplot2 3.4.2 gh 1.4.0 gitcreds 0.1.2
glmnet(英語) 4.1-7 グローバル変数 0.16.2 接着剤 1.6.2
googledrive 2.1.1 googlesheets4 1.1.1 ガウアー 1.0.1
グラフィックス 4.3.1 grDevices 4.3.1 グリッド 4.3.1
gridExtra 2.3 gsubfn 0.7 gtable 0.3.3
安全帽 1.3.0 安らぎの場 2.5.3 より高い 0.10
エイチ・エム・エス 1.1.3 HTMLツール 0.5.5 HTMLウィジェット 1.6.2
httpuv 1.6.11 「httr」パッケージ（HTTPリクエストを簡単に送信するためのライブラリ） 1.4.6 httr2 0.2.3
識別子 1.0.1 ini 0.3.1 アイプレッド 0.9-14
アイソバンド 0.2.7 イテレータ 1.0.14 jquerylib 0.1.4
jsonlite 1.8.7 カーンスムース 2.23-21 ニット 1.43
ラベリング 0.4.2 あとで 1.3.1 格子構造 0.21-8
溶岩 1.7.2.1 ライフサイクル 1.0.3 listenv 0.9.0
ルブリデート 1.9.2 Magrittr 2.0.3 値下げ 1.7
質量 7.3-60 マトリックス 1.5-4.1 メモ化 2.0.1
方法 4.3.1 mgcv 1.8-42 マイム 0.12
ミニUI 0.1.1.1 モデルメトリクス 1.2.2.2 モデルル 0.1.11
munsell 0.5.0 nlme 3.1-162 ニューラルネットワーク (nnet) 7.3-19
numDeriv（ヌムデリヴ） 2016年8月～2016年1月1日 openssl (オープンソースの暗号化ツール) 2.0.6 並行 4.3.1
平行に 1.36.0 柱 1.9.0 pkgbuild（パッケージビルド） 1.4.2
pkgconfig 2.0.3 pkgdown 2.0.7 pkgload(パッケージロード) 1.3.2.1
plogr 0.2.0 プライル 1.8.8 賞賛 1.0.0
プリティーユニッツ 1.1.1 プロック (pROC) 1.18.4 プロセスエックス 3.8.2
プロッドリム 2023年03月31日 プロフビス 0.3.8 進捗 1.2.2
progressr 0.13.0 約束 1.2.0.1 プロト 1.0.0
プロキシ 0.4-27 PS 1.7.5 ゴロゴロ 1.0.1
R2D3 0.2.6 R6 2.5.1 ragg 1.2.5
randomForest（ランダムフォレスト） 4.7-1.1 rappdirs 0.3.3 rcmdcheck 1.4.0
RColorブリューワー 1.1-3 Rcpp 1.0.11 RcppEigen 0.3.3.9.3
読み取り 2.1.4 readxl (エクセルファイルの読み取り用パッケージ/関数) 1.4.3 レシピ 1.0.6
再戦 1.0.1 リマッチ2 2.1.2 リモコン 2.4.2
再現可能な例 (reprex) 2.0.2 リシェイプ2 1.4.4 rlang 1.1.1
rmarkdown 2.23 RODBC 1.3-20 リオキシジェン2 7.2.3
rpart（Rプログラミング言語における再帰的分割のためのパッケージ） 4.1.19 rprojroot さん 2.0.3 Rサーブ 1.8-11
RSQLite (英語) 2.3.1 rstudioapi 0.15.0 アールバージョンズ 2.1.2
アヴェスト 1.0.3 サス 0.4.6 秤 1.2.1
セレクター 0.4-2 セッション情報 1.2.2 形状 1.4.6
光沢がある 1.7.4.1 ソースツール 0.1.7-1 スパークラー (sparklyr) 1.8.1
SparkR 3.5.0 空間的 7.3-15 スプライン 4.3.1
sqldf 0.4-11 スクウェアム 2021年1月 統計 4.3.1
統計プログラミングパッケージ「stats4」 4.3.1 ストリンギ 1.7.12 stringr 1.5.0
サバイバル 3.5-5 システム 3.4.2 systemfonts 1.0.4
tcltk（ティーシーエルティーケー） 4.3.1 テストザット 3.1.10 テキスト整形 0.3.6
tibble（ティブル） 3.2.1 ティディル 1.3.0 tidyselect関数 1.2.0
tidyverse（タイディバース） 2.0.0 時刻変更 0.2.0 時刻と日付 4022.108
tinytex 0.45 ツール 4.3.1 tzdb 0.4.0
URLチェッカー 1.0.1 この機能を使う 2.2.2 UTF8 1.2.3
ユーティリティ 4.3.1 UUID（ユニバーサルユニーク識別子） 1.1-0 VCTRSの 0.6.3
ヴィリディスライト 0.4.2 ブルーム 1.6.3 ワルド 0.5.1
ウイスカー 0.4.1 ウィザー 2.5.0 xfun 0.39
xml2 1.3.5 xopen (エックスオープン) 1.0.0 xtable (エクステーブル) 1.8-4
YAML 2.3.7 郵便番号 2.3.0

インストールされている Java ライブラリと Scala ライブラリ (Scala 2.12 クラスター バージョン)

グループ ID 成果物 ID バージョン
アンラル（ANTLR） アンラル（ANTLR） 2.7.7
com.amazonaws amazon-kinesis-client（アマゾン・キネシス・クライアント） 1.12.0
com.amazonaws aws-java-sdk-autoscaling (オートスケーリング用Java SDK) 1.12.390
com.amazonaws aws-java-sdk-cloudformation 1.12.390
com.amazonaws AWSのJava SDKパッケージであるCloudFront 1.12.390
com.amazonaws aws-java-sdk-cloudhsm（AWSのクラウドHSM用Javaソフトウェア開発キット） 1.12.390
com.amazonaws AWSのJava SDK - cloudsearch 1.12.390
com.amazonaws aws-java-sdk-cloudtrail 1.12.390
com.amazonaws aws-java-sdk-cloudwatch 1.12.390
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.390
com.amazonaws aws-java-sdk-codedeploy（AWSのJava SDK用CodeDeployサービス） 1.12.390
com.amazonaws aws-java-sdk-cognitoidentity (AWS Java SDK コグニトアイデンティティ) 1.12.390
com.amazonaws aws-java-sdk-cognitosync 1.12.390
com.amazonaws aws-java-sdk-config（AWS Java SDK 設定） 1.12.390
com.amazonaws aws-java-sdk-core（AWS Java SDKのコア） 1.12.390
com.amazonaws aws-java-sdk-datapipeline (AWS Java SDKのデータパイプラインモジュール) 1.12.390
com.amazonaws aws-java-sdk-directconnect (AWSのJava SDKのDirect Connect機能) 1.12.390
com.amazonaws aws-java-sdk-directory 1.12.390
com.amazonaws aws-java-sdk-dynamodb 1.12.390
com.amazonaws aws-java-sdk-ec2 1.12.390
com.amazonaws aws-java-sdk-ecs 1.12.390
com.amazonaws aws-java-sdk-efs 1.12.390
com.amazonaws AWS Java SDK エラスティキャッシュ 1.12.390
com.amazonaws AWS Java SDK エラスティックビーンストーク 1.12.390
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.390
com.amazonaws aws-java-sdk-elastictranscoder (AWS用のJava開発ツールキット - Elastic Transcoder) 1.12.390
com.amazonaws aws-java-sdk-emr 1.12.390
com.amazonaws aws-java-sdk-glacier 1.12.390
com.amazonaws aws-java-sdk-glue (AWSのJava用SDKであるGlue) 1.12.390
com.amazonaws AWSのJava SDK（IAM用） 1.12.390
com.amazonaws AWS Java SDK インポートエクスポート 1.12.390
com.amazonaws aws-java-sdk-kinesis 1.12.390
com.amazonaws aws-java-sdk-kms 1.12.390
com.amazonaws aws-java-sdk-lambda 1.12.390
com.amazonaws aws-java-sdk-logs 1.12.390
com.amazonaws aws-java-sdk-機械学習 1.12.390
com.amazonaws aws-java-sdk-opsworks 1.12.390
com.amazonaws aws-java-sdk-rds（AWSのJava用RDSソフトウェア開発キット） 1.12.390
com.amazonaws AWS Java SDK Redshift 1.12.390
com.amazonaws aws-java-sdk-route53 1.12.390
com.amazonaws aws-java-sdk-s3 1.12.390
com.amazonaws aws-java-sdk-ses 1.12.390
com.amazonaws aws-java-sdk-simpledb 1.12.390
com.amazonaws aws-java-sdk-simpleworkflow 1.12.390
com.amazonaws aws-java-sdk-sns 1.12.390
com.amazonaws aws-java-sdk-sqs 1.12.390
com.amazonaws aws-java-sdk-ssm 1.12.390
com.amazonaws AWS Java SDK ストレージゲートウェイ 1.12.390
com.amazonaws aws-java-sdk-sts 1.12.390
com.amazonaws AWS Java SDK サポート 1.12.390
com.amazonaws aws-java-sdk-swf-libraries (AWS Java SDK SWFライブラリ) 1.11.22
com.amazonaws aws-java-sdk-workspacesとはAWSのワークスペースを管理するためのJava用SDKです。 1.12.390
com.amazonaws jmespath-java 1.12.390
com.clearspring.analytics ストリーム (stream) 2.9.6
com.databricks Rサーブ 1.8-3
com.databricks Databricks SDK (Java) 0.2.0
com.databricks jets3t (ジェットスリート) 0.7.1-0
com.databricks.scalapb コンパイラプラグイン_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-シェーデッド 4.0.2
com.esotericsoftware minlog (ミンログ) 1.3.0
com.fasterxml クラスメイト 1.3.4
com.fasterxml.jackson.core jackson-annotations (ジャクソン・アノテーション) 2.15.2
com.fasterxml.jackson.core ジャクソン・コア (jackson-core) 2.15.2
com.fasterxml.jackson.core ジャクソン・データバインド (jackson-databind) 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor（ジャクソンデータフォーマットCBOR） 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-joda 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.15.1
com.fasterxml.jackson.module jackson-module-paranamer 2.15.2
com.fasterxml.jackson.module jackson-module-scala_2.12 2.15.2
com.github.ben-manes.カフェイン カフェイン 2.9.3
com.github.fommil jniloader 1.1
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java 1.1-ネイティブス
com.github.fommil.netlib ネイティブシステム-Java 1.1
com.github.fommil.netlib ネイティブシステム-Java 1.1-ネイティブス
com.github.fommil.netlib netlib-native_ref-linux-x86_64 1.1-ネイティブス
com.github.fommil.netlib netlib-ネイティブシステム-linux-x86_64 1.1-ネイティブス
com.github.luben zstd-jni (ゼットスタッドジェイエヌアイ) 1.5.5-4
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.10.1
com.google.crypto.tink ティンク 1.9.0
com.google.errorprone エラーが発生しやすいアノテーション 2.10.0
com.google.flatbuffers flatbuffers-java 1.12.0
com.google.guava グアバ 15.0
com.google.protobuf protobuf-java 2.6.1
com.helger プロファイラー 1.1.1
com.jcraft jsch 0.1.55
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk（アジュール・データ・レイク・ストア・SDK） 2.3.9
com.microsoft.sqlserver mssql-jdbc 11.2.2.jre8
com.ning Compress-LZF (コンプレス-LZF) 1.1.2
com.sun.mail javax.mail 1.5.2
.bind の com.sun.xml jaxb-core 2.2.11
.bind の com.sun.xml jaxb-impl 2.2.11
com.tdunning JSON 1.8
com.thoughtworks.paranamer パラナマー 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter チル-ジャヴァ 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe 設定 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.0
com.univocity univocity-parsers（ユニボシティ・パーサーズ） 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
コモンズ・コーデック コモンズ・コーデック 1.16.0
コモンズ・コレクションズ コモンズ・コレクションズ 3.2.2
commons-dbcp（コモンズ-DBCP） commons-dbcp（コモンズ-DBCP） 1.4
コモンズ-ファイルアップロード コモンズ-ファイルアップロード 1.5
commons-httpclient（コモンズHTTPクライアント） commons-httpclient（コモンズHTTPクライアント） 3.1
commons-io commons-io 2.13.0
commons-lang (コモンズ・ラン、Javaの汎用ユーティリティライブラリ) commons-lang (コモンズ・ラン、Javaの汎用ユーティリティライブラリ) 2.6
commons-logging commons-logging 1.1.3
commons-pool（コモンズプール） commons-pool（コモンズプール） 1.5.4
dev.ludovic.netlib アーパック 3.0.3
dev.ludovic.netlib ブラス 3.0.3
dev.ludovic.netlib ラパック 3.0.3
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift エアコンプレッサー 0.24
io.delta delta-sharing-spark_2.12 0.7.1
io.dropwizard.metrics メトリクスアノテーション 4.2.19
io.dropwizard.metrics メトリクス・コア 4.2.19
io.dropwizard.metrics メトリクス・グラファイト 4.2.19
io.dropwizard.metrics メトリクス-ヘルスチェック 4.2.19
io.dropwizard.metrics メトリクス-ジェッティ9 4.2.19
io.dropwizard.metrics メトリクス-JMX 4.2.19
io.dropwizard.metrics metrics-json 4.2.19
io.dropwizard.metrics メトリックス-JVM 4.2.19
io.dropwizard.metrics メトリクス-サーブレット 4.2.19
io.netty netty-all (ライブラリ名) 4.1.93.Final
io.netty ネットィバッファー 4.1.93.Final
io.netty netty-codec 4.1.93.Final
io.netty netty-codec-http 4.1.93.Final
io.netty netty-codec-http2（ネットティー・コーデック・HTTP2） 4.1.93.Final
io.netty netty-codec-socks 4.1.93.Final
io.netty netty-common 4.1.93.Final
io.netty ネットティ・ハンドラー 4.1.93.Final
io.netty ネッティ・ハンドラー・プロキシ 4.1.93.Final
io.netty ネッティ・リゾルバー 4.1.93.Final
io.netty netty-transport（ネットティ・トランスポート） 4.1.93.Final
io.netty netty-transport-classes-epoll 4.1.93.Final
io.netty netty-トランスポートクラス-kqueue 4.1.93.Final
io.netty netty-transport-native-epoll 4.1.93.Final
io.netty netty-transport-native-epoll 4.1.93.Final-linux-aarch_64
io.netty netty-transport-native-epoll 4.1.93.Final-linux-x86_64
io.netty netty-transport-native-kqueue 4.1.93.Final-osx-aarch_64
io.netty netty-transport-native-kqueue 4.1.93.Final-osx-x86_64
io.netty netty-transport-native-unix-common (ネットワーク通信を行うためのユニックス向け共通ライブラリ) 4.1.93.Final
io.prometheus simpleclient 0.7.0
io.prometheus シンプルクライアント_コモン 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus シンプルクライアント_プッシュゲートウェイ 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx コレクタ 0.12.0
jakarta.annotation ジャカルタ・アノテーションAPI 1.3.5
ジャカルタ.サーブレット jakarta.サーブレット-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation アクティベーション 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1.1
javax.transaction トランザクションAPI 1.1
.bind の javax.xml jaxb-api 2.2.11
「ジャボリューション（Javolution）」 「ジャボリューション（Javolution）」 5.5.1
ジェイライン ジェイライン 2.14.6
joda-time joda-time 2.12.1
net.java.dev.jna jna 5.8.0
net.razorvine 漬物 1.3
net.sf.jpam ジェーパム 1.1
net.sf.opencsv opencsv (CSVファイル操作のためのライブラリ) 2.3
net.sf.supercsv スーパCSV (スーパーシーエスブイ) 2.2.0
net.snowflake snowflake-ingest-sdk（スノーフレーク・インジェスト・SDK） 0.9.6
net.snowflake スノーフレーク-JDBC 3.13.29
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt.remotetea リモートティー-オンシーRPC 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.9.3
org.antlr ストリングテンプレート 3.2.1
org.apache.ant 蟻 1.9.16
org.apache.ant ant-jsch 1.9.16
org.apache.ant ant-launcher 1.9.16
org.apache.arrow 矢印フォーマット 12.0.1
org.apache.arrow アロー・メモリー・コア 12.0.1
org.apache.arrow アロー・メモリー・ネッティ 12.0.1
org.apache.arrow 矢印ベクトル 12.0.1
org.apache.avro アブロ 1.11.2
org.apache.avro avro-ipc 1.11.2
org.apache.avro avro-mapred 1.11.2
org.apache.commons commons-collections4 4.4.
org.apache.commons コモンズ・コンプレス 1.23.0
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons コモンズテキスト 1.10.0
org.apache.curator キュレータークライアント 2.13.0
org.apache.curator Curator Framework（キュレーター・フレームワーク） 2.13.0
org.apache.curator キュレーターのレシピ 2.13.0
org.apache.datasketches datasketches-java 3.1.0
org.apache.datasketches datasketches-memory (データスケッチズ・メモリー) 2.0.0
org.apache.derby ダービー 10.14.2.0
org.apache.hadoop hadoop-client-runtime (ハドゥープ・クライアント・ランタイム) 3.3.6
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive ハイブセーデ 2.3.9
org.apache.hive ハイブシムス 2.3.9
org.apache.hive hive-storage-api (ハイブストレージAPI) 2.8.1
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler (ハイブシムススケジューラー) 2.3.9
org.apache.httpcomponents httpclient 4.5.14
org.apache.httpcomponents httpcore 4.4.16
org.apache.ivy アイビー 2.5.1
org.apache.logging.log4j log4j-1.2-api 2.20.0
org.apache.logging.log4j log4j-api 2.20.0
org.apache.logging.log4j log4j-core 2.20.0
org.apache.logging.log4j log4j-slf4j2-impl 2.20.0
org.apache.mesos メソス 1.11.0-shaded-protobuf
org.apache.orc オーク・コア 1.9.0-shaded-protobuf
org.apache.orc orc-mapreduce 1.9.0-shaded-protobuf
org.apache.orc orc-shims（オーク・シムズ） 1.9.0
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift (リブスリフト) 0.12.0
org.apache.xbean xbean-asm9-shaded 4.23
org.apache.yetus オーディエンス注釈 0.13.0
org.apache.zookeeper 動物園の飼育員 3.6.3
org.apache.zookeeper zookeeper-jute（ズーキーパー・ジュート） 3.6.3
org.checkerframework チェッカー・クオール 3.31.0
org.codehaus.jackson ジャクソンコアASL 1.9.13
org.codehaus.jackson ジャクソン・マッパー・ASL 1.9.13
org.codehaus.janino コモンズコンパイラー 3.0.16
org.codehaus.janino ジャニーノ (janino) 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus データニュクレウス-RDBMS 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.51.v20230217
org.eclipse.jetty ジェッティ・コンティニュエーション 9.4.51.v20230217
org.eclipse.jetty ジェッティ-HTTP 9.4.51.v20230217
org.eclipse.jetty jetty-io 9.4.51.v20230217
org.eclipse.jetty jetty-jndi（ジェッティ-JNDI） 9.4.51.v20230217
org.eclipse.jetty ジェッティプラス 9.4.51.v20230217
org.eclipse.jetty jetty-proxy (ジェッティプロキシ) 9.4.51.v20230217
org.eclipse.jetty ジェッティ・セキュリティ 9.4.51.v20230217
org.eclipse.jetty ジェッティ・サーバー 9.4.51.v20230217
org.eclipse.jetty ジェッティ-サーブレット 9.4.51.v20230217
org.eclipse.jetty ジェッティ・サーブレット (jetty-servlets) 9.4.51.v20230217
org.eclipse.jetty jetty-util (ジェッティユーティル) 9.4.51.v20230217
org.eclipse.jetty jetty-util-ajax (ジェティ・ユーティル・エイジャックス) 9.4.51.v20230217
org.eclipse.jetty jetty-webapp（ジェッティ・ウェブアプリ） 9.4.51.v20230217
org.eclipse.jetty jetty-xml 9.4.51.v20230217
org.eclipse.jetty.websocket ウェブソケットAPI 9.4.51.v20230217
org.eclipse.jetty.websocket websocket-client (ウェブソケット・クライアント) 9.4.51.v20230217
org.eclipse.jetty.websocket ウェブソケット-コモン 9.4.51.v20230217
org.eclipse.jetty.websocket ウェブソケットサーバー 9.4.51.v20230217
org.eclipse.jetty.websocket websocket-サーブレット 9.4.51.v20230217
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2ユーティリティー 2.6.1
org.glassfish.hk2 OSGiリソースロケーター 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-サーブレット 2.40
org.glassfish.jersey.containers jersey-container-サーブレット-コア 2.40
org.glassfish.jersey.core ジャージー・クライアント 2.40
org.glassfish.jersey.core ジャージーコモン 2.40
org.glassfish.jersey.core ジャージーサーバー 2.40
org.glassfish.jersey.inject jersey-hk2 2.40
org.hibernate.validator hibernate-validator (ハイバーネイト検証ツール) 6.1.7.Final
org.ini4j ini4j 0.5.4
org.javassist javassist（ジャバアシスト） 3.29.2-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains 注釈 17.0.0
org.joda joda-convert（ジョーダライブラリの日付・時間操作用コンバート） 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mariadb.jdbc mariadb-java-client（MariaDB用Javaクライアント） 2.7.9
org.mlflow mlflow-spark 2.2.0
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.6.0
org.roaringbitmap RoaringBitmap 0.9.45
org.roaringbitmap シム 0.9.45
org.rocksdb rocksdbjni 8.3.2
org.rosuda.REngine REngine（アールエンジン） 2.1.0
org.scala-lang scala-compiler_2.12 2.12.15
org.scala-lang scala-library_2.12 2.12.15
org.scala-lang scala-reflect_2.12 2.12.15
org.scala-lang.modules scala-collection-compat_2.12 2.9.0
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt テストインターフェイス 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.2.15
org.scalanlp breeze-macros_2.12 2.1.0
org.scalanlp breeze_2.12 2.1.0
org.scalatest スカラテスト互換 3.2.15
org.scalatest scalatest-core_2.12 3.2.15
org.scalatest scalatest-diagrams_2.12 3.2.15
org.scalatest scalatest-featurespec_2.12 3.2.15
org.scalatest scalatest-flatspec_2.12 3.2.15
org.scalatest scalatest-freespec_2.12 3.2.15
org.scalatest scalatest-funspec_2.12 3.2.15
org.scalatest scalatest-funsuite_2.12 3.2.15
org.scalatest scalatest-matchers-core_2.12 3.2.15
org.scalatest scalatest-mustmatchers_2.12 3.2.15
org.scalatest scalatest-propspec_2.12 3.2.15
org.scalatest scalatest-refspec_2.12 3.2.15
org.scalatest scalatest-shouldmatchers_2.12 3.2.15
org.scalatest scalatest-wordspec_2.12 3.2.15
org.scalatest scalatest_2.12 3.2.15
org.slf4j jcl-over-slf4j 2.0.7
org.slf4j jul-to-slf4j 2.0.7
org.slf4j slf4j-api 2.0.7
org.threeten threeten-extra（スリー・テン・エクストラ） 1.7.1
org.tukaani xz 1.9
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel スパイア-プラットフォーム_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl ワイルドフライ-オープンSSL 1.1.3.Final
org.xerial sqlite-jdbc 3.42.0.0
org.xerial.snappy snappy-java 1.1.10.3
org.yaml snakeyaml（スネークヤムル） 2.0
oro oro 2.0.8
pl.edu.icm JLargeArrays (ジェイラージアレイ) 1.5
software.amazon.cryptools AmazonCorrettoCryptoProvider 1.6.1-linux-x86_64
software.amazon.ion ion-java 1.0.2
スタックス stax-api 1.0.1