通过

Databricks Runtime 13.0 （EoS）

注意

对此 Databricks Runtime 版本的支持已结束。 有关终止支持日期，请参阅终止支持历史记录。 有关所有受支持的 Databricks Runtime 版本，请参阅 Databricks Runtime 发行说明版本和兼容性。

以下发行说明提供了由 Apache Spark 3.4.0 提供支持的 Databricks Runtime 13.0 的相关信息。

Databricks 于 2023 年 4 月发布此版本。

新增功能和改进

H3 表达式现在支持线性地理区域

h3_coverash3 和 h3_coverash3string 函数现在支持线性（linestring 和 multilinestring）地理区域。 函数以指定的分辨率生成最小的 H3 单元格覆盖集。 请参阅 h3_coverash3 和 h3_coverash3string。

Ganglia 已替换为群集指标

在 Databricks Runtime 13 及更高版本中，Ganglia 指标已由 Azure Databricks 群集指标取代。 在 Databricks Runtime 12 及更低版本中，可以继续使用 Ganglia 指标。 如果你的工作流依赖于群集指标无法满足的 Ganglia 指标，请联系 Azure Databricks 帐户团队。 请参阅查看计算指标。

Spark 3.4.0 已发布

Apache Spark 3.4.0 现已推出正式版。 请参阅 Spark 版本 3.4.0。

如果在查询规划和执行这段时间修改了文件，Photon 会返回错误

如果在查询规划和执行这段时间更新了文件，Photon 查询现在会返回错误。 在进行这种更改之前，即使文件修改时间在查询规划和执行这段时间发生变化，Photon 也会读取该文件，这可能导致不可预测的结果。

预测 I/O 的新功能

Photon 现在支持通过 {ROWS | RANGE} BETWEEN offset_start { PRECEDING | FOLLOWING } AND offset_stop { PRECEDING | FOLLOWING } 为 ROWS 和 RANGE 模式使用滑动框架。

延长了对预测 I/O 功能的支持

Photon 延长了对 CSV、AVRO、数据帧缓存数据源的支持（适用于架构只包含标量列的情况）。 此外，延长了对映射、结构和数组等嵌套类型的支持。

使用 Databricks 连接器连接到另一个 Databricks 工作区

使用 Azure Databricks 连接器，可以连接到另一个工作区中配置的计算资源，并将结果返回到当前的 Azure Databricks 工作区。 Azure Databricks JDBC 驱动程序现在包含在 Databricks Runtime 中。 请参阅如何使用 Databricks 连接器连接到其他 Databricks 工作区。

用于在 Unity Catalog 上使用共享群集进行结构化流式处理的其他 Kafka 选项

在共享访问群集上使用结构化流式处理时，现在可以使用设置 kakfa.ssl.truststore.___location 和 kafak.ssl.keystore.___location 将 Kafka 证书存储在由 Unity Catalog 管理的外部位置。 不能使用 DBFS 根中的位置。

使用结构化流式处理跳过 Delta 表修改

现在，你可以使用 skipChangeCommits 来忽略 UPDATE、MERGE 和 DELETE 操作对 Delta 表的数据更改提交。 此功能取代了现已弃用的 ignoreChanges。 请参阅忽略更新和删除。

Delta 表的 CREATE TABLE LIKE 功能

在使用 Delta 表时，现在支持 CREATE TABLE LIKE。

表示文件块开始和长度的新元数据列字段

现在，可以使用 _metadata 列获取输入文件的以下元数据信息：file_block_start 和 file_block_length。 有关详细信息，请参阅文件元数据列。

新的 H3 地理空间函数

启用 Photon 后，新的 h3_coverash3 和 h3_coverash3string 表达式可用于地理空间处理。 请参阅 H3 地理空间函数。

新的 SQL 内置函数

添加了以下函数：

Python 笔记本中的 %sql

现在可以使用 %sql 或 IPython 的输出缓存系统访问 Python 笔记本中的所有非空 _sqldf 结果。 这简化了 Python 中数据帧结果的使用。 这是对早期 DBR 版本的行为变更，因为以前不会始终重新分配 _sqldf。

如果单元格是使用_sqldf执行的，则 %sql 不会在 单元格结果中被重新分配。

%pip 不会自动重启 Python

在 Python 笔记本中运行用于修改 virtualEnv 的 %pip 命令后，Databricks 不再自动重启 Python 进程。 若要重启 Python 进程，请调用 dbutils.library.restartPython()。 有了此更改后，Databricks 上 %pip 命令的行为与 Jupyter Notebook 类似，并且与 !pip 和 %sh pip 命令保持一致。 Databricks 建议使用 %pip 而不是 !pip 或 %sh pip。

使用非根用户安装群集范围的 Python 库

现在，将使用负责库安装的非根用户来安装库。 如果要在 init 脚本中配置 pip 安装行为，请使用[全局级别文件 https://pip.pypa.io/en/stable/topics/configuration/#configuration-files]。

错误修复

  • 修复了 %sh 命令的以下问题：
    • 现在支持包含非 UTF-8 字符的输出。
    • 现在，当取消命令时会中断子进程。

库升级

  • 升级了 Python 库：
    • asttokens 已从 2.0.5 升级到 2.2.1
    • black 已从 22.3.0 升级到 22.6.0
    • boto3 已从 1.21.32 升级到 1.24.28
    • botocore 已从版本 1.24.32 升级到版本 1.27.28
    • certifi 的有效期从 2021.10.8 到 2022.9.14
    • cffi 已从 1.15.0 升级到 1.15.1
    • cryptography 已从 3.4.8 升级到 37.0.1
    • Cython 已从 0.29.28 升级到 0.29.32
    • dbus-python 已从 1.2.16 升级到 1.2.18
    • docstring-to-markdown 已从 0.11 升级到 0.12
    • executing 已从 0.8.3 升级到 1.2.0
    • facets-overview 已从 1.0.0 升级到 1.0.2
    • fastjsonschema 已从 2.16.2 升级到 2.16.3
    • filelock 已从 3.9.0 升级到 3.10.7
    • ipykernel 已从 6.15.3 升级到 6.17.1
    • ipython 已从 8.5.0 升级到 8.10.0
    • joblib 已从 1.1.1 升级到 1.2.0
    • jsonschema 已从 4.4.0 升级到 4.16.0
    • jupyter-client 已从 6.1.12 升级到 7.3.4
    • kiwisolver 已从 1.3.2 升级到 1.4.2
    • matplotlib 已从 3.5.1 升级到 3.5.2
    • matplotlib-inline 已从 0.1.2 升级到 0.1.6
    • nbformat 已从 5.3.0 升级到 5.5.0
    • notebook 已从 6.4.8 升级到 6.4.12
    • pandas 已从 1.4.2 升级到 1.4.4
    • Pillow 已从 9.0.1 升级到 9.2.0
    • pip 已从 21.2.4 升级到 22.2.2
    • platformdirs 已从 2.6.2 升级到 2.5.2
    • plotly 已从 5.6.0 升级到 5.9.0
    • prometheus-client 已从 0.13.1 升级到 0.14.1
    • prompt-toolkit 已从 3.0.20 升级到 3.0.36
    • psutil 已从 5.8.0 升级到 5.9.0
    • pyflakes 已从 2.5.0 升级到 3.0.1
    • PyGObject 已从 3.36.0 升级到 3.42.1
    • pyparsing 已从 3.0.4 升级到 3.0.9
    • pyright 已从 1.1.283 升级到 1.1.294
    • python-lsp-server 已从 1.6.0 升级到 1.7.1
    • pytz 已从 2021.3 升级到 2022.1
    • pyzmq 已从 22.3.0 升级到 23.2.0
    • requests 已从 2.27.1 升级到 2.28.1
    • rope 已从 0.22.0 升级到 1.7.0
    • s3transfer 已从 0.5.0 升级到 0.6.0
    • scikit-learn 已从 1.0.2 升级到 1.1.1
    • scipy 已从 1.7.3 升级到 1.9.1
    • setuptools 已从 61.2.0 升级到 63.4.1
    • ssh-import-id 已从 5.10 升级到 5.11
    • stack-data 已从 0.2.0 升级到 0.6.2
    • testpath 已从 0.5.0 升级到 0.6.0
    • tomli 已从 1.2.2 升级到 2.0.1
    • ujson 已从 5.1.0 升级到 5.4.0
    • urllib3 已从 1.26.9 升级到 1.26.11
    • virtualenv 已从 20.8.0 升级到 20.16.3
    • whatthepatch 已从 1.0.4 升级到 1.0.2
    • wheel 已从 0.37.0 升级到 0.37.1
  • 升级了 R 库：
    • arrow 已从 10.0.0 升级到 10.0.1
    • bit 已从 4.0.4 升级到 4.0.5
    • broom 已从 1.0.1 升级到 1.0.3
    • bslib 已从 0.4.1 升级到 0.4.2
    • chron 已从 2.3-58 升级到 2.3-59
    • cli 已从 3.4.1 升级到 3.6.0
    • colorspace 已从 2.0-3 升级到 2.1-0
    • curl 已从 4.3.3 升级到 5.0.0
    • data.table 从版本 1.14.4 升级到 1.14.6
    • dbplyr 已从 2.2.1 升级到 2.3.0
    • digest 已从 0.6.30 升级到 0.6.31
    • dplyr 已从 1.0.10 升级到 1.1.0
    • e1071 已从 1.7-12 升级到 1.7-13
    • evaluate 已从 0.18 升级到 0.20
    • fansi 已从 1.0.3 升级到 1.0.4
    • fontawesome 已从 0.4.0 升级到 0.5.0
    • forcats 已从 0.5.2 升级到 1.0.0
    • fs 已从 1.5.2 升级到 1.6.1
    • future 已从 1.29.0 升级到 1.31.0
    • gargle 已从 1.2.1 升级到 1.3.0
    • gert 已从 1.9.1 升级到 1.9.2
    • glmnet 已从 4.1-4 升级到 4.1-6
    • globals 已从 0.16.1 升级到 0.16.2
    • gower 已从 1.0.0 升级到 1.0.1
    • highr 已从 0.9 升级到 0.10
    • htmltools 已从 0.5.3 升级到 0.5.4
    • htmlwidgets 已从 1.5.4 升级到 1.6.1
    • httpuv 已从 1.6.6 升级到 1.6.8
    • isoband 已从 0.2.6 升级到 0.2.7
    • jsonlite 已从 1.8.3 升级到 1.8.4
    • knitr 已从 1.40 升级到 1.42
    • lava 已从 1.7.0 升级到 1.7.1
    • listenv 已从 0.8.0 升级到 0.9.0
    • lubridate 已从 1.9.0 升级到 1.9.1
    • markdown 已从 1.3 升级到 1.5
    • modelr 已从 0.1.9 升级到 0.1.10
    • openssl 已从 2.0.4 升级到 2.0.5
    • parallelly 已从 1.32.1 升级到 1.34.0
    • pkgbuild 已从 1.3.1 升级到 1.4.0
    • pkgdown 已从 2.0.6 升级到 2.0.7
    • pkgload 已从 1.3.1 升级到 1.3.2
    • plyr 已从 1.8.7 升级到 1.8.8
    • progressr 已从 0.11.0 升级到 0.13.0
    • purrr 已从 0.3.5 升级到 1.0.1
    • ragg 已从 1.2.4 升级到 1.2.5
    • Rcpp 已从 1.0.9 升级到 1.0.10
    • readxl 已从 1.4.1 升级到 1.4.2
    • recipes 已从 1.0.3 升级到 1.0.4
    • rmarkdown 已从 2.18 升级到 2.20
    • RODBC 已从 1.3-19 升级到 1.3-20
    • roxygen2 已从 7.2.1 升级到 7.2.3
    • RSQLite 已从 2.2.18 升级到 2.2.20
    • sass 已从 0.4.2 升级到 0.4.5
    • shiny 已从 1.7.3 升级到 1.7.4
    • sourcetools 已从 0.1.7 升级到 0.1.7-1
    • sparklyr 已从 1.7.8 升级到 1.7.9
    • SparkR 已从 3.3.2 升级到 3.4.0
    • spatial 已从 7.3-11 升级到 7.3-15
    • stringi 已从 1.7.8 升级到 1.7.12
    • stringr 已从 1.4.1 升级到 1.5.0
    • survival 已从 3.4-0 升级到 3.5-3
    • testthat 已从 3.1.5 升级到 3.1.6
    • tidyr 已从 1.2.1 升级到 1.3.0
    • timechange 已从 0.1.1 升级到 0.2.0
    • timeDate 已从 4021.106 升级到 4022.108
    • tinytex 已从 0.42 升级到 0.44
    • utf8 已从 1.2.2 升级到 1.2.3
    • vctrs 已从 0.5.0 升级到 0.5.2
    • vroom 已从 1.6.0 升级到 1.6.1
    • whisker 已从 0.4 升级到 0.4.1
    • xfun 已从 0.34 升级到 0.37
    • yaml 已从 2.3.6 升级到 2.3.7
  • 升级了 Java 库：
    • com.amazonaws.aws-java-sdk-autoscaling 已从 1.12.189 升级到 1.12.390
    • com.amazonaws.aws-java-sdk-cloudformation 已从 1.12.189 升级到 1.12.390
    • com.amazonaws.aws-java-sdk-cloudfront 已从 1.12.189 升级到 1.12.390
    • com.amazonaws.aws-java-sdk-cloudhsm 已从 1.12.189 升级到 1.12.390
    • com.amazonaws.aws-java-sdk-cloudsearch 已从 1.12.189 升级到 1.12.390
    • com.amazonaws.aws-java-sdk-cloudtrail 已从 1.12.189 升级到 1.12.390
    • com.amazonaws.aws-java-sdk-cloudwatch 已从 1.12.189 升级到 1.12.390
    • com.amazonaws.aws-java-sdk-cloudwatchmetrics 已从 1.12.189 升级到 1.12.390
    • com.amazonaws.aws-java-sdk-codedeploy 已从 1.12.189 升级到 1.12.390
    • com.amazonaws.aws-java-sdk-cognitoidentity 已从 1.12.189 升级到 1.12.390
    • com.amazonaws.aws-java-sdk-cognitosync 已从 1.12.189 升级到 1.12.390
    • com.amazonaws.aws-java-sdk-config 已从 1.12.189 升级到 1.12.390
    • com.amazonaws.aws-java-sdk-core 已从 1.12.189 升级到 1.12.390
    • com.amazonaws.aws-java-sdk-datapipeline 已从 1.12.189 升级到 1.12.390
    • com.amazonaws.aws-java-sdk-directconnect 已从 1.12.189 升级到 1.12.390
    • com.amazonaws.aws-java-sdk-directory 已从 1.12.189 升级到 1.12.390
    • com.amazonaws.aws-java-sdk-dynamodb 已从 1.12.189 升级到 1.12.390
    • com.amazonaws.aws-java-sdk-ec2 已从 1.12.189 升级到 1.12.390
    • com.amazonaws.aws-java-sdk-ecs 已从 1.12.189 升级到 1.12.390
    • com.amazonaws.aws-java-sdk-efs 已从 1.12.189 升级到 1.12.390
    • com.amazonaws.aws-java-sdk-elasticache 已从 1.12.189 升级到 1.12.390
    • com.amazonaws.aws-java-sdk-elasticbeanstalk 已从 1.12.189 升级到 1.12.390
    • com.amazonaws.aws-java-sdk-elasticloadbalancing 已从 1.12.189 升级到 1.12.390
    • com.amazonaws.aws-java-sdk-elastictranscoder 已从 1.12.189 升级到 1.12.390
    • com.amazonaws.aws-java-sdk-emr 已从 1.12.189 升级到 1.12.390
    • com.amazonaws.aws-java-sdk-glacier 已从 1.12.189 升级到 1.12.390
    • com.amazonaws.aws-java-sdk-glue 已从 1.12.189 升级到 1.12.390
    • com.amazonaws.aws-java-sdk-iam 已从 1.12.189 升级到 1.12.390
    • com.amazonaws.aws-java-sdk-importexport 已从 1.12.189 升级到 1.12.390
    • com.amazonaws.aws-java-sdk-kinesis 已从 1.12.189 升级到 1.12.390
    • com.amazonaws.aws-java-sdk-kms 已从 1.12.189 升级到 1.12.390
    • com.amazonaws.aws-java-sdk-lambda 已从 1.12.189 升级到 1.12.390
    • com.amazonaws.aws-java-sdk-logs 已从 1.12.189 升级到 1.12.390
    • com.amazonaws.aws-java-sdk-machinelearning 已从 1.12.189 升级到 1.12.390
    • com.amazonaws.aws-java-sdk-opsworks 已从 1.12.189 升级到 1.12.390
    • com.amazonaws.aws-java-sdk-rds 已从 1.12.189 升级到 1.12.390
    • com.amazonaws.aws-java-sdk-redshift 已从 1.12.189 升级到 1.12.390
    • com.amazonaws.aws-java-sdk-route53 已从 1.12.189 升级到 1.12.390
    • com.amazonaws.aws-java-sdk-s3 已从 1.12.189 升级到 1.12.390
    • com.amazonaws.aws-java-sdk-ses 已从 1.12.189 升级到 1.12.390
    • com.amazonaws.aws-java-sdk-simpledb 已从 1.12.189 升级到 1.12.390
    • com.amazonaws.aws-java-sdk-simpleworkflow 已从 1.12.189 升级到 1.12.390
    • com.amazonaws.aws-java-sdk-sns 已从 1.12.189 升级到 1.12.390
    • com.amazonaws.aws-java-sdk-sqs 已从 1.12.189 升级到 1.12.390
    • com.amazonaws.aws-java-sdk-ssm 已从 1.12.189 升级到 1.12.390
    • com.amazonaws.aws-java-sdk-storagegateway 已从 1.12.189 升级到 1.12.390
    • com.amazonaws.aws-java-sdk-sts 已从 1.12.189 升级到 1.12.390
    • com.amazonaws.aws-java-sdk-support 已从 1.12.189 升级到 1.12.390
    • com.amazonaws.aws-java-sdk-workspaces 已从 1.12.189 升级到 1.12.390
    • com.amazonaws.jmespath-java 已从 1.12.189 升级到 1.12.390
    • com.fasterxml.jackson.core.jackson-annotations 已从 2.13.4 升级到 2.14.2
    • com.fasterxml.jackson.core.jackson-core 已从 2.13.4 升级到 2.14.2
    • com.fasterxml.jackson.core.jackson-databind 已从 2.13.4.2 升级到 2.14.2
    • com.fasterxml.jackson.dataformat.jackson-dataformat-cbor 已从 2.13.4 升级到 2.14.2
    • com.fasterxml.jackson.datatype.jackson-datatype-joda 已从 2.13.4 升级到 2.14.2
    • com.fasterxml.jackson.module.jackson-module-paranamer 已从 2.13.4 升级到 2.14.2
    • com.fasterxml.jackson.module.jackson-module-scala_2.12 已从 2.13.4 升级到 2.14.2
    • com.github.luben.zstd-jni 已从 1.5.2-1 升级到 1.5.2-5
    • com.google.code.gson.gson 已从 2.8.6 升级到 2.8.9
    • com.google.crypto.tink.tink 已从 1.6.1 升级到 1.7.0
    • com.h2database.h2 已从 2.0.204 升级到 2.1.214
    • com.jcraft.jsch 已从 0.1.50 升级到 0.1.55
    • com.ning.compress-lzf 已从 1.1 升级到 1.1.2
    • commons-fileupload.commons-fileupload 已从 1.3.3 升级到 1.5
    • dev.ludovic.netlib.arpack 已从 2.2.1 升级到 3.0.3
    • dev.ludovic.netlib.blas 已从 2.2.1 升级到 3.0.3
    • dev.ludovic.netlib.lapack 已从 2.2.1 升级到 3.0.3
    • io.delta.delta-sharing-spark_2.12 从 0.6.9 到 0.6.3
    • io.dropwizard.metrics.metrics-core 已从 4.1.1 升级到 4.2.10
    • io.dropwizard.metrics.metrics-graphite 已从 4.1.1 升级到 4.2.10
    • io.dropwizard.metrics.metrics-healthchecks 已从 4.1.1 升级到 4.2.10
    • io.dropwizard.metrics.metrics-jetty9 已从 4.1.1 升级到 4.2.10
    • io.dropwizard.metrics.metrics-jmx 已从 4.1.1 升级到 4.2.10
    • io.dropwizard.metrics.metrics-json 已从 4.1.1 升级到 4.2.10
    • io.dropwizard.metrics.metrics-jvm 已从 4.1.1 升级到 4.2.10
    • io.dropwizard.metrics.metrics-servlets 已从 4.1.1 升级到 4.2.10
    • io.netty.netty-all 已从 4.1.74.Final 升级到 4.1.87.Final
    • io.netty.netty-buffer 已从 4.1.74.Final 升级到 4.1.87.Final
    • io.netty.netty-codec 已从 4.1.74.Final 升级到 4.1.87.Final
    • io.netty.netty-common 已从 4.1.74.Final 升级到 4.1.87.Final
    • io.netty.netty-handler 已从 4.1.74.Final 升级到 4.1.87.Final
    • io.netty.netty-resolver 已从 4.1.74.Final 升级到 4.1.87.Final
    • io.netty.netty-transport 已从 4.1.74.Final 升级到 4.1.87.Final
    • io.netty.netty-transport-classes-epoll 已从 4.1.74.Final 升级到 4.1.87.Final
    • io.netty.netty-transport-classes-kqueue 已从 4.1.74.Final 升级到 4.1.87.Final
    • io.netty.netty-transport-native-unix-common 已从 4.1.74.Final 升级到 4.1.87.Final
    • joda-time.joda-time 已从 2.10.13 升级到 2.12.1
    • net.razorvine.pickle 已从 1.2 升级到 1.3
    • net.snowflake.snowflake-jdbc 已从 3.13.29 升级到 3.13.22
    • org.antlr.antlr4-runtime 已从 4.8 升级到 4.9.3
    • org.apache.ant.ant 已从 1.9.2 升级到 1.9.16
    • org.apache.ant.ant-jsch 已从 1.9.2 升级到 1.9.16
    • org.apache.ant.ant-launcher 已从 1.9.2 升级到 1.9.16
    • org.apache.arrow.arrow-format 已从 7.0.0 升级到 11.0.0
    • org.apache.arrow.arrow-memory-core 已从 7.0.0 升级到 11.0.0
    • org.apache.arrow.arrow-memory-netty 已从 7.0.0 升级到 11.0.0
    • org.apache.arrow.arrow-vector 已从 7.0.0 升级到 11.0.0
    • org.apache.avro.avro 已从 1.11.0 升级到 1.11.1
    • org.apache.avro.avro-ipc 已从 1.11.0 升级到 1.11.1
    • org.apache.avro.avro-mapred 已从 1.11.0 升级到 1.11.1
    • org.apache.httpcomponents.httpclient 已从 4.5.13 升级到 4.5.14
    • org.apache.httpcomponents.httpcore 已从 4.4.14 升级到 4.4.16
    • org.apache.logging.log4j.log4j-1.2-api 已从 2.18.0 升级到 2.19.0
    • org.apache.logging.log4j.log4j-api 已从 2.18.0 升级到 2.19.0
    • org.apache.logging.log4j.log4j-core 已从 2.18.0 升级到 2.19.0
    • org.apache.orc.orc-core 已从 1.7.8 升级到 1.8.2-shaded-protobuf
    • org.apache.orc.orc-mapreduce 已从 1.7.8 升级到 1.8.2-shaded-protobuf
    • org.apache.orc.orc-shims 已从 1.7.8 升级到 1.8.2
    • org.apache.xbean.xbean-asm9-shaded 已从 4.20 升级到 4.22
    • org.apache.zookeeper.zookeeper 已从 3.6.2 升级到 3.6.3
    • org.apache.zookeeper.zookeeper-jute 已从 3.6.2 升级到 3.6.3
    • org.eclipse.jetty.jetty-client 已从 9.4.46.v20220331 升级到 9.4.50.v20221201
    • org.eclipse.jetty.jetty-continuation 已从 9.4.46.v20220331 升级到 9.4.50.v20221201
    • org.eclipse.jetty.jetty-http 已从 9.4.46.v20220331 升级到 9.4.50.v20221201
    • org.eclipse.jetty.jetty-io 已从 9.4.46.v20220331 升级到 9.4.50.v20221201
    • org.eclipse.jetty.jetty-jndi 已从 9.4.46.v20220331 升级到 9.4.50.v20221201
    • org.eclipse.jetty.jetty-plus 已从 9.4.46.v20220331 升级到 9.4.50.v20221201
    • org.eclipse.jetty.jetty-proxy 已从 9.4.46.v20220331 升级到 9.4.50.v20221201
    • org.eclipse.jetty.jetty-security 已从 9.4.46.v20220331 升级到 9.4.50.v20221201
    • org.eclipse.jetty.jetty-server 已从 9.4.46.v20220331 升级到 9.4.50.v20221201
    • org.eclipse.jetty.jetty-servlet 已从 9.4.46.v20220331 升级到 9.4.50.v20221201
    • org.eclipse.jetty.jetty-servlets 已从 9.4.46.v20220331 升级到 9.4.50.v20221201
    • org.eclipse.jetty.jetty-util 已从 9.4.46.v20220331 升级到 9.4.50.v20221201
    • org.eclipse.jetty.jetty-util-ajax 已从 9.4.46.v20220331 升级到 9.4.50.v20221201
    • org.eclipse.jetty.jetty-webapp 已从 9.4.46.v20220331 升级到 9.4.50.v20221201
    • org.eclipse.jetty.jetty-xml 已从 9.4.46.v20220331 升级到 9.4.50.v20221201
    • org.eclipse.jetty.websocket.websocket-api 从 9.4.46.v20220331 升级为 9.4.50.v20221201
    • org.eclipse.jetty.websocket.websocket-client 已从 9.4.46.v20220331 升级到 9.4.50.v20221201
    • org.eclipse.jetty.websocket.websocket-common 已从 9.4.46.v20220331 升级到 9.4.50.v20221201
    • org.eclipse.jetty.websocket.websocket-server 已从 9.4.46.v20220331 升级到 9.4.50.v20221201
    • org.eclipse.jetty.websocket.websocket-servlet 已从 9.4.46.v20220331 升级到 9.4.50.v20221201
    • org.hibernate.validator.hibernate-validator 已从 6.1.0.Final 升级到 6.1.7.Final
    • org.mlflow.mlflow-spark 已从 2.1.1 升级到 2.2.0
    • org.postgresql.postgresql 已从 42.3.3 升级到 42.3.8
    • org.roaringbitmap.RoaringBitmap 已从 0.9.25 升级到 0.9.39
    • org.roaringbitmap.shims 已从 0.9.25 升级到 0.9.39
    • org.rocksdb.rocksdbjni 已从 6.28.2 升级到 7.8.3
    • org.scala-lang.scala-compiler_2.12 已从 2.12.14 升级到 2.12.15
    • org.scala-lang.scala-library_2.12 已从 2.12.14 升级到 2.12.15
    • org.scala-lang.scala-reflect_2.12 已从 2.12.14 升级到 2.12.15
    • org.scalanlp.breeze-macros_2.12 已从 1.2 升级到 2.1.0
    • org.scalanlp.breeze_2.12 已从 1.2 升级到 2.1.0
    • org.slf4j.jcl-over-slf4j 已从 1.7.36 升级到 2.0.6
    • org.slf4j.jul-to-slf4j 已从 1.7.36 升级到 2.0.6
    • org.slf4j.slf4j-api 已从 1.7.36 升级到 2.0.6
    • org.threeten.threeten-extra 已从 1.5.0 升级到 1.7.1
    • org.wildfly.openssl.wildfly-openssl 已从 1.0.7.Final 升级到 1.1.3.Final
    • org.yaml.snakeyaml 已从 1.24 升级到 1.33

Apache Spark

Databricks Runtime 13.0 包含 Apache Spark 3.4.0。

Spark SQL

功能

ANSI 合规性

  • ANSI SQL 模式：对映射列的无效访问始终返回 null (SPARK-40066)
  • 支持双引号标识符 (SPARK-40585)
  • ANSI SQL 模式：Round/Bround 应在整数溢出时返回错误 (SPARK-42045)
  • 支持将整型转换为 ANSI 间隔 (SPARK-40008)
  • 支持将小数转换为 ANSI 时间间隔 (SPARK-40014)
  • 从百分位数函数返回更宽的 ANSI 间隔类型 (SPARK-40151)
  • 支持将 ANSI 区间转换为小数 (SPARK-39470)
  • 支持在 ANSI 模式下将间隔转换为整数 (SPARK-39451)
  • 强化错误类的 SQLSTATE 使用 (SPARK-41994)

功能

“数据源”

  • 支持 DS v2 中的列统计 (SPARK-41378)
  • DS v2 中的存储分区联接 (SPJ) (SPARK-37375)
  • DS v2 中的行级操作 (SPARK-35801)
  • 在 DS v2 扫描接口中添加 SupportsReportOrdering 混合 (SPARK-38647)
  • 推理 CSV 架构推理的 DATE 类型 (SPARK-39469)
  • 在 DS v2 自定义指标 API 中支持驱动程序指标 (SPARK-39635)
  • 编写中的分布和排序支持 DS v2 函数 (SPARK-39607)
  • StringEndsWith/Contains 支持下推到 Parquet，以便可以利用字典筛选器 (SPARK-39002)
  • 在 Spark Parquet 矢量化读取器中支持 UDT (SPARK-39086)
  • 扩展 METADATA 列以支持 Parquet 文件的行索引 (SPARK-37980)
  • 支持读取 parquet FIXED_LEN_BYTE_ARRAY 类型 (SPARK-41096)
  • 优化筛选谓词的顺序 (SPARK-40045)
  • 通过 MSSQL JDBC 为 CTE 和临时表查询提供支持 (SPARK-37259)
  • 在数据源选项中支持 ignoreCorruptFiles 和 ignoreMissingFiles (SPARK-38767)
  • 拉取 v1 写入 WriteFiles (SPARK-41407)
  • 在读取端添加字符填充以覆盖外部数据文件 (SPARK-40697)

查询优化

  • 合并不相关的标量子查询 (SPARK-34079)
  • 默认启用 Bloom 筛选器联接 (SPARK-38841)
  • 通过 distinctKeys 删除聚合表达式中不必要的差异 (SPARK-38832)
  • 支持已删除重复数据的 CTE 的谓词下推和列修剪 (SPARK-37670)
  • 如果聚合函数在流式处理端对重复值不敏感，则删除外连接 (SPARK-38886)
  • 如果仅选择左/右侧列并且另一侧的联接键是唯一的，则删除左/右外部联接 (SPARK-39172)
  • 优化 RepartitionByExpression 的全局排序 (SPARK-39911)
  • 优化 TransposeWindow 规则 (SPARK-38034)
  • 增强 EliminateSorts 以支持通过 LocalLimit 删除排序 (SPARK-40050)
  • 如果联接条件为空，则向双端推送局部限制 (SPARK-40040)
  • 为优化器添加 PushProjectionThroughLimit (SPARK-40501)
  • 通过联接子级支持 PIVOT/UNPIVOT (SPARK-41195)
  • 支持使用多个非确定性筛选器进行列修剪 (SPARK-41017)
  • 使用 AQE 缓存改进输出分区和排序 (SPARK-41048)
  • 通过创建平衡的表达式树谓词提高多 like 性能 (SPARK-41167)
  • 删除 Sort（如果它是 RepartitionByExpression 的子节点）(SPARK-36703)
  • 使用已完成查询阶段中的可用列统计信息 (SPARK-39991)
  • 在 WindowSpecDefinition 中重用表达式 (SPARK-41805)
  • 改进 AliasAwareOutputPartitioning 和 AliasAwareQueryOutputOrdering 以考虑所有别名（SPARK-40086、SPARK-42049）
  • 通过 Python UDF 下推限制 (SPARK-42115)

代码生成和查询执行

  • 在 BroadcastNestedLoopJoinExec 中使 defaultJoin 并行运行 (SPARK-40487)
  • HiveGenericUDF 的 Codegen 支持 (SPARK-42051)
  • 在 SinglePartition 上引入随机排列 (SPARK-41986)
  • 使 DPP 支持修剪端联合 (SPARK-39217)

其他值得注意的更改

  • 支持自动分区统计信息收集 (SPARK-38573)
  • 设置 Thrift 服务器中错误消息的格式 (SPARK-40098)
  • 添加一个扩展 API 以执行缓存计划规范化 (SPARK-41183)
  • 通过引入物理类型重构 Spark 类型 (SPARK-41226)
  • OneOf 字段支持和递归检查 (SPARK-41396)
  • 集中化列解析逻辑 (SPARK-41405)
  • 改进计划更改验证 (SPARK-42081)
  • 为类型安全引入SparkPath (SPARK-41970)
  • 通过数据集 API 创建临时视图时针对 db_name.view_name 引发异常 (SPARK-41090)
  • 将 Mask 函数参数的默认值从 -1 更改为 NULL (SPARK-42070)

Spark Core

解除授权

  • 如果迁移了随机数据，则避免在停用的执行程序丢失时重新运行不必要的任务 (SPARK-41469)
  • 忽略因停用执行程序而导致的阶段提取失败 (SPARK-40481)
  • 默认启用 spark.storage.decommission.(rdd|shuffle)Blocks.enabled (SPARK-40198)
  • 在禁用 ESS 时添加对 YARN 停用的支持 (SPARK-30835)

调度器

  • 使阶段计划支持本地群集模式 (SPARK-41949)
  • 在禁用动态分配时，支持独立集群的阶段级任务资源配置文件 (SPARK-39853)
  • 延迟 onDisconnected，以支持驱动程序接收 ExecutorExitCode (SPARK-39957)
  • 通过阶段任务指标改进推测 (SPARK-32170)
  • 为独立群集添加阶段级资源调度支持 (SPARK-39062)
  • 改进 LaunchTask 进程，以避免由于无法发送 LaunchTask 消息而导致 Stage 失败 (SPARK-39955)

随机选择

  • 添加基于推送的随机客户端读取指标 (SPARK-36620)
  • 基于推送的随机排列的随机服务器端指标 (​SPARK-33573)
  • 确保在数据库关闭之前关闭 mergedShuffleCleaner (SPARK-40186)
  • 添加随机服务状态存储的 RocksDB 支持 (SPARK-38888)
  • 封装用于将远程/外部随机状态存储为 DB 的 LevelDB (SPARK-38909)
  • 默认情况下启用 spark.dynamicAllocation.shuffleTracking.enabled (SPARK-3984)
  • 启用基于推送的随机服务，以将状态存储在 NM 级别的工作 DB 中，从而实现工作保留重启 (SPARK-33236)
  • 使用随机服务为已发布的执行程序移除随机块 (SPARK-37618)

其他值得注意的更改

  • 支持仅限 IPv6 的环境 (SPARK-39457)
  • 默认启用 spark.kryo.unsafe (SPARK-42137)
  • 禁止在群集模式下使用代理用户自定义类路径 (SPARK-41958)
  • 避免当执行程序丢失时重新注册 BlockManager (SPARK-41360)
  • 取消单个任务结果必须限制在 2GB 内的限制 (SPARK-40622)
  • 删除对已弃用的 spark.akka.* 配置的支持 (SPARK-40401)
  • 将默认日志记录更改为 stderr 以便与 log4j 的行为一致 (SPARK-40406)
  • 计算结果大小时排除 DirectTaskResult 元数据 (SPARK-40261)
  • 允许在 take() 行为中自定义初始分区数 (SPARK-40211)
  • 在 Executor.updateDependencies() 中使用可中断锁而不是同步 (SPARK-40235)
  • 任务失败应始终触发任务失败侦听器 (SPARK-40106)
  • 添加选择性地禁用监视或轮询的功能 (SPARK-36462)
  • 不要在驱动程序上缓存未序列化的广播关系 (SPARK-39983)
  • 修复 TaskMemoryManager 和 UnsafeExternalSorter.SpillableIterator 之间的死锁 (SPARK-39283)
  • 将阶段中的数字分区公开给 TaskContext (SPARK-38679)
  • 使内存开销系数可配置 (SPARK-38194)
  • 避免在 ShellBasedGroupsMappingProvider 中使用 bash -c (SPARK-38992)

结构化流式处理

主要功能

  • 异步进度跟踪 (SPARK-39591)
  • 结构化流式处理中的 Python 任意有状态处理 (SPARK-40434)
  • 结构化流式处理中的 Protobuf 支持 (SPARK-40653)
  • 修复延迟记录过滤以支持状态运算符的链式调用 (SPARK-40925)

其他值得注意的更改

  • 引入基于 Hadoop 可中止接口的流式处理检查点文件管理器 (SPARK-40039)
  • 弃用 Trigger.Once 并提升 Trigger.AvailableNow (SPARK-39805)
  • 在流式处理查询中将目录表的信息公开给逻辑计划 (SPARK-39564)
  • 支持从流式处理接收器收集指标 (SPARK-38564)
  • 弃用 DStream API (SPARK-42075)
  • 更改 Kafka 偏移量获取配置的默认值 (SPARK-40844)
  • 在 PySpark 中用于 foreachBatch 接收器的用户函数中的 DataFrame 内提供克隆的 spark 会话 (SPARK-41379)

Spark Connect

Python 客户端

Scala 客户端

PySpark

Spark 上的 Pandas API

其他值得注意的更改

Apache Spark的机器学习库MLLIB

SparkR

实时 UI 和历史记录服务器服务

  • 为大型应用程序提供更好的 Spark UI 可伸缩性和驱动程序稳定性 (SPARK-41053)
  • 默认情况下将 RocksDB 用于 spark.history.store.hybridStore.diskBackend (SPARK-42277)
  • 将嵌套执行分组到根执行下 (SPARK-41752)
  • 在环境选项卡中显示指标属性 (SPARK-39110)
  • 修复当记录大于零时不显示 StagePage 输入大小/记录的问题 (SPARK-34777)
  • 通过使用 Jackson 而不是 Json4s 来提高事件日志 JsonProtocol 性能 (SPARK-39489)
  • 支持 spark.history.fs.update.batchSize (SPARK-39225)

版本

维护更新

请参阅 Databricks Runtime 13.0 维护更新。

系统环境

  • 操作系统：Ubuntu 22.04.2 LTS
  • Java：Zulu 8.68.0.21-CA-linux64
  • Scala：2.12.15
  • Python：3.10.6
  • R：4.2.2
  • Delta Lake：2.3.0

已安装的 Python 库

图书馆 版本 图书馆 版本 图书馆 版本
appdirs 1.4.4 argon2-cffi 21.3.0 argon2-cffi-bindings 21.2.0
asttokens 2.2.1 属性 21.4.0 回调 0.2.0
beautifulsoup4 4.11.1 黑色 22.6.0 漂白剂 4.1.0
闪烁器 1.4 boto3 1.24.28 botocore 1.27.28
certifi 2022.9.14 cffi 1.15.1 chardet 4.0.0
charset-normalizer (字符集正常化工具) 2.0.4 点击 8.0.4 密码系统 37.0.1
骑行者 0.11.0 Cython 0.29.32 dbu-python 1.2.18
debugpy 1.5.1 装饰师 5.1.1 defusedxml 0.7.1
distlib 0.3.6 从文档字符串到Markdown 0.12 入口点 0.4
正在执行 1.2.0 各个方面概述 1.0.2 fastjsonschema 2.16.3
文件锁 3.10.7 fonttools（字体工具） 4.25.0 googleapis-common-protos 1.56.4
grpcio 1.48.1 grpcio-status 1.48.1 httplib2 0.20.2
IDNA 3.3 importlib-metadata 4.6.4 ipykernel 6.17.1
ipython 8.10.0 ipython-genutils（IPython通用工具） 0.2.0 ipywidgets 7.7.2
jedi 0.18.1 吉普尼 0.7.1 Jinja2 2.11.3
jmespath 0.10.0 joblib 1.2.0 jsonschema 4.16.0
Jupyter客户端 7.3.4 jupyter_core（Jupyter核心） 4.11.2 jupyterlab-pygments 0.1.2
jupyterlab-widgets 1.0.0 钥匙圈 23.5.0 kiwisolver 1.4.2
launchpadlib 1.10.16 lazr.restfulclient 0.14.4 lazr.uri 1.0.6
MarkupSafe 2.0.1 matplotlib 3.5.2 matplotlib-inline 0.1.6
麦卡贝 0.7.0 mistune 0.8.4 more-itertools 8.10.0
mypy-extensions 0.4.3 nbclient 0.5.13 nbconvert 6.4.4
nbformat 5.5.0 nest-asyncio 1.5.5 nodeenv 1.7.0
笔记本 6.4.12 numpy 1.21.5 oauthlib 3.2.0
包装 21.3 熊猫 1.4.4 pandocfilters 1.5.0
帕尔索 0.8.3 pathspec 0.9.0 替罪羊 0.5.2
pexpect 4.8.0 pickleshare 0.7.5 枕头 9.2.0
果仁 22.2.2 platformdirs 2.5.2 plotly 5.9.0
Pluggy (Python库) 1.0.0 prometheus-client 0.14.1 prompt-toolkit 3.0.36
protobuf 3.19.4 psutil 5.9.0 psycopg2 2.9.3
ptyprocess 0.7.0 pure-eval 0.2.2 pyarrow 7.0.0
Python代码解析器 2.21 pyflakes 3.0.1 Pygments 2.11.2
PyGObject 3.42.1 PyJWT 2.3.0 pyodbc 4.0.32
pyparsing 3.0.9 pyright 1.1.294 pyrsistent（持久性，类似于 persistent 的 Python 包） 0.18.0
python-dateutil 2.8.2 python-lsp-jsonrpc 1.0.0 python-lsp-server 1.7.1
pytoolconfig 1.2.2 pytz 2022年1月 pyzmq 23.2.0
请求 2.28.1 绳子 1.7.0 s3transfer 0.6.0
scikit-learn 1.1.1 scipy 1.9.1 seaborn 0.11.2
SecretStorage 3.3.1 Send2Trash 1.8.0 setuptools 63.4.1
6 1.16.0 汤滤器 2.3.1 ssh-import-id 5.11
堆栈数据 0.6.2 statsmodels 0.13.2 韧性 8.0.1
完成 0.13.1 测试路径 0.6.0 threadpoolctl 2.2.0
tokenize-rt 4.2.1 tomli 2.0.1 龙卷风 6.1
Traitlets 5.1.1 ujson 5.4.0 无人参与升级 0.1
urllib3 1.26.11 virtualenv 20.16.3 wadllib 1.3.6
wcwidth 0.2.5 网页编码 0.5.1 whatthepatch 1.0.2
轮子 0.37.1 widgetsnbextension 3.6.1 yapf 0.31.0
齐普 1.0.0

已安装的 R 库

R 库是从 Microsoft 于 2023-02-10 提供的 CRAN 快照中安装的。

图书馆 版本 图书馆 版本 图书馆 版本
箭头 10.0.1 askpass 1.1 assertthat 0.2.1
回移补丁 1.4.1 基础 4.2.2 base64enc 0.1-3
位 4.0.5 bit64 4.0.5 团状物 1.2.3
启动 1.3-28 酿造/冲泡 1.0-8 活力 1.1.3
扫帚 1.0.3 bslib 0.4.2 卡齐姆 1.0.6
调用方 3.7.3 插入符号 6.0-93 cellranger (细胞测序工具) 1.1.0
chron 2.3-59 班级 7.3-21 cli 3.6.0
剪辑器 0.8.0 时钟 0.6.1 群集 2.1.4
codetools 0.2至19 色彩空间 2.1-0 commonmark 1.8.1
编译器 4.2.2 配置 0.3.1 cpp11 0.4.3
蜡笔 1.5.2 资格证书 1.3.2 卷曲 5.0.0
数据表 (data.table) 1.14.6 数据集 4.2.2 DBI 1.1.3
dbplyr 2.3.0 desc 1.4.2 devtools 2.4.5
diffobj 0.3.5 摘要 0.6.31 向下照明 0.4.2
dplyr 1.1.0 dtplyr 1.2.2 e1071 1.7-13
省略号 0.3.2 评价 0.20 fansi 1.0.4
颜色 2.1.1 快速映射 1.1.0 fontawesome 0.5.0
forcats 1.0.0 foreach 1.5.2 外国 0.8-82
锻造 0.2.0 文件系统 (if fs stands for "file system") 1.6.1 未来 1.31.0
future.apply 1.10.0 漱口 1.3.0 泛 型 0.1.3
格尔特 1.9.2 ggplot2 3.4.0 gh 1.3.1
gitcreds 0.1.2 glmnet 4.1-6 全局变量 0.16.2
胶水 1.6.2 googledrive 2.0.0 googlesheets4 1.0.1
gower 1.0.1 图形 4.2.2 grDevices 4.2.2
“业务流程参数” 网格 4.2.2 gridExtra 2.3 gsubfn 0.7
gtable 0.3.1 安全帽 1.2.0 避风港 2.5.1
更高 0.10 赫姆斯 1.1.2 HTML工具 0.5.4
HTML小插件 1.6.1 httpuv 1.6.8 httr 1.4.4
ids 1.0.1 ini 0.3.1 ipred 0.9-13
isoband 0.2.7 迭代器 1.0.14 jquerylib 0.1.4
jsonlite 1.8.4 KernSmooth 2.23-20 针织器 1.42
标记 0.4.2 稍后 1.3.0 格子 0.20-45
熔岩 1.7.1 生命周期 1.0.3 listenv 0.9.0
lubridate 1.9.1 magrittr 2.0.3 markdown 1.5
质量 7.3-58.2 矩阵 1.5-1 缓存 2.0.1
方法 4.2.2 mgcv 1.8-41 默剧 0.12
迷你用户界面 0.1.1.1 ModelMetrics 1.2.2.2 modelr 0.1.10
蒙塞尔 0.5.0 nlme 3.1-162 nnet 7.3-18
numDeriv 2016年8月-1月1日 openssl（开放SSL） 2.0.5 平行 4.2.2
并行 1.34.0 支柱 1.8.1 pkgbuild (软件包构建工具) 1.4.0
pkgconfig 2.0.3 pkgdown 2.0.7 pkgload 1.3.2
普洛格 0.2.0 普莱尔 1.8.8 赞美 1.0.0
prettyunits 1.1.1 pROC 1.18.0 processx 3.8.0
prodlim 2019.11.13 profvis 0.3.7 进度 1.2.2
progressr 0.13.0 承诺 1.2.0.1 原型 (proto) 1.0.0
代理服务器 0.4-27 附注 (ps) 1.7.2 purrr 1.0.1
r2d3 0.2.6 R6 2.5.1 ragg 1.2.5
随机森林 (randomForest) 4.7-1.1 rappdirs 0.3.3 rcmdcheck 1.4.0
RColorBrewer 1.1-3 Rcpp 1.0.10 RcppEigen 0.3.3.9.3
readr（阅读器） 2.1.3 readxl 1.4.2 食谱 1.0.4
重赛 1.0.1 rematch2 2.1.2 遥控器 2.4.2
可复现示例 2.0.2 reshape2 1.4.4 rlang 1.0.6
rmarkdown（R语言动态文档生成工具） 2.20 RODBC 1.3-20 roxygen2 7.2.3
rpart 4.1.19 rprojroot 2.0.3 Rserve 1.8-12
RSQLite 2.2.20 rstudioapi 0.14 rversions 2.1.2
rvest 1.0.3 sass 0.4.5 磅秤 1.2.1
selectr 0.4-2 会话信息 1.2.2 形状 1.4.6
光亮 1.7.4 sourcetools 0.1.7-1 sparklyr 1.7.9
SparkR 3.4.0 空间 7.3-15 样 条 4.2.2
sqldf（R环境中的数据库操作软件包） 0.4-11 SQUAREM 2021年1月 统计数据 4.2.2
统计数据4 4.2.2 字符串 1.7.12 stringr 1.5.0
生存 3.5-3 sys 3.4.1 systemfonts 1.0.4
tcltk 4.2.2 testthat 3.1.6 文本整形 0.3.6
tibble 3.1.8 tidyr 1.3.0 tidyselect 1.2.0
tidyverse（数据分析工具包） 1.3.2 时间变化 0.2.0 时间日期 4022.108
tinytex 0.44 工具 4.2.2 tzdb 0.3.0
URL检查器 1.0.1 usethis 2.1.6 utf8 1.2.3
实用工具 4.2.2 UUID（通用唯一识别码） 1.1-0 vctrs 0.5.2
viridisLite 0.4.1 vroom 1.6.1 瓦尔多 0.4.0
晶 须 0.4.1 无改动（具体含义和背景需要更多信息） 2.5.0 xfun 0.37
xml2 1.3.3 xopen 1.0.0 xtable 1.8-4
yaml 2.3.7 压缩包 2.2.2

已安装的 Java 库和 Scala 库（Scala 2.12 群集版本）

组 ID 项目 ID 版本
antlr antlr 2.7.7
com.amazonaws Amazon Kinesis 客户端 1.12.0
com.amazonaws AWS Java SDK 自动扩展 1.12.390
com.amazonaws aws-java-sdk-cloudformation 1.12.390
com.amazonaws AWS Java SDK CloudFront 1.12.390
com.amazonaws AWS-Java-SDK-云HSM 1.12.390
com.amazonaws AWS Java SDK 云搜索 1.12.390
com.amazonaws aws-java-sdk-cloudtrail 1.12.390
com.amazonaws aws-java-sdk-cloudwatch 1.12.390
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.390
com.amazonaws AWS Java SDK CodeDeploy（AWS Java 软件开发工具包 CodeDeploy） 1.12.390
com.amazonaws aws-java-sdk-cognitoidentity 1.12.390
com.amazonaws aws-java-sdk-cognitosync 1.12.390
com.amazonaws aws-java-sdk-config（AWS Java SDK 配置） 1.12.390
com.amazonaws aws-java-sdk-core (AWS Java软件开发工具包核心) 1.12.390
com.amazonaws aws-java-sdk-datapipeline 1.12.390
com.amazonaws AWS Java SDK Direct Connect（直连） 1.12.390
com.amazonaws aws-java-sdk-directory 1.12.390
com.amazonaws aws-java-sdk-dynamodb 1.12.390
com.amazonaws aws-java-sdk-ec2 1.12.390
com.amazonaws aws-java-sdk-ecs 1.12.390
com.amazonaws aws-java-sdk-efs 1.12.390
com.amazonaws aws-java-sdk-elasticache 1.12.390
com.amazonaws aws-java-sdk-elasticbeanstalk（AWS Java 开发工具包 - Elastic Beanstalk） 1.12.390
com.amazonaws aws-java-sdk-弹性负载均衡 1.12.390
com.amazonaws aws-java-sdk-elastictranscoder（AWS Java SDK弹性转码器） 1.12.390
com.amazonaws aws-java-sdk-emr 1.12.390
com.amazonaws AWS Java SDK Glacier 1.12.390
com.amazonaws AWS Java SDK Glue 1.12.390
com.amazonaws aws-java-sdk-iam 1.12.390
com.amazonaws AWS Java SDK 导入导出 (aws-java-sdk-importexport) 1.12.390
com.amazonaws aws-java-sdk-kinesis 1.12.390
com.amazonaws AWS Java 软件开发工具包 - KMS 1.12.390
com.amazonaws aws-java-sdk-lambda 1.12.390
com.amazonaws aws-java-sdk-logs（AWS Java开发包日志） 1.12.390
com.amazonaws AWS-Java-SDK-机器学习 1.12.390
com.amazonaws aws-java-sdk-opsworks 1.12.390
com.amazonaws aws-java-sdk-rds 1.12.390
com.amazonaws aws-java-sdk-redshift 1.12.390
com.amazonaws aws-java-sdk-route53 1.12.390
com.amazonaws aws-java-sdk-s3 1.12.390
com.amazonaws aws-java-sdk-ses 1.12.390
com.amazonaws aws-java-sdk-simpledb 1.12.390
com.amazonaws aws-java-sdk-simpleworkflow 1.12.390
com.amazonaws aws-java-sdk-sns 1.12.390
com.amazonaws aws-java-sdk-sqs 1.12.390
com.amazonaws aws-java-sdk-ssm 1.12.390
com.amazonaws AWS Java SDK 存储网关 1.12.390
com.amazonaws aws-java-sdk-sts 1.12.390
com.amazonaws AWS Java SDK支持 1.12.390
com.amazonaws AWS-Java-SDK-SWF-库 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.390
com.amazonaws jmespath-java 1.12.390
com.clearspring.analytics 溪流 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml 同学 1.3.4
com.fasterxml.jackson.core Jackson注解 2.14.2
com.fasterxml.jackson.core jackson-core 2.14.2
com.fasterxml.jackson.core jackson-databind 2.14.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor（Jackson的CBOR数据格式） 2.14.2
com.fasterxml.jackson.datatype jackson-datatype-joda（杰克逊数据类型-Joda） 2.14.2
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.13.4
com.fasterxml.jackson.module jackson-module-paranamer 2.14.2
com.fasterxml.jackson.module jackson-module-scala_2.12 2.14.2
com.github.ben-manes.咖啡因 咖啡因 2.3.4
com.github.fommil jniloader 1.1
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java 1.1-本地人
com.github.fommil.netlib 原生系统-Java 1.1
com.github.fommil.netlib 原生系统-Java 1.1-本地人
com.github.fommil.netlib netlib-native_ref-linux-x86_64 1.1-本地人
com.github.fommil.netlib netlib-本地系统-linux-x86_64 1.1-本地人
com.github.luben zstd-jni 1.5.2-5
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.8.9
com.google.crypto.tink 丁克 1.7.0
com.google.flatbuffers flatbuffers-java 1.12.0
com.google.guava 番石榴 15.0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 2.1.214
com.helger 分析器 1.1.1
com.jcraft jsch 0.1.55
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi 源代码_2.12 0.1.9
com.microsoft.azure Azure 数据湖存储 SDK 2.3.9
com.ning compress-lzf 1.1.2
com.sun.mail javax.mail 1.5.2
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses 镜头_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe 配置 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.0
com.univocity univocity-parsers解析器 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec（公共编解码器） commons-codec（公共编解码器） 1.15
commons-collections (通用集合库) commons-collections (通用集合库) 3.2.2
commons-dbcp commons-dbcp 1.4
公共文件上传 公共文件上传 1.5
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.11.0
commons-lang commons-lang 2.6
commons-logging（日志库） commons-logging（日志库） 1.1.3
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 3.0.3
dev.ludovic.netlib BLAS 3.0.3
dev.ludovic.netlib lapack 3.0.3
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift 空气压缩机 0.21
io.delta delta-sharing-spark_2.12 0.6.3
io.dropwizard.metrics metrics-core 4.2.10
io.dropwizard.metrics metrics-graphite 4.2.10
io.dropwizard.metrics 指标-健康检查 4.2.10
io.dropwizard.metrics metrics-jetty9 4.2.10
io.dropwizard.metrics 指标-JMX 4.2.10
io.dropwizard.metrics metrics-json 4.2.10
io.dropwizard.metrics 指标-JVM 4.2.10
io.dropwizard.metrics 指标-Servlets 4.2.10
io.netty netty-all 4.1.87.Final
io.netty netty-buffer（Netty缓存） 4.1.87.Final
io.netty netty-codec 4.1.87.Final
io.netty Netty HTTP 编解码器 4.1.87.Final
io.netty netty-codec-http2 4.1.87.Final
io.netty netty-codec-socks 4.1.87.Final
io.netty Netty-Common（网络通用组件） 4.1.87.Final
io.netty netty-handler 4.1.87.Final
io.netty netty-handler-proxy（Netty 处理器代理） 4.1.87.Final
io.netty netty-resolver (Netty 解析器) 4.1.87.Final
io.netty netty-transport 4.1.87.Final
io.netty netty-transport-classes-epoll 4.1.87.Final
io.netty netty-transport-classes-kqueue 4.1.87.Final
io.netty netty-transport-native-epoll 4.1.87.Final
io.netty netty-transport-native-epoll 4.1.87.Final-linux-aarch_64
io.netty netty-transport-native-epoll 4.1.87.Final-linux-x86_64
io.netty netty-transport-native-kqueue 4.1.87.Final-osx-aarch_64
io.netty netty-transport-native-kqueue 4.1.87.Final-osx-x86_64
io.netty Netty传输-本机-Unix-通用 4.1.87.Final
io.prometheus simpleclient 0.7.0
io.prometheus 简单客户端通用 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx 收藏者 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation 激活 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1.1
javax.transaction 交易接口 (transaction-api) 1.1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.12.1
net.java.dev.jna jna 5.8.0
net.razorvine 泡菜 1.3
net.sf.jpam 杰潘 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.13.22
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt.remotetea remotetea-oncrpc（远程调用协议库） 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.9.3
org.antlr 字符串模板 3.2.1
org.apache.ant 蚂蚁 1.9.16
org.apache.ant ant-jsch（Java的SSH库） 1.9.16
org.apache.ant ant-launcher 1.9.16
org.apache.arrow arrow-format 11.0.0
org.apache.arrow 箭头内存核心 11.0.0
org.apache.arrow 箭头内存网状系统 11.0.0
org.apache.arrow 箭头向量 11.0.0
org.apache.avro avro 1.11.1
org.apache.avro avro-ipc 1.11.1
org.apache.avro avro-mapred 1.11.1
org.apache.commons commons-collections4（通用集合库） 4.4
org.apache.commons commons-compress 1.21
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-text 1.10.0
org.apache.curator 策展人与客户 2.13.0
org.apache.curator curator-framework 2.13.0
org.apache.curator 策展人食谱 2.13.0
org.apache.datasketches datasketches-java 3.1.0
org.apache.datasketches 数据草图内存 2.0.0
org.apache.derby 德比 10.14.2.0
org.apache.hadoop Hadoop 客户端运行时 3.3.4
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-垫片 2.3.9
org.apache.hive hive-storage-api 2.8.1
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.httpcomponents httpclient 4.5.14
org.apache.httpcomponents httpcore 4.4.16
org.apache.ivy 常春藤 2.5.1
org.apache.logging.log4j log4j-1.2-api 2.19.0
org.apache.logging.log4j log4j-api 2.19.0
org.apache.logging.log4j log4j-core 2.19.0
org.apache.logging.log4j log4j-slf4j2-impl 2.19.0
org.apache.mesos mesos 1.11.0-shaded-protobuf
\ org.apache.orc orc-core 1.8.2-shaded-protobuf
\ org.apache.orc orc-mapreduce 1.8.2-shaded-protobuf
\ org.apache.orc orc-shims 1.8.2
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm9-shaded 4.22
org.apache.yetus 听众批注 0.13.0
org.apache.zookeeper 动物园管理员 3.6.3
org.apache.zookeeper zookeeper-jute 3.6.3
org.checkerframework checker-qual 3.5.0
org.codehaus.jackson jackson-core-asl (Jackson核心库 - ASL) 1.9.13
org.codehaus.jackson 杰克逊映射器-ASL 1.9.13
org.codehaus.janino commons-compiler（通用编译器） 3.0.16
org.codehaus.janino 雅尼诺 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.50.v20221201
org.eclipse.jetty jetty-continuation 9.4.50.v20221201
org.eclipse.jetty Jetty-HTTP 9.4.50.v20221201
org.eclipse.jetty jetty-io 9.4.50.v20221201
org.eclipse.jetty jetty-jndi 9.4.50.v20221201
org.eclipse.jetty jetty-plus 9.4.50.v20221201
org.eclipse.jetty jetty-proxy 9.4.50.v20221201
org.eclipse.jetty 码头安全 9.4.50.v20221201
org.eclipse.jetty Jetty服务器 9.4.50.v20221201
org.eclipse.jetty jetty-servlet 9.4.50.v20221201
org.eclipse.jetty jetty-servlets 9.4.50.v20221201
org.eclipse.jetty jetty-util（Jetty工具库） 9.4.50.v20221201
org.eclipse.jetty jetty-util-ajax 9.4.50.v20221201
org.eclipse.jetty Jetty 网页应用 9.4.50.v20221201
org.eclipse.jetty jetty-xml 9.4.50.v20221201
org.eclipse.jetty.websocket WebSocket API (websocket-api) 9.4.50.v20221201
org.eclipse.jetty.websocket WebSocket 客户端 (websocket-client) 9.4.50.v20221201
org.eclipse.jetty.websocket WebSocket-通用 9.4.50.v20221201
org.eclipse.jetty.websocket websocket服务器 9.4.50.v20221201
org.eclipse.jetty.websocket websocket-servlet 9.4.50.v20221201
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-定位器 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator (OSGi 资源定位器) 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.36
org.glassfish.jersey.containers Jersey容器Servlet核心 2.36
org.glassfish.jersey.core jersey-client 2.36
org.glassfish.jersey.core jersey-common 2.36
org.glassfish.jersey.core jersey-server 2.36
org.glassfish.jersey.inject jersey-hk2 2.36
org.hibernate.validator Hibernate验证器 6.1.7.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss 日志 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains 注释 17.0.0
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mariadb.jdbc mariadb-java-client 2.7.4
org.mlflow mlflow-spark 2.2.0
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.3.8
org.roaringbitmap RoaringBitmap 0.9.39
org.roaringbitmap 垫片 0.9.39
.rocksdb rocksdbjni 7.8.3
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.15
org.scala-lang scala-library_2.12 2.12.15
org.scala-lang scala-reflect_2.12 2.12.15
org.scala-lang.modules scala-collection-compat_2.12 2.4.3
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt 测试界面 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 2.1.0
org.scalanlp breeze_2.12 2.1.0
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 2.0.6
org.slf4j jul-to-slf4j 2.0.6
org.slf4j slf4j-api 2.0.6
org.threeten threeten-extra 1.7.1
org.tukaani xz 1.9
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl WildFly-OpenSSL 1.1.3.Final
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.8.4
org.yaml snakeyaml 1.33
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.cryptools AmazonCorrettoCryptoProvider 1.6.1-linux-x86_64
software.amazon.ion ion-java 1.0.2
斯塔克斯 stax-api 1.0.1