通过

Databricks Runtime 16.0 （EoS）

以下发行说明提供了由 Apache Spark 3.5.0 提供支持的 Databricks Runtime 16.0 的相关信息。

Databricks 于 2024 年 11 月发布了此版本。

注释

对此 Databricks Runtime 版本的支持已结束。 有关终止支持日期，请参阅终止支持历史记录。 有关所有受支持的 Databricks Runtime 版本，请参阅 Databricks Runtime 发行说明版本和兼容性。

小窍门

若要查看已终止支持 (EoS) 的 Databricks Runtime 版本的发行说明，请参阅终止支持 Databricks Runtime 发行说明。 EoS Databricks Runtime 版本已停用，可能不会更新。

行为变更

中断性变更：JDK 17 现在是默认值

在 Databricks Runtime 16.0 及更高版本中，默认 JDK 版本从 JDK 8 切换到 JDK 17。 做出这一更改是因为计划弃用和终止对 JDK 8 的支持。 这会影响以下内容：

  • 在 Azure Databricks 计算上运行的 Java 代码必须与 Java 17 兼容。
  • 笔记本或 Azure Databricks 计算中运行的 Scala 代码必须与 Java 17 兼容。
  • 在计算上安装的 Java 和 Scala 库必须与 Java 17 兼容。
  • 2.x 以下版本的 Apache Hive 元存储客户端。 将 Spark 配置 spark.sql.hive.metastore.version 设置为低于 2.x 的版本将导致 Java 17 的兼容性问题，以及与 Hive 元存储连接失败。 Databricks 建议将 Hive 升级到 2.0.0 以上的版本。

如果需要还原到 Java 8，请在配置 Azure Databricks 计算时将以下内容添加到 Spark 环境变量：

JNAME=zulu8-ca-amd64

如果使用 ARM 实例，请使用以下内容：

JNAME=zulu8-ca-arm64

若要详细了解如何使用 Azure Databricks 计算指定 JDK 版本，请参阅创建使用 JDK 17 的群集。

有关从 Java 8 迁移代码的帮助，请参阅以下指南：

中断性变更：托管 RStudio 已终止生命周期

随着此版本的发布，Databricks 托管的 RStudio Server 已终止生命周期，并且在运行 Databricks Runtime 16.0 及更高版本的任意 Azure Databricks 工作区均不可用。 若要了解更多信息并查看 RStudio 的替代项列表，请参阅 托管版 RStudio Server 弃用通知。

中断性变更：移除对将 byte、short、int 和 long 类型更改为更宽类型的支持

在 Databricks Runtime 15.4.3 及更高版本中，以下数据类型更改不能再应用于启用类型扩展功能的表：

  • 将 byte、short、int 和 long 转换为 decimal。
  • 将 byte、short 和 int 转换为 double。

此更改旨在确保 Delta 和 Iceberg 表的行为一致。 若要了解有关类型扩展的详细信息，请参阅类型扩展。

正确解析正则表达式模式，并在嵌套字符分组中使用求反

此版本包括一项更改，以支持对正则表达式模式的正确解析，并在嵌套字符分组中使用求反。 例如， [^[abc]] 将分析为“不是”abc“之一的任何字符。

另外，Photon 行为与嵌套字符类的 Spark 不一致。 包含嵌套字符类的正则表达式将不再使用 Photon，而改为使用 Spark。 嵌套字符类是包含方括号内方括号的任何模式，例如 [[a-c][1-3]]。

改进 Delta Lake MERGE 中的重复匹配检测

在 Databricks Runtime 15.4 LTS 及以下版本中，如果根据 MERGE 子句中指定的 MERGE 条件，源表中有多行与目标表中的同一行匹配，则 ON 操作将会失败。 在 Databricks Runtime 16.0 及更高版本中，MERGE 还会考虑 WHEN MATCHED 子句中指定的条件。 请参阅使用合并以更新插入的方式插入到 Delta Lake 表中。

群集库安装方法不能再被重写

Spark 配置 spark.databricks.libraries.enableSparkPyPI、spark.databricks.libraries.enableMavenResolution 和 spark.databricks.libraries.enableCRANResolutionnow 现在默认为 true，且不能被重写。

群集范围库安装的默认超时时间为两小时

在 Databricks Runtime 16.0 及更高版本中，群集范围库安装的默认超时时间为两小时。 超过此超时时间的库安装将失败，安装将终止。 配置群集时，可以使用 Spark 配置 spark.databricks.driver.clusterLibraryInstallationTimeoutSec 更改超时期限。

禁用从 DBFS 安装库和设置 spark conf spark.databricks.driver.dbfsLibraryInstallationAllowed

在 Databricks Runtime 16.0 及更高版本中，完全禁用了从 DBFS 安装库。 这一更改是为了提高 Databricks 工作区中库的安全性。 此外，在 Databricks Runtime 16.0 及更高版本中，不能再使用 Spark 配置 spark.databricks.driver.dbfsLibraryInstallationAllowed。

此 addArtifact() 功能现在在计算类型之间保持一致

使用此版本，当您使用 addArtifact(archive = True) 向共享或无服务器 Azure Databricks 计算添加依赖项时，存档会自动解压缩。 此更改使 addArtifact(archive = True) 这些计算类型的行为与专用计算（以前是单用户计算）保持一致，该计算类型已支持自动解压缩存档。

为具有特殊字符的主标识符正确应用反引号规则

在此版本中，主体标识符如果在GRANT、DENY和REVOKE语句中包含特殊字符且没有用反引号括起，那么将引发错误。

新功能和改进

通过改进 autoreload，增强了修改后的 Python 模块的重新加载可靠性。

在 Databricks Runtime 16.0 及更高版本中，对 autoreload 扩展的更新提高了重新加载从工作区文件导入的修改后的 Python 模块的安全性和可靠性。 通过这些更改， autoreload尽可能只重新加载已更改的模块部分，而不是整个模块。 此外，如果模块自上次导入以来发生了更改，Azure Databricks 现在会自动建议使用 autoreload 扩展。 请参阅Python 模块的自动加载。

Avro 支持递归架构

现在可以将 recursiveFieldMaxDepth 选项与 from_avro 函数和 avro 数据源一起使用。 此选项设置 Avro 数据源上架构递归的最大深度。 请参阅读取和写入流 Avro 数据。

to_avro 和 from_avro 函数

to_avro和from_avro函数允许将 SQL 类型转换为 Avro 二进制数据并返回。

扩展了对 Avro 的 Confluent 架构注册表的支持

Azure Databricks 现在支持使用 Confluent 架构注册表进行 Avro 架构引用。 请参阅向外部 Confluent 架构注册表进行身份验证。

在启用 liquid 聚类分析的表上强制进行重新聚类

在 Databricks Runtime 16.0 及更高版本中，可以使用 OPTIMIZE FULL 语法强制对启用 liquid 聚类分析的表中的所有记录重新聚类。 请参阅强制对所有记录重新进行聚类分析。

适用于 Python 和 Scala 的 Delta API 现在支持标识列

现在，可以使用适用于 Python 和 Scala 的 Delta API 创建具有标识列的表。 请参阅在 Delta Lake 中使用标识列。

专用计算（以前称为单用户计算）的细粒度访问权限控制已全面开放

在 Databricks Runtime 16.0 及更高版本中，专用计算上的精细访问控制已普遍可用。 在为无服务器计算启用的工作区中，如果查询在受支持的计算（如专用计算）上运行，并且查询访问以下任何对象，则计算资源会将查询传递给无服务器计算以运行数据筛选：

  • 基于用户不具有 SELECT 特权的表定义的视图。
  • 动态视图。
  • 应用了行筛选器或列掩码的表。
  • 具体化视图和流式处理表

在流式写入期间创建 liquid 聚类分析表

现在，在使用结构化流写入创建新表时，您可以使用 clusterBy 启用 liquid 聚类分析。 请参阅启用液体聚类。

对 OPTIMIZE FULL 子句的支持

Databricks Runtime 16.0 支持 OPTIMIZE FULL 子句。 此子句优化使用液态聚类的表中的所有记录，包括可能之前已进行过聚类的数据。

对在 INSERT 和表引用中指定的 WITH 选项的支持

Databricks Runtime 16.0 支持用于控制数据源行为的 语句的表格引用和表单名称的INSERT。

新的 SQL 函数

以下 SQL 函数已添加到 Rancher Runtime 16.0 中：

  • 尝试_网址_解码

    此函数是 url_decode 的容错版本。 如果输入不是有效的 URL 编码字符串，此函数将返回 NULL。

  • zeroifnull

    如果输入 zeroifnull() 函数的表达式为 NULL，则函数将返回 0。 否则，将返回输入表达式的值。

  • nullifzero

    如果输入为 0，则返回 NULL；如果输入不是 0，则返回其输入。 如果 nullifzero() 函数的输入表达式为 0，则函数返回 NULL。 如果输入表达式不是 0，则返回输入表达式的值

将数据合并到 Delta 表时启用自动架构演变

此版本添加了对 withSchemaEvolution() 类 DeltaMergeBuilder 成员的支持。 使用 withSchemaEvolution() 可在 MERGE 操作期间启用自动架构演变。 例如，mergeBuilder.whenMatched(...).withSchemaEvolution().execute()}}。

其他更改

SparkR 现已弃用

在 Databricks Runtime 16.0 及更高版本中，Databricks 中的 SparkR 已弃用，并准备在即将发布的 Spark 4 版本中弃用。 请参阅 Apache Spark 弃用 SparkR 线程。

Databricks 建议改用 sparklyr。

PVC 不支持 Databricks Runtime 16.0

Databricks 私有虚拟云 (PVC) 不支持 Databricks Runtime 16.0。 所有 PVC 版本都必须使用 Databricks Runtime 15.4 或以下版本。

故障修复

自动加载程序现在使用空架构补救 Avro 记录类型

使用自动加载程序将 Avro 文件加载到增量表中时，文件中具有空架构的 record 类型现在会添加到补救数据列中。 由于无法将空的复杂数据类型引入增量表，因此解决了加载某些 Avro 文件时出现的问题。 若要了解有关已补救数据的详细信息，请参阅什么是补救数据列？。

修正了在使用包含第二个偏移量的时区写入时间戳时出现的错误。

此版本修正了影响某些包含第二个偏移量的时区时间戳的 Bug。 此 Bug 导致写入 JSON、XML 或 CSV 时省略秒数，导致时间戳的值不正确。

若要返回到之前的行为，在写入受影响的格式之一时，请使用以下选项：.option("yyyy-MM-dd'T'HH:mm:ss[.SSS][XXX]")。

图书馆升级

  • 升级后的 Python 库：
    • azure-core（从 1.30.2 升级到 1.31.0）
    • azure-storage-blob 已从 12.19.1 升级到 12.23.0
    • azure-storage-file-datalake 已从 12.14.0 升级到 12.17.0
    • black 已从 23.3.0 升级到 24.4.2
    • blinker 已从 1.4 升级到 1.7.0
    • boto3 已从 1.34.39 升级到 1.34.69
    • botocore 已从 1.34.39 升级到 1.34.69
    • certifi 已从 2023.7.22 升级到 2024.6.2
    • cffi 已从 1.15.1 升级到 1.16.0
    • click 已从 8.0.4 升级到 8.1.7
    • comm 从 0.1.2 到 0.2.1
    • contourpy 从 1.0.5 到 1.2.0
    • cryptography 已从 41.0.3 升级到 42.0.5
    • Cython 已从 0.29.32 升级到 3.0.11
    • databricks-sdk 从 0.20.0 到 0.30.0
    • dbus-python 已从 1.2.18 升级到 1.3.2
    • filelock 从 3.13.4 到 3.15.4
    • fonttools 从 4.25.0 到 4.51.0
    • GitPython 已从 3.1.43 升级到 3.1.37
    • google-api-core 已从 2.18.0 升级到 2.20.0
    • google-auth 已从 2.31.0 升级到 2.35.0
    • google-cloud-storage 已从 2.17.0 升级到 2.18.2
    • google-crc32c 已从 1.5.0 升级到 1.6.0
    • google-resumable-media（从 2.7.1 升级到 2.7.2）
    • googleapis-common-protos 已从 1.63.2 升级到 1.65.0
    • httplib2 从 0.20.2 到 0.20.4
    • idna 已从 3.4 升级到 3.7
    • ipykernel 已从 6.25.1 升级到 6.28.0
    • ipython 已从 8.15.0 升级到 8.25.0
    • jedi 已从 0.18.1 升级到 0.19.1
    • jmespath 从 0.10.0 到 1.0.1
    • joblib 已从 1.2.0 升级到 1.4.2
    • jupyter_client 已从 7.4.9 升级到 8.6.0
    • jupyter_core 已从 5.3.0 升级到 5.7.2
    • launchpadlib 从 1.10.16 到 1.11.0
    • lazr.restfulclient 从 0.14.4 到 0.14.6
    • matplotlib 已从 3.7.2 升级到 3.8.4
    • mlflow-skinny 已从 2.11.4 升级到 2.15.1
    • more-itertools 从 8.10.0 到 10.3.0
    • mypy-extensions 已从 0.4.3 升级到 1.0.0
    • nest-asyncio 已从 1.5.6 升级到 1.6.0
    • numpy 已从 1.23.5 升级到 1.26.4
    • oauthlib 从 3.2.0 到 3.2.2
    • packaging 已从 23.2 升级到 24.1
    • patsy 已从 0.5.3 升级到 0.5.6
    • pip 已从 23.2.1 升级到 24.2
    • plotly 已从 5.9.0 升级到 5.22.0
    • prompt-toolkit 已从 3.0.36 升级到 3.0.43
    • pyarrow 由 14.0.1 升级为 15.0.2
    • pydantic 从 1.10.6 到 2.8.2
    • PyGObject 已从 3.42.1 升级到 3.48.2
    • PyJWT 从 2.3.0 到 2.7.0
    • pyodbc 已从 4.0.38 升级到 5.0.1
    • python-dateutil 已从 2.8.2 升级到 2.9.0.post0
    • python-lsp-jsonrpc 从 1.1.1 到 1.1.2
    • pytz 已从 2022.7 升级到 2024.1
    • PyYAML 已从 6.0 升级到 6.0.1
    • pyzmq 已从 23.2.0 升级到 25.1.2
    • requests 已从 2.31.0 升级到 2.32.2
    • scikit-learn 已从 1.3.0 升级到 1.4.2
    • scipy 已从 1.11.1 升级到 1.13.1
    • seaborn 由 0.12.2 升级为 0.13.2
    • setuptools 已从 68.0.0 升级到 74.0.0
    • smmap 已从 5.0.1 升级到 5.0.0
    • sqlparse 已从 0.5.0 升级到 0.5.1
    • statsmodels 已从 0.14.0 升级到 0.14.2
    • tornado 由 6.3.2 升级为 6.4.1
    • traitlet 已从 5.7.1 升级到 5.14.3
    • typing_extensions 已从 4.10.0 升级到 4.11.0
    • ujson 已从 5.4.0 升级到 5.10.0
    • virtualenv 已从 20.24.2 升级到 20.26.2
    • wheel 已从 0.38.4 升级到 0.43.0
    • zipp 从 3.11.0 到 3.17.0
  • 升级了 R 库：
    • arrow 已从 14.0.0.2 升级到 16.1.0
    • backports 已从 1.4.1 升级到 1.5.0
    • base 已从 4.3.2 升级到 4.4.0
    • bitops 已从 1.0-7 升级到 1.0-8
    • 启动文件已从 1.3-28 升级到 1.3-30
    • brio 已从 1.1.4 升级到 1.1.5
    • broom 已从 1.0.5 升级到 1.0.6
    • bslib 从 0.6.1 到 0.8.0
    • cachem 已从 1.0.8 升级到 1.1.0
    • callr 从 3.7.3 到 3.7.6
    • cli 已从 3.6.2 升级到 3.6.3
    • clock 已从 0.7.0 升级到 0.7.1
    • cluster 已从 2.1.4 升级到 2.1.6
    • codetools 已从 0.2-19 升级到 0.2-20
    • colorspace 已从 2.1-0 升级到 2.1-1
    • compiler 已从 4.3.2 升级到 4.4.0
    • crayon 已从 1.5.2 升级到 1.5.3
    • curl 已从 5.2.0 升级到 5.2.1
    • data.table 从 1.15.0 到 1.15.4
    • datasets 已从 4.3.2 升级到 4.4.0
    • DBI 已从 1.2.1 升级到 1.2.3
    • dbplyr 已从 2.4.0 升级到 2.5.0
    • digest 从 0.6.34 到 0.6.36
    • downlit 已从 0.4.3 升级到 0.4.4
    • evaluate 已从 0.23 升级到 0.24.0
    • farver 已从 2.1.1 升级到 2.1.2
    • fastmap 已从 1.1.1 升级到 1.2.0
    • foreign 已从 0.8-85 升级到 0.8-86
    • fs 已从 1.6.3 升级到 1.6.4
    • future 已从 1.33.1 升级到 1.34.0
    • future.apply 已从 1.11.1 升级到 1.11.2
    • gert 已从 2.0.1 升级到 2.1.0
    • ggplot2 已从 3.4.4 升级到 3.5.1
    • gh 已从 1.4.0 升级到 1.4.1
    • globals 已从 0.16.2 升级到 0.16.3
    • graphics 已从 4.3.2 升级到 4.4.0
    • grDevices 已从 4.3.2 升级到 4.4.0
    • grid 已从 4.3.2 升级到 4.4.0
    • gt 已从 0.10.1 升级到 0.11.0
    • gtable 已从 0.3.4 升级到 0.3.5
    • hardhat 已从 1.3.1 升级到 1.4.0
    • highr 已从 0.10 升级到 0.11
    • htmltools 已从 0.5.7 升级到 0.5.8.1
    • httpuv 已从 1.6.14 升级到 1.6.15
    • httr2 从 1.0.0 到 1.0.2
    • ipred 已从 0.9-14 升级到 0.9-15
    • KernSmooth 已从 2.23-21 升级到 2.23-22
    • knitr 从 1.45 到 1.48
    • lattice 从 0.21-8 升级到 0.22-5
    • lava 已从 1.7.3 升级到 1.8.0
    • markdown 已从 1.12 升级到 1.13
    • MASS 已从 7.3-60 升级到 7.3-60.0.1
    • Matrix 已从 1.5-4.1 升级为 1.6-5
    • methods 已从 4.3.2 升级到 4.4.0
    • mgcv 从 1.8-42 到 1.9-1
    • mlflow 已从 2.10.0 升级到 2.14.1
    • munsell 已从 0.5.0 升级到 0.5.1
    • nlme 已从 3.1-163 升级到了 3.1-165
    • openssl 已从 2.1.1 升级到 2.2.0
    • parallel 已从 4.3.2 升级到 4.4.0
    • parallelly 已从 1.36.0 升级到 1.38.0
    • pkgbuild 已从 1.4.3 升级到 1.4.4
    • pkgdown 已从 2.0.7 升级到 2.1.0
    • pkgload 从 1.3.4 到 1.4.0
    • processx 已从 3.8.3 升级到 3.8.4
    • prodlim 已从 2023.08.28 升级到 2024.06.25
    • promises 从 1.2.1 到 1.3.0
    • ps 已从 1.7.6 升级到 1.7.7
    • ragg 已从 1.2.7 升级到 1.3.2
    • Rcpp 已从 1.0.12 升级到 1.0.13
    • RcppEigen 已从 0.3.3.9.4 升级到 0.3.4.0.0
    • reactR 已从 0.5.0 升级到 0.6.0
    • recipes 从 1.0.9 到 1.1.0
    • remotes 从 2.4.2.1 到 2.5.0
    • reprex 已从 2.1.0 升级到 2.1.1
    • rlang 从 1.1.3 到 1.1.4
    • rmarkdown 已从 2.25 升级到 2.27
    • roxygen2 已从 7.3.1 升级到 7.3.2
    • rpart 已从 4.1.21 升级到 4.1.23
    • RSQLite 已从 2.3.5 升级到 2.3.7
    • rstudioapi 已从 0.15.0 升级到到 0.16.0
    • rvest 从 1.0.3 到 1.0.4
    • sass 已从 0.4.8 升级到 0.4.9
    • shape 已从 1.4.6 升级到 1.4.6.1
    • shiny 从 1.8.0 到 1.9.1
    • sparklyr 已从 1.8.4 升级到 1.8.6
    • spatial 已从 7.3-15 升级到 7.3-17
    • splines 已从 4.3.2 升级到 4.4.0
    • stats 已从 4.3.2 升级到 4.4.0
    • stats4 已从 4.3.2 升级到 4.4.0
    • stringi 从 1.8.3 到 1.8.4
    • survival 已从 3.5-5 升级到 3.6-4
    • swagger 已从 3.33.1 升级到 5.17.14.1
    • systemfonts 从 1.0.5 到 1.1.0
    • tcltk 已从 4.3.2 升级到 4.4.0
    • testthat 从 3.2.1 到 3.2.1.1
    • textshaping 从 0.3.7 到 0.4.0
    • tidyselect 已从 1.2.0 升级到 1.2.1
    • tinytex 从 0.49 到 0.52
    • tools 已从 4.3.2 升级到 4.4.0
    • usethis 从 2.2.2 到 3.0.0
    • utils 已从 4.3.2 升级到 4.4.0
    • uuid 已从 1.2-0 升级到 1.2-1
    • V8 已从 4.4.1 升级到 4.4.2
    • withr 已从 3.0.0 升级到 3.0.1
    • xfun 从 0.41 到 0.46
    • Xopen 已从 1.0.0 升级到 1.0.1
    • yaml 已从 2.3.8 升级到 2.3.10
  • 升级后的 Java 库：
    • com.amazonaws.aws-java-sdk-autoscaling 已从 1.12.610 升级到 1.12.638
    • com.amazonaws.aws-java-sdk-cloudformation 已从 1.12.610 升级到 1.12.638
    • com.amazonaws.aws-java-sdk-cloudfront 已从 1.12.610 升级到 1.12.638
    • com.amazonaws.aws-java-sdk-cloudhsm 已从 1.12.610 升级到 1.12.638
    • com.amazonaws.aws-java-sdk-cloudsearch 已从 1.12.610 升级到 1.12.638
    • com.amazonaws.aws-java-sdk-cloudtrail 已从 1.12.610 升级到 1.12.638
    • com.amazonaws.aws-java-sdk-cloudwatch 已从 1.12.610 升级到 1.12.638
    • com.amazonaws.aws-java-sdk-cloudwatchmetrics 已从 1.12.610 升级到 1.12.638
    • com.amazonaws.aws-java-sdk-codedeploy 已从 1.12.610 升级到 1.12.638
    • com.amazonaws.aws-java-sdk-cognitoidentity 已从 1.12.610 升级到 1.12.638
    • com.amazonaws.aws-java-sdk-cognitosync 已从 1.12.610 升级到 1.12.638
    • com.amazonaws.aws-java-sdk-config 已从 1.12.610 升级到 1.12.638
    • com.amazonaws.aws-java-sdk-core 已从 1.12.610 升级到 1.12.638
    • com.amazonaws.aws-java-sdk-datapipeline 已从 1.12.610 升级到 1.12.638
    • com.amazonaws.aws-java-sdk-directconnect 已从 1.12.610 升级到 1.12.638
    • com.amazonaws.aws-java-sdk-directory 已从 1.12.610 升级到 1.12.638
    • com.amazonaws.aws-java-sdk-dynamodb 已从 1.12.610 升级到 1.12.638
    • com.amazonaws.aws-java-sdk-ec2 已从 1.12.610 升级到 1.12.638
    • com.amazonaws.aws-java-sdk-ecs 已从 1.12.610 升级到 1.12.638
    • com.amazonaws.aws-java-sdk-efs 已从 1.12.610 升级到 1.12.638
    • com.amazonaws.aws-java-sdk-elasticache 已从 1.12.610 升级到 1.12.638
    • com.amazonaws.aws-java-sdk-elasticbeanstalk 已从 1.12.610 升级到 1.12.638
    • com.amazonaws.aws-java-sdk-elasticloadbalancing 已从 1.12.610 升级到 1.12.638
    • com.amazonaws.aws-java-sdk-elastictranscoder 已从 1.12.610 升级到 1.12.638
    • com.amazonaws.aws-java-sdk-emr 已从 1.12.610 升级到 1.12.638
    • com.amazonaws.aws-java-sdk-glacier 已从 1.12.610 升级到 1.12.638
    • com.amazonaws.aws-java-sdk-glue 已从 1.12.610 升级到 1.12.638
    • com.amazonaws.aws-java-sdk-iam 已从 1.12.610 升级到 1.12.638
    • com.amazonaws.aws-java-sdk-importexport 已从 1.12.610 升级到 1.12.638
    • com.amazonaws.aws-java-sdk-kinesis 已从 1.12.610 升级到 1.12.638
    • com.amazonaws.aws-java-sdk-kms 已从 1.12.610 升级到 1.12.638
    • com.amazonaws.aws-java-sdk-lambda 已从 1.12.610 升级到 1.12.638
    • com.amazonaws.aws-java-sdk-logs 已从 1.12.610 升级到 1.12.638
    • com.amazonaws.aws-java-sdk-machinelearning 已从 1.12.610 升级到 1.12.638
    • com.amazonaws.aws-java-sdk-opsworks 已从 1.12.610 升级到 1.12.638
    • com.amazonaws.aws-java-sdk-rds 已从 1.12.610 升级到 1.12.638
    • com.amazonaws.aws-java-sdk-redshift 已从 1.12.610 升级到 1.12.638
    • com.amazonaws.aws-java-sdk-route53 已从 1.12.610 升级到 1.12.638
    • com.amazonaws.aws-java-sdk-s3 已从 1.12.610 升级到 1.12.638
    • com.amazonaws.aws-java-sdk-ses 已从 1.12.610 升级到 1.12.638
    • com.amazonaws.aws-java-sdk-simpledb 已从 1.12.610 升级到 1.12.638
    • com.amazonaws.aws-java-sdk-simpleworkflow 已从 1.12.610 升级到 1.12.638
    • com.amazonaws.aws-java-sdk-sns 已从 1.12.610 升级到 1.12.638
    • com.amazonaws.aws-java-sdk-sqs 已从 1.12.610 升级到 1.12.638
    • com.amazonaws.aws-java-sdk-ssm 已从 1.12.610 升级到 1.12.638
    • com.amazonaws.aws-java-sdk-storagegateway 已从 1.12.610 升级到 1.12.638
    • com.amazonaws.aws-java-sdk-sts 已从 1.12.610 升级到 1.12.638
    • com.amazonaws.aws-java-sdk-support 已从 1.12.610 升级到 1.12.638
    • com.amazonaws.aws-java-sdk-workspaces 已从 1.12.610 升级到 1.12.638
    • com.amazonaws.jmespath-java 已从 1.12.610 升级到 1.12.638
    • com.google.protobuf.protobuf-java 已从 2.6.1 升级到 3.25.1
    • io.airlift.aircompressor 已从 0.25 升级到 0.27
    • io.delta.delta-sharing-client_2.12 已从 1.1.3 升级到 1.2.0
    • io.netty.netty-all 已从 4.1.96.Final 升级到 4.1.108.Final
    • io.netty.netty-buffer 已从 4.1.96.Final 升级到 4.1.108.Final
    • io.netty.netty-codec 已从 4.1.96.Final 升级到 4.1.108.Final
    • io.netty.netty-codec-http 已从 4.1.96.Final 升级到 4.1.108.Final
    • io.netty.netty-codec-http2 已从 4.1.96.Final 升级到 4.1.108.Final
    • io.netty.netty-codec-socks 已从 4.1.96.Final 升级到 4.1.108.Final
    • io.netty.netty-common 已从 4.1.96.Final 升级到 4.1.108.Final
    • io.netty.netty-handler 已从 4.1.96.Final 升级到 4.1.108.Final
    • io.netty.netty-handler-proxy 已从 4.1.96.Final 升级到 4.1.108.Final
    • io.netty.netty-resolver 已从 4.1.96.Final 升级到 4.1.108.Final
    • io.netty.netty-transport 已从 4.1.96.Final 升级到 4.1.108.Final
    • io.netty.netty-transport-classes-epoll 已从 4.1.96.Final 升级到 4.1.108.Final
    • io.netty.netty-transport-classes-kqueue 已从 4.1.96.Final 升级到 4.1.108.Final
    • io.netty.netty-transport-native-epoll 已从 4.1.96.Final-linux-x86_64 升级到 4.1.108.Final-linux-x86_64
    • io.netty.netty-transport-native-kqueue 已从 4.1.96.Final-osx-x86_64 升级到 4.1.108.Final-osx-x86_64
    • io.netty.netty-transport-native-unix-common 已从 4.1.96.Final 升级到 4.1.108.Final
    • org.apache.ivy.ivy 已从 2.5.1 升级到 2.5.2
    • org.apache.zookeeper.zookeeper 已从 3.6.3 升级到 3.9.2
    • org.apache.zookeeper.zookeeper-jute 已从 3.6.3 升级到 3.9.2
    • org.rocksdb.rocksdbjni 已从 8.11.4 升级到 9.2.1
    • org.scalactic.scalactic_2.12 已从 3.2.15 升级到 3.2.16
    • org.scalatest.scalatest-compatible 已从 3.2.15 升级到 3.2.16
    • org.scalatest.scalatest-core_2.12 已从 3.2.15 升级到 3.2.16
    • org.scalatest.scalatest-diagrams_2.12 已从 3.2.15 升级到 3.2.16
    • org.scalatest.scalatest-featurespec_2.12 已从 3.2.15 升级到 3.2.16
    • org.scalatest.scalatest-flatspec_2.12 已从 3.2.15 升级到 3.2.16
    • org.scalatest.scalatest-freespec_2.12 已从 3.2.15 升级到 3.2.16
    • org.scalatest.scalatest-funspec_2.12 已从 3.2.15 升级到 3.2.16
    • org.scalatest.scalatest-funsuite_2.12 已从 3.2.15 升级到 3.2.16
    • org.scalatest.scalatest-matchers-core_2.12 已从 3.2.15 升级到 3.2.16
    • org.scalatest.scalatest-mustmatchers_2.12 已从 3.2.15 升级到 3.2.16
    • org.scalatest.scalatest-propspec_2.12 已从 3.2.15 升级到 3.2.16
    • org.scalatest.scalatest-refspec_2.12 已从 3.2.15 升级到 3.2.16
    • org.scalatest.scalatest-shouldmatchers_2.12 已从 3.2.15 升级到 3.2.16
    • org.scalatest.scalatest-wordspec_2.12 已从 3.2.15 升级到 3.2.16
    • org.scalatest.scalatest_2.12 已从 3.2.15 升级到 3.2.16

Apache Spark

Databricks Runtime 16.0 包括 Apache Spark 3.5.0。 此版本包括 Databricks Runtime 15.4 LTS 中包含的所有 Spark 修复和改进，以及对 Spark 进行的以下其他 bug 修复和改进：

  • [SPARK-49093] [ DBRRM-1371] 使用 MapType nes 还原“[SC-172958][sql] GROUP BY ...
  • [SPARK-49898] [DBRRM-1282][sc-178410] 修复 SPARK-42204 中关于事件日志任务指标累加器日志记录标志的文档和默认设置
  • [SPARK-49743] [ ES-1260022][behave-157][SC-177475][sql] OptimizeCsvJsonExpr 不应在修剪 GetArrayStructFields 时更改架构字段
  • [SPARK-49816] [ SC-177896][sql] 应仅更新引用的外部 CTE 关系的外部引用计数
  • [SPARK-48939] [ SC-177022][sc-172766][AVRO] 支持使用递归架构引用读取 Avro
  • [SPARK-49688] [ SC-177468][es-1242349][CONNECT] 修复中断和执行计划之间的数据竞争
  • [SPARK-49771] [ SC-177466][python] 优化 Pandas 标量迭代 UDF 在输出行超过输入行时的错误处理
  • [SPARK-48866] [ SC-170772][sql] 修复在INVALID_PARAMETER_VALUE.CHARSET错误消息中有关有效字符集提示的问题。
  • [SPARK-48195] [ FIXFORWARD][sc-177267][CORE] 保存并重用由 SparkPlan 创建的 RDD/Broadcast
  • [SPARK-49585] [CONNECT] 将 SessionHolder 中的执行映射替换为 operationID 集
  • [SPARK-49211] [ SC-174257][sql] V2 目录还可以支持内置数据源
  • [SPARK-49684] 最小化会话还原锁的生存期
  • [SPARK-48059] [SPARK-48145 ][spark-48134][SPARK-48182][spark-48209][SPARK-48291] Java 端的结构化日志框架
  • [SPARK-48857] [SC-170661][sql] 限制 CSVOptions 中的字符集
  • [SPARK-49152] [ SC-173690][sql] V2SessionCatalog 应使用 V2Command
  • [SPARK-42846] [SC-176588][sql] 删除错误条件_LEGACY_ERROR_TEMP_2011
  • [SPARK-48195] [ SC-177267][core] 保存并重复使用 SparkPlan 创建的 RDD/Broadcast
  • [SPARK-49630] [ SC-177379][ss] 添加平展选项以使用状态数据源读取器处理收集类型
  • [SPARK-49699] [ SC-177154][ss] 禁用流式处理工作负荷的 PruneFilters
  • [SPARK-48781] [ SC-175282][sql] 添加用于加载存储过程的目录 API
  • [SPARK-49667] [SC-177068][sql] 禁止使用 StringSearch 的表达式中使用 CS_AI 比较器
  • [SPARK-49737] [ SC-177207][sql] 对复杂类型中的排序列禁用存储桶
  • [SPARK-48712] [ SC-169794][sql] 对使用空值或 UTF-8 字符集编码的性能进行改进
  • [SPARK-49038] [ SC-173933][sql] SQLMetric 应报告累加器更新事件中的原始值
  • [SPARK-48541] [ SC-169066][core] 为 TaskReaper 终止的执行程序添加新退出代码
  • [SPARK-48774] [SC-170138][sql] 在 SQLImplicits 中使用 SparkSession
  • [SPARK-49719] [SC-177139][sql] 使 UUID 和 SHUFFLE 接受整数 seed
  • [SPARK-49713] [ SC-177135][python][CONNECT] 使函数 count_min_sketch 接受数字参数
  • [SPARK-47601] [ SC-162499][graphx] Graphx：将带变量的日志迁移到结构化日志记录框架
  • [SPARK-49738] [ SC-177219][sql] “Endswith” 问题修复
  • [SPARK-48623] [ SC-170822][core] 结构化日志记录迁移 [第 3 部分]
  • [SPARK-49677] [ SC-177148][ss] 确保在提交时写入更改日志文件，同时重置 forceSnapshot 标志
  • [SPARK-49684] [ SC-177040][connect] 从会话和执行管理器中删除全局锁
  • [SPARK-48302] [SC-168814][python] 在 PyArrow 表的映射列中保留 null 值
  • [SPARK-48601] [ SC-169025][sql] 为 JDBC 选项设置 null 值时，提供更用户友好的错误消息
  • [SPARK-48635] [ SC-169263][sql] 将联接类型错误和 as-of 联接错误分类为不同类
  • [SPARK-49673] [SC-177032][connect] 将 CONNECT_GRPC_ARROW_MAX_BATCH_SIZE 增加到 0.7 * CONNECT_GRPC_MAX_MESSAGE_SIZE
  • [SPARK-49693] [ SC-177071][python][CONNECT] 优化字符串表示形式 timedelta
  • [SPARK-49687] [SC-176901][sql] 延迟排序 validateAndMaybeEvolveStateSchema
  • [SPARK-49718] [ SC-177112][ps] 将绘图切换到 Scatter 采样的数据
  • [SPARK-48472] [SC-169044][sql] 启用包含排序字符串的反射表达式
  • [SPARK-48484][SC-167484][sql] 修复：V2Write 为不同的任务尝试分配相同的 TaskAttemptId
  • [SPARK-48341] [ SC-166560][connect] 允许插件在其测试中使用 QueryTest
  • [SPARK-42252] [SC-168723][core] 添加 spark.shuffle.localDisk.file.output.buffer 和弃用 spark.shuffle.unsafe.file.output.buffer
  • [SPARK-48314] [ SC-166565][ss] 不要使用 Trigger.AvailableNow 为 FileStreamSource 双重缓存文件
  • [SPARK-49567] [SC-176241][python] 在 PySpark 代码库中使用 classic 而不是 vanilla
  • [SPARK-48374] [ SC-167596][python] 支持其他 PyArrow 表列类型
  • [SPARK-48300] [ SC-166481][sql] Codegen 支持 from_xml
  • [SPARK-49412] [ SC-177059][ps] 计算单个作业中的所有框绘图指标
  • [SPARK-49692] [ SC-177031][python][CONNECT] 优化文本日期和时间的字符串表示形式
  • [SPARK-49392] [ ES-1130351][sc-176705][SQL] 在未能写入外部数据源时捕获错误
  • [SPARK-48306] [SC-166241][sql] 在错误消息中改进 UDT
  • [SPARK-44924] [SC-166379][ss] 添加 FileStreamSource 缓存文件的配置文件
  • [SPARK-48176] [ SC-165644][sql] 调整FIELD_ALREADY_EXISTS错误条件的名称
  • [SPARK-49691] [ SC-176988][python][CONNECT] 函数 substring 应接受列名
  • [SPARK-49502] [SC-176077][core] 防止 SparkEnv.get.shuffleManager.unregisterShuffle 中的 NPE 발생
  • [SPARK-49244] [SC-176703][sql] 分析器/解释器的进一步异常改进
  • [SPARK-48355] [SC-176684][sql] 支持 CASE 语句
  • [SPARK-49355] [ SC-175121][sql] levenshtein 应检查所有参数类型的值是否 collation 相同
  • [SPARK-49640] [SC-176953][ps] 应用水库采样于SampledPlotBase之中
  • [SPARK-49678] [SC-176857][core] 在 spark.test.master 中支持 SparkSubmitArguments
  • [SPARK-49680] [ SC-176856][python] 默认限制构建并行度为 4
  • [SPARK-49396] 恢复“[SC-176030][sql] 修改 CaseWhen 表达式的空值检查”
  • [SPARK-48419] [ SC-167443][sql] 可折叠传播替换可折叠列应该...
  • [SPARK-49556] [ SC-176757][sql] 为 SELECT 运算符添加 SQL 管道语法
  • zh-CN: [SPARK-49438] [SC-175237][sql] 修复FromAvro和ToAvro表达式的漂亮名称
  • [SPARK-49659]VALUES 为 VALUES 子句中的标量子查询添加用户友好的错误信息
  • [SPARK-49646] [SC-176778][sql] 修复了当 parentOuterReferences 中的引用未在 collectedChildOuterReferences 中涵盖时，并集/集合操作的子查询去相关性问题。
  • [SPARK-49354] [ SC-175034][sql] split_part 应检查所有参数类型的值是否 collation 相同
  • [SPARK-49478] [SC-175914][connect] 处理 ConnectProgressExecutionListener 中的 null 指标
  • [SPARK-48358] [ SC-176374][sql] 支持 REPEAT 语句
  • [SPARK-49183] [SC-173680][sql] V2SessionCatalog.createTable 应遵循PROP_IS_MANAGED_LOCATION
  • [SPARK-49611] [ SC-176791][sql] 介绍 TVF collations() 并删除 SHOW COLLATIONS 命令
  • [SPARK-49261] [ SC-176589][sql] 不要将聚合表达式中的字面值替换为分组依据表达式
  • [SPARK-49099] [ SC-173229][sql] CatalogManager.setCurrentNamespace 应遵循自定义会话目录
  • [SPARK-49594] [ SC-176569][ss] 添加检查以确定是否有列族被添加或删除以写入 StateSchemaV3 文件
  • [SPARK-49578] [ SC-176385][sql] 删除 CAST_INVALID_INPUT 和 CAST_OVERFLOW 中的 ANSI 配置建议
  • [SPARK-48882] [ SC-174256][ss] 为流式处理输出模式相关的错误类命名
  • [SPARK-49155] [ SC-176506][sql][SS] 使用更适当的参数类型构造 GenericArrayData
  • [SPARK-49519] [SC-176388][sql] 在构造 FileScanBuilder 时合并表和关系的选项
  • [SPARK-49591] [SC-176587][sql] 将逻辑类型列添加到变体自述文件
  • [SPARK-49596] [ SC-176423][sql] 提高FormatString的性能
  • [SPARK-49525] [ SC-176044][ss][CONNECT] 对服务器端流式查询 ListenerBus 侦听器的日志微调改进
  • [SPARK-49583] [SC-176272][sql] 定义无效秒分数模式的错误子条件SECONDS_FRACTION
  • [SPARK-49536] [SC-176242] 处理 Python 流式处理数据源记录预提取中的错误
  • [SPARK-49443] [ SC-176273][sql][PYTHON] 实现to_variant_object表达式，并使schema_of_variant表达式输出变体对象的 OBJECT
  • [SPARK-49544] [ SASP-3990][sc-176557][CONNECT] 将 SparkConnectExecutionManager 中的粗粒度锁定替换为 ConcurrentMap
  • [SPARK-49548] [SASP-3990][sc-176556][CONNECT] 在 SparkConnectSessionManager 中将粗粒度锁定替换为 ConcurrentMap
  • [SPARK-49551] [ SC-176218][ss] 改进用于 replayChangelog 的 RocksDB 日志
  • [SPARK-49595] [SC-176396][connect][SQL] 修复 Spark Connect Scala 客户端中的DataFrame.unpivot/melt
  • [SPARK-49006] [SC-176162] 实现对 OperatorStateMetadataV2 和 StateSchemaV3 文件的清除
  • [SPARK-49600] [ SC-176426][python] 删除与Python 3.6 and older相关的逻辑try_simplify_traceback
  • [SPARK-49303] [ SC-176013][ss] 在 transformWithStateInPandas API 中实现 ValueState 的 TTL
  • [SPARK-49191] [ SC-176243][ss] 添加对使用状态数据源读取器读取 transformWithState 映射状态变量的支持
  • [SPARK-49593] [SC-176371][ss] 如果在关闭 DB 时看到错误，则会向调用方抛出 RocksDB 异常
  • [SPARK-49334] [ SC-174803][sql] str_to_map 应检查所有参数类型的值是否 collation 相同
  • [SPARK-42204] [ SC-176126][core] 添加用于在事件日志中禁用 TaskMetrics 内部累积器冗余日志记录的选项
  • [SPARK-49575] [ SC-176256][ss] 仅当 acquiredThreadInfo 不为 null 时才添加锁定释放的日志记录
  • [SPARK-49539] [ SC-176250][ss] 将内部列族的启动标识符更新为不同的标识符
  • [SPARK-49205] [ SC-173853][sql] KeyGroupedPartitioning 应继承 HashPartitioningLike
  • [SPARK-49396] [SC-176030][sql] 修改 CaseWhen 表达式的可空性检查
  • [SPARK-49476] [ SC-175700][sql] 修复 base64 函数的可为 null 性
  • [SPARK-47262][SC-174829], [sql] 将名称分配给 Parquet 转换中的错误条件
  • [SPARK-47247] [ SC-158349][sql] 在合并具有爆炸联接的分区时使用更小的目标大小
  • [SPARK-49501] [SC-176166][sql] 修复表位置双重转义问题
  • [SPARK-49083] [SC-173214][connect] 允许 from_xml 和 from_json 本地支持 JSON 模式。
  • [SPARK-49043] [ SC-174673][sql] 修复包含排序规则字符串的映射中的解释代码路径组
  • [SPARK-48986] [SC-172265][connect][SQL] 添加 ColumnNode 中间表示形式
  • [SPARK-49326] [SC-176016][ss] 为 Foreach sink 用户函数错误分类错误类
  • [SPARK-48348] [ SC-175950][spark-48376][SQL] 简介 LEAVE 和 ITERATE 语句
  • [SPARK-49523] [SC-175949][connect] 增加连接服务器启动测试的最大等待时间
  • [SPARK-49000] [BEHAVE-105][es-1194747][SQL] 通过扩展 RewriteDistinctAggregates 修复“select count(distinct 1) from t”其中 t 为空表 - 适用于 DBR 版本 16.x
  • [SPARK-49311] [ SC-175038][sql] 使大型“间隔秒”值能够转换为十进制值
  • [SPARK-49200] [ SC-173699][sql] 修复 null 类型非代码生成排序异常
  • [SPARK-49467] [ SC-176051][ss] 添加对状态数据源读取器和列表状态的支持
  • [SPARK-47307] [ SC-170891][sql] 添加一个配置以选择性地对 base64 字符串进行分块
  • [SPARK-49391] [ SC-176032][ps] 箱线图根据距离栅栏选择离群值
  • [SPARK-49445] [ SC-175845][ui] 支持在 UI 进度栏中显示工具提示
  • [SPARK-49451] [SC-175702] 允许 parse_json 中存在重复键。
  • [SPARK-49275] [ SC-175701][sql] 修复 xpath 表达式的返回类型 null 性
  • [SPARK-49021] [ SC-175578][ss] 添加对使用状态数据源读取器读取 transformWithState 值状态变量的支持
  • [SPARK-49474] [BEHAVE-143][sc-169253][SC-175933][ss] 对 FlatMapGroupsWithState 用户函数错误的错误类别进行分类
  • [SPARK-49408] [SC-175932][sql] 在 ProjectingInternalRow 中使用 IndexedSeq
  • [SPARK-49509] [ SC-175853][core] 使用 Platform.allocateDirectBuffer 而不是 ByteBuffer.allocateDirect
  • [SPARK-49382] [ SC-175013][ps] 使帧框图正确呈现传单/离群值
  • [SPARK-49002] [SC-172846][sql] 一贯地处理 WAREHOUSE/SCHEMA/TABLE/PARTITION/DIRECTORY 中的无效位置
  • [SPARK-49480] [SC-175699][core] 修复因SparkThrowableHelper.isInternalError引起的 NullPointerException
  • [SPARK-49477] [ SC-175828][python] 改进 pandas UDF 的无效返回类型错误消息
  • [SPARK-48693] [ SC-169492][sql] 简化和统一 Invoke 和 StaticInvoke 的 toString 方法
  • [SPARK-49441] [SC-175716][ml] StringIndexer 对执行程序中的数组进行排序
  • [SPARK-49347] [SC-175004][r] 弃用 SparkR
  • [SPARK-49357] [ SC-175227][connect][PYTHON] 垂直截断深度嵌套的 Protobuf 消息
  • [SPARK-41982] [ SC-120604][sql] 类型字符串的分区不应被视为数值类型
  • [SPARK-48776] [ SC-170452][behave-72] 修复 json、xml 和 csv 的时间戳格式
  • [SPARK-49223] [ SC-174800][ml] 使用内置函数简化 StringIndexer.countByValue
  • [SPARK-49016] 还原“[SC-174663][sql] 恢复禁止从原始 CSV 文件查询的行为，仅在包含损坏的记录列时并将名称分配给_LEGACY_ERROR_TEMP_1285”
  • [SPARK-49041] [SC-172392][python][CONNECT] 当给定错误的dropDuplicates时，抛出适当的subset错误。
  • [SPARK-49050] [SC-175235] 在包含虚拟列系列的 TWS 中启用 deleteIfExists 运算符
  • [SPARK-49216] [ SC-173919][core]修复了在结构化日志记录 conf 关闭时未使用显式构造的 LogEntry 来记录消息上下文
  • [SPARK-49252] [SC-175596][core] 使TaskSetExcludeList 和 HeathTracker 独立
  • [SPARK-49352] [ SC-174971][sql] 避免相同表达式的冗余数组转换
  • [SPARK-42307] [SC-173863][sql] 为错误代码_LEGACY_ERROR_TEMP_2232分配名称
  • [SPARK-49197] [SC-173732][core] 在 Spark Command 模块中对 launcher 输出进行编辑
  • [SPARK-48913] [SC-173934][sql] 实现 IndentingXMLStreamWriter
  • [SPARK-49306] [ SC-175363][python][SQL] 为“zeroifnull”和“nullifzero”创建 SQL 函数别名
  • [SPARK-48344] [SQL] SQL 脚本执行（包括 Spark Connect）
  • [SPARK-49402] [SC-175122][python] 修复 PySpark 文档中的 Binder 集成
  • [SPARK-49017] [ SC-174664][sql] 在使用多个参数时插入语句失败
  • [SPARK-49318] [ SC-174733][sql] 在 LCA 上暂缓低优先级错误，直到检查分析结束以改善错误处理体验
  • [SPARK-49016] [SC-174663][sql] 恢复无法从原始 CSV 文件查询的行为，仅在包括损坏记录列时并分配名称给 _LEGACY_ERROR_TEMP_1285。
  • [SPARK-49387] [ SC-175124][python] 修正 accuracy 和 percentile_approx 中的 approx_percentile 的类型提示
  • [SPARK-49131] [ SC-174666][ss] TransformWithState 应正确设置隐式分组键，包括在使用延迟迭代器的情况下。
  • [SPARK-49301] [SC-174795][ss] 传递给 Python 工作进程的区块箭头数据
  • [SPARK-49039] [ SC-174651][ui] 在“阶段”选项卡中加载执行程序指标时重置复选框
  • [SPARK-48428] [ SC-169806][sql]： 修复 NestedColumnAliasing 中的 IllegalStateException
  • [SPARK-49353] [ SC-174830][sql] 更新与 UTF-32 编码/解码相关的文档
  • [SPARK-48613] [ SC-170966][sql] SPJ：支持单侧自动调整联接键，少于分区键
  • [SPARK-47473] [SC-160450][Behave-127][SQL] 修复转换 postgres INFINITY 时间戳的正确性问题
  • [SPARK-49142] [ SC-173658][connect][PYTHON] 跟进，将 proto 还原为字符串性能成本
  • [SPARK-49300] [SC-175008][core] 修复未设置 tokenRenewalInterval 时的 Hadoop 委派令牌泄漏问题。
  • [SPARK-49367] [ SC-175012][ps] 并行化多个列的 KDE 计算（使用 Plotly 后端）
  • [SPARK-49365] [ SC-175011][ps] 简化 hist 绘图中的存储桶聚合
  • [SPARK-49372] [ SC-175003][ss] 确保在接近时将 latestSnapshot 设置为无，以避免后续使用
  • [SPARK-49341] [SC-174785] 删除 connector/docker，改为 Apache Spark Operator
  • [SPARK-49344] [SC-174894][ps] 对 Spark 上的 Pandas API 的支持json_normalize
  • [SPARK-49306] [ SC-174794][sql] 创建新的 SQL 函数“zeroifnull”和“nullifzero”
  • [SPARK-48796] [ SC-174668][ss] 在重新启动时从 RocksDBCheckpointMetadata 加载列族 ID 用于 VCF
  • [SPARK-49342] [ SC-174899][sql] 使 TO_AVRO SQL 函数“jsonFormatSchema”参数可选
  • [SPARK-48628] [ SC-174695][core] 添加任务峰值堆内/堆外内存指标
  • [SPARK-47407] [ SC-159379][行为-126][SQL] 支持将 java.sql.Types.NULL 映射为 NullType
  • [SPARK-48628] [ SC-173407][core] 添加任务峰值的堆内/堆外内存指标
  • [SPARK-49166] [SC-173987][sql] 在相关子查询中支持OFFSET
  • [SPARK-49269] [ SC-174676][sql] 在 AstBuilder 中急切地评估 VALUES（） 列表
  • [SPARK-49281] [ SC-174782][sql] 使用 getBytesUnsafe 优化 Parquet 二进制数据的 getBytes，以避免复制成本
  • [SPARK-49113] [SC-174734] 不断言转换 bug，无提示地接受异常
  • [SPARK-49098] [ SC-173253][sql] 添加写入选项 INSERT
  • [SPARK-48638] [SC-174694][follow][CONNECT] 修正 ExecutionInfo 的文档
  • [SPARK-49250] [ ES-1222826][sql] 改进了 CheckAnalysis 中嵌套的 UnresolvedWindowExpression 的错误消息
  • [SPARK-48755] [SC-174258][ss][PYTHON] transformWithState pyspark 的基本实现及 ValueState 支持
  • [SPARK-48966] [ SC-174329][sql] 改进了 UDTF 调用中无效未解析列引用的错误消息
  • [SPARK-46590] [ SC-154115][sql] 修复合并失败并出现意外分区错误
  • [SPARK-49235] [ SC-174159][sql] 重构 ResolveInlineTables 规则，使其不会遍历整个树
  • [SPARK-49060] [SC-173107][connect] 整理 Mima 规则以进行 SQL-Connect 二进制兼容性检查
  • [SPARK-48762] [SC-172525][sql] 引入用于 Python 的 clusterBy DataFrameWriter API
  • [SPARK-49207] [ SC-173852][sql] 修复 SplitPart 和 StringSplitSQL 中的一对多事例映射
  • [SPARK-49204] [SC-173850][sql] 修复 StringInstr 和 StringLocate 中的代理项对处理
  • [SPARK-36680] [ SC-170640][sql] 支持 Spark SQL 的动态表选项
  • [SPARK-49204] [ SC-173849][sql] 修复 SubstringIndex 中的代理对处理
  • [SPARK-49204] [ SC-173848][sql] 修复 StringTrim 中的代理项对处理
  • [SPARK-48967] [SC-173993] 修复 OPTIMIZE_INSERT_INTO_VALUES_PARSER 的向前 SparkConfigOwnershipSuite 测试
  • [SPARK-49204] [ SC-173851][sql] 修复 StringReplace 中的代理项对处理
  • [SPARK-48967] [ SC-173993][sql][16.x] 优化“INSERT INTO... VALUES”语句的性能和内存占用
  • [SPARK-49099] 恢复“[SC-173229][sql] CatalogManager.setCurrent...
  • [SPARK-48347] [SC-173812][sql] 对 WHILE 语句的支持
  • [SPARK-49128] [SC-173344][core] 支持自定义历史服务器用户界面标题
  • [SPARK-49146] [ SC-173825][ss] 将与追加模式流式处理查询中缺少的水印相关的断言错误移动到错误框架
  • [SPARK-45787] [SC-172197][sql] 支持聚簇列的 Catalog.listColumns
  • [SPARK-49099] [ SC-173229][sql] CatalogManager.setCurrentNamespace 应遵循自定义会话目录
  • [SPARK-49138] [ SC-173483][sql] 修复多个表达式的 CollationTypeCasts
  • [SPARK-49163] [ SC-173666][sql] 尝试基于损坏的 parquet 分区数据创建表时，应返回面向用户的错误
  • [SPARK-49201] [ SC-173793][ps][PYTHON][connect] 使用 Spark SQL 重新实现 hist 绘图
  • [SPARK-49188] [ SC-173682][sql] 针对字符串的二维数组调用concat_ws时出现的内部错误
  • [SPARK-49137] [ SC-173677][sql] 当布尔条件 if statement 无效时，应引发异常
  • [SPARK-49193] [ SC-173672][sql] 提高 RowSetUtils.toColumnBasedSet 的性能
  • [SPARK-49078] [ SC-173078][sql] 支持在 v2 表中显示列语法
  • [SPARK-49141] [SC-173388][sql] 将变种标记为hive不兼容数据类型
  • [SPARK-49059] [ Cherry-Pick][15.x][SC-172528][connect] 将 SessionHolder.forTesting(...) 移动到测试包
  • [SPARK-49111] [ SC-173661][sql] 将withProjectAndFilter移到DataSourceV2Strategy的伴生对象中
  • [SPARK-49185] [ SC-173688][ps][PYTHON][connect] 使用 Spark SQL 重新实现 kde 绘图
  • [SPARK-49178] [ SC-173673][sql] 优化 Row#getSeq 的性能，以匹配使用 Spark 3.5 和 Scala 2.12 时的性能水平。
  • [SPARK-49093] [ SC-172958][sql] GROUP BY 将 MapType 嵌套在复杂类型内
  • [SPARK-49142] [ SC-173469][connect][PYTHON] 将 Spark Connect 客户端日志级别降低到调试级别
  • [SPARK-48761] [SC-172048][sql] 引入用于 Scala 的 clusterBy DataFrameWriter API
  • [SPARK-48346] [ SC-173083][sql] 支持 SQL 脚本中的 IF ELSE 语句
  • [SPARK-48338] [ SC-173112][sql] 改进分析器/解释器引发的异常
  • [SPARK-48658] [ SC-169474][sql] 编码/解码函数报告编码错误，而不是用乱码代替不可映射字符。
  • [SPARK-49071] [SC-172954][sql] 删除 ArraySortLike 特征
  • [SPARK-49107] 还原“还原”[SC-173103][sql] ROUTINE_ALREADY_EXISTS 支持 RoutineType”
  • [SPARK-49070] [ SC-172907][ss][SQL] TransformWithStateExec.initialState 被错误地重写，导致生成无效的查询计划
  • [SPARK-49114] [SC-173217] 子分类无法加载状态存储错误
  • [SPARK-49107] 还原“[SC-173103][sql] ROUTINE_ALREADY_EXISTS 支持 RoutineType”
  • [SPARK-49048] [ SC-173223][ss] 添加对在给定批 ID 处读取相关运算符元数据的支持
  • [SPARK-49094] [ SC-173049][sql] 修复了当 mergeSchema 关闭时，hive orc 实现中的 ignoreCorruptFiles 功能失效的问题。
  • [SPARK-49108] [ SC-173102][示例] 添加 submit_pi.sh REST API 示例
  • [SPARK-49107] [ SC-173103][sql] ROUTINE_ALREADY_EXISTS 支持 RoutineType
  • [SPARK-48997] [ SC-172484][ss] 为维护线程池线程故障实现单个线程卸载操作
  • [SPARK-49063] [ SC-173094][sql] 修复带有 ScalarSubqueries 的 Between问题
  • [SPARK-45891] [ SC-172305][sql][PYTHON][variant] 在 Variant 规范中添加对间隔类型的支持
  • [SPARK-49074] [BEHAVE-110][sc-172815][SQL] 修复与df.cache()的变体问题
  • [SPARK-49003] [ SC-172613][sql] 修复解释代码路径的哈希处理，使其能够识别排序规则
  • [SPARK-48740] [ SC-172430][sql] 提前捕获缺少的窗口规范错误
  • [SPARK-48999] [ SC-172245][ss] Divide PythonStreamingDataSourceSimpleSuite
  • [SPARK-49031] [SC-172602] 使用 OperatorStateMetadataV2 实现 TransformWithStateExec 运算符的验证
  • [SPARK-49053] [ SC-172494][python][ML] 使模型保存/加载帮助程序函数接受 spark 会话
  • [SPARK-49032] [Backport][15.x][SS] 在元数据表条目中添加架构路径，验证预期版本，并为运算符元数据格式 v2 添加与运算符元数据相关的测试
  • [SPARK-49034] [SC-172306][core] 支持服务器端在 REST 提交 API 中的替换
  • [SPARK-48931] [ SC-171895][ss] 减少状态存储维护任务的云存储列表 API 成本
  • [SPARK-48849] [ SC-172068][ss]为 TransformWithStateExec 运算符创建 OperatorStateMetadataV2
  • [SPARK-49013] [SC-172322] 更改 scala 中映射和数组类型的 collationsMap 中的键
  • [SPARK-48414] [SC-171884][python] 修复 python 中的破坏性变更 fromJson
  • [SPARK-48910] [ SC-171001][sql] 使用 HashSet/HashMap 避免在 PreprocessTableCreation 中使用线性搜索
  • [SPARK-49007] [ SC-172204][core] 改进 MasterPage 以支持自定义标题
  • [SPARK-49009] [ SC-172263][sql][PYTHON] 使列的 API 和函数可以接受枚举
  • [SPARK-49033] [ SC-172303][core] 支持 REST 提交 API 中的服务器端 environmentVariables 替换
  • [SPARK-48363] [ SC-166470][sql] 清理一些冗余代码 from_xml
  • [SPARK-46743] [ SC-170867][sql][BEHAVE-84] 在折叠标量子查询后，如果存在空关系，计数时出现错误。
  • [SPARK-49040] [SC-172351][sql] 修复文档 sql-ref-syntax-aux-exec-imm.md
  • [SPARK-48998] [ SC-172212][ml] 元算法使用 SparkSession 保存/加载模型
  • [SPARK-48959] [ SC-171708][sql] 使NoSuchNamespaceException扩展NoSuchDatabaseException以恢复异常处理
  • [SPARK-48996] [SC-172130][sql][PYTHON] 允许在列的与和或中使用裸字面值
  • [SPARK-48990] [SC-171936] 跟进 #101759 - 测试修复
  • [SPARK-48338] [SC-171912][sql] 检查变量声明
  • [SPARK-48990] [ SC-171936][sql] 统一变量相关的 SQL 语法关键字
  • [SPARK-48988] [ SC-171915][ml] 让 DefaultParamsReader/Writer 在 Spark 会话中处理元数据
  • [SPARK-48974] [ SC-171978][sql][SS][ml][MLLIB] 使用 SparkSession.implicits 而不是 SQLContext.implicits
  • [SPARK-48760] [ SC-170870][sql] 修复 CatalogV2Util.applyClusterByChanges
  • [SPARK-48928] [SC-171956] 本地检查点 RDD 上调用 .unpersist() 的日志警告
  • [SPARK-48760] [SC-170139][sql] 简介 ALTER TABLE ... CLUSTER BY SQL 语法来更改聚簇列
  • [SPARK-48844] 恢复“[SC-170669][sql] 在路径为空时使用INVALID_EMPTY_LOCATION，而不是使用UNSUPPORTED_DATASOURCE_FOR_DIRECT_QUERY”
  • [SPARK-48833] [ SC-171914][sql][变体] 支持变体在InMemoryTableScan
  • [SPARK-48975] [ SC-171894][protobuf] 从中删除不必要的 ScalaReflectionLock 定义 protobuf
  • [SPARK-48970] [ SC-171800][python][ML] 避免在 Spark ML 读取器/编写器中使用 SparkSession.getActiveSession
  • [SPARK-48844] [ SC-170669][sql] 在路径为空时使用 INVALID_EMPTY_LOCATION，而非使用 UNSUPPORTED_DATASOURCE_FOR_DIRECT_QUERY
  • [SPARK-48714] [SC-170136] 修复 PySpark 和 UC 中的 df.mergeInto 测试失败的问题
  • [SPARK-48957] [SC-171797][ss] 在 hdfs 和 rocksdb 提供商的状态存储加载过程中返回子分类错误类.
  • [SPARK-48891] [ Backport][15x][SC-171677][ss] 重构 StateSchemaCompatibilityChecker 以统一所有状态架构格式
  • [SPARK-48972] [ SC-171795][python] 在函数中统一文本字符串处理
  • [SPARK-48388] [ SC-171337][sql] 修复 SET SQL 脚本的语句行为
  • [SPARK-48743] [SC-170552][sql][SS] MergingSessionIterator 应更好地处理 getStruct 返回 null 的情况
  • [SPARK-48623] [15.x][sc-171322][CORE] 将 FileAppender 日志迁移到结构化日志记录
  • [SPARK-36680] [ DBRRM-1123] 还原“[SC-170640][sql] 支持 Spark SQL 的动态表选项”
  • [SPARK-48841] [SC-170868][行为-83][SQL] 将collationName纳入sql()的Collate
  • [SPARK-48941] [ SC-171703][python][ML] 将 RDD 读取/写入 API 调用替换为数据帧读取/写入 API
  • [SPARK-48938] [ SC-171577][python] 改进注册 Python UDTF 时的错误消息
  • [SPARK-48350] [ SC-171040][sql] SQL 脚本自定义异常的引入
  • [SPARK-48907] [ SC-171158][sql] 修复 explicitTypes 值 COLLATION_MISMATCH.EXPLICIT
  • [SPARK-48945] [ SC-171658][Python] 使用lit简化正则函数lit
  • [SPARK-48944] [ SC-171576][connect] 在 Connect Server 中统一 JSON 格式架构处理
  • [SPARK-48836] [SC-171569] 将 SQL 架构与状态架构/元数据集成
  • [SPARK-48946] [SC-171504][sql] 会话为 null 时的 redact 方法中的 NPE
  • [SPARK-48921] [SC-171412][sql] 子查询中的 ScalaUDF 编码器应在 MergeInto 中得到解析
  • [SPARK-45155] [SC-171048][connect] 为 Spark Connect JVM/Scala 客户端添加 API文档
  • [SPARK-48900] [SC-171319] 为 reason 和 cancelJobGroup 添加 cancelJobsWithTag 字段
  • [SPARK-48865] [SC-171154][sql] 添加try_url_decode函数
  • [SPARK-48851] [SC-170767][sql] 将SCHEMA_NOT_FOUND的值从namespace更改为catalog.namespace
  • [SPARK-48510] [SC-170893][2/2] 在 Spark Connect 中支持 UDAF toColumn API
  • [SPARK-45190] [ SC-171055][spark-48897][PYTHON][connect] 使from_xml支持 StructType 模式
  • [SPARK-48930] [SC-171304][core] 通过包括awsAccessKeyId模式来对accesskey进行编辑
  • [SPARK-48909] [ SC-171080][ml][MLLIB] 在编写元数据时使用 SparkSession over SparkContext
  • [SPARK-48883] [ SC-171133][ml][R] 将 RDD 读取/写入 API 调用替换为数据帧读取/写入 API
  • [SPARK-48924] [SC-171313][ps] 添加类似 pandas 的make_interval 辅助函数
  • [SPARK-48884] [ SC-171051][python] 删除未使用的帮助程序函数 PythonSQLUtils.makeInterval
  • [SPARK-48817] [SC-170636][sql] 主动地一起执行多个联合命令
  • [SPARK-48896] [ SC-171079][ml][MLLIB] 写出元数据时要避免重新分区
  • [SPARK-48892] [ SC-171127][ml] 避免逐行读取参数 Tokenizer
  • [SPARK-48927] [ SC-171227][core] 显示缓存的 RDD 的数量 StoragePage
  • [SPARK-48886] [15.x][backport][SC-171039][ss] 添加版本信息以便更改日志 v2 的发展更为容易
  • [SPARK-48903] [ SC-171136][ss] 在进行远程加载时正确设置 RocksDB 的最后快照版本
  • [SPARK-48742] [SC-170538][ss] RocksDB 的虚拟列族
  • [SPARK-48726] [15.x][sc-170753][SS] 创建 StateSchemaV3 文件格式，并为 TransformWithStateExec 运算符写出此格式
  • [SPARK-48794] [ SC-170882][connect][15.x] df.mergeInto 支持 Spark Connect （Scala 和 Python）
  • [SPARK-48714] [SC-170136][python] 在 PySpark 中实现DataFrame.mergeInto
  • [SPARK-48772] [SC-170642][ss][SQL] 状态数据源变更提要读取模式
  • [SPARK-48666] [ SC-170887][sql] 如果包含 PythonUDF，请不要向下推送筛选器
  • [SPARK-48845] [ SC-170889][sql] GenericUDF 从子节点捕获异常
  • [SPARK-48880] [ SC-170974][core] 如果驱动程序插件无法初始化，请避免引发 NullPointerException
  • [SPARK-48888] [ 回移][15x][SC-170973][ss] 删除基于变更日志操作大小的快照创建
  • [SPARK-48871] [SC-170876] 修复 INVALID_NON_DETERMINISTIC_EXPRESSIONS 验证…
  • [SPARK-48883] [ SC-170894][ml][R] 将 RDD 读取/写入 API 调用替换为数据帧读取/写入 API
  • [SPARK-36680] [ SC-170640][sql] 支持 Spark SQL 的动态表选项
  • [SPARK-48804] [ SC-170558][sql] 为输出提交器类配置添加 classIsLoadable 和 OutputCommitter.isAssignableFrom 检查
  • [SPARK-46738] [SC-170791][python] 重新启用一组文档测试
  • [SPARK-48858] [ SC-170756][python] 删除已弃用 setDaemon 的方法调用 Thread in log_communication.py
  • [SPARK-48639] [ SC-169801][connect][PYTHON] 将 Origin 添加到 RelationCommon
  • [SPARK-48863] [SC-170770][es-1133940][SQL] 修复在启用了 "spark.sql.json.enablePartialResults" 的情况下解析 JSON 时的 ClassCastException问题
  • [SPARK-48343] [ SC-170450][sql] SQL 脚本解释器简介
  • [SPARK-48529] [ SC-170755][sql] SQL 脚本中的标签简介
  • [SPARK-45292] 恢复“[SC-151609][sql][HIVE] 从 IsolatedClientLoader 的共享类中移除 Guava”
  • [SPARK-48037] [ SC-165330][core][3.5] 修复 SortShuffleWriter 缺少随机写入相关指标，导致数据可能不准确
  • [c0][SPARK-48720][SC-170551][sql] 使命令在 v1 和 v2 中对齐
  • [SPARK-48485] [ SC-167825][connect][SS] 支持流查询中的 interruptTag 和 interruptAll
  • [SPARK-45292] [SC-151609][sql][HIVE] 从 IsolatedClientLoader 的共享类中移除 Guava
  • [SPARK-48668] [SC-169815][sql] 支持 ALTER NAMESPACE ... v2 中的 UNSET 属性
  • [SPARK-47914] [ SC-165313][sql] 在 Range 中不显示拆分参数
  • [SPARK-48807] [SC-170643][sql] CSV 数据源的二进制支持
  • [SPARK-48220] [ SC-167592][python][15.X] 允许传递 PyArrow 表来创建DataFrame（）
  • [SPARK-48545] [ SC-169543][sql] 创建 SQL 函数 to_avro 和 from_avro，以匹配数据帧的等效项
  • [SPARK-47577] [SC-168875][spark-47579] 纠正对日志密钥TASK_ID的误导性使用

Databricks ODBC/JDBC 驱动程序支持

Databricks 支持在过去 2 年中发布的 ODBC/JDBC 驱动程序。 请下载最近发布的驱动程序并升级（下载 ODBC，下载 JDBC）。

系统环境

  • 操作系统：Ubuntu 24.04.1 LTS
  • Java：Zulu17.50+19-CA
  • Scala：2.12.15
  • Python：3.12.3
  • R：4.4.0
  • Delta Lake： 3.2.1

已安装的 Python 库

图书馆 版本 图书馆 版本 图书馆 版本
批注类型 0.7.0 asttokens 2.0.5 astunparse 1.6.3
autocommand 2.2.2 azure-core 1.31.0 Azure存储Blob 12.23.0
azure-storage-file-datalake 12.17.0 backports.tarfile 1.2.0 黑色 24.4.2
闪烁器 1.7.0 boto3 1.34.69 botocore 1.34.69
cachetools (缓存工具) 5.3.3 certifi 2024年6月2日 cffi 1.16.0
chardet 4.0.0 charset-normalizer (字符集正常化工具) 2.0.4 点击 8.1.7
cloudpickle 2.2.1 通讯 0.2.1 contourpy 1.2.0
密码学 42.0.5 骑行者 0.11.0 Cython 3.0.11
Databricks软件开发工具包 (databricks-sdk) 0.30.0 dbus-python 1.3.2 debugpy 1.6.7
装饰师 5.1.1 已弃用 1.2.14 distlib 0.3.8
docstring-to-markdown 0.11 入口点 0.4 正在执行 0.8.3
各个方面概述 1.1.1 文件锁 (filelock) 3.15.4 fonttools（字体工具） 4.51.0
gitdb (Git数据库) 4.0.11 GitPython 3.1.37 google-api-core 2.20.0
google-auth (谷歌身份验证) 2.35.0 google-cloud-core (Google云核心) 2.4.1 谷歌云存储 (Google Cloud Storage) 2.18.2
google-crc32c 1.6.0 google-resumable-media 2.7.2 googleapis-common-protos 1.65.0
grpcio 1.60.0 grpcio-status 1.60.0 httplib2 0.20.4
idna 3.7 importlib-metadata 6.0.0 importlib_resources 6.4.0
屈折 7.3.1 ipyflow-core 0.0.198 ipykernel 6.28.0
ipython 8.25.0 ipython-genutils（IPython通用工具） 0.2.0 ipywidgets 7.7.2
isodate 0.6.1 jaraco.context 5.3.0 jaraco.functools 4.0.1
jaraco.text 3.12.1 jedi 0.19.1 jmespath 1.0.1
joblib 1.4.2 jupyter_client（Jupyter 客户端） 8.6.0 jupyter_core（Jupyter核心） 5.7.2
kiwisolver 1.4.4 launchpadlib 1.11.0 lazr.restfulclient 0.14.6
lazr.uri 1.0.6 matplotlib 3.8.4 matplotlib-inline 0.1.6
麦卡贝 0.7.0 mlflow-skinny 2.15.1 more-itertools 10.3.0
mypy 1.10.0 mypy-extensions 1.0.0 nest-asyncio 1.6.0
nodeenv 1.9.1 numpy 1.26.4 oauthlib 3.2.2
OpenTelemetry API 1.27.0 opentelemetry-sdk 1.27.0 Since this appears to be a case where preserving the original English term is necessary, no improvements are necessary unless additional context or explanation is required in the broader context of its usage. 0.48b0
包装 24.1 熊猫 1.5.3 帕尔索 0.8.3
pathspec 0.10.3 替罪羊 0.5.6 pexpect 4.8.0
枕头 10.3.0 果仁 24.2 platformdirs 3.10.0
plotly 5.22.0 Pluggy (Python库) 1.0.0 prompt-toolkit 3.0.43
proto-plus 1.24.0 protobuf 4.24.1 psutil 5.9.0
psycopg2 2.9.3 ptyprocess 0.7.0 pure-eval 0.2.2
pyarrow 15.0.2 pyasn1 0.4.8 pyasn1-modules 0.2.8
pyccolo 0.0.52 Python代码解析器 2.21 pydantic 2.8.2
pydantic_core 2.20.1 pyflakes 3.2.0 Pygments 2.15.1
PyGObject 3.48.2 PyJWT 2.7.0 pyodbc 5.0.1
pyparsing 3.0.9 pyright 1.1.294 python-dateutil 2.9.0.post0
python-lsp-jsonrpc 1.1.2 python-lsp-server 1.10.0 pytoolconfig 1.2.6
pytz 2024.1 PyYAML 6.0.1 pyzmq 25.1.2
请求 2.32.2 绳子 1.12.0 rsa 4.9
s3transfer 0.10.2 scikit-learn 1.4.2 scipy 1.13.1
seaborn 0.13.2 setuptools 74.0.0 6 1.16.0
smmap 5.0.0 sqlparse 0.5.1 ssh-import-id 5.11
堆栈数据 0.2.0 statsmodels 0.14.2 毅力 8.2.2
threadpoolctl 2.2.0 tokenize-rt 4.2.1 tomli 2.0.1
龙卷风 6.4.1 traitlets 5.14.3 typeguard 4.3.0
types-protobuf 3.20.3 types-psutil 5.9.0 types-pytz 2023.3.1.1
types-PyYAML 6.0.0 请求类型 2.31.0.0 types-setuptools（类型-安装工具包） 68.0.0.0
类型-六 1.16.0 types-urllib3 1.26.25.14 typing_extensions 4.11.0
ujson 5.10.0 自动升级 0.1 urllib3 1.26.16
virtualenv 20.26.2 wadllib 1.3.6 wcwidth 0.2.5
whatthepatch 1.0.2 轮子 0.43.0 裹住 1.14.1
yapf 0.33.0 齐普 3.17.0

已安装的 R 库

R 库是从 2024年8月4日的 Posit 包管理器 CRAN 快照中安装的：https://packagemanager.posit.co/cran/2024-08-04/。

图书馆 版本 图书馆 版本 图书馆 版本
箭头 16.1.0 askpass 1.2.0 assertthat 0.2.1
反向移植 1.5.0 基础 4.4.0 base64enc 0.1-3
bigD 0.2.0 一点 4.0.5 bit64 4.0.5
bitops 1.0-8 团状物 1.2.4 靴子 1.3-30
泡制 1.0-10 活力 1.1.5 扫帚 1.0.6
bslib 0.8.0 卡齐姆 1.1.0 调用方 3.7.6
光标 6.0-94 cellranger 1.1.0 chron 2.3-61
类 7.3-22 cli 3.6.3 剪辑器 0.8.0
时钟 0.7.1 集群 2.1.6 codetools 0.2-20
色彩空间 2.1-1 commonmark 1.9.1 编译器 4.4.0
配置 0.3.2 感到矛盾 1.2.0 cpp11 0.4.7
蜡笔 1.5.3 资格证书 2.0.1 卷曲 5.2.1
data.table 1.15.4 数据集 4.4.0 DBI 1.2.3
dbplyr 2.5.0 desc 1.4.3 devtools 2.4.5
示意图 1.6.5 diffobj 0.3.5 消化 0.6.36
下照 0.4.4 dplyr 1.1.4 dtplyr 1.3.1
e1071 1.7-14 省略 0.3.2 评价 0.24.0
fansi 1.0.6 farver 2.1.2 fastmap 1.2.0
fontawesome 0.5.2 forcats 1.0.0 foreach 1.5.2
外国 0.8-86 锻造 0.2.0 fs 1.6.4
未来 1.34.0 future.apply 1.11.2 漱口 1.5.2
泛 型 0.1.3 格尔特 2.1.0 ggplot2 3.5.1
gh 1.4.1 git2r 0.33.0 gitcreds 0.1.2
glmnet 4.1-8 全局变量 0.16.3 胶水 1.7.0
googledrive 2.1.1 googlesheets4 1.1.1 高尔 1.0.1
图形 4.4.0 grDevices 4.4.0 “业务流程参数” 网格 4.4.0
gridExtra 2.3 gsubfn 0.7 gt 0.11.0
gtable 0.3.5 安全帽 1.4.0 避风港 2.5.4
高级 (assuming it means "higher" or "advanced") 0.11 赫姆斯 1.1.3 HTML工具 0.5.8.1
HTML小插件 1.6.4 httpuv 1.6.15 httr 1.4.7
httr2 1.0.2 ids 1.0.1 ini 0.3.1
ipred 0.9-15 isoband 0.2.7 迭代器 1.0.14
jquerylib 0.1.4 jsonlite 1.8.8 juicyjuice 0.1.0
KernSmooth 2.23-22 针织器 1.48 标记 0.4.3
以后 1.3.2 格子 0.22-5 熔岩 1.8.0
生命周期 1.0.4 listenv 0.9.1 lubridate 1.9.3
magrittr 2.0.3 markdown 1.13 质量 7.3-60.0.1
矩阵 1.6-5 记忆化 2.0.1 方法 4.4.0
mgcv 1.9-1 默剧 0.12 迷你用户界面 0.1.1.1
mlflow 2.14.1 ModelMetrics 1.2.2.2 modelr 0.1.11
蒙塞尔 0.5.1 nlme 3.1-165 nnet 7.3-19
numDeriv 2016年8月至1月1日 openssl（开放SSL） 2.2.0 平行 4.4.0
并行 1.38.0 柱子 1.9.0 pkgbuild (软件包构建工具) 1.4.4
pkgconfig 2.0.3 pkgdown 2.1.0 pkgload 1.4.0
普洛格 0.2.0 普莱尔 1.8.9 赞美 1.0.0
prettyunits 1.2.0 pROC 1.18.5 processx 3.8.4
prodlim 2024.06.25 profvis 0.3.8 进展 1.2.3
progressr 0.14.0 承诺 1.3.0 原型 (proto) 1.0.0
代理服务器 0.4-27 附注 (ps) 1.7.7 purrr 1.0.2
R6 2.5.1 ragg 1.3.2 随机森林 (randomForest) 4.7-1.1
rappdirs 0.3.3 rcmdcheck 1.4.0 RColorBrewer 1.1-3
Rcpp 1.0.13 RcppEigen 0.3.4.0.0 reactable 0.4.4
reactR 0.6.0 readr 2.1.5 readxl 1.4.3
食谱 1.1.0 赛 2.0.0 rematch2 2.1.2
遥控器 2.5.0 可复现示例 (reprex) 2.1.1 reshape2 1.4.4
rlang 1.1.4 rmarkdown 2.27 RODBC 1.3-23
roxygen2 7.3.2 rpart 4.1.23 rprojroot 2.0.4
Rserve 1.8-13 RSQLite 2.3.7 rstudioapi 0.16.0
rversions 2.1.2 rvest 1.0.4 sass 0.4.9
磅秤 1.3.0 selectr 0.4-2 会话信息 1.2.2
形状 1.4.6.1 光亮 1.9.1 sourcetools 0.1.7-1
sparklyr 1.8.6 SparkR 3.5.0 空间 7.3-17
样条曲线 4.4.0 sqldf 0.4-1 SQUAREM 2021.1
统计数据 4.4.0 统计数据4 4.4.0 stringi 1.8.4
stringr 1.5.1 生存 3.6-4 自信 5.17.14.1
sys 3.4.2 systemfonts 1.1.0 tcltk 4.4.0
testthat 3.2.1.1 文本整形 0.4.0 tibble 3.2.1
tidyr 1.3.1 tidyselect 1.2.1 tidyverse 2.0.0
时间变更 0.3.0 时间日期 4032.109 tinytex 0.52
工具 4.4.0 tzdb 0.4.0 URL检查器 1.0.1
usethis 3.0.0 utf8 1.2.4 utils 4.4.0
UUID（通用唯一识别码） 1.2-1 V8 4.4.2 vctrs 0.6.5
viridisLite 0.4.2 vroom 1.6.5 瓦尔多 0.5.2
晶 须 0.4.1 withr 3.0.1 xfun 0.46
xml2 1.3.6 xopen 1.0.1 xtable 1.8-4
yaml 2.3.10 zeallot 0.1.0 压缩包 2.3.1

已安装的 Java 和 Scala 库（Scala 2.12 群集版本）

群组标识符 工件编号 版本
antlr antlr 2.7.7
com.amazonaws Amazon Kinesis 客户端 1.12.0
com.amazonaws AWS Java SDK 自动扩展 1.12.638
com.amazonaws aws-java-sdk-cloudformation 1.12.638
com.amazonaws AWS Java SDK CloudFront 1.12.638
com.amazonaws aws-java-sdk-cloudhsm 1.12.638
com.amazonaws AWS Java SDK 云搜索 1.12.638
com.amazonaws aws-java-sdk-cloudtrail 1.12.638
com.amazonaws aws-java-sdk-cloudwatch 1.12.638
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.638
com.amazonaws AWS Java SDK CodeDeploy（AWS Java 软件开发工具包 CodeDeploy） 1.12.638
com.amazonaws aws-java-sdk-cognitoidentity 1.12.638
com.amazonaws aws-java-sdk-cognitosync 1.12.638
com.amazonaws aws-java-sdk-config（AWS Java SDK 配置） 1.12.638
com.amazonaws aws-java-sdk-core (AWS Java软件开发工具包核心) 1.12.638
com.amazonaws aws-java-sdk-datapipeline 1.12.638
com.amazonaws AWS Java SDK Direct Connect（直连） 1.12.638
com.amazonaws aws-java-sdk-directory 1.12.638
com.amazonaws aws-java-sdk-dynamodb 1.12.638
com.amazonaws aws-java-sdk-ec2 1.12.638
com.amazonaws aws-java-sdk-ecs 1.12.638
com.amazonaws aws-java-sdk-efs 1.12.638
com.amazonaws aws-java-sdk-elasticache 1.12.638
com.amazonaws aws-java-sdk-elasticbeanstalk（AWS Java 开发工具包 - Elastic Beanstalk） 1.12.638
com.amazonaws aws-java-sdk-弹性负载均衡 1.12.638
com.amazonaws aws-java-sdk-elastictranscoder（AWS Java SDK弹性转码器） 1.12.638
com.amazonaws aws-java-sdk-emr 1.12.638
com.amazonaws AWS Java SDK Glacier 1.12.638
com.amazonaws aws-java-sdk-glue 1.12.638
com.amazonaws aws-java-sdk-iam 1.12.638
com.amazonaws AWS Java SDK 导入导出 (aws-java-sdk-importexport) 1.12.638
com.amazonaws aws-java-sdk-kinesis 1.12.638
com.amazonaws AWS Java 软件开发工具包 - KMS 1.12.638
com.amazonaws aws-java-sdk-lambda 1.12.638
com.amazonaws aws-java-sdk-logs（AWS Java开发包日志） 1.12.638
com.amazonaws AWS-Java-SDK-机器学习 1.12.638
com.amazonaws aws-java-sdk-opsworks 1.12.638
com.amazonaws aws-java-sdk-rds 1.12.638
com.amazonaws aws-java-sdk-redshift 1.12.638
com.amazonaws aws-java-sdk-route53 1.12.638
com.amazonaws aws-java-sdk-s3 1.12.638
com.amazonaws aws-java-sdk-ses 1.12.638
com.amazonaws aws-java-sdk-simpledb 1.12.638
com.amazonaws aws-java-sdk-simpleworkflow 1.12.638
com.amazonaws aws-java-sdk-sns 1.12.638
com.amazonaws aws-java-sdk-sqs 1.12.638
com.amazonaws aws-java-sdk-ssm 1.12.638
com.amazonaws AWS Java SDK 存储网关 1.12.638
com.amazonaws aws-java-sdk-sts 1.12.638
com.amazonaws AWS Java SDK支持 1.12.638
com.amazonaws AWS-Java-SDK-SWF-库 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.638
com.amazonaws jmespath-java 1.12.638
com.clearspring.analytics 溪流 2.9.6
com.databricks Rserve 1.8-3
com.databricks databricks-sdk-java 0.27.0
com.databricks jets3t 0.7.1-0
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware 请参阅当前使用说明以确定"kryo-shaded"的中文翻译如果有区别。 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml 同学 1.3.4
com.fasterxml.jackson.core Jackson注解 2.15.2
com.fasterxml.jackson.core jackson-core 2.15.2
com.fasterxml.jackson.core jackson-databind 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-yaml 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-joda（杰克逊数据类型-Joda） 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.16.0
com.fasterxml.jackson.module jackson-module-paranamer 2.15.2
com.fasterxml.jackson.module jackson-module-scala_2.12 2.15.2
com.github.ben-manes.caffeine 咖啡因 2.9.3
com.github.fommil jniloader 1.1
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java 1.1-原住民
com.github.fommil.netlib 原生系统-Java 1.1
com.github.fommil.netlib 原生系统-Java 1.1-原住民
com.github.fommil.netlib netlib-native_ref-linux-x86_64 1.1-原住民
com.github.fommil.netlib netlib-本地系统-linux-x86_64 1.1-原住民
com.github.luben zstd-jni 1.5.5-4
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.10.1
com.google.crypto.tink 丁克 1.9.0
com.google.errorprone 易出错的注释 2.10.0
com.google.flatbuffers flatbuffers-java 23年5月26日
com.google.guava 番石榴 15.0
com.google.protobuf protobuf-java 3.25.1
com.helger 分析器 1.1.1
com.ibm.icu icu4j 75.1
com.jcraft jsch 0.1.55
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi 源代码_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.microsoft.sqlserver mssql-jdbc 11.2.2.jre8
com.ning compress-lzf 1.1.2
com.sun.mail javax.mail 1.5.2
com.sun.xml.bind jaxb-core 2.2.11
com.sun.xml.bind jaxb-impl 2.2.11
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe 配置 1.4.3
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.3
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec（公共编解码器） commons-codec（公共编解码器） 1.16.0
commons-collections (通用集合库) commons-collections (通用集合库) 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload（公共文件上传） 1.5
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.13.0
commons-lang commons-lang 2.6
commons-logging commons-logging（日志记录库） 1.1.3
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 3.0.3
dev.ludovic.netlib blas 3.0.3
dev.ludovic.netlib lapack 3.0.3
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift 空气压缩机 0.27
io.delta delta-sharing-client_2.12 1.2.0
io.dropwizard.metrics 指标标注 4.2.19
io.dropwizard.metrics 度量核心 4.2.19
io.dropwizard.metrics metrics-graphite 4.2.19
io.dropwizard.metrics 指标-健康检查 4.2.19
io.dropwizard.metrics metrics-jetty9 4.2.19
io.dropwizard.metrics metrics-jmx 4.2.19
io.dropwizard.metrics 指标-json 4.2.19
io.dropwizard.metrics 指标-JVM 4.2.19
io.dropwizard.metrics 指标-Servlets 4.2.19
io.netty netty-all 4.1.108.Final
io.netty netty-buffer（Netty缓存） 4.1.108.Final
io.netty Netty编解码器 4.1.108.Final
io.netty netty-codec-http 4.1.108.Final
io.netty netty-codec-http2 4.1.108.Final
io.netty netty-codec-socks 4.1.108.Final
io.netty Netty-Common（网络通用组件） 4.1.108.Final
io.netty netty-handler 4.1.108.Final
io.netty netty-handler-proxy 4.1.108.Final
io.netty netty-resolver (Netty 解析器) 4.1.108.Final
io.netty netty-tcnative-boringssl-static 2.0.61.Final
io.netty netty-tcnative-boringssl-static 2.0.61.Final-linux-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-linux-x86_64
io.netty netty-tcnative-boringssl-static（软件包名称） 2.0.61.Final-osx-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-osx-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-Windows操作系统-x86_64
io.netty Netty TcNative 类 2.0.61.Final
io.netty netty-transport 4.1.108.Final
io.netty netty-transport-classes-epoll 4.1.108.Final
io.netty netty-transport-classes-kqueue 4.1.108.Final
io.netty netty-transport-native-epoll 4.1.108.Final
io.netty netty-transport-native-epoll 4.1.108.Final-linux-aarch_64
io.netty netty-transport-native-epoll 4.1.108.Final-linux-riscv64
io.netty netty-transport-native-epoll 4.1.108.Final-linux-x86_64
io.netty netty-transport-native-kqueue 4.1.108.Final-osx-aarch_64
io.netty netty-transport-native-kqueue 4.1.108.Final-osx-x86_64
io.netty Netty传输-本地-UNIX-通用 4.1.108.Final
io.prometheus simpleclient 0.7.0
io.prometheus 简单客户端通用 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx 收藏者 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation 激活 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1.1
javax.transaction 交易接口 (transaction-api) 1.1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.12.1
net.java.dev.jna jna 5.8.0
net.razorvine 泡菜 1.3
net.sf.jpam 杰潘 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake Snowflake 数据导入 SDK 0.9.6
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.9.3
org.antlr stringtemplate (字符串模板) 3.2.1
org.apache.ant 蚂蚁 1.10.11
org.apache.ant ant-jsch 1.10.11
org.apache.ant ant-launcher 1.10.11
org.apache.arrow 箭头格式 15.0.0
org.apache.arrow 箭头-内存-核心 15.0.0
org.apache.arrow 箭头内存网状系统 15.0.0
org.apache.arrow 箭头向量 15.0.0
org.apache.avro avro 1.11.3
org.apache.avro avro-ipc 1.11.3
org.apache.avro avro-mapred 1.11.3
org.apache.commons commons-collections4（通用集合库） 4.4
org.apache.commons commons-compress 1.23.0
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-text 1.10.0
org.apache.curator 策展人客户端 2.13.0
org.apache.curator Curator框架 2.13.0
org.apache.curator 策展人食谱 2.13.0
org.apache.datasketches datasketches-java 3.1.0
org.apache.datasketches 数据素描-内存 2.0.0
org.apache.derby 德比 10.14.2.0
org.apache.hadoop Hadoop 客户端运行时 3.3.6
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive 海蜂垫片 2.3.9
org.apache.hive 蜂巢存储API 2.8.1
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.httpcomponents httpclient 4.5.14
org.apache.httpcomponents httpcore 4.4.16
org.apache.ivy 常春藤 2.5.2
org.apache.logging.log4j log4j-1.2-api 2.22.1
org.apache.logging.log4j log4j-api 2.22.1
org.apache.logging.log4j log4j-core 2.22.1
org.apache.logging.log4j log4j-layout-template-json 2.22.1
org.apache.logging.log4j log4j-slf4j2-impl 2.22.1
org.apache.orc orc-core 1.9.2-shaded-protobuf
org.apache.orc orc-mapreduce 1.9.2-shaded-protobuf
org.apache.orc orc-shims 1.9.2
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.ws.xmlschema xmlschema-core 2.3.0
org.apache.xbean xbean-asm9-shaded 4.23
org.apache.yetus 观众注释 0.13.0
org.apache.zookeeper 动物园管理员 3.9.2
org.apache.zookeeper zookeeper-jute 3.9.2
org.checkerframework checker-qual 3.31.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl（Jackson映射库-ASL） 1.9.13
org.codehaus.janino commons-compiler（通用编译器） 3.0.16
org.codehaus.janino 雅尼诺 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.collections eclipse-collections 11.1.0
org.eclipse.collections eclipse-collections-api 11.1.0
org.eclipse.jetty jetty-client 9.4.52.v20230823
org.eclipse.jetty jetty-continuation 9.4.52.v20230823
org.eclipse.jetty jetty-http 9.4.52.v20230823
org.eclipse.jetty jetty-io 9.4.52.v20230823
org.eclipse.jetty jetty-jndi 9.4.52.v20230823
org.eclipse.jetty jetty-plus 9.4.52.v20230823
org.eclipse.jetty jetty-proxy 9.4.52.v20230823
org.eclipse.jetty 码头安全 9.4.52.v20230823
org.eclipse.jetty jetty-server（Jetty服务器） 9.4.52.v20230823
org.eclipse.jetty jetty-servlet 9.4.52.v20230823
org.eclipse.jetty jetty-servlets 9.4.52.v20230823
org.eclipse.jetty jetty-util 9.4.52.v20230823
org.eclipse.jetty jetty-util-ajax 9.4.52.v20230823
org.eclipse.jetty Jetty 网页应用 9.4.52.v20230823
org.eclipse.jetty jetty-xml 9.4.52.v20230823
org.eclipse.jetty.websocket WebSocket API 9.4.52.v20230823
org.eclipse.jetty.websocket WebSocket客户端 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-common 9.4.52.v20230823
org.eclipse.jetty.websocket WebSocket服务器 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-servlet 9.4.52.v20230823
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-定位器 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator (OSGi 资源定位器) 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.40
org.glassfish.jersey.containers jersey-container-servlet-core 2.40
org.glassfish.jersey.core jersey-client 2.40
org.glassfish.jersey.core jersey-common 2.40
org.glassfish.jersey.core jersey-server 2.40
org.glassfish.jersey.inject jersey-hk2 2.40
org.hibernate.validator hibernate-validator 6.1.7.Final
org.ini4j ini4j 0.5.4
org.javassist javassist 3.29.2-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains 注释 17.0.0
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mlflow mlflow-spark_2.12 2.9.1
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.6.1
org.roaringbitmap RoaringBitmap 0.9.45-databricks
org.roaringbitmap 垫片 0.9.45-databricks
.rocksdb rocksdbjni 9.2.1
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.15
org.scala-lang scala-library_2.12 2.12.15
org.scala-lang scala-reflect_2.12 2.12.15
org.scala-lang.modules scala-collection-compat_2.12 2.11.0
org.scala-lang.modules scala-java8-compat_2.12 0.9.1
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt 测试界面 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.2.16
org.scalanlp breeze-macros_2.12 2.1.0
org.scalanlp breeze_2.12 2.1.0
org.scalatest 与Scalatest兼容 3.2.16
org.scalatest scalatest-core_2.12 3.2.16
org.scalatest scalatest-diagrams_2.12 3.2.16
org.scalatest scalatest-featurespec_2.12 3.2.16
org.scalatest scalatest-flatspec_2.12 3.2.16
org.scalatest scalatest-freespec_2.12 3.2.16
org.scalatest scalatest-funspec_2.12 3.2.16
org.scalatest scalatest-funsuite_2.12 3.2.16
org.scalatest scalatest-matchers-core_2.12 3.2.16
org.scalatest scalatest-mustmatchers_2.12 3.2.16
org.scalatest scalatest-propspec_2.12 3.2.16
org.scalatest scalatest-refspec_2.12 3.2.16
org.scalatest scalatest-shouldmatchers_2.12 3.2.16
org.scalatest scalatest-wordspec_2.12 3.2.16
org.scalatest scalatest_2.12 3.2.16
org.slf4j jcl-over-slf4j 2.0.7
org.slf4j jul-to-slf4j 2.0.7
org.slf4j slf4j-api 2.0.7
org.slf4j slf4j-simple 1.7.25
org.threeten threeten-extra 1.7.1
org.tukaani xz 1.9
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl WildFly-OpenSSL 1.1.3.Final
org.xerial sqlite-jdbc 3.42.0.0
org.xerial.snappy snappy-java 1.1.10.3
org.yaml snakeyaml 2.0
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.cryptools AmazonCorrettoCryptoProvider 1.6.2-linux-x86_64
斯塔克斯 stax-api 1.0.1