注意
对此 Databricks Runtime 版本的支持已结束。 有关终止支持日期，请参阅终止支持历史记录。 有关所有受支持的 Databricks Runtime 版本，请参阅 Databricks Runtime 发行说明版本和兼容性。
以下发行说明提供了由 Apache Spark 3.3.1 提供支持的 Databricks Runtime 12.0 的相关信息。
Databricks 于 2022 年 12 月发布此版本。
新增功能和改进
- 预测性 I/O 正式发布
- Photon 编写器支持 zstd 压缩
- 支持独立群集的阶段级任务资源配置文件
-
SQL 支持使用
REPLACE WHERE进行选择性覆盖 - SQL 现在支持水印
- PySpark 内存分析
- 针对删除的动态修剪和 UPDATE
- 分区数据操作语言操作的行级删除指标
预测性 I/O 正式发布
预测性 I/O 现已正式发布。 有关详细信息，请参阅什么是预测 I/O？。
Photon 编写器支持 zstd 压缩
通过将 spark.sql.parquet.compression.codec 设置为 zstd 启用 zstd 后，Photon 本机编写器现在支持 zstd 压缩编解码器。
支持独立群集的阶段级任务资源配置文件
禁用动态分配后，现在可以在独立群集上使用阶段级计划。 若要使用此功能，请为每个阶段指定具有 ResourceProfileBuilder 的任务资源。
SQL 支持使用 REPLACE WHERE 进行选择性覆盖
现在，可以使用以下模式有选择地覆盖与 Delta 表中任意表达式匹配的数据。
INSERT INTO table_name REPLACE WHERE predicate append_relation
请参阅使用 replaceWhere 进行的任意选择性覆盖。
SQL 现在支持水印
现在可以通过使用 DLT SQL 接口以及对流式数据帧进行 SQL 查询来指定水印。 请参阅 WATERMARK 条款。
PySpark 内存分析
现已为 PySpark 用户定义函数启用内存分析。 这提供了有关用户定义函数中每行代码的内存增量、内存使用情况和出现次数的信息。
删除的动态修剪和 UPDATE
使用支持 Photon 的计算时，DELETE 和 UPDATE 现在会使用动态文件和分区修剪来提高性能。 例如，当使用较小的源表更新或删除较大表中的行时，将启用动态修剪。
分区数据操作语言操作的行级删除指标
使用分区谓词，用户现在可以审核在运行数据操作语言 (DML) 操作（如 DELETE、TRUNCATE 和 replaceWhere）时删除的行数。
Bug 修复
修复了自动加载程序中 JSON 分析的问题，即所有列都保留为字符串的问题。 以前，cloudFiles.inferColumnTypes 未设置或设置为 false，JSON 包含嵌套对象。
库升级
- 升级了 Python 库：
- argon2-cffi 已从 20.1.0 升级到 21.3.0
- attrs 已从 21.2.0 升级到 21.4.0
- backports.entry-points-selectable 已从 1.1.1 升级到 1.2.0
- bleach 已从 4.0.0 升级到 4.1.0
- boto3 已从 1.21.18 升级到 1.21.32
- botocore 已从 1.24.18 升级到 1.24.32
- cffi 已从 1.14.6 升级到 1.15.0
- click 已从 8.0.3 升级到 8.0.4
- cycler 已从 0.10.0 升级到 0.11.0
- Cython 已从 0.29.24 升级到 0.29.28
- debugpy 已从 1.4.1 升级到 1.5.1
- decorator 已从 5.1.0 升级到 5.1.1
- entrypoints 已从 0.3 升级到 0.4
- idna 已从 3.2 升级到 3.3
- ipykernel 已从 6.12.1 升级到 6.15.3
- ipython 已从 7.32.0 升级到 8.5.0
- ipywidgets 已从 7.7.0 升级到 7.7.2
- jedi 已从 0.18.0 升级到 0.18.1
- joblib 已从 1.0.1 升级到 1.1.0
- jsonschema 已从 3.2.0 升级到 4.4.0
- kiwisolver 已从 1.3.1 升级到 1.3.2
- matplotlib 已从 3.4.3 升级到 3.5.1
- nbclient 已从 0.5.3 升级到 0.5.13
- nbconvert 已从 6.1.0 升级到 6.4.4
- nbformat 已从 5.1.3 升级到 5.3.0
- nest-asyncio 已从 1.5.1 升级到 1.5.5
- notebook 已从 6.4.5 升级到 6.4.8
- numpy 已从 1.20.3 升级到 1.21.5
- packaging 已从 21.0 升级到 21.3
- pandas 已从 1.3.4 升级到 1.4.2
- pandocfilters 已从 1.4.3 升级到 1.5.0
- parso 已从 0.8.2 升级到 0.8.3
- Pillow 已从 8.4.0 升级到 9.0.1
- platformdirs 已从 2.5.2 升级到 2.5.4
- plotly 已从 5.9.0 升级到 5.6.0
- prometheus-client 已从 0.11.0 升级到 0.13.1
- protobuf 已从 4.21.5 升级到 3.19.4
- pycparser 已从 2.20 升级到 2.21
- Pygments 已从 2.10.0 升级到 2.11.2
- pyodbc 已从 4.0.31 升级到 4.0.32
- pyzmq 已从 22.2.1 升级到 22.3.0
- requests 已从 2.26.0 升级为 2.27.1
- s3transfer 已从 0.5.2 升级到 0.5.0
- scikit-learn 已从 0.24.2 升级到 1.0.2
- scipy 已从 1.7.1 升级到 1.7.3
- statsmodels 已从 0.12.2 升级到 0.13.2
- terminado 已从 0.9.4 升级到 0.13.1
- tomli 已从 2.0.1 升级到 1.2.2
- traitlet 已从 5.1.0 升级到 5.1.1
- urllib3 已从 1.26.7 升级到 1.26.9
- widgetsnbextension 已从 3.6.0 升级到 3.6.1
- 升级了 R 库：
- base 已从 4.1.3 升级到 4.2.2
- brew 已从 1.0-7 升级到 1.0-8
- bslib 已从 0.4.0 升级到 0.4.1
- callr 已从 3.7.2 升级到 3.7.3
- chron 已从 2.3-57 级到 2.3-58
- cli 已从 3.3.0 级到 3.4.1
- cluster 已从 2.1.3 到 2.1.4
- commonmark 已从 1.8.0 升级到 1.8.1
- compiler 已从 4.1.3 升级到 4.2.2
- cpp11 已从 0.4.2 升级到 0.4.3
- crayon 已从 1.5.1 升级到 1.5.2
- curl 已从 4.3.2 升级到 4.3.3
- data.table 已从 1.14.2 升级到 1.14.4
- datasets 已从 4.1.3 升级到 4.2.2
- desc 已从 1.4.1 升级到 1.4.2
- devtools 已从 2.4.4 升级到 2.4.5
- digest 已从 0.6.29 升级到 0.6.30
- e1071 已从 1.7-11 升级到 1.7-12
- evaluate 已从 0.16 升级到 0.18
- fontawesome 已从 0.3.0 到 0.4.0
- future 已从 1.28.0 升级到 1.29.0
- future.apply 已从 1.9.1 升级到 1.10.0
- gargle 已从 1.2.0 升级到 1.2.1
- gert 已从 1.8.0 升级到 1.9.1
- ggplot2 已从 3.3.6 升级到 3.4.0
- gh 已从 1.3.0 升级到 1.3.1
- gitcreds 已从 0.1.1 升级到 0.1.2
- graphics 已从 4.1.3 升级到 4.2.2
- grDevices 已从 4.1.3 升级到 4.2.2
- grid 已从 4.1.3 升级到 4.2.2
- httpuv 已从 1.6.5 升级到 1.6.6
- isoband 已从 0.2.5 到 0.2.6
- jsonlite 已从 1.8.0 升级到 1.8.3
- lava 已从 1.6.10 升级到 1.7.0
- lifecycle 已从 1.0.1 升级到 1.0.3
- lubridate 已从 1.8.0 升级到 1.9.0
- markdown 已从 1.1 升级到 1.3
- MASS 已从 7.3-56 升级到 7.3-58
- Matrix 已从 1.4-1 升级到 1.5-1
- methods 已从 4.1.3 升级到 4.2.2
- mgcv 已从 1.8-40 升级到 1.8-41
- nlme 已从 3.1-157 升级到 3.1-160
- nnet 已从 7.3-17 升级到 7.3-18
- openssl 已从 2.0.2 升级到 2.0.4
- parallel 已从 4.1.3 升级到 4.2.2
- pkgload 已从 1.3.0 升级到 1.3.1
- processx 已从 3.7.0 升级到 3.8.0
- ps 已从 1.7.1 升级到 1.7.2
- purrr 已从 0.3.4 升级到 0.3.5
- ragg 已从 1.2.2 升级到 1.2.4
- RcppEigen 已从 0.3.3.9.2 升级到 0.3.3.9.3
- readr 已从 2.1.2 升级到 2.1.3
- recipes 已从 1.0.1 升级到 1.0.3
- rlang 已从 1.0.5 升级到 1.0.6
- rmarkdown 已从 2.16 升级到 2.18
- rpart 已从 4.1.16 升级到 4.1.19
- RSQLite 已从 2.2.16 升级到 2.2.18
- shiny 已从 1.7.2 升级到 1.7.3
- SparkR 已从 3.3.0 升级到 3.3.1
- splines 已从 4.1.3 升级到 4.2.2
- stats 已从 4.1.3 升级到 4.2.2
- stats4 已从 4.1.3 升级到 4.2.2
- sys 已从 3.4 升级到 3.4.1
- tcltk 已从 4.1.3 升级到 4.2.2
- testthat 已从 3.1.4 升级到 3.1.5
- tidyr 已从 1.2.0 升级到 1.2.1
- tidyselect 已从 1.1.2 升级到 1.2.0
- timeDate 已从 4021.104 升级到 4021.106
- tinytex 已从 0.41 升级到 0.42
- tools 已从 4.1.3 升级到 4.2.2
- utils 已从 4.1.3 升级到 4.2.2
- vctrs 已从 0.4.1 升级到 0.5.0
- vroom 已从 1.5.7 升级到 1.6.0
- xfun 已从 0.32 升级到 0.34
- yaml 已从 2.3.5 升级到 2.3.6
- zip 已从 2.2.0 升级到 2.2.2
- 升级了 Java 库：
- com.fasterxml.jackson.core.jackson-databind 已从 2.13.4 升级到 2.13.4.2
- org.apache.parquet.parquet-column 已从 1.12.0-databricks-0007 升级到 1.12.3-databricks-0001
- org.apache.parquet.parquet-common 已从 1.12.0-databricks-0007 升级到 1.12.3-databricks-0001
- org.apache.parquet.parquet-encoding 已从 1.12.0-databricks-0007 升级到 1.12.3-databricks-0001
- org.apache.parquet.parquet-format-structures 已从 1.12.0-databricks-0007 升级到 1.12.3-databricks-0001
- org.apache.parquet.parquet-hadoop 已从 1.12.0-databricks-0007 升级到 1.12.3-databricks-0001
- org.apache.parquet.parquet-jackson 已从 1.12.0-databricks-0007 升级到 1.12.3-databricks-0001
- org.apache.yetus.audience-annotations 已从 0.5.0 升级到 0.13.0
Apache Spark
Databricks Runtime 12.0 包含 Apache Spark 3.3.1。 此版本包括 Databricks Runtime 11.3 LTS 中包含的所有 Spark 修复和改进，以及对 Spark 进行的以下其他 bug 修复和改进：
- [SPARK-40844] [ SC-116996][12.x][12.0][12.0.0] 还原“[SC-113542][ss] 更改 Kafka 偏移量提取配置默认值”
- [SPARK-40646] [ SC-116061] 还原“[SC-113379][sql] 修复在 JSON 数据源和 JSON 函数中返回部分结果”
- [SPARK-41195] [ SC-116305][sql] 支持 PIVOT/UNPIVOT 加入子级
- [SPARK-41178] [SC-116139][sql] 修复JOIN和逗号之间分析器规则的优先级问题
-
[SPARK-41072] [ SC-116140][sc-116044][SC-115852][sql][SS] 将错误类
STREAM_FAILED添加到StreamingQueryException - [SPARK-40921] 还原“[SC-115140][sc-114585][SQL] 将 WHEN NOT MATCHED BY SOURCE 子句添加到 MERGE INTO
- [SPARK-37980] [SC-115758] [SQL] 扩展 METADATA 列以支持 Parquet 文件的行索引
-
[SPARK-41055] [ SC-115582][sql] 重命名
_LEGACY_ERROR_TEMP_2424为GROUP_BY_AGGREGATE - [SPARK-41101] [ SC-115849][python][PROTOBUF] 消息类名支持 PYSPARK-PROTOBUF
- [SPARK-40956] [SC-115867] 数据帧覆盖命令的 SQL 等效项
- [SPARK-41095] [SC-115659][sql] 将未解析的操作符转换为内部错误
- [SPARK-41144] [ SC-115866][sql] 未解析的提示不应导致查询失败
-
[SPARK-41137] [ SC-115858][sql] 重命名
LATERAL_JOIN_OF_TYPE为INVALID_LATERAL_JOIN_TYPE -
[SPARK-40998] [ SC-114754][sql] 将错误类
_LEGACY_ERROR_TEMP_0040重命名为INVALID_IDENTIFIER - [SPARK-41015] [SC-115130][sql][PROTOBUF] 单元测试数据生成器的空检查
- [SPARK-40769] [ SC-114923][core][SQL] 将聚合表达式的类型检查失败迁移到错误类
-
[SPARK-41043] [ SC-115183][sql] 将错误类
_LEGACY_ERROR_TEMP_2429重命名为NUM_COLUMNS_MISMATCH - [SPARK-40777] [ SC-114855][sql][PROTOBUF] 支持 Protobuf 导入并迁移错误类。
-
[SPARK-41019] [ SC-114987][sql] 提供查询上下文
failAnalysis() -
[SPARK-41027] [ SC-115131][sql] 使用
UNEXPECTED_INPUT_TYPE而不是MAP_FROM_ENTRIES_WRONG_TYPE - [SPARK-40476] [ SC-115868][sc-111163][ML][sql] 减小 ALS 的随机大小
- [SPARK-41134] [ SC-115851][sql] 改进内部错误的错误消息
- [SPARK-37980] 还原“[SQL] 扩展 METADATA 列以支持 Parquet 文件的行索引”
- [SPARK-41109] [ SC-115788][sql] 将错误类 _LEGACY_ERROR_TEMP_1216 重命名为 INVALID_LIKE_PATTERN
-
[SPARK-40984] [ SC-115844][core][SQL] 使用
NON_FOLDABLE_INPUT而不是FRAME_LESS_OFFSET_WITHOUT_FOLDABLE -
[SPARK-41029] [ SC-115828][sql] 优化 Scala 2.13 的
GenericArrayData构造函数用法 - [SPARK-40697] [ SC-113648][sql] 添加只读字符填充以覆盖外部数据文件
-
[SPARK-40978] [ SC-114574][sql] 将没有上下文的
failAnalysis()迁移到错误类别 - [SPARK-40663] [ SC-114586][sql] 将执行错误迁移至错误类：_LEGACY_ERROR_TEMP_2251-2275
- [SPARK-38959] [ SC-115672][sc-112707][SQL] DS V2：支持行级别命令中的运行时组筛选
- [SPARK-40372] [ SC-115668][sql] 将数组类型检查失败迁移到错误类
-
[SPARK-41038] [SC-115371][sql] 重命名
MULTI_VALUE_SUBQUERY_ERROR为SCALAR_SUBQUERY_TOO_MANY_ROWS -
[SPARK-40965] [ SC-114443][sql] 将错误类
_LEGACY_ERROR_TEMP_1208重命名为FIELD_NOT_FOUND - [SPARK-40748] [ SC-114696][sql] 将类型检查失败的条件迁移至错误类
- [SPARK-40371] [ SC-114557][sql] 将 NthValue 和 NTile 的类型检查失败迁移到错误类
- [SPARK-41092] [ SC-115547][sql] 不使用标识符匹配间隔单位
-
[SPARK-41009] [ SC-115360][sql] 将错误类
_LEGACY_ERROR_TEMP_1070重命名为LOCATION_ALREADY_EXISTS - [SPARK-37980] [SQL] 扩展 METADATA 列以支持 Parquet 文件的行索引
-
[SPARK-40967] [ SC-114448][sql] 将
failAnalysis()迁移到错误类 - [SPARK-34265] [ SC-115486][sc-113788][PYTHON][sql] 使用 SQL 指标检测 Python UDF
-
[SPARK-41012] [ SC-114873][sql] 重命名
_LEGACY_ERROR_TEMP_1022为ORDER_BY_POS_OUT_OF_RANGE -
[SPARK-41042] [ SC-115142][sql] 重命名
PARSE_CHAR_MISSING_LENGTH为DATATYPE_MISSING_SIZE - [SPARK-40752] [ SC-114442][sql] 将其他表达式的类型检查失败迁移到错误类
- [SPARK-37945] [SC-115534][sql][CORE] 在算术运算的执行错误中使用错误类
- [SPARK-40374] [SC-114705][sql] 将类型生成器的类型检查失败迁移到错误类
- [SPARK-41056] [SC-115354][r] 修复 R 4.2 中引入的新R_LIBS_SITE功能
-
[SPARK-41041] [SC-115357][sql] 将
_LEGACY_ERROR_TEMP_1279集成到TABLE_OR_VIEW_ALREADY_EXISTS - [SPARK-40663] [ SC-114852][sql] 将执行错误迁移到错误类：_LEGACY_ERROR_TEMP_2201-2225
-
[SPARK-41020] [ SC-114984][sql] 将错误类
_LEGACY_ERROR_TEMP_1019重命名为STAR_GROUP_BY_POS -
[SPARK-41035] [ SC-115233][sql] 不要修补聚合函数的可折叠子节点
RewriteDistinctAggregates - [SPARK-39778] [ SC-114353][sql] 改进错误类和消息
- [SPARK-40798] [SC-113782][sql] 修改分区应验证值是否遵循 "storeAssignmentPolicy"
- [SPARK-40810] [ SC-113533][sql] 在 CreateDatabaseCommand 命令 和 AlterDatabaseSetLocationCommand 命令 中使用 SparkIllegalArgumentException 而不是 IllegalArgumentException
- [SPARK-40921] [SC-115140][sc-114585][SQL] 将 WHEN NOT MATCHED BY SOURCE 子句添加到 MERGE INTO
- [SPARK-40360] [SC-114965] ALREADY_EXISTS 和 NOT_FOUND 异常
- [SPARK-41007] [SC-115085][sql] 添加缺失的 java.math.BigInteger 序列化器
- [SPARK-40751] [ SC-114254][sql] 将高阶函数的类型检查失败迁移到错误类
- [SPARK-40248] [ SC-114704][sql] 使用更多位生成 Bloom 筛选器
- [SPARK-41040] [ SC-115145][ss] 修复使用 readStream.table 时的自联合流式处理查询失败
- [SPARK-32380] [SC-114966][sql] 修复在 Spark 中通过 Hive 访问 HBase 表的问题
- [SPARK-40749] [ SC-114860][sql] 将生成器的类型检查失败迁移到错误类
- [SPARK-40925] [SC-114445][sql][SS][warmfix][12.x] 修复有状态运算符延迟相关问题...
- [SPARK-40654] [SC-112783] 删除临时日志行
- [SPARK-40742] [ SC-114913][sc-112646][CORE][sql] 修复与泛型类型相关的 Java 编译警告
- [SPARK-40657] [ SC-113642][cherry-pick] 在 Protob 中添加对 Java 类的支持...
- [SPARK-40898] [ SC-113932][sql] 在数据类型不匹配错误信息中对函数名称使用引号
- [SPARK-40760] [ SC-113750][sql] 将间隔表达式的类型检查失败迁移到错误类
- [SPARK-36114] [ SC-113771][sql] 支持使用相关的非相等谓词的子查询
- [SPARK-40856] [SC-113738][sql] 更新 WRONG_NUM_PARAMS 的错误模板
- [SPARK-40759] [ SC-114251][sql] 将时间窗口的类型检查失败迁移到错误类
- [SPARK-40750] [ SC-113812][sql] 将数学表达式的类型检查失败迁移到错误类
- [SPARK-40756] [ SC-113749][sql] 将字符串表达式的类型检查失败迁移到错误类
- [SPARK-40768] [ SC-113640][sql] 将 bloom_filter_agg（） 的类型检查失败迁移到错误类
- [SPARK-40369] [SC-113402][core][SQL] 将通过反射调用的类型检查失败迁移到错误类中
- [SPARK-39445] [SQL] 如果 windowExpressions 在列修剪中为空，则删除窗口
- [SPARK-40761] [ SC-113245][sql] 将百分位表达式的类型检查失败迁移到错误类
- [SPARK-40361] [ SC-112789][sql] 将算术类型检查失败迁移到错误类
-
[SPARK-40714] [SC-112576][sql] Remove
PartitionAlreadyExistsException -
[SPARK-40702] [ SC-112437][sql] 修复分区规格在
PartitionsAlreadyExistException中 - [SPARK-40358] [ SC-112631][sql] 将集合类型检查失败迁移到错误类
- [SPARK-40910] [ SC-114259][sql] 将 UnsupportedOperationException 替换为 SparkUnsupportedOperationException
- [SPARK-39876] [SC-112429][sql] 将 UNPIVOT 添加到 SQL 语法中
- [SPARK-39783] [ SC-113389][sql] 添加引号到 qualifiedName，以修复错误消息中列候选项的反引号问题
- [SPARK-40663] [ SC-112520][sql] 将执行错误迁移到错误类：_LEGACY_ERROR_TEMP_2026-2282
-
[SPARK-40975] [ SC-114555][sql] 将错误类
_LEGACY_ERROR_TEMP_0021重命名为UNSUPPORTED_TYPED_LITERAL - [SPARK-37935] [ SC-114472][sql] 消除单独的错误子类字段
- [SPARK-40944] [SC-114530][sql] 放宽列选项的 CREATE TABLE 排序约束
-
[SPARK-40815] [SC-114528][sql] 添加
DelegateSymlinkTextInputFormat以解决SymlinkTextInputSplit的bug问题的临时解决方案 - [SPARK-40933] [ SC-114441][sql] Reimplement df.stat.具有内置 sql 函数的 {cov， corr}
- [SPARK-40932] [ SC-114439][core] 修复了 allGather 的问题消息内容被覆盖
- [SPARK-39312] [SQL] 在筛选器下推中使用 parquet 原生 In 谓词
- [SPARK-40862] [SC-114352][sql] 在 RewriteCorrelatedScalarSubquery 中支持非聚合子查询
-
[SPARK-40963] [SC-114446][sql] 在由
ExtractGenerator创建的项目中正确设置可为 null - [SPARK-40663] [ SC-112295][sql] 将执行错误迁移到错误类：_LEGACY_ERROR_TEMP_2000-2024
- [SPARK-40892] [SC-114347][sql][SS] 放宽window_time规则的限制 - 允许多个window_time调用
- [SPARK-40540] [SC-111639][sql] 将编译错误迁移至错误类别：_LEGACY_ERROR_TEMP_1100-1347
- [SPARK-40924] [ SC-114258][sql] 提供针对奇数字符输入问题的 Unhex 修复方案
- [SPARK-40821] [ SC-113754][sql][CORE][python][SS] 引入 window_time 函数以从窗口列提取事件时间
- [SPARK-40800] [ SC-113772][sql] OptimizeOneRowRelationSubquery 中的始终内联表达式
-
[SPARK-40900] [SC-114006][sql] 使用数据帧操作重新实现
frequentItems - [SPARK-40735] [ SC-114022][sc-112657] 在脚本中使用 /usr/bin/env bash 持续调用 bash，使代码更易于移植
- [SPARK-40773] [SC-113091][sql] 重构 checkCorrelationsInSubquery
- [SPARK-40615] [SC-113400][sql] 在对子查询进行去相关化时检查不受支持的数据类型
- [SPARK-40660] [ SC-112293][core][SQL] 切换到 XORShiftRandom 以分发元素
- [SPARK-40540] [ SC-113926][sc-111331][SQL] 将编译错误迁移到错误类
- [SPARK-40551] [SC-113135][sql] DataSource V2：为基于增量的行级操作增加 API
- [SPARK-39391] [SC-110676][core] 重用分区类
- [SPARK-40368] [ SC-113396][sql] 将 Bloom 筛选器类型检查失败迁移至错误类
-
[SPARK-39146] [ SC-111814][core][SQL] 为可能重复使用的本地单例引入
ObjectMapper - [SPARK-40357] [ SC-113786][sc-111352][SQL] 将窗口类型检查失败迁移到错误类
- [SPARK-40874] [ SC-113756][python] 修复在启用加密时 Python 用户定义函数中的广播问题
- [SPARK-40359] [ SC-113770][sc-111146][SQL] 将 CSV/JSON 表达式中的类型检查失败到错误类
-
[SPARK-40880] [SC-113764][sql] 用数据帧重新实现
summary -
[SPARK-40877] [SC-113763][sql] 使用数据帧操作重新实现
crosstab -
[SPARK-40382] [ SC-113098][sql] 通过语义上等效的子级对不同聚合表达式进行分组
RewriteDistinctAggregates - [SPARK-40826] [ SC-113532][ss] 添加额外的检查点重命名文件检查
- [SPARK-40829] [ SC-113426][sql] 视图中的 STORED AS serde CREATE TABLE LIKE 不起作用
- [SPARK-40844] [ SC-113542][ss] 翻转 Kafka 偏移提取配置的默认值
- [SPARK-40488] [ SC-113568][sc-111160] 不要包装数据源写入失败时引发的异常
-
[SPARK-40560] [SC-113631][sc-111335][SQL] 在
message格式中将messageTemplate重命名为STANDARD以处理错误 - [SPARK-40618] [SC-113096][sql] 修复 MergeScalarSubqueries 规则中涉及引用跟踪的嵌套子查询中的 bug
- [SPARK-40530] [ SC-113528][sc-111332][SQL] 新增与错误相关的开发者 API
- [SPARK-40806] [ SC-113250][sql] 拼写错误修复： CREATE TABLE -> REPLACE TABLE
- [SPARK-40646] [ SC-113379][sql] 修复在 JSON 数据源和 JSON 函数中返回的部分结果
- [SPARK-40654] [ Cherry-pick][sc-112783][SQL] Protobuf 对 Spark 的支持 - 来自...
- [SPARK-40753] [ SC-113539][sql] 修复关于目录操作的测试用例中的 bug
-
[SPARK-40765] [SC-113056][sql] 优化
CommandUtils#calculateSingleLocationSize#getPathSize方法中的冗余文件系统操作 - [SPARK-40114] [ ES-479282][r][11.X] Arrow 9.0.0 支持 SparkR
- [SPARK-40479] [ SC-110935][sql] 将意外输入类型错误迁移至错误类别
- [SPARK-40473] [ SC-113388][sc-111141][SQL] 将解析错误迁移到错误类
- [SPARK-39853] [SC-111867][核心] 支持在禁用动态分配时，为独立集群提供阶段级任务资源配置文件（从 PR-47157 回移）
- [SPARK-40407] [ SC-111161][sql] 修复 df.repartition 导致的潜在数据倾斜
- [SPARK-40425] [ SC-110840][sql] DROP TABLE 不需要执行表查找
- [SPARK-40703] [SC-113242][sql] 在 SinglePartition 上引入 shuffle 以提高并行性
- [SPARK-40640] [ SC-113138][core] SparkHadoopUtil 用于设定 hadoop/hive 配置选项的来源
- [SPARK-39062] [11.x][core] 为独立群集添加阶段级资源计划支持
- [SPARK-33861] [SC-109877] 还原“[SQL] 简化谓词中的条件”
- [SPARK-40667] [SC-113136][sql] 重构文件数据源选项
- [SPARK-40370] [SC-110677][sql] 将类型检查失败迁移到 CAST 中的错误类
-
[SPARK-40611] [SC-113105][sql] 提高
setInterval和getInterval针对UnsafeRow的性能 -
[SPARK-40733] [SC-113126][sql] 使结果中
SERDEPROPERTIES的ShowCreateTableAsSerdeCommand内容具有固定顺序 - [SPARK-40585] [ SC-112180][sql] 支持双引号标识符
-
[SPARK-40772] [ SC-112992][sql] 改进
spark.sql.adaptive.skewJoin.skewedPartitionFactor以支持Double值 - [SPARK-40565] [ SC-112417][sql] 不要将非确定性筛选器推送到 V2 文件源
- [SPARK-8731] [ SC-112784] Beeline 在后台启动时无法使用 -e 选项
- [SPARK-35242] [ SC-111398][sql] 支持更改会话目录的默认数据库
- [SPARK-40426] [ SC-110672][sql] 从 SparkThrowable.getMessageParameters 返回地图
-
[SPARK-40494] [SC-112655][sc-111025][CORE][sql][ML][mllib] 优化代码模式的性能
keys.zipWithIndex.toMap - [SPARK-40521] [ SC-112430][sql] 仅返回 Hive 创建分区中已存在的分区
- [SPARK-40705] [SC-112567][sql] 在将 Row 转换为 JSON 时处理使用可变数组的情况，以适应 Scala 2.13
- [SPARK-39895] [SC-112590][sql][PYTHON] 支持删除多个列
- [SPARK-40607] [ SC-112296][core][SQL][mllib][SS] 删除冗余字符串内插器操作。
- [SPARK-40420] [ SC-112604][sc-110569][SQL] 按 JSON 格式的名称对错误消息参数进行排序
- [SPARK-40403] [ SC-110564][sql] 使用 longs 计算不安全的数组大小，以避免错误消息中的负大小
-
[SPARK-40482] [SC-110831][sql] 还原
SPARK-24544 Print actual failure cause when look up function failed - [SPARK-40400] [SC-112555][sc-110397][SQL] 将错误消息参数以映射形式传递到异常中
- [SPARK-40628] [ SC-112414][sql] 不要通过项目推送复杂左半/反联接条件
-
[SPARK-40562] [SC-111455][sql] 添加
spark.sql.legacy.groupingIdWithAppendedUserGroupBy - [SPARK-40501] [ SC-111333][sql] 为优化器添加 PushProjectionThroughLimit
- [SPARK-39200] [ SC-111244][core] 使备用存储完全读取内容
- [SPARK-38717] [ SC-111241][sql] 处理 Hive 的存储桶规格保留行为
- [SPARK-40385] [ SC-111123][sql] 修复配套对象构造函数的解释路径
-
[SPARK-40216] [ SC-112413][sql] 提取通用
ParquetUtils.prepareWrite方法以消除ParquetFileFormat和ParquetWrite中的重复代码 - [SPARK-40636] [ SC-112160][core] 修复了 BlockManagerDecommissioner 中错误的剩余洗牌日志
- [SPARK-40617] [ SC-112009] 修复了处理 ExecutorMetricsPoller 的 stageTCMP 条目时的竞争条件
- [SPARK-40618] [ SC-112046][sql] 修复包含嵌套子查询的 MergeScalarSubqueries 规则中的问题
- [SPARK-40612] [ SC-111933][core] 修复用于非 YARN 资源管理器委派令牌续订的主体
- [SPARK-40595] [ SC-111662][sql] 改进未使用的 CTE 关系的错误消息
- [SPARK-40314] [SC-111879][sql][PYTHON] 为内联和内联外添加 Scala 和 Python 绑定
- [SPARK-40416] [ SC-110945][sql] 将子查询表达式的 CheckAnalysis 错误消息迁移到新的错误框架中
- [SPARK-40318] [ SC-111865][sc-109986][SQL] try_avg() 应抛出其子元素的异常
- [SPARK-40509] [ SC-111644][ss][PYTHON] 添加 applyInPandasWithState 的示例
- [SPARK-40310] [SC-111329][sc-109842][SQL] try_sum() 应传递其子级抛出的异常
- [SPARK-40016] [SQL] 删除 try_sum() 实现中不必要的 TryEval
- [SPARK-40527] [ SC-111224][sql] 在 CreateStruct 中保留结构字段名称或映射键
- [SPARK-38098] [ SC-111178][python] 将嵌套结构类型 ArrayType 的支持添加到基于箭头的转换
- [SPARK-40324] [ SC-111359][sc-110293][SQL] 在 AnalysisException 中提供查询上下文
- [SPARK-40492] [ SC-111324][ss] 在流式处理 StateStore 卸载之前执行维护
- [SPARK-40487] [ SC-111124][sql] 在 BroadcastNestedLoopJoinExec 中并行运行的默认Join
- [SPARK-40474] [ SC-111273][sql] 更正包含混合日期和时间时间戳的列的 CSV 架构推理和数据分析行为
- [SPARK-40508] [ SC-111066][sql] 将“未知分区”处理为 UnknownPartitioning
- [SPARK-40496] [ SC-111234][sc-111013][SQL] 修复配置以控制“enableDateTimeParsingFallback”
- [SPARK-40435] [ SC-111214][ss][PYTHON] 在 PySpark 中添加 applyInPandasWithState 的测试套件
- [SPARK-40434] [ SC-111125][ss][PYTHON] 在 PySpark 中实现 applyInPandasWithState
维护更新
请参阅 Databricks Runtime 12.0 维护更新。
系统环境
- 操作系统：Ubuntu 20.04.5 LTS
- Java：Zulu 8.64.0.19-CA-linux64
- Scala：2.12.14
- Python：3.9.5
- R：4.2.2
- Delta Lake：2.2.0
已安装的 Python 库
| 库 | 版本 | 库 | 版本 | 库 | 版本 |
|---|---|---|---|---|---|
| argon2-cffi | 21.3.0 | argon2-cffi-bindings | 21.2.0 | asttokens | 2.0.5 |
| 属性 | 21.4.0 | 回调 | 0.2.0 | backports.entry-points-selectable | 1.2.0 |
| beautifulsoup4 | 4.11.1 | 黑色 | 22.3.0 | 漂白剂 | 4.1.0 |
| boto3 | 1.21.32 | botocore | 1.24.32 | certifi | 2021.10.8 |
| cffi | 1.15.0 | chardet | 4.0.0 | charset-normalizer (字符集正常化工具) | 2.0.4 |
| 单击 | 8.0.4 | 密码系统 | 3.4.8 | 骑行者 | 0.11.0 |
| Cython | 0.29.28 | dbu-python | 1.2.16 | debugpy | 1.5.1 |
| 装饰师 | 5.1.1 | defusedxml | 0.7.1 | distlib | 0.3.6 |
| 入口点 | 0.4 | 执行 | 0.8.3 | 各个方面概述 | 1.0.0 |
| fastjsonschema | 2.16.2 | 文件锁 (filelock) | 3.8.0 | fonttools（字体工具） | 4.25.0 |
| IDNA | 3.3 | ipykernel | 6.15.3 | ipython | 8.5.0 |
| ipython-genutils（IPython通用工具） | 0.2.0 | ipywidgets | 7.7.2 | jedi | 0.18.1 |
| Jinja2 | 2.11.3 | jmespath | 0.10.0 | joblib | 1.1.0 |
| jsonschema | 4.4.0 | Jupyter客户端 | 6.1.12 | jupyter_core（Jupyter核心） | 4.11.2 |
| jupyterlab-pygments | 0.1.2 | jupyterlab-widgets | 1.0.0 | kiwisolver | 1.3.2 |
| MarkupSafe | 2.0.1 | matplotlib | 3.5.1 | matplotlib-inline | 0.1.2 |
| mistune | 0.8.4 | mypy-extensions | 0.4.3 | nbclient | 0.5.13 |
| nbconvert | 6.4.4 | nbformat | 5.3.0 | nest-asyncio | 1.5.5 |
| 笔记本 | 6.4.8 | numpy | 1.21.5 | 打包 | 21.3 |
| 熊猫 | 1.4.2 | pandocfilters | 1.5.0 | 帕尔索 | 0.8.3 |
| pathspec | 0.9.0 | 替罪羊 | 0.5.2 | pexpect | 4.8.0 |
| pickleshare | 0.7.5 | 枕头 | 9.0.1 | 果仁 | 21.2.4 |
| platformdirs | 2.5.4 | plotly | 5.6.0 | prometheus-client | 0.13.1 |
| prompt-toolkit | 3.0.20 | protobuf | 3.19.4 | psutil | 5.8.0 |
| psycopg2 | 2.9.3 | ptyprocess | 0.7.0 | pure-eval | 0.2.2 |
| pyarrow | 7.0.0 | Python代码解析器 | 2.21 | Pygments | 2.11.2 |
| PyGObject | 3.36.0 | pyodbc | 4.0.32 | pyparsing | 3.0.4 |
| pyrsistent（持久性，类似于 persistent 的 Python 包） | 0.18.0 | python-dateutil | 2.8.2 | pytz | 2021.3 |
| pyzmq | 22.3.0 | 请求 | 2.27.1 | requests-unixsocket | 0.2.0 |
| s3transfer | 0.5.0 | scikit-learn | 1.0.2 | scipy | 1.7.3 |
| seaborn | 0.11.2 | Send2Trash | 1.8.0 | setuptools | 58.0.4 |
| 6 | 1.16.0 | 汤滤器 | 2.3.1 | ssh-import-id | 5.10 |
| 堆栈数据 | 0.2.0 | statsmodels | 0.13.2 | 毅力 | 8.0.1 |
| 完成 | 0.13.1 | 测试路径 | 0.5.0 | threadpoolctl | 2.2.0 |
| tokenize-rt | 4.2.1 | tomli | 1.2.2 | 龙卷风 | 6.1 |
| Traitlets | 5.1.1 | 输入扩展 (typing_extensions) | 4.1.1 | 无人参与升级 | 0.1 |
| urllib3 | 1.26.9 | virtualenv | 20.8.0 | wcwidth | 0.2.5 |
| Web编码 | 0.5.1 | 轮子 | 0.37.0 | widgetsnbextension | 3.6.1 |
已安装的 R 库
R 库安装自 2022-11-11 版本中的 Microsoft CRAN 快照。
| 库 | 版本 | 库 | 版本 | 库 | 版本 |
|---|---|---|---|---|---|
| 箭头 | 10.0.0 | askpass | 1.1 | assertthat | 0.2.1 |
| 回移补丁 | 1.4.1 | 基础 | 4.2.2 | base64enc | 0.1-3 |
| 位 | 4.0.4 | bit64 | 4.0.5 | 团状物 | 1.2.3 |
| 启动 | 1.3-28 | 酿造/冲泡 | 1.0-8 | 活力 | 1.1.3 |
| 扫帚 | 1.0.1 | bslib | 0.4.1 | 卡齐姆 | 1.0.6 |
| 调用方 | 3.7.3 | 插入符号 | 6.0-93 | cellranger (细胞测序工具) | 1.1.0 |
| chron | 2.3-58 | 班级 | 7.3-20 | cli | 3.4.1 |
| 剪辑器 | 0.8.0 | 时钟 | 0.6.1 | 集群 | 2.1.4 |
| codetools | 0.2-18 | 色彩空间 | 2.0-3 | commonmark | 1.8.1 |
| 编译器 | 4.2.2 | 配置 | 0.3.1 | cpp11 | 0.4.3 |
| 蜡笔 | 1.5.2 | 凭据 | 1.3.2 | 卷曲 | 4.3.3 |
| 数据表 (data.table) | 1.14.4 | 数据集 | 4.2.2 | DBI | 1.1.3 |
| dbplyr | 2.2.1 | desc | 1.4.2 | devtools | 2.4.5 |
| diffobj | 0.3.5 | 摘要 | 0.6.30 | 向下照明 | 0.4.2 |
| dplyr | 1.0.10 | dtplyr | 1.2.2 | e1071 | 1.7-12 |
| 省略号 | 0.3.2 | 评估 | 0.18 | fansi | 1.0.3 |
| 颜色 | 2.1.1 | 快速映射 | 1.1.0 | fontawesome | 0.4.0 |
| forcats | 0.5.2 | foreach | 1.5.2 | 外国 | 0.8-82 |
| 锻造 | 0.2.0 | 文件系统 (if fs stands for "file system") | 1.5.2 | 未来 | 1.29.0 |
| future.apply | 1.10.0 | 漱口 | 1.2.1 | 泛 型 | 0.1.3 |
| 格尔特 | 1.9.1 | ggplot2 | 3.4.0 | gh | 1.3.1 |
| gitcreds | 0.1.2 | glmnet | 4.1-4 | 全局变量 | 0.16.1 |
| 胶水 | 1.6.2 | googledrive | 2.0.0 | googlesheets4 | 1.0.1 |
| gower | 1.0.0 | 图形 | 4.2.2 | grDevices | 4.2.2 |
| “业务流程参数” 网格 | 4.2.2 | gridExtra | 2.3 | gsubfn | 0.7 |
| gtable | 0.3.1 | 安全帽 | 1.2.0 | 避风港 | 2.5.1 |
| 更高 | 0.9 | 赫姆斯 | 1.1.2 | HTML工具 | 0.5.3 |
| HTML小插件 | 1.5.4 | httpuv | 1.6.6 | httr | 1.4.4 |
| ids | 1.0.1 | ini | 0.3.1 | ipred | 0.9-13 |
| isoband | 0.2.6 | 迭代器 | 1.0.14 | jquerylib | 0.1.4 |
| jsonlite | 1.8.3 | KernSmooth | 2.23-20 | 针织器 | 1.40 |
| 标记 | 0.4.2 | 稍后 | 1.3.0 | 格子 | 0.20-45 |
| 熔岩 | 1.7.0 | 生命周期 | 1.0.3 | listenv | 0.8.0 |
| lubridate | 1.9.0 | magrittr | 2.0.3 | markdown | 1.3 |
| 质量 | 7.3-58 | 矩阵 | 1.5-1 | 缓存 | 2.0.1 |
| 方法 | 4.2.2 | mgcv | 1.8-41 | 默剧 | 0.12 |
| 迷你用户界面 | 0.1.1.1 | ModelMetrics | 1.2.2.2 | modelr | 0.1.9 |
| 蒙塞尔 | 0.5.0 | nlme | 3.1-160 | nnet | 7.3-18 |
| numDeriv | 2016年8月至1月1日 | openssl（开放SSL） | 2.0.4 | 平行 | 4.2.2 |
| 并行 | 1.32.1 | 柱子 | 1.8.1 | pkgbuild (软件包构建工具) | 1.3.1 |
| pkgconfig | 2.0.3 | pkgdown | 2.0.6 | pkgload | 1.3.1 |
| 普洛格 | 0.2.0 | 普莱尔 | 1.8.7 | 赞美 | 1.0.0 |
| prettyunits | 1.1.1 | pROC | 1.18.0 | processx | 3.8.0 |
| prodlim | 2019.11.13 | profvis | 0.3.7 | 进度 | 1.2.2 |
| progressr | 0.11.0 | 承诺 | 1.2.0.1 | 原型 (proto) | 1.0.0 |
| 代理服务器 | 0.4-27 | 附注 (ps) | 1.7.2 | purrr | 0.3.5 |
| r2d3 | 0.2.6 | R6 | 2.5.1 | ragg | 1.2.4 |
| 随机森林 (randomForest) | 4.7-1.1 | rappdirs | 0.3.3 | rcmdcheck | 1.4.0 |
| RColorBrewer | 1.1-3 | Rcpp | 1.0.9 | RcppEigen | 0.3.3.9.3 |
| readr（阅读器） | 2.1.3 | readxl | 1.4.1 | 食谱 | 1.0.3 |
| 重赛 | 1.0.1 | rematch2 | 2.1.2 | 遥控器 | 2.4.2 |
| 可复现示例 | 2.0.2 | reshape2 | 1.4.4 | rlang | 1.0.6 |
| rmarkdown（R语言动态文档生成工具） | 2.18 | RODBC | 1.3-19 | roxygen2 | 7.2.1 |
| rpart | 4.1.19 | rprojroot | 2.0.3 | Rserve | 1.8-11 |
| RSQLite | 2.2.18 | rstudioapi | 0.14 | rversions | 2.1.2 |
| rvest | 1.0.3 | sass | 0.4.2 | 磅秤 | 1.2.1 |
| selectr | 0.4-2 | 会话信息 | 1.2.2 | 形状 | 1.4.6 |
| 光亮 | 1.7.3 | sourcetools | 0.1.7 | sparklyr | 1.7.8 |
| SparkR | 3.3.1 | 空间 | 7.3-11 | 样 条 | 4.2.2 |
| sqldf（R环境中的数据库操作软件包） | 0.4-11 | SQUAREM | 2021年1月 | 统计数据 | 4.2.2 |
| 统计数据4 | 4.2.2 | 字符串 | 1.7.8 | stringr | 1.4.1 |
| 生存 | 3.4-0 | sys | 3.4.1 | systemfonts | 1.0.4 |
| tcltk | 4.2.2 | testthat | 3.1.5 | 文本整形 | 0.3.6 |
| tibble | 3.1.8 | tidyr | 1.2.1 | tidyselect | 1.2.0 |
| tidyverse（数据分析工具包） | 1.3.2 | 时间变化 | 0.1.1 | 时间日期 | 4021.106 |
| tinytex | 0.42 | 工具 | 4.2.2 | tzdb | 0.3.0 |
| URL检查器 | 1.0.1 | usethis | 2.1.6 | utf8 | 1.2.2 |
| 实用工具 | 4.2.2 | UUID（通用唯一识别码） | 1.1-0 | vctrs | 0.5.0 |
| viridisLite | 0.4.1 | vroom | 1.6.0 | 瓦尔多 | 0.4.0 |
| 晶 须 | 0.4 | 无改动（具体含义和背景需要更多信息） | 2.5.0 | xfun | 0.34 |
| xml2 | 1.3.3 | xopen | 1.0.0 | xtable | 1.8-4 |
| yaml | 2.3.6 | 压缩包 | 2.2.2 |
已安装的 Java 库和 Scala 库（Scala 2.12 群集版本）
| 组 ID | 项目 ID | 版本 |
|---|---|---|
| antlr | antlr | 2.7.7 |
| com.amazonaws | Amazon Kinesis 客户端 | 1.12.0 |
| com.amazonaws | AWS Java SDK 自动扩展 | 1.12.189 |
| com.amazonaws | aws-java-sdk-cloudformation | 1.12.189 |
| com.amazonaws | AWS Java SDK CloudFront | 1.12.189 |
| com.amazonaws | AWS-Java-SDK-云HSM | 1.12.189 |
| com.amazonaws | AWS Java SDK 云搜索 | 1.12.189 |
| com.amazonaws | aws-java-sdk-cloudtrail | 1.12.189 |
| com.amazonaws | aws-java-sdk-cloudwatch | 1.12.189 |
| com.amazonaws | aws-java-sdk-cloudwatchmetrics | 1.12.189 |
| com.amazonaws | AWS Java SDK CodeDeploy（AWS Java 软件开发工具包 CodeDeploy） | 1.12.189 |
| com.amazonaws | aws-java-sdk-cognitoidentity | 1.12.189 |
| com.amazonaws | aws-java-sdk-cognitosync | 1.12.189 |
| com.amazonaws | aws-java-sdk-config（AWS Java SDK 配置） | 1.12.189 |
| com.amazonaws | aws-java-sdk-core (AWS Java软件开发工具包核心) | 1.12.189 |
| com.amazonaws | aws-java-sdk-datapipeline | 1.12.189 |
| com.amazonaws | AWS Java SDK Direct Connect（直连） | 1.12.189 |
| com.amazonaws | aws-java-sdk-directory | 1.12.189 |
| com.amazonaws | aws-java-sdk-dynamodb | 1.12.189 |
| com.amazonaws | aws-java-sdk-ec2 | 1.12.189 |
| com.amazonaws | aws-java-sdk-ecs | 1.12.189 |
| com.amazonaws | aws-java-sdk-efs | 1.12.189 |
| com.amazonaws | aws-java-sdk-elasticache | 1.12.189 |
| com.amazonaws | aws-java-sdk-elasticbeanstalk（AWS Java 开发工具包 - Elastic Beanstalk） | 1.12.189 |
| com.amazonaws | aws-java-sdk-弹性负载均衡 | 1.12.189 |
| com.amazonaws | aws-java-sdk-elastictranscoder（AWS Java SDK弹性转码器） | 1.12.189 |
| com.amazonaws | aws-java-sdk-emr | 1.12.189 |
| com.amazonaws | AWS Java SDK Glacier | 1.12.189 |
| com.amazonaws | AWS Java SDK Glue | 1.12.189 |
| com.amazonaws | aws-java-sdk-iam | 1.12.189 |
| com.amazonaws | AWS Java SDK 导入导出 (aws-java-sdk-importexport) | 1.12.189 |
| com.amazonaws | aws-java-sdk-kinesis | 1.12.189 |
| com.amazonaws | AWS Java 软件开发工具包 - KMS | 1.12.189 |
| com.amazonaws | aws-java-sdk-lambda | 1.12.189 |
| com.amazonaws | aws-java-sdk-logs（AWS Java开发包日志） | 1.12.189 |
| com.amazonaws | AWS-Java-SDK-机器学习 | 1.12.189 |
| com.amazonaws | aws-java-sdk-opsworks | 1.12.189 |
| com.amazonaws | aws-java-sdk-rds | 1.12.189 |
| com.amazonaws | aws-java-sdk-redshift | 1.12.189 |
| com.amazonaws | aws-java-sdk-route53 | 1.12.189 |
| com.amazonaws | aws-java-sdk-s3 | 1.12.189 |
| com.amazonaws | aws-java-sdk-ses | 1.12.189 |
| com.amazonaws | aws-java-sdk-simpledb | 1.12.189 |
| com.amazonaws | aws-java-sdk-simpleworkflow | 1.12.189 |
| com.amazonaws | aws-java-sdk-sns | 1.12.189 |
| com.amazonaws | aws-java-sdk-sqs | 1.12.189 |
| com.amazonaws | aws-java-sdk-ssm | 1.12.189 |
| com.amazonaws | AWS Java SDK 存储网关 | 1.12.189 |
| com.amazonaws | aws-java-sdk-sts | 1.12.189 |
| com.amazonaws | AWS Java SDK支持 | 1.12.189 |
| com.amazonaws | AWS-Java-SDK-SWF-库 | 1.11.22 |
| com.amazonaws | aws-java-sdk-workspaces | 1.12.189 |
| com.amazonaws | jmespath-java | 1.12.189 |
| com.chuusai | shapeless_2.12 | 2.3.3 |
| com.clearspring.analytics | 流 (stream) | 2.9.6 |
| com.databricks | Rserve | 1.8-3 |
| com.databricks | jets3t | 0.7.1-0 |
| com.databricks.scalapb | compilerplugin_2.12 | 0.4.15-10 |
| com.databricks.scalapb | scalapb-runtime_2.12 | 0.4.15-10 |
| com.esotericsoftware | kryo-shaded | 4.0.2 |
| com.esotericsoftware | minlog | 1.3.0 |
| com.fasterxml | 同学 | 1.3.4 |
| com.fasterxml.jackson.core | Jackson注解 | 2.13.4 |
| com.fasterxml.jackson.core | jackson-core | 2.13.4 |
| com.fasterxml.jackson.core | jackson-databind | 2.13.4.2 |
| com.fasterxml.jackson.dataformat | jackson-dataformat-cbor（Jackson的CBOR数据格式） | 2.13.4 |
| com.fasterxml.jackson.datatype | jackson-datatype-joda（杰克逊数据类型-Joda） | 2.13.4 |
| com.fasterxml.jackson.datatype | jackson-datatype-jsr310 | 2.13.4 |
| com.fasterxml.jackson.module | jackson-module-paranamer | 2.13.4 |
| com.fasterxml.jackson.module | jackson-module-scala_2.12 | 2.13.4 |
| com.github.ben-manes.咖啡因 | 咖啡因 | 2.3.4 |
| com.github.fommil | jniloader | 1.1 |
| com.github.fommil.netlib | 核心 | 1.1.2 |
| com.github.fommil.netlib | native_ref-java | 1.1 |
| com.github.fommil.netlib | native_ref-java-natives | 1.1 |
| com.github.fommil.netlib | 原生系统-Java | 1.1 |
| com.github.fommil.netlib | native_system-Java原生代码 | 1.1 |
| com.github.fommil.netlib | netlib-native_ref-linux-x86_64-natives | 1.1 |
| com.github.fommil.netlib | netlib-native_system-linux-x86_64-natives | 1.1 |
| com.github.luben | zstd-jni | 1.5.2-1 |
| com.github.wendykierp | JTransforms | 3.1 |
| com.google.code.findbugs | jsr305 | 3.0.0 |
| com.google.code.gson | gson | 2.8.6 |
| com.google.crypto.tink | 丁克 | 1.6.1 |
| com.google.flatbuffers | flatbuffers-java | 1.12.0 |
| com.google.guava | 番石榴 | 15.0 |
| com.google.protobuf | protobuf-java | 2.6.1 |
| com.h2database | h2 | 2.0.204 |
| com.helger | 分析器 | 1.1.1 |
| com.jcraft | jsch | 0.1.50 |
| com.jolbox | bonecp | 0.8.0.RELEASE |
| com.lihaoyi | 源代码_2.12 | 0.1.9 |
| com.microsoft.azure | Azure 数据湖存储 SDK | 2.3.9 |
| com.ning | compress-lzf | 1.1 |
| com.sun.mail | javax.mail | 1.5.2 |
| com.tdunning | json | 1.8 |
| com.thoughtworks.paranamer | paranamer | 2.8 |
| com.trueaccord.lenses | 镜头_2.12 | 0.4.12 |
| com.twitter | chill-java | 0.10.0 |
| com.twitter | chill_2.12 | 0.10.0 |
| com.twitter | util-app_2.12 | 7.1.0 |
| com.twitter | util-core_2.12 | 7.1.0 |
| com.twitter | util-function_2.12 | 7.1.0 |
| com.twitter | util-jvm_2.12 | 7.1.0 |
| com.twitter | util-lint_2.12 | 7.1.0 |
| com.twitter | util-registry_2.12 | 7.1.0 |
| com.twitter | util-stats_2.12 | 7.1.0 |
| com.typesafe | 配置 | 1.2.1 |
| com.typesafe.scala-logging | scala-logging_2.12 | 3.7.2 |
| com.uber | h3 | 3.7.0 |
| com.univocity | univocity-parsers解析器 | 2.9.1 |
| com.zaxxer | HikariCP | 4.0.3 |
| commons-cli | commons-cli | 1.5.0 |
| commons-codec（公共编解码器） | commons-codec（公共编解码器） | 1.15 |
| commons-collections (通用集合库) | commons-collections (通用集合库) | 3.2.2 |
| commons-dbcp | commons-dbcp | 1.4 |
| 公共文件上传 | 公共文件上传 | 1.3.3 |
| commons-httpclient | commons-httpclient | 3.1 |
| commons-io | commons-io | 2.11.0 |
| commons-lang | commons-lang | 2.6 |
| commons-logging（日志库） | commons-logging（日志库） | 1.1.3 |
| commons-pool | commons-pool | 1.5.4 |
| dev.ludovic.netlib | arpack | 2.2.1 |
| dev.ludovic.netlib | BLAS | 2.2.1 |
| dev.ludovic.netlib | lapack | 2.2.1 |
| info.ganglia.gmetric4j | gmetric4j | 1.0.10 |
| io.airlift | 空气压缩机 | 0.21 |
| io.delta | delta-sharing-spark_2.12 | 0.5.2 |
| io.dropwizard.metrics | metrics-core | 4.1.1 |
| io.dropwizard.metrics | metrics-graphite | 4.1.1 |
| io.dropwizard.metrics | 指标-健康检查 | 4.1.1 |
| io.dropwizard.metrics | metrics-jetty9 | 4.1.1 |
| io.dropwizard.metrics | 指标-JMX | 4.1.1 |
| io.dropwizard.metrics | metrics-json | 4.1.1 |
| io.dropwizard.metrics | 指标-JVM | 4.1.1 |
| io.dropwizard.metrics | 指标-Servlets | 4.1.1 |
| io.netty | netty-all | 4.1.74.Final |
| io.netty | netty-buffer（Netty缓存） | 4.1.74.Final |
| io.netty | netty-codec | 4.1.74.Final |
| io.netty | Netty-Common（网络通用组件） | 4.1.74.Final |
| io.netty | netty-handler | 4.1.74.Final |
| io.netty | netty-resolver (Netty 解析器) | 4.1.74.Final |
| io.netty | Netty TcNative 类 | 2.0.48.Final |
| io.netty | netty-transport | 4.1.74.Final |
| io.netty | netty-transport-classes-epoll | 4.1.74.Final |
| io.netty | netty-transport-classes-kqueue | 4.1.74.Final |
| io.netty | netty-transport-native-epoll-linux-aarch_64 | 4.1.74.Final |
| io.netty | netty-transport-native-epoll-linux-x86_64 | 4.1.74.Final |
| io.netty | netty-transport-native-kqueue-osx-aarch_64 | 4.1.74.Final |
| io.netty | netty-transport-native-kqueue-osx-x86_64 | 4.1.74.Final |
| io.netty | Netty传输-本机-Unix-通用 | 4.1.74.Final |
| io.prometheus | simpleclient | 0.7.0 |
| io.prometheus | 简单客户端通用 | 0.7.0 |
| io.prometheus | simpleclient_dropwizard | 0.7.0 |
| io.prometheus | simpleclient_pushgateway | 0.7.0 |
| io.prometheus | simpleclient_servlet | 0.7.0 |
| io.prometheus.jmx | 收集器 | 0.12.0 |
| jakarta.annotation | jakarta.annotation-api | 1.3.5 |
| jakarta.servlet | jakarta.servlet-api | 4.0.3 |
| jakarta.validation | jakarta.validation-api | 2.0.2 |
| jakarta.ws.rs | jakarta.ws.rs-api | 2.1.6 |
| javax.activation | 激活 | 1.1.1 |
| javax.el | javax.el-api | 2.2.4 |
| javax.jdo | jdo-api | 3.0.1 |
| javax.transaction | jta | 1.1 |
| javax.transaction | 交易接口 (transaction-api) | 1.1 |
| javax.xml.bind | jaxb-api | 2.2.11 |
| javolution | javolution | 5.5.1 |
| jline | jline | 2.14.6 |
| joda-time | joda-time | 2.10.13 |
| net.java.dev.jna | jna | 5.8.0 |
| net.razorvine | 泡菜 | 1.2 |
| net.sf.jpam | 杰潘 | 1.1 |
| net.sf.opencsv | opencsv | 2.3 |
| net.sf.supercsv | super-csv | 2.2.0 |
| net.snowflake | snowflake-ingest-sdk | 0.9.6 |
| net.snowflake | snowflake-jdbc | 3.13.22 |
| net.sourceforge.f2j | arpack_combined_all | 0.1 |
| org.acplt.remotetea | remotetea-oncrpc（远程调用协议库） | 1.1.2 |
| org.antlr | ST4 | 4.0.4 |
| org.antlr | antlr-runtime | 3.5.2 |
| org.antlr | antlr4-runtime | 4.8 |
| org.antlr | stringtemplate (字符串模板) | 3.2.1 |
| org.apache.ant | 蚂蚁 | 1.9.2 |
| org.apache.ant | ant-jsch（Java的SSH库） | 1.9.2 |
| org.apache.ant | ant-launcher | 1.9.2 |
| org.apache.arrow | arrow-format | 7.0.0 |
| org.apache.arrow | 箭头内存核心 | 7.0.0 |
| org.apache.arrow | 箭头内存网状系统 | 7.0.0 |
| org.apache.arrow | 箭头向量 | 7.0.0 |
| org.apache.avro | avro | 1.11.0 |
| org.apache.avro | avro-ipc | 1.11.0 |
| org.apache.avro | avro-mapred | 1.11.0 |
| org.apache.commons | commons-collections4（通用集合库） | 4.4 |
| org.apache.commons | commons-compress | 1.21 |
| org.apache.commons | commons-crypto | 1.1.0 |
| org.apache.commons | commons-lang3 | 3.12.0 |
| org.apache.commons | commons-math3 | 3.6.1 |
| org.apache.commons | commons-text | 1.10.0 |
| org.apache.curator | 策展人与客户 | 2.13.0 |
| org.apache.curator | curator-framework | 2.13.0 |
| org.apache.curator | 策展人食谱 | 2.13.0 |
| org.apache.derby | 德比 | 10.14.2.0 |
| org.apache.hadoop | Hadoop客户端API | 3.3.4-databricks |
| org.apache.hadoop | Hadoop 客户端运行时 | 3.3.4 |
| org.apache.hive | hive-beeline | 2.3.9 |
| org.apache.hive | hive-cli | 2.3.9 |
| org.apache.hive | hive-jdbc | 2.3.9 |
| org.apache.hive | hive-llap-client | 2.3.9 |
| org.apache.hive | hive-llap-common | 2.3.9 |
| org.apache.hive | hive-serde | 2.3.9 |
| org.apache.hive | hive-垫片 | 2.3.9 |
| org.apache.hive | hive-storage-api | 2.7.2 |
| org.apache.hive.shims | hive-shims-0.23 | 2.3.9 |
| org.apache.hive.shims | hive-shims-common | 2.3.9 |
| org.apache.hive.shims | hive-shims-scheduler | 2.3.9 |
| org.apache.httpcomponents | httpclient | 4.5.13 |
| org.apache.httpcomponents | httpcore | 4.4.14 |
| org.apache.ivy | 常春藤 | 2.5.0 |
| org.apache.logging.log4j | log4j-1.2-api | 2.18.0 |
| org.apache.logging.log4j | log4j-api | 2.18.0 |
| org.apache.logging.log4j | log4j-core | 2.18.0 |
| org.apache.logging.log4j | log4j-slf4j-impl | 2.18.0 |
| org.apache.mesos | mesos-shaded-protobuf | 1.4.0 |
| \ org.apache.orc | orc-core | 1.7.6 |
| \ org.apache.orc | orc-mapreduce | 1.7.6 |
| \ org.apache.orc | orc-shims | 1.7.6 |
| org.apache.parquet | parquet-column | 1.12.3-databricks-0001 |
| org.apache.parquet | parquet-common | 1.12.3-databricks-0001 |
| org.apache.parquet | Parquet 编码 | 1.12.3-databricks-0001 |
| org.apache.parquet | Apache Parquet 格式结构 | 1.12.3-databricks-0001 |
| org.apache.parquet | parquet-hadoop | 1.12.3-databricks-0001 |
| org.apache.parquet | parquet-jackson | 1.12.3-databricks-0001 |
| org.apache.thrift | libfb303 | 0.9.3 |
| org.apache.thrift | libthrift | 0.12.0 |
| org.apache.xbean | xbean-asm9-shaded | 4.20 |
| org.apache.yetus | 听众批注 | 0.13.0 |
| org.apache.zookeeper | 动物园管理员 | 3.6.2 |
| org.apache.zookeeper | zookeeper-jute | 3.6.2 |
| org.checkerframework | checker-qual | 3.5.0 |
| org.codehaus.jackson | jackson-core-asl (Jackson核心库 - ASL) | 1.9.13 |
| org.codehaus.jackson | 杰克逊映射器-ASL | 1.9.13 |
| org.codehaus.janino | commons-compiler（通用编译器） | 3.0.16 |
| org.codehaus.janino | 雅尼诺 | 3.0.16 |
| org.datanucleus | datanucleus-api-jdo | 4.2.4 |
| org.datanucleus | datanucleus-core | 4.1.17 |
| org.datanucleus | datanucleus-rdbms | 4.1.19 |
| org.datanucleus | javax.jdo | 3.2.0-m3 |
| org.eclipse.jetty | jetty-client | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-continuation | 9.4.46.v20220331 |
| org.eclipse.jetty | Jetty-HTTP | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-io | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-jndi | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-plus | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-proxy | 9.4.46.v20220331 |
| org.eclipse.jetty | 码头安全 | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-server（Jetty服务器） | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-servlet | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-servlets | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-util（Jetty工具库） | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-util-ajax | 9.4.46.v20220331 |
| org.eclipse.jetty | Jetty 网页应用 | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-xml | 9.4.46.v20220331 |
| org.eclipse.jetty.websocket | WebSocket API | 9.4.46.v20220331 |
| org.eclipse.jetty.websocket | WebSocket客户端 | 9.4.46.v20220331 |
| org.eclipse.jetty.websocket | WebSocket-通用 | 9.4.46.v20220331 |
| org.eclipse.jetty.websocket | WebSocket服务器 | 9.4.46.v20220331 |
| org.eclipse.jetty.websocket | websocket-servlet | 9.4.46.v20220331 |
| org.fusesource.leveldbjni | leveldbjni-all | 1.8 |
| org.glassfish.hk2 | hk2-api | 2.6.1 |
| org.glassfish.hk2 | hk2-定位器 | 2.6.1 |
| org.glassfish.hk2 | hk2-utils | 2.6.1 |
| org.glassfish.hk2 | osgi-resource-locator (OSGi 资源定位器) | 1.0.3 |
| org.glassfish.hk2.external | aopalliance-repackaged | 2.6.1 |
| org.glassfish.hk2.external | jakarta.inject | 2.6.1 |
| org.glassfish.jersey.containers | jersey-container-servlet | 2.36 |
| org.glassfish.jersey.containers | Jersey容器Servlet核心 | 2.36 |
| org.glassfish.jersey.core | jersey-client | 2.36 |
| org.glassfish.jersey.core | jersey-common | 2.36 |
| org.glassfish.jersey.core | jersey-server | 2.36 |
| org.glassfish.jersey.inject | jersey-hk2 | 2.36 |
| org.hibernate.validator | Hibernate验证器 | 6.1.0.Final |
| org.javassist | javassist | 3.25.0-GA |
| org.jboss.logging | jboss 日志 | 3.3.2.Final |
| org.jdbi | jdbi | 2.63.1 |
| org.jetbrains | 注释 | 17.0.0 |
| org.joda | joda-convert | 1.7 |
| org.jodd | jodd-core | 3.5.2 |
| org.json4s | json4s-ast_2.12 | 3.7.0-M11 |
| org.json4s | json4s-core_2.12 | 3.7.0-M11 |
| org.json4s | json4s-jackson_2.12 | 3.7.0-M11 |
| org.json4s | json4s-scalap_2.12 | 3.7.0-M11 |
| org.lz4 | lz4-java | 1.8.0 |
| org.mariadb.jdbc | mariadb-java-client | 2.7.4 |
| org.mlflow | mlflow-spark | 1.27.0 |
| org.objenesis | objenesis | 2.5.1 |
| org.postgresql | postgresql | 42.3.3 |
| org.roaringbitmap | RoaringBitmap | 0.9.25 |
| org.roaringbitmap | 垫片 | 0.9.25 |
| .rocksdb | rocksdbjni | 6.24.2 |
| org.rosuda.REngine | REngine | 2.1.0 |
| org.scala-lang | scala-compiler_2.12 | 2.12.14 |
| org.scala-lang | scala-library_2.12 | 2.12.14 |
| org.scala-lang | scala-reflect_2.12 | 2.12.14 |
| org.scala-lang.modules | scala-collection-compat_2.12 | 2.4.3 |
| org.scala-lang.modules | scala-parser-combinators_2.12 | 1.1.2 |
| org.scala-lang.modules | scala-xml_2.12 | 1.2.0 |
| org.scala-sbt | 测试界面 | 1.0 |
| org.scalacheck | scalacheck_2.12 | 1.14.2 |
| org.scalactic | scalactic_2.12 | 3.0.8 |
| org.scalanlp | breeze-macros_2.12 | 1.2 |
| org.scalanlp | breeze_2.12 | 1.2 |
| org.scalatest | scalatest_2.12 | 3.0.8 |
| org.slf4j | jcl-over-slf4j | 1.7.36 |
| org.slf4j | jul-to-slf4j | 1.7.36 |
| org.slf4j | slf4j-api | 1.7.36 |
| org.spark-project.spark | 未使用 | 1.0.0 |
| org.threeten | threeten-extra | 1.5.0 |
| org.tukaani | xz | 1.8 |
| org.typelevel | algebra_2.12 | 2.0.1 |
| org.typelevel | cats-kernel_2.12 | 2.1.1 |
| org.typelevel | macro-compat_2.12 | 1.1.1 |
| org.typelevel | spire-macros_2.12 | 0.17.0 |
| org.typelevel | spire-platform_2.12 | 0.17.0 |
| org.typelevel | spire-util_2.12 | 0.17.0 |
| org.typelevel | spire_2.12 | 0.17.0 |
| org.wildfly.openssl | WildFly-OpenSSL | 1.0.7.最终版 |
| org.xerial | sqlite-jdbc | 3.8.11.2 |
| org.xerial.snappy | snappy-java | 1.1.8.4 |
| org.yaml | snakeyaml | 1.24 |
| oro | oro | 2.0.8 |
| pl.edu.icm | JLargeArrays | 1.5 |
| software.amazon.ion | ion-java | 1.0.2 |
| 斯塔克斯 | stax-api | 1.0.1 |