以下发行说明提供了由 Apache Spark 3.3.2 提供支持的 Databricks Runtime 12.2 LTS 的相关信息。
Databricks 于 2023 年 3 月发布了此版本。
注意
LTS 表示此版本受长期支持。 请参阅 Databricks Runtime LTS 版本生命周期。
提示
若要查看已终止支持 (EoS) 的 Databricks Runtime 版本的发行说明，请参阅终止支持 Databricks Runtime 发行说明。 EoS Databricks Runtime 版本已停用，可能不会更新。
行为更改
[中断性变更] 新的 Python 版本需要更新 Databricks Connect V1 Python 客户端
注意
后续更新将 Databricks Runtime 12.2 LTS 中的 Python 版本移动到 3.9.21。 3.9.21 版本不会引入任何行为更改。
为了应用所需的安全修补程序，Databricks Runtime 12.2 LTS 中的 Python 版本从 3.9.5 升级到 3.9.19。 由于这些更改可能会导致使用特定 PySpark 函数的客户端出现错误，因此将 Databricks Connect V1 for Python 与 Databricks Runtime 12.2 LTS 配合使用的任何客户端都必须更新为 Python 3.9.7 或更高版本。
新增功能和改进
- Python 已从 3.9.19 升级到 3.9.21
- Delta Lake 架构演变支持在合并语句中指定源列
- 使用共享访问模式的群集上支持结构化流式处理工作负载
- 预测性 I/O 的新功能
- 隐式横向列别名支持
- 新的 forEachBatch 功能
- 查询联合的标准化连接选项
- 用于数组管理的扩展 SQL 函数库
- 用于匿名化字符串的新 mask 函数
- 常见错误条件现在返回 SQLSTATE
- 在 FROM 子句中调用生成器函数
- 协议缓冲区支持已正式发布
- 笔记本变量和函数的转到定义
- 针对自动导入库的笔记本快速修复
- Bug 修复
Python 已从 3.9.19 升级到 3.9.21
Databricks Runtime 12.2 LTS 中的 Python 版本从 3.9.19 更新为 3.9.21。
Delta Lake 架构演变支持在合并语句中指定源列
在启用架构演化后，现在可以在合并语句的插入或更新操作中指定仅存在于源表中的列。 在 Databricks Runtime 12.1 及更低版本中，只能使用 INSERT * 或 UPDATE SET * 操作通过合并进行架构演变。 请参阅 Delta Lake 合并的自动架构演变。
使用共享访问模式的群集上支持结构化流式处理工作负载
现在，您可以使用结构化流式处理，通过标准访问模式与计算资源中的 Unity Catalog 进行交互。 某些限制适用。 请参阅 Unity Catalog 支持哪些结构化流式处理功能？。
预测性 I/O 的新功能
Photon 现在支持 Foreachbatch 接收器。 从源流式传输并合并到增量表或写入多个接收器的工作负载现在可以受益于 Photon 化的 Foreachbatch 接收器。
隐式横向列别名支持
Azure Databricks 现在默认支持隐式横向列别名。 现在可以重用先前在同一 SELECT 列表中指定的表达式。 例如，在给定 SELECT 1 AS a、a + 1 AS b 的情况下，a 中的 a + 1 可以解析为先前定义的 1 AS a。 请查看名称解析来更详细地了解解析顺序。
若要关闭此功能，可以将 spark.sql.lateralColumnAlias.enableImplicitResolution 设置为 false。
新的 forEachBatch 功能
使用 foreachBatch 写入到数据接收器时，现在支持 Photon。
查询联合的标准化连接选项
现在可以使用一组统一的选项（主机、端口、数据库、用户、密码）连接到查询联合中支持的数据源。
Port 是可选的，除非指定，否则为每个数据源使用默认端口号。
用于数组管理的扩展 SQL 函数库
现在可以使用 array_compact 从数组中删除所有 NULL 元素。 若要将元素追加到数组，请使用 array_append。
用于匿名化字符串的新 mask 函数
调用 mask 函数可以匿名化敏感字符串值。
常见错误条件现在返回 SQLSTATE
Databricks Runtime 现在包括的大多数错误条件记录了 SQLSTATE 值，这些值可用于以符合 SQL 标准的方式测试错误。
在 FROM 子句中调用生成器函数
现在可以在查询的常规 子句中调用表值生成器函数，例如 FROM。 这使得生成器函数调用与其他内置的和用户定义的表函数保持一致。
协议缓冲区支持已正式发布
可以使用 from_protobuf 和 to_protobuf 函数在二进制和结构类型之间交换数据。 请参阅读取和写入协议缓冲区。
笔记本变量和函数的转到定义
针对自动导入库的笔记本快速修复
Databricks Notebooks 现在提供针对自动导入库的快速修复功能。 如果忘记导入 pandas 之类的库，请将鼠标悬停在带下划线的语法警告上，然后单击“快速修复”，此功能要求在工作区中启用 Databricks 助手。
缺陷修复
- 改进了与
update、delete和merge命令相关的空事务的 Delta 提交行为一致性。 在WriteSerializable隔离级别，不会导致任何更改的命令现在会创建一个空提交。 在Serializable隔离级别，此类空事务现在不会创建提交。
行为更改
新的横向列别名功能的行为变更
新的横向列别名功能在名称解析期间针对以下情况引入了行为变更：
- 横向列别名现在优先于同名的关联引用。 例如，对于查询
SELECT (SELECT c2 FROM (SELECT 1 AS c1, c1 AS c2) WHERE c2 > 5) FROM VALUES(6) AS t(c1)，内部c1中的c1 AS c2在过去会解析为关联引用t.c1，但现在会更改为横向列别名1 AS c1。 该查询现在返回NULL。 - 横向列别名现在优先于同名的函数参数。 例如，对于函数
CREATE OR REPLACE TEMPORARY FUNCTION func(x INT) RETURNS TABLE (a INT, b INT, c DOUBLE) RETURN SELECT x + 1 AS x, x，函数主体中的x在过去会解析为函数参数 x，但现在会更改为函数主体中的横向列别名x + 1。 查询SELECT * FROM func(1)现在返回2, 2。 - 若要关闭横向列别名功能，请将
spark.sql.lateralColumnAlias.enableImplicitResolution设置为false。 有关详细信息，请参阅名称解析。
库升级
- 升级了 Python 库：
- filelock 已从 3.8.2 升级到 3.9.0
- joblib 已从 1.1.0 升级到 1.1.1
- platformdirs 已从 2.6.0 升级到 2.6.2
- whatthepatch 已从 1.0.3 升级到 1.0.4
- 升级了 R 库：
- class 已从 7.3-20 升级到 7.3-21
- codetools 已从 0.2-18 升级到 0.2-19
- MASS 已从 7.3-58 升级到 7.3-58.2
- nlme 已从 3.1-160 升级到 3.1-162
- Rserve 已从 1.8-11 升级到 1.8-12
- SparkR 已从 3.3.1 升级到 3.3.2
行为更改
- 在使用定义的位置创建架构时，用户现在需要对任何文件拥有
SELECT和MODIFY特权。
Apache Spark
Databricks Runtime 12.2 包含 Apache Spark 3.3.2。 此版本包括 Databricks Runtime 12.1 (EoS) 中包含的所有 Spark 修复和改进，以及对 Spark 进行的以下其他缺陷修复和改进：
- [SPARK-42416] [ SC-123205][sc-122851][SQL] 数据集操作不应重新解析已分析过的逻辑计划
- [SPARK-41848] 还原“[CHERRY-PICK][12.x][12.1][12.0][SC-120037][core] 修复使用 TaskResourceProfile 超计划的任务”
- [SPARK-42162] [ SC-122711][es-556261] 引入 MultiCommutativeOp 表达式作为内存优化，以规范化大型交换表达式树
- [SPARK-42406] [ SC-122998][protobuf][Cherry-pick] 修复 Protobuf 函数的递归深度设置
- [SPARK-42002] [SC-122476][connect][PYTHON] 实现 DataFrameWriterV2
- [SPARK-41716] [ SC-122545][connect] 将_catalog_to_pandas重命名为目录中的_execute_and_fetch
- [SPARK-41490] [SC-121774][sql] 为_LEGACY_ERROR_TEMP_2441分配名称
- [SPARK-41600] [ SC-122538][spark-41623][SPARK-41612][connect] 实现 Catalog.cacheTable，isCached 和 uncache
- [SPARK-42191] [ SC-121990][sql] 支持 udf “luhn_check”
- [SPARK-42253] [ SC-121976][python] 添加用于检测重复错误类的测试
- [SPARK-42268] [SC-122251][connect][PYTHON] 在 proto 中添加 UserDefinedType
-
[SPARK-42231] [SC-121841][sql] 转换为
MISSING_STATIC_PARTITION_COLUMNinternalError - [SPARK-42136] [SC-122554] 重构 BroadcastHashJoinExec 输出分区计算
-
[SPARK-42158] [SC-121610][sql] 将
_LEGACY_ERROR_TEMP_1003集成到FIELD_NOT_FOUND - [SPARK-42192] [12.x][sc-121820][PYTHON] 将 TypeError 从 pyspark/sql/dataframe.py 迁移到 PySparkTypeError
- [SPARK-35240] 还原“[SC-118242][ss] 使用 CheckpointFileManager ...
- [SPARK-41488] [ SC-121858][sql] 将名称分配给_LEGACY_ERROR_TEMP_1176（和 1177）
-
[SPARK-42232] [SC-122267][sql] 重命名错误类：
UNSUPPORTED_FEATURE.JDBC_TRANSACTION - [SPARK-42346] [ SC-122480][sql] 在子查询合并后重写非重复聚合
-
[SPARK-42306] [SC-122539][sql] 将
_LEGACY_ERROR_TEMP_1317集成到UNRESOLVED_COLUMN.WITH_SUGGESTION -
[SPARK-42234] [SC-122354][sql] 重命名错误类：
UNSUPPORTED_FEATURE.REPEATED_PIVOT -
[SPARK-42343] [SC-122437][core] 如果 SparkContext 停止，则
IOException忽略handleBlockRemovalFailure - [SPARK-41295] [ SC-122442][spark-41296][SQL] 重命名错误类
- [SPARK-42320] [ SC-122478][sql] 将名称分配给_LEGACY_ERROR_TEMP_2188
- [SPARK-42255] [SC-122483][sql] 指定名称给_LEGACY_ERROR_TEMP_2430
- [SPARK-42156] [ SC-121851][connect] SparkConnectClient 现在支持重试策略
- [SPARK-38728] [SC-116723][sql] 测试错误类：FAILED_RENAME_PATH
- [SPARK-40005] [12.X] PySpark 中的自包含示例
- [SPARK-39347] [ SC-122457][ss] 在事件时间 < 0 时修复时间窗口计算的 Bug
-
[SPARK-42336] [ SC-122458][core] 使用
getOrElse()而不是contains()ResourceAllocator - [SPARK-42125] [ SC-121827][connect][PYTHON] Spark Connect 中的 Pandas UDF
- [SPARK-42217] [ SC-122263][sql] 使用 Window 在查询中支持隐式横向列别名
- [SPARK-35240] [ SC-118242][ss] 使用 检查点文件管理器 进行检查点文件操作
- [SPARK-42294] [ SC-122337][sql] 在 V2 表的 DESCRIBE 输出中包含列默认值
- [SPARK-41979] 撤销“撤销‘[12.x][sc-121190][SQL] 为错误类中的错误消息添加缺失的句点’”。
- [SPARK-42286] [ SC-122336][sql] 回退到具有 CAST 的复杂 expr 的以前的 codegen 代码路径
- [SPARK-42275] [ SC-122249][connect][PYTHON] 避免在静态类型中使用内置列表和字典
- [SPARK-41985] [ SC-122172][sql] 整合更多列解析规则
- [SPARK-42126] [ SC-122330][python][CONNECT] 接受 Spark Connect 中 Python 标量 UDF 的 DDL 字符串中的返回类型
- [SPARK-42197] [SC-122328][sc-121514][CONNECT] 重用 JVM 初始化，并在远程本地模式中分别设置配置组
- [SPARK-41575] [SC-120118][sql] 将名称分配给_LEGACY_ERROR_TEMP_2054
- [SPARK-41985] 还原“[SC-122172][sql] 集中更多列解析规则”
- [SPARK-42123] [ SC-122234][sc-121453][SQL] 在 DESCRIBE 和 SHOW CREATE TABLE 输出中包含列默认值
- [SPARK-41985] [ SC-122172][sql] 整合更多列解析规则
- [SPARK-42284] [ SC-122233][connect] 确保在运行客户端测试之前生成连接服务器程序集 - SBT
-
[SPARK-42239] [SC-121790][sql] 集成
MUST_AGGREGATE_CORRELATED_SCALAR_SUBQUERY -
[SPARK-42278] [ SC-122170][sql] DS V2 下推支持自行编译
SortOrderJDBC 方言 - [SPARK-42259] [ SC-122168][sql] ResolveGroupingAnalytics 应处理 Python UDAF
- [SPARK-41979] 还原“[12.x][sc-121190][SQL] 为错误类中的错误消息添加缺少的点。
- [SPARK-42224] [12.x][sc-121708][CONNECT] 将 TypeError 迁移到 Spark Connect 函数的错误框架
- [SPARK-41712] [12.x][sc-121189][PYTHON][connect] 将 Spark Connect 错误迁移到 PySpark 错误框架。
- [SPARK-42119] [SC-121913][sc-121342][SQL] 添加内置表值函数 inline 和 inline_outer
- [SPARK-41489] [SC-121713][sql] 将名称分配给_LEGACY_ERROR_TEMP_2415
- [SPARK-42082] [12.x][sc-121163][SPARK-41598][python][CONNECT] 简介 PySparkValueError 和 PySparkTypeError
- [SPARK-42081] [ SC-121723][sql] 改进计划更改验证
- [SPARK-42225] [ 12.x][sc-121714][CONNECT] 添加 SparkConnectIllegalArgumentException 以精确处理 Spark Connect 错误。
-
[SPARK-42044] [12.x][sc-121280][SQL] 修复错误的提示信息
MUST_AGGREGATE_CORRELATED_SCALAR_SUBQUERY - [SPARK-42194] [12.x][sc-121712][PS] 使用 Series 创建数据帧时允许列参数。
- [SPARK-42078] [12.x][sc-120761][PYTHON] 将 JVM 引发的错误迁移到 PySparkException 中。
- [SPARK-42133] [12.x][sc-121250] 向 SparkConnect Scala 客户端添加基本数据集 API 方法
- [SPARK-41979] [ 12.x][sc-121190][SQL] 为错误类中的错误消息补上缺失的句点。
- [SPARK-42124] [12.x][sc-121420][PYTHON][connect] Spark Connect 中的标量内联 Python 用户定义函数 (UDF)
- [SPARK-42051] [ SC-121994][sql] 对 HiveGenericUDF 的 Codegen 支持
- [SPARK-42257] [ SC-121948][core] 删除未使用的变量外部排序器
- [SPARK-41735] [ SC-121771][sql] 使用 MINIMAL 而不是 STANDARD for SparkListenerSQLExecutionEnd
-
[SPARK-42236] [SC-121882][sql] 精简
NULLABLE_ARRAY_OR_MAP_ELEMENT -
[SPARK-42233] [SC-121775][sql] 改进错误信息
PIVOT_AFTER_GROUP_BY -
[SPARK-42229] [ SC-121856][core] 将
SparkCoreErrors迁移到错误类 - [SPARK-42163] [ SC-121839][sql] 修复不可折叠数组索引或映射键的模式修剪
- [SPARK-40711] [SC-119990][sql] 为窗口添加溢出大小指标
-
[SPARK-42023] [SC-121847][spark-42024][CONNECT][python] 使
createDataFrame支持AtomicType -> StringType强制转换 - [SPARK-42202] [ SC-121837][connect][Test] 改进端到端测试服务器的停止逻辑
- [SPARK-41167] [SC-117425][sql] 通过创建均衡的表达式树谓词来提高多重LIKE操作的性能
- [SPARK-41931] [ SC-121618][sql] 为不完整的复杂类型定义提供更好的错误消息
- [SPARK-36124] [ SC-121339][sc-110446][SQL] 支持通过 UNION 关联进行子查询
- [SPARK-42090] [SC-121290][3.3] 在 RetryingBlockTransferor 中引入 sasl 重试计数
-
[SPARK-42157] [SC-121264][core]
spark.scheduler.mode=FAIR应提供公平调度器 - [SPARK-41572] [SC-120772][sql] 将名称分配给_LEGACY_ERROR_TEMP_2149
-
[SPARK-41983] [ SC-1212224][sql] 重命名和改进错误消息
NULL_COMPARISON_RESULT -
[SPARK-41976] [SC-121024][sql] 改进针对
INDEX_NOT_FOUND的错误消息 - [SPARK-41994] [ SC-121210][sc-120573] 分配 SQLSTATE （1/2）
- [SPARK-41415] [SC-121117][3.3] SASL 请求重试
- [SPARK-38591] [SC-121018][sql] 添加 flatMapSortedGroups 和 cogroupSorted
-
[SPARK-41975] [ SC-120767][sql] 改进错误消息
INDEX_ALREADY_EXISTS - [SPARK-42056] [ SC-121158][sql][PROTOBUF] 为 Protobuf 函数添加缺少的选项
-
[SPARK-41984] [ SC-120769][sql] 重命名并改进错误信息
RESET_PERMISSION_TO_ORIGINAL - [SPARK-41948] [ SC-121196][sql] 修复 NPE 错误，错误类：CANNOT_PARSE_JSON_FIELD
-
[SPARK-41772] [SC-121176][connect][PYTHON] 修正了在
withField的文档测试中错误的列名。 -
[SPARK-41283] [SC-121175][connect][PYTHON] 将
array_append添加到 Connect - [SPARK-41960] [SC-120773][sql] 将名称分配给 _LEGACY_ERROR_TEMP_1056
- [SPARK-42134] [ SC-121116][sql] 修复 getPartitionFiltersAndDataFilters（） 来处理没有引用属性的筛选器
-
[SPARK-42096] [ SC-121012][connect] 对
connect模块进行一些代码清理 -
[SPARK-42099] [ SC-121114][spark-41845][CONNECT][python] 修复
count(*)和count(col(*)) - [SPARK-42045] [SC-120958][sc-120450][SQL] ANSI SQL 模式：整数溢出时，Round/Bround 应返回错误
- [SPARK-42043] [ SC-120968][connect] Scala 客户端测试结果与端到端测试
- [SPARK-41884] [ SC-121022][connect] 支持将简单元组作为嵌套行使用
-
[SPARK-42112] [ SC-121011][sql][SS] 在关闭函数之前
ContinuousWriteRDD#compute进行空值检查dataWriter - [SPARK-42077] [ SC-120553][connect][PYTHON] 字面值应在不支持的 DataType 中引发 TypeError
-
[SPARK-42108] [SC-120898][sql] 使分析器将
Count(*)转换为Count(1) -
[SPARK-41666] [SC-120928][sc-119009][PYTHON] 支持参数化 SQL，由
sql()提供支持 - [SPARK-40599] [ SC-120930][sql] 放宽 multiTransform 规则类型，允许替代项为任何类型的 Seq
-
[SPARK-41574] [ SC-120771][sql] 更新
_LEGACY_ERROR_TEMP_2009为INTERNAL_ERROR. - [SPARK-41579] [SC-120770][sql] 为_LEGACY_ERROR_TEMP_1249指派名称
-
[SPARK-41974] [SC-120766][sql] 将
INCORRECT_END_OFFSET转换为INTERNAL_ERROR - [SPARK-41530] [ SC-120916][sc-118513][CORE] 将 MedianHeap 重命名为 PercentileMap 并支持百分位
- [SPARK-41757] [ SC-120608][spark-41901][CONNECT] 修复 Column 类的字符串表示形式
- [SPARK-42084] [ SC-120775][sql] 避免泄露限定的访问限制
- [SPARK-41973] [SC-120765][sql] 为_LEGACY_ERROR_TEMP_1311分配名称
- [SPARK-42039] [SC-120655][sql] SPJ：删除 KeyGroupedPartitioning#partitionValuesOpt 中的选项
-
[SPARK-42079] [SC-120712][connect][PYTHON] 重命名 proto 消息
toDFwithColumnsRenamed - [SPARK-42089] [ SC-120605][connect][PYTHON] 修复嵌套 lambda 函数中的变量名称问题
- [SPARK-41982] [ SC-120604][sql] 类型字符串的分区不应被视为数值类型
- [SPARK-40599] [ SC-120620][sql] 将 multiTransform 方法添加到 TreeNode 以生成替代项
-
[SPARK-42085] [ SC-120556][connect][PYTHON] 使
from_arrow_schema支持嵌套类型 - [SPARK-42057] [ SC-120507][sql][PROTOBUF] 修复错误报告中的异常处理方法。
-
[SPARK-41586] [12.x][所有测试][SC-120544][python] 介绍
pyspark.errorsPySpark 的错误类。 -
[SPARK-41903] [ SC-120543][connect][PYTHON]
Literal应支持 1-dim ndarray -
[SPARK-42021] [SC-120584][connect][PYTHON] 使
createDataFramearray.array得到支持 - [SPARK-41896] [ SC-120506][sql] 按行索引筛选返回空结果
- [SPARK-41162] [ SC-119742][sql] 修复了使用聚合进行自联接的反联接和半联接
- [SPARK-41961] [ SC-120501][sql] 支持带有 LATERAL 的表值函数
- [SPARK-41752] [ SC-120550][sql][UI] 将嵌套执行项汇集到根执行项之下
- [SPARK-42047] [ SC-120586][spark-41900][CONNECT][python][12.X] 文本应支持 Numpy 数据类型
- [SPARK-42028] [ SC-120344][connect][PYTHON] 截断纳秒时间戳
- [SPARK-42011] [SC-120534][connect][PYTHON] 实现 DataFrameReader.csv
-
[SPARK-41990] [SC-120532][sql] 在 V1 到 V2 筛选器转换中使用
FieldReference.column而不是apply - [SPARK-39217] [ SC-120446][sql] 使 DPP 支持对包含 Union 的部分进行裁剪
-
[SPARK-42076] [SC-120551][connect][PYTHON] 将数据转换为
arrow -> rowsconversion.py -
[SPARK-42074] [SC-120540][sql] 在
KryoSerializer中启用TPCDSQueryBenchmark以强制实施 SQL 类注册 - [SPARK-42012] [ SC-120517][connect][PYTHON] 实现 DataFrameReader.orc
-
[SPARK-41832] [ SC-120513][connect][PYTHON] 修复
DataFrame.unionByName，添加“allow_missing_columns” -
[SPARK-38651] [SC-120514] [SQL] 添加
spark.sql.legacy.allowEmptySchemaWrite -
[SPARK-41991] [SC-120406][sql]
CheckOverflowInTableInsert应接受 ExpressionProxy 作为子级 - [SPARK-41232] [ SC-120073][sql][PYTHON] 添加“array_append”函数
- [SPARK-42041] [ SC-120512][spark-42013][CONNECT][python] DataFrameReader 应支持路径列表
-
[SPARK-42071] [SC-120533][core] 注册
scala.math.Ordering$Reverse到 KyroSerializer - [SPARK-41986] [ SC-120429][sql] 在 SinglePartition 上引入随机显示
- [SPARK-42016] [SC-120428][connect][PYTHON] 启用与嵌套列相关的测试
-
[SPARK-42042] [ SC-120427][connect][PYTHON]
DataFrameReader应支持 StructType 架构 - [SPARK-42031] [ SC-120389][core][SQL] 清理那些无需重写的方法
-
[SPARK-41746] [SC-120463][spark-41838][SPARK-41837][spark-41835][SPARK-41836][spark-41847][CONNECT][python] 使
createDataFrame(rows/lists/tuples/dicts)支持嵌套类型 - [SPARK-41437] [ SC-117601][sql][ALL TESTS] 不要对适用于 v1 写回回退机制的输入查询进行两次优化
-
[SPARK-41840] [ SC-119719][connect][PYTHON] 添加缺少的别名
groupby - [SPARK-41846] [ SC-119717][connect][PYTHON] 为窗口函数启用文档测试
- [SPARK-41914][SC-120094][sql] FileFormatWriter 在访问“outputOrdering”之前实现 AQE 计划
- [SPARK-41805] [ SC-119992][sql] 在 WindowSpecDefinition 中重复使用表达式
- [SPARK-41977] [ SC-120269][spark-41978][CONNECT] SparkSession.range 以浮点作为参数
-
[SPARK-42029] [SC-120336][connect] 在
connect-common添加 Guava Shading 规则以避免启动失败 - [SPARK-41989] [ SC-120334][python] 避免破坏 pyspark.pandas 的日志记录配置
- [SPARK-42003] [ SC-120331][sql] 减少 ResolveGroupByAll 中的重复代码
- [SPARK-41635] [ SC-120313][sql] 修复“按全部分组”错误报告问题
- [SPARK-41047] [SC-120291][sql] 改进关于取整功能的文档
- [SPARK-41822] [ SC-120122][connect] 为 Scala/JVM 客户端设置 gRPC 连接
-
[SPARK-41879] [ SC-120264][connect][PYTHON] 使
DataFrame.collect支持嵌套类型 -
[SPARK-41887] [SC-120268][connect][PYTHON] 使
DataFrame.hint能够接受列表类型参数 - [SPARK-41964] [ SC-120210][connect][PYTHON] 添加不受支持的 IO 函数列表
- [SPARK-41595] [ SC-120097][sql] 支持 FROM 子句中的生成器函数展开/展开外部
-
[SPARK-41957] [ SC-120121][connect][PYTHON] 启用
DataFrame.hint的 doctest -
[SPARK-41886] [ SC-120141][connect][PYTHON]
DataFrame.intersectdoctest 输出的顺序不同 - [SPARK-41442] [ SC-117795][sql][ALL TESTS] 仅当与有效指标合并时更新 SQLMetric 值
- [SPARK-41944] [ SC-120046][connect] 在本地远程模式处于打开状态时传递配置
-
[SPARK-41708] [ SC-119838][sql] 将 v1write 信息拉取到
WriteFiles - [SPARK-41780] [SC-120000][sql] 应在参数无效时抛出 INVALID_PARAMETER_VALUE PATTERN
- [SPARK-41889] [ SC-119975][sql] 将根本原因附加到 invalidPatternError 和重构错误类INVALID_PARAMETER_VALUE
- [SPARK-41860] [ SC-120028][sql] 生成 AvroScanBuilder 和 JsonScanBuilder 事例类
- [SPARK-41945] [ SC-120010][connect][PYTHON] Python： 连接客户端丢失的列数据与 pyarrow。Table.to_pylist
- [SPARK-41690] [ SC-119102][sc-119087][SQL][connect] 不可知编码器
- [SPARK-41354] [SC-119995][connect][PYTHON] 实现 RepartitionByExpression
-
[SPARK-41581] [SC-119997][sql] 更新
_LEGACY_ERROR_TEMP_1230为INTERNAL_ERROR -
[SPARK-41928] [ SC-119972][connect][PYTHON] 添加不支持列表
functions - [SPARK-41933] [ SC-119980][connect] 提供自动启动服务器的本地模式
- [SPARK-41899] [ SC-119971][connect][PYTHON] createDataFrame' 应尊重用户提供的 DDL 架构
-
[SPARK-41936] [ SC-119978][connect][PYTHON] 复用
withMetadatawithColumnsproto - [SPARK-41898] [SC-119931][connect][PYTHON] Window.rowsBetween，Window.rangeBetween 参数类型检查与 pyspark 的一致性
-
[SPARK-41939] [SC-119977][connect][PYTHON] 添加不受支持的函数列表
catalog -
[SPARK-41924] [ SC-119946][connect][PYTHON] 使结构类型支持元数据并实现
DataFrame.withMetadata -
[SPARK-41934] [ SC-119967][connect][PYTHON] 添加不受支持的函数列表
session -
[SPARK-41875] [SC-119969][connect][PYTHON] 添加测试用例
Dataset.to() - [SPARK-41824] [ SC-119970][connect][PYTHON] 忽略用于连接解释的doctest
-
[SPARK-41880] [ SC-119959][connect][PYTHON] 使函数
from_json接受非文本架构 -
[SPARK-41927] [ SC-119952][connect][PYTHON] 添加不受支持的列表
GroupedData -
[SPARK-41929] [SC-119949][connect][PYTHON] 添加函数
array_compact -
[SPARK-41827] [ SC-119841][connect][PYTHON] 使
GroupBy能够接受列清单 -
[SPARK-41925] [SC-119905][sql] 默认情况下启用
spark.sql.orc.enableNestedColumnVectorizedReader -
[SPARK-41831] [ SC-119853][connect][PYTHON] 使
DataFrame.select接受列列表 -
[SPARK-41455] [ SC-119858][connect][PYTHON] 去除
DataFrame.collect时区信息 -
[SPARK-41923] [SC-119861][connect][PYTHON] 将
DataFrame.writeTo添加到不支持的列表中 - [SPARK-41912] [ SC-119837][sql] 子查询不应验证 CTE
-
[SPARK-41828] [ SC-119832][connect][PYTHON][12.x] 使
createDataFrame能够支持空数据帧 - [SPARK-41905] [ SC-119848][connect] 支持在切片中将名称作为字符串
- [SPARK-41869] [ SC-119845][connect] 禁止在 dropDuplicates 中使用单个字符串
-
[SPARK-41830] [SC-119840][connect][PYTHON] 使
DataFrame.sample接受与 PySpark 相同的参数 - [SPARK-41849] [SC-119835][connect] 实现 DataFrameReader.text
- [SPARK-41861] [ SC-119834][sql] 让 v2 ScanBuilders 的 build() 返回特定类型的扫描
-
[SPARK-41825] [SC-119710][connect][PYTHON] 启用与文档测试相关的测试
DataFrame.show -
[SPARK-41855] [ SC-119804][sc-119410][SPARK-41814][spark-41851][SPARK-41852][connect][PYTHON][12.x] 使
createDataFrame能够正确处理 None/NaN -
[SPARK-41833] [ SC-119685][spark-41881][SPARK-41815][connect][PYTHON] 使
DataFrame.collect句柄无/NaN/Array/Binary porperly - [SPARK-39318] [ SC-119713][sql] 删除 tpch-plan-stability WithStats 黄金文件
- [SPARK-41791] [SC-119745] 添加新的文件源元数据列类型
- [SPARK-41790] [ SC-119729][sql] 正确设置 TRANSFORM 读取器和编写器的格式
-
[SPARK-41829] [ SC-119725][connect][PYTHON] 在
Sort和sortWithinPartitions中添加缺少的排序参数。 - [SPARK-41576] [SC-119718][sql] 将名称分配给_LEGACY_ERROR_TEMP_2051
- [SPARK-41821][SC-119716][connect][PYTHON] 修复 DataFrame.describe 的文档测试
- [SPARK-41871] [ SC-119714][connect] DataFrame 提示参数可以是 str、float 或 int
- [SPARK-41720] [ SC-119076][sql] 将 UnresolvedFunc 重命名为 UnresolvedFunctionName
- [SPARK-41573] [SC-119567][sql] 将名称分配给 _LEGACY_ERROR_TEMP_2136
- [SPARK-41862] [ SC-119492][sql] 修复与Orc读取器中默认值相关的正确性问题
-
[SPARK-41582] [ SC-119482][sc-118701][CORE][sql] 重用
INVALID_TYPED_LITERAL而不是_LEGACY_ERROR_TEMP_0022
维护更新
请参阅 Databricks Runtime 12.2 维护更新。
系统环境
-
作系统：Ubuntu 20.04.5 LTS
- 注意：这是 Databricks Runtime 容器使用的 Ubuntu 版本。 Databricks Runtime 容器在云提供程序的虚拟机上运行，该虚拟机可能使用不同的 Ubuntu 版本或 Linux 分发版。
- Java：Zulu 8.68.0.21-CA-linux64
- Scala：2.12.15
- Python：3.9.21
- R：4.2.2
- Delta Lake：2.2.0
已安装的 Python 库
| 库 | 版本 | 库 | 版本 | 库 | 版本 |
|---|---|---|---|---|---|
| argon2-cffi | 21.3.0 | argon2-cffi-bindings | 21.2.0 | asttokens | 2.0.5 |
| 属性 | 21.4.0 | 回调 | 0.2.0 | backports.entry-points-selectable | 1.2.0 |
| beautifulsoup4 | 4.11.1 | 黑色 | 22.3.0 | 漂白剂 | 4.1.0 |
| boto3 | 1.21.32 | botocore | 1.24.32 | certifi | 2021.10.8 |
| cffi | 1.15.0 | chardet | 4.0.0 | charset-normalizer (字符集正常化工具) | 2.0.4 |
| 单击 | 8.0.4 | 密码系统 | 3.4.8 | 骑行者 | 0.11.0 |
| Cython | 0.29.28 | dbu-python | 1.2.16 | debugpy | 1.5.1 |
| 装饰师 | 5.1.1 | defusedxml | 0.7.1 | distlib | 0.3.6 |
| 从文档字符串到Markdown | 0.11 | 入口点 | 0.4 | 执行 | 0.8.3 |
| 各个方面概述 | 1.0.0 | fastjsonschema | 2.16.2 | 文件锁 (filelock) | 3.9.0 |
| fonttools（字体工具） | 4.25.0 | IDNA | 3.3 | ipykernel | 6.15.3 |
| ipython | 8.5.0 | ipython-genutils（IPython通用工具） | 0.2.0 | ipywidgets | 7.7.2 |
| jedi | 0.18.1 | Jinja2 | 2.11.3 | jmespath | 0.10.0 |
| joblib | 1.1.1 | jsonschema | 4.4.0 | Jupyter客户端 | 6.1.12 |
| jupyter_core（Jupyter核心） | 4.11.2 | jupyterlab-pygments | 0.1.2 | jupyterlab-widgets | 1.0.0 |
| kiwisolver | 1.3.2 | MarkupSafe | 2.0.1 | matplotlib | 3.5.1 |
| matplotlib-inline | 0.1.2 | 麦卡贝 | 0.7.0 | mistune | 0.8.4 |
| mypy-extensions | 0.4.3 | nbclient | 0.5.13 | nbconvert | 6.4.4 |
| nbformat | 5.3.0 | nest-asyncio | 1.5.5 | nodeenv | 1.7.0 |
| 笔记本 | 6.4.8 | numpy | 1.21.5 | 打包 | 21.3 |
| 熊猫 | 1.4.2 | pandocfilters | 1.5.0 | 帕尔索 | 0.8.3 |
| pathspec | 0.9.0 | 替罪羊 | 0.5.2 | pexpect | 4.8.0 |
| pickleshare | 0.7.5 | 枕头 | 9.0.1 | 果仁 | 21.2.4 |
| platformdirs | 2.6.2 | plotly | 5.6.0 | Pluggy (Python库) | 1.0.0 |
| prometheus-client | 0.13.1 | prompt-toolkit | 3.0.20 | protobuf | 3.19.4 |
| psutil | 5.8.0 | psycopg2 | 2.9.3 | ptyprocess | 0.7.0 |
| pure-eval | 0.2.2 | pyarrow | 7.0.0 | Python代码解析器 | 2.21 |
| pyflakes | 2.5.0 | Pygments | 2.11.2 | PyGObject | 3.36.0 |
| pyodbc | 4.0.32 | pyparsing | 3.0.4 | pyright | 1.1.283 |
| pyrsistent（持久性，类似于 persistent 的 Python 包） | 0.18.0 | python-dateutil | 2.8.2 | python-lsp-jsonrpc | 1.0.0 |
| python-lsp-server | 1.6.0 | pytz | 2021.3 | pyzmq | 22.3.0 |
| 请求 | 2.27.1 | requests-unixsocket | 0.2.0 | 绳子 | 0.22.0 |
| s3transfer | 0.5.0 | scikit-learn | 1.0.2 | scipy | 1.7.3 |
| seaborn | 0.11.2 | Send2Trash | 1.8.0 | setuptools | 61.2.0 |
| 6 | 1.16.0 | 汤滤器 | 2.3.1 | ssh-import-id | 5.10 |
| 堆栈数据 | 0.2.0 | statsmodels | 0.13.2 | 毅力 | 8.0.1 |
| 完成 | 0.13.1 | 测试路径 | 0.5.0 | threadpoolctl | 2.2.0 |
| tokenize-rt | 4.2.1 | tomli | 1.2.2 | 龙卷风 | 6.1 |
| Traitlets | 5.1.1 | 输入扩展 (typing_extensions) | 4.1.1 | ujson | 5.1.0 |
| 无人参与升级 | 0.1 | urllib3 | 1.26.9 | virtualenv | 20.8.0 |
| wcwidth | 0.2.5 | Web编码 | 0.5.1 | whatthepatch | 1.0.4 |
| 轮子 | 0.37.0 | widgetsnbextension | 3.6.1 | yapf | 0.31.0 |
已安装的 R 库
R 库安装自 2022-11-11 版本中的 Microsoft CRAN 快照。 快照不再可用。
| 库 | 版本 | 库 | 版本 | 库 | 版本 |
|---|---|---|---|---|---|
| 箭头 | 10.0.0 | askpass | 1.1 | assertthat | 0.2.1 |
| 回移补丁 | 1.4.1 | 基础 | 4.2.2 | base64enc | 0.1-3 |
| 位 | 4.0.4 | bit64 | 4.0.5 | 团状物 | 1.2.3 |
| 启动 | 1.3-28 | 酿造/冲泡 | 1.0-8 | 活力 | 1.1.3 |
| 扫帚 | 1.0.1 | bslib | 0.4.1 | 卡齐姆 | 1.0.6 |
| 调用方 | 3.7.3 | 插入符号 | 6.0-93 | cellranger (细胞测序工具) | 1.1.0 |
| chron | 2.3-58 | 班级 | 7.3-21 | cli | 3.4.1 |
| 剪辑器 | 0.8.0 | 时钟 | 0.6.1 | 集群 | 2.1.4 |
| codetools | 0.2至19 | 色彩空间 | 2.0-3 | commonmark | 1.8.1 |
| 编译器 | 4.2.2 | 配置 | 0.3.1 | cpp11 | 0.4.3 |
| 蜡笔 | 1.5.2 | 凭据 | 1.3.2 | 卷曲 | 4.3.3 |
| 数据表 (data.table) | 1.14.4 | 数据集 | 4.2.2 | DBI | 1.1.3 |
| dbplyr | 2.2.1 | desc | 1.4.2 | devtools | 2.4.5 |
| diffobj | 0.3.5 | 摘要 | 0.6.30 | 向下照明 | 0.4.2 |
| dplyr | 1.0.10 | dtplyr | 1.2.2 | e1071 | 1.7-12 |
| 省略号 | 0.3.2 | 评估 | 0.18 | fansi | 1.0.3 |
| 颜色 | 2.1.1 | 快速映射 | 1.1.0 | fontawesome | 0.4.0 |
| 猫咪 | 0.5.2 | foreach | 1.5.2 | 外国 | 0.8-82 |
| 锻造 | 0.2.0 | 文件系统 (if fs stands for "file system") | 1.5.2 | 未来 | 1.29.0 |
| future.apply | 1.10.0 | 漱口 | 1.2.1 | 泛 型 | 0.1.3 |
| 格尔特 | 1.9.1 | ggplot2 | 3.4.0 | gh | 1.3.1 |
| gitcreds | 0.1.2 | glmnet | 4.1-4 | 全局变量 | 0.16.1 |
| 胶水 | 1.6.2 | googledrive | 2.0.0 | googlesheets4 | 1.0.1 |
| 高尔 | 1.0.0 | 图形 | 4.2.2 | grDevices | 4.2.2 |
| “业务流程参数” 网格 | 4.2.2 | gridExtra | 2.3 | gsubfn | 0.7 |
| gtable | 0.3.1 | 安全帽 | 1.2.0 | 避风港 | 2.5.1 |
| 更高 | 0.9 | 赫姆斯 | 1.1.2 | HTML工具 | 0.5.3 |
| HTML小插件 | 1.5.4 | httpuv | 1.6.6 | httr | 1.4.4 |
| ids | 1.0.1 | ini | 0.3.1 | ipred | 0.9-13 |
| isoband | 0.2.6 | 迭代器 | 1.0.14 | jquerylib | 0.1.4 |
| jsonlite | 1.8.3 | KernSmooth | 2.23-20 | 针织器 | 1.40 |
| 标记 | 0.4.2 | 稍后 | 1.3.0 | 格子 | 0.20-45 |
| 熔岩 | 1.7.0 | 生命周期 | 1.0.3 | listenv | 0.8.0 |
| lubridate | 1.9.0 | magrittr | 2.0.3 | markdown | 1.3 |
| 质量 | 7.3-58.2 | 矩阵 | 1.5-1 | 缓存 | 2.0.1 |
| 方法 | 4.2.2 | mgcv | 1.8-41 | 默剧 | 0.12 |
| 迷你用户界面 | 0.1.1.1 | ModelMetrics | 1.2.2.2 | modelr | 0.1.9 |
| 蒙塞尔 | 0.5.0 | nlme | 3.1-162 | nnet | 7.3-18 |
| numDeriv | 2016年8月至1月1日 | openssl（开放SSL） | 2.0.4 | 平行 | 4.2.2 |
| 并行 | 1.32.1 | 柱子 | 1.8.1 | pkgbuild (软件包构建工具) | 1.3.1 |
| pkgconfig | 2.0.3 | pkgdown | 2.0.6 | pkgload | 1.3.1 |
| 普洛格 | 0.2.0 | 普莱尔 | 1.8.7 | 赞美 | 1.0.0 |
| prettyunits | 1.1.1 | pROC | 1.18.0 | processx | 3.8.0 |
| prodlim | 2019.11.13 | profvis | 0.3.7 | 进度 | 1.2.2 |
| progressr | 0.11.0 | 承诺 | 1.2.0.1 | 原型 (proto) | 1.0.0 |
| 代理服务器 | 0.4-27 | 附注 (ps) | 1.7.2 | purrr | 0.3.5 |
| r2d3 | 0.2.6 | R6 | 2.5.1 | ragg | 1.2.4 |
| 随机森林 (randomForest) | 4.7-1.1 | rappdirs | 0.3.3 | rcmdcheck | 1.4.0 |
| RColorBrewer | 1.1-3 | Rcpp | 1.0.9 | RcppEigen | 0.3.3.9.3 |
| readr（阅读器） | 2.1.3 | readxl | 1.4.1 | 食谱 | 1.0.3 |
| 重赛 | 1.0.1 | rematch2 | 2.1.2 | 遥控器 | 2.4.2 |
| 可复现示例 | 2.0.2 | reshape2 | 1.4.4 | rlang | 1.0.6 |
| rmarkdown（R语言动态文档生成工具） | 2.18 | RODBC | 1.3-19 | roxygen2 | 7.2.1 |
| rpart | 4.1.19 | rprojroot | 2.0.3 | Rserve | 1.8-12 |
| RSQLite | 2.2.18 | rstudioapi | 0.14 | rversions | 2.1.2 |
| rvest | 1.0.3 | sass | 0.4.2 | 磅秤 | 1.2.1 |
| selectr | 0.4-2 | 会话信息 | 1.2.2 | 形状 | 1.4.6 |
| 光亮 | 1.7.3 | sourcetools | 0.1.7 | sparklyr | 1.7.8 |
| SparkR | 3.3.2 | 空间 | 7.3-11 | 样 条 | 4.2.2 |
| sqldf（R环境中的数据库操作软件包） | 0.4-11 | SQUAREM | 2021年1月 | 统计数据 | 4.2.2 |
| 统计数据4 | 4.2.2 | 字符串 | 1.7.8 | stringr | 1.4.1 |
| 生存 | 3.4-0 | sys | 3.4.1 | systemfonts | 1.0.4 |
| tcltk | 4.2.2 | testthat | 3.1.5 | 文本整形 | 0.3.6 |
| tibble | 3.1.8 | tidyr | 1.2.1 | tidyselect | 1.2.0 |
| tidyverse（数据分析工具包） | 1.3.2 | 时间变化 | 0.1.1 | 时间日期 | 4021.106 |
| tinytex | 0.42 | 工具 | 4.2.2 | tzdb | 0.3.0 |
| URL检查器 | 1.0.1 | usethis | 2.1.6 | utf8 | 1.2.2 |
| 实用工具 | 4.2.2 | UUID（通用唯一识别码） | 1.1-0 | vctrs | 0.5.0 |
| viridisLite | 0.4.1 | vroom | 1.6.0 | 瓦尔多 | 0.4.0 |
| 晶 须 | 0.4 | 无改动（具体含义和背景需要更多信息） | 2.5.0 | xfun | 0.34 |
| xml2 | 1.3.3 | xopen | 1.0.0 | xtable | 1.8-4 |
| yaml | 2.3.6 | 压缩包 | 2.2.2 |
已安装的 Java 库和 Scala 库（Scala 2.12 群集版本）
| 组 ID | 项目 ID | 版本 |
|---|---|---|
| antlr | antlr | 2.7.7 |
| com.amazonaws | Amazon Kinesis 客户端 | 1.12.0 |
| com.amazonaws | AWS Java SDK 自动扩展 | 1.12.189 |
| com.amazonaws | aws-java-sdk-cloudformation | 1.12.189 |
| com.amazonaws | AWS Java SDK CloudFront | 1.12.189 |
| com.amazonaws | AWS-Java-SDK-云HSM | 1.12.189 |
| com.amazonaws | AWS Java SDK 云搜索 | 1.12.189 |
| com.amazonaws | aws-java-sdk-cloudtrail | 1.12.189 |
| com.amazonaws | aws-java-sdk-cloudwatch | 1.12.189 |
| com.amazonaws | aws-java-sdk-cloudwatchmetrics | 1.12.189 |
| com.amazonaws | AWS Java SDK CodeDeploy（AWS Java 软件开发工具包 CodeDeploy） | 1.12.189 |
| com.amazonaws | aws-java-sdk-cognitoidentity | 1.12.189 |
| com.amazonaws | aws-java-sdk-cognitosync | 1.12.189 |
| com.amazonaws | aws-java-sdk-config（AWS Java SDK 配置） | 1.12.189 |
| com.amazonaws | aws-java-sdk-core (AWS Java软件开发工具包核心) | 1.12.189 |
| com.amazonaws | aws-java-sdk-datapipeline | 1.12.189 |
| com.amazonaws | AWS Java SDK Direct Connect（直连） | 1.12.189 |
| com.amazonaws | aws-java-sdk-directory | 1.12.189 |
| com.amazonaws | aws-java-sdk-dynamodb | 1.12.189 |
| com.amazonaws | aws-java-sdk-ec2 | 1.12.189 |
| com.amazonaws | aws-java-sdk-ecs | 1.12.189 |
| com.amazonaws | aws-java-sdk-efs | 1.12.189 |
| com.amazonaws | aws-java-sdk-elasticache | 1.12.189 |
| com.amazonaws | aws-java-sdk-elasticbeanstalk（AWS Java 开发工具包 - Elastic Beanstalk） | 1.12.189 |
| com.amazonaws | aws-java-sdk-弹性负载均衡 | 1.12.189 |
| com.amazonaws | aws-java-sdk-elastictranscoder（AWS Java SDK弹性转码器） | 1.12.189 |
| com.amazonaws | aws-java-sdk-emr | 1.12.189 |
| com.amazonaws | AWS Java SDK Glacier | 1.12.189 |
| com.amazonaws | AWS Java SDK Glue | 1.12.189 |
| com.amazonaws | aws-java-sdk-iam | 1.12.189 |
| com.amazonaws | AWS Java SDK 导入导出 (aws-java-sdk-importexport) | 1.12.189 |
| com.amazonaws | aws-java-sdk-kinesis | 1.12.189 |
| com.amazonaws | AWS Java 软件开发工具包 - KMS | 1.12.189 |
| com.amazonaws | aws-java-sdk-lambda | 1.12.189 |
| com.amazonaws | aws-java-sdk-logs（AWS Java开发包日志） | 1.12.189 |
| com.amazonaws | AWS-Java-SDK-机器学习 | 1.12.189 |
| com.amazonaws | aws-java-sdk-opsworks | 1.12.189 |
| com.amazonaws | aws-java-sdk-rds | 1.12.189 |
| com.amazonaws | aws-java-sdk-redshift | 1.12.189 |
| com.amazonaws | aws-java-sdk-route53 | 1.12.189 |
| com.amazonaws | aws-java-sdk-s3 | 1.12.189 |
| com.amazonaws | aws-java-sdk-ses | 1.12.189 |
| com.amazonaws | aws-java-sdk-simpledb | 1.12.189 |
| com.amazonaws | aws-java-sdk-simpleworkflow | 1.12.189 |
| com.amazonaws | aws-java-sdk-sns | 1.12.189 |
| com.amazonaws | aws-java-sdk-sqs | 1.12.189 |
| com.amazonaws | aws-java-sdk-ssm | 1.12.189 |
| com.amazonaws | AWS Java SDK 存储网关 | 1.12.189 |
| com.amazonaws | aws-java-sdk-sts | 1.12.189 |
| com.amazonaws | AWS Java SDK支持 | 1.12.189 |
| com.amazonaws | AWS-Java-SDK-SWF-库 | 1.11.22 |
| com.amazonaws | aws-java-sdk-workspaces | 1.12.189 |
| com.amazonaws | jmespath-java | 1.12.189 |
| com.chuusai | shapeless_2.12 | 2.3.3 |
| com.clearspring.analytics | 流 (stream) | 2.9.6 |
| com.databricks | Rserve | 1.8-3 |
| com.databricks | jets3t | 0.7.1-0 |
| com.databricks.scalapb | compilerplugin_2.12 | 0.4.15-10 |
| com.databricks.scalapb | scalapb-runtime_2.12 | 0.4.15-10 |
| com.esotericsoftware | 请参阅当前使用说明以确定"kryo-shaded"的中文翻译如果有区别。 | 4.0.2 |
| com.esotericsoftware | minlog | 1.3.0 |
| com.fasterxml | 同学 | 1.3.4 |
| com.fasterxml.jackson.core | Jackson注解 | 2.13.4 |
| com.fasterxml.jackson.core | jackson-core | 2.13.4 |
| com.fasterxml.jackson.core | jackson-databind | 2.13.4.2 |
| com.fasterxml.jackson.dataformat | jackson-dataformat-cbor（Jackson的CBOR数据格式） | 2.13.4 |
| com.fasterxml.jackson.datatype | jackson-datatype-joda（杰克逊数据类型-Joda） | 2.13.4 |
| com.fasterxml.jackson.datatype | jackson-datatype-jsr310 | 2.13.4 |
| com.fasterxml.jackson.module | jackson-module-paranamer | 2.13.4 |
| com.fasterxml.jackson.module | jackson-module-scala_2.12 | 2.13.4 |
| com.github.ben-manes.咖啡因 | 咖啡因 | 2.3.4 |
| com.github.fommil | jniloader | 1.1 |
| com.github.fommil.netlib | 核心 | 1.1.2 |
| com.github.fommil.netlib | native_ref-java | 1.1 |
| com.github.fommil.netlib | native_ref-java-natives | 1.1 |
| com.github.fommil.netlib | 原生系统-Java | 1.1 |
| com.github.fommil.netlib | native_system-Java原生代码 | 1.1 |
| com.github.fommil.netlib | netlib-native_ref-linux-x86_64-natives | 1.1 |
| com.github.fommil.netlib | netlib-native_system-linux-x86_64-natives | 1.1 |
| com.github.luben | zstd-jni | 1.5.2-1 |
| com.github.wendykierp | JTransforms | 3.1 |
| com.google.code.findbugs | jsr305 | 3.0.0 |
| com.google.code.gson | gson | 2.8.6 |
| com.google.crypto.tink | 丁克 | 1.6.1 |
| com.google.flatbuffers | flatbuffers-java | 1.12.0 |
| com.google.guava | 番石榴 | 15.0 |
| com.google.protobuf | protobuf-java | 2.6.1 |
| com.h2database | h2 | 2.0.204 |
| com.helger | 分析器 | 1.1.1 |
| com.jcraft | jsch | 0.1.50 |
| com.jolbox | bonecp | 0.8.0.RELEASE |
| com.lihaoyi | 源代码_2.12 | 0.1.9 |
| com.microsoft.azure | Azure 数据湖存储 SDK | 2.3.9 |
| com.microsoft.sqlserver | mssql-jdbc | 11.2.2.jre8 |
| com.ning | compress-lzf | 1.1 |
| com.sun.mail | javax.mail | 1.5.2 |
| com.tdunning | json | 1.8 |
| com.thoughtworks.paranamer | paranamer | 2.8 |
| com.trueaccord.lenses | 镜头_2.12 | 0.4.12 |
| com.twitter | chill-java | 0.10.0 |
| com.twitter | chill_2.12 | 0.10.0 |
| com.twitter | util-app_2.12 | 7.1.0 |
| com.twitter | util-core_2.12 | 7.1.0 |
| com.twitter | util-function_2.12 | 7.1.0 |
| com.twitter | util-jvm_2.12 | 7.1.0 |
| com.twitter | util-lint_2.12 | 7.1.0 |
| com.twitter | util-registry_2.12 | 7.1.0 |
| com.twitter | util-stats_2.12 | 7.1.0 |
| com.typesafe | 配置 | 1.2.1 |
| com.typesafe.scala-logging | scala-logging_2.12 | 3.7.2 |
| com.uber | h3 | 3.7.0 |
| com.univocity | univocity-parsers解析器 | 2.9.1 |
| com.zaxxer | HikariCP | 4.0.3 |
| commons-cli | commons-cli | 1.5.0 |
| commons-codec（公共编解码器） | commons-codec（公共编解码器） | 1.15 |
| commons-collections (通用集合库) | commons-collections (通用集合库) | 3.2.2 |
| commons-dbcp | commons-dbcp | 1.4 |
| 公共文件上传 | 公共文件上传 | 1.3.3 |
| commons-httpclient | commons-httpclient | 3.1 |
| commons-io | commons-io | 2.11.0 |
| commons-lang | commons-lang | 2.6 |
| commons-logging（日志库） | commons-logging（日志库） | 1.1.3 |
| commons-pool | commons-pool | 1.5.4 |
| dev.ludovic.netlib | arpack | 2.2.1 |
| dev.ludovic.netlib | BLAS | 2.2.1 |
| dev.ludovic.netlib | lapack | 2.2.1 |
| info.ganglia.gmetric4j | gmetric4j | 1.0.10 |
| io.airlift | 空气压缩机 | 0.21 |
| io.delta | delta-sharing-spark_2.12 | 0.6.3 |
| io.dropwizard.metrics | 度量核心 | 4.1.1 |
| io.dropwizard.metrics | metrics-graphite | 4.1.1 |
| io.dropwizard.metrics | 指标-健康检查 | 4.1.1 |
| io.dropwizard.metrics | metrics-jetty9 | 4.1.1 |
| io.dropwizard.metrics | 指标-JMX | 4.1.1 |
| io.dropwizard.metrics | 指标-json | 4.1.1 |
| io.dropwizard.metrics | 指标-JVM | 4.1.1 |
| io.dropwizard.metrics | 指标-Servlets | 4.1.1 |
| io.netty | netty-all | 4.1.74.Final |
| io.netty | netty-buffer（Netty缓存） | 4.1.74.Final |
| io.netty | Netty编解码器 | 4.1.74.Final |
| io.netty | Netty-Common（网络通用组件） | 4.1.74.Final |
| io.netty | netty-handler | 4.1.74.Final |
| io.netty | netty-resolver (Netty 解析器) | 4.1.74.Final |
| io.netty | Netty TcNative 类 | 2.0.48.Final |
| io.netty | netty-transport | 4.1.74.Final |
| io.netty | netty-transport-classes-epoll | 4.1.74.Final |
| io.netty | netty-transport-classes-kqueue | 4.1.74.Final |
| io.netty | netty-transport-native-epoll-linux-aarch_64 | 4.1.74.Final |
| io.netty | netty-transport-native-epoll-linux-x86_64 | 4.1.74.Final |
| io.netty | netty-transport-native-kqueue-osx-aarch_64 | 4.1.74.Final |
| io.netty | netty-transport-native-kqueue-osx-x86_64 | 4.1.74.Final |
| io.netty | Netty传输-本机-Unix-通用 | 4.1.74.Final |
| io.prometheus | simpleclient | 0.7.0 |
| io.prometheus | 简单客户端通用 | 0.7.0 |
| io.prometheus | simpleclient_dropwizard | 0.7.0 |
| io.prometheus | simpleclient_pushgateway | 0.7.0 |
| io.prometheus | simpleclient_servlet | 0.7.0 |
| io.prometheus.jmx | 收集器 | 0.12.0 |
| jakarta.annotation | jakarta.annotation-api | 1.3.5 |
| jakarta.servlet | jakarta.servlet-api | 4.0.3 |
| jakarta.validation | jakarta.validation-api | 2.0.2 |
| jakarta.ws.rs | jakarta.ws.rs-api | 2.1.6 |
| javax.activation | 激活 | 1.1.1 |
| javax.el | javax.el-api | 2.2.4 |
| javax.jdo | jdo-api | 3.0.1 |
| javax.transaction | jta | 1.1 |
| javax.transaction | 交易接口 (transaction-api) | 1.1 |
| javax.xml.bind | jaxb-api | 2.2.11 |
| javolution | javolution | 5.5.1 |
| jline | jline | 2.14.6 |
| joda-time | joda-time | 2.10.13 |
| net.java.dev.jna | jna | 5.8.0 |
| net.razorvine | 泡菜 | 1.2 |
| net.sf.jpam | 杰潘 | 1.1 |
| net.sf.opencsv | opencsv | 2.3 |
| net.sf.supercsv | super-csv | 2.2.0 |
| net.snowflake | Snowflake 数据导入 SDK | 0.9.6 |
| net.snowflake | snowflake-jdbc | 3.13.22 |
| net.sourceforge.f2j | arpack_combined_all | 0.1 |
| org.acplt.remotetea | remotetea-oncrpc（远程调用协议库） | 1.1.2 |
| org.antlr | ST4 | 4.0.4 |
| org.antlr | antlr-runtime | 3.5.2 |
| org.antlr | antlr4-runtime | 4.8 |
| org.antlr | stringtemplate (字符串模板) | 3.2.1 |
| org.apache.ant | 蚂蚁 | 1.9.2 |
| org.apache.ant | ant-jsch（Java的SSH库） | 1.9.2 |
| org.apache.ant | ant-launcher | 1.9.2 |
| org.apache.arrow | 箭头格式 | 7.0.0 |
| org.apache.arrow | 箭头内存核心 | 7.0.0 |
| org.apache.arrow | 箭头内存网状系统 | 7.0.0 |
| org.apache.arrow | 箭头向量 | 7.0.0 |
| org.apache.avro | avro | 1.11.0 |
| org.apache.avro | avro-ipc | 1.11.0 |
| org.apache.avro | avro-mapred | 1.11.0 |
| org.apache.commons | commons-collections4（通用集合库） | 4.4 |
| org.apache.commons | commons-compress | 1.21 |
| org.apache.commons | commons-crypto | 1.1.0 |
| org.apache.commons | commons-lang3 | 3.12.0 |
| org.apache.commons | commons-math3 | 3.6.1 |
| org.apache.commons | commons-text | 1.10.0 |
| org.apache.curator | 策展人与客户 | 2.13.0 |
| org.apache.curator | Curator框架 | 2.13.0 |
| org.apache.curator | 策展人食谱 | 2.13.0 |
| org.apache.derby | 德比 | 10.14.2.0 |
| org.apache.hadoop | Hadoop客户端API | 3.3.4-databricks |
| org.apache.hadoop | Hadoop 客户端运行时 | 3.3.4 |
| org.apache.hive | hive-beeline | 2.3.9 |
| org.apache.hive | hive-cli | 2.3.9 |
| org.apache.hive | hive-jdbc | 2.3.9 |
| org.apache.hive | hive-llap-client | 2.3.9 |
| org.apache.hive | hive-llap-common | 2.3.9 |
| org.apache.hive | hive-serde | 2.3.9 |
| org.apache.hive | hive-垫片 | 2.3.9 |
| org.apache.hive | 蜂巢存储API | 2.8.1 |
| org.apache.hive.shims | hive-shims-0.23 | 2.3.9 |
| org.apache.hive.shims | hive-shims-common | 2.3.9 |
| org.apache.hive.shims | hive-shims-scheduler | 2.3.9 |
| org.apache.httpcomponents | httpclient | 4.5.13 |
| org.apache.httpcomponents | httpcore | 4.4.14 |
| org.apache.ivy | 常春藤 | 2.5.0 |
| org.apache.logging.log4j | log4j-1.2-api | 2.18.0 |
| org.apache.logging.log4j | log4j-api | 2.18.0 |
| org.apache.logging.log4j | log4j-core | 2.18.0 |
| org.apache.logging.log4j | log4j-slf4j-impl | 2.18.0 |
| org.apache.mesos | mesos-shaded-protobuf | 1.4.0 |
| \ org.apache.orc | orc-core | 1.7.6 |
| \ org.apache.orc | orc-mapreduce | 1.7.6 |
| \ org.apache.orc | orc-shims | 1.7.6 |
| org.apache.parquet | parquet-column | 1.12.3-databricks-0002 |
| org.apache.parquet | parquet-common | 1.12.3-databricks-0002 |
| org.apache.parquet | Parquet 编码 | 1.12.3-databricks-0002 |
| org.apache.parquet | Apache Parquet 格式结构 | 1.12.3-databricks-0002 |
| org.apache.parquet | parquet-hadoop | 1.12.3-databricks-0002 |
| org.apache.parquet | parquet-jackson | 1.12.3-databricks-0002 |
| org.apache.thrift | libfb303 | 0.9.3 |
| org.apache.thrift | libthrift | 0.12.0 |
| org.apache.xbean | xbean-asm9-shaded | 4.20 |
| org.apache.yetus | 听众批注 | 0.13.0 |
| org.apache.zookeeper | 动物园管理员 | 3.6.2 |
| org.apache.zookeeper | zookeeper-jute | 3.6.2 |
| org.checkerframework | checker-qual | 3.5.0 |
| org.codehaus.jackson | jackson-core-asl (Jackson核心库 - ASL) | 1.9.13 |
| org.codehaus.jackson | 杰克逊映射器-ASL | 1.9.13 |
| org.codehaus.janino | commons-compiler（通用编译器） | 3.0.16 |
| org.codehaus.janino | 雅尼诺 | 3.0.16 |
| org.datanucleus | datanucleus-api-jdo | 4.2.4 |
| org.datanucleus | datanucleus-core | 4.1.17 |
| org.datanucleus | datanucleus-rdbms | 4.1.19 |
| org.datanucleus | javax.jdo | 3.2.0-m3 |
| org.eclipse.jetty | jetty-client | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-continuation | 9.4.46.v20220331 |
| org.eclipse.jetty | Jetty-HTTP | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-io | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-jndi | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-plus | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-proxy | 9.4.46.v20220331 |
| org.eclipse.jetty | 码头安全 | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-server（Jetty服务器） | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-servlet | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-servlets | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-util（Jetty工具库） | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-util-ajax | 9.4.46.v20220331 |
| org.eclipse.jetty | Jetty 网页应用 | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-xml | 9.4.46.v20220331 |
| org.eclipse.jetty.websocket | WebSocket API | 9.4.46.v20220331 |
| org.eclipse.jetty.websocket | WebSocket客户端 | 9.4.46.v20220331 |
| org.eclipse.jetty.websocket | WebSocket-通用 | 9.4.46.v20220331 |
| org.eclipse.jetty.websocket | WebSocket服务器 | 9.4.46.v20220331 |
| org.eclipse.jetty.websocket | websocket-servlet | 9.4.46.v20220331 |
| org.fusesource.leveldbjni | leveldbjni-all | 1.8 |
| org.glassfish.hk2 | hk2-api | 2.6.1 |
| org.glassfish.hk2 | hk2-定位器 | 2.6.1 |
| org.glassfish.hk2 | hk2-utils | 2.6.1 |
| org.glassfish.hk2 | osgi-resource-locator (OSGi 资源定位器) | 1.0.3 |
| org.glassfish.hk2.external | aopalliance-repackaged | 2.6.1 |
| org.glassfish.hk2.external | jakarta.inject | 2.6.1 |
| org.glassfish.jersey.containers | jersey-container-servlet | 2.36 |
| org.glassfish.jersey.containers | Jersey容器Servlet核心 | 2.36 |
| org.glassfish.jersey.core | jersey-client | 2.36 |
| org.glassfish.jersey.core | jersey-common | 2.36 |
| org.glassfish.jersey.core | jersey-server | 2.36 |
| org.glassfish.jersey.inject | jersey-hk2 | 2.36 |
| org.hibernate.validator | Hibernate验证器 | 6.1.0.Final |
| org.javassist | javassist | 3.25.0-GA |
| org.jboss.logging | jboss 日志 | 3.3.2.Final |
| org.jdbi | jdbi | 2.63.1 |
| org.jetbrains | 注释 | 17.0.0 |
| org.joda | joda-convert | 1.7 |
| org.jodd | jodd-core | 3.5.2 |
| org.json4s | json4s-ast_2.12 | 3.7.0-M11 |
| org.json4s | json4s-core_2.12 | 3.7.0-M11 |
| org.json4s | json4s-jackson_2.12 | 3.7.0-M11 |
| org.json4s | json4s-scalap_2.12 | 3.7.0-M11 |
| org.lz4 | lz4-java | 1.8.0 |
| org.mariadb.jdbc | mariadb-java-client | 2.7.4 |
| org.mlflow | mlflow-spark | 2.1.1 |
| org.objenesis | objenesis | 2.5.1 |
| org.postgresql | postgresql | 42.3.3 |
| org.roaringbitmap | RoaringBitmap | 0.9.25 |
| org.roaringbitmap | 垫片 | 0.9.25 |
| .rocksdb | rocksdbjni | 6.28.2 |
| org.rosuda.REngine | REngine | 2.1.0 |
| org.scala-lang | scala-compiler_2.12 | 2.12.14 |
| org.scala-lang | scala-library_2.12 | 2.12.14 |
| org.scala-lang | scala-reflect_2.12 | 2.12.14 |
| org.scala-lang.modules | scala-collection-compat_2.12 | 2.4.3 |
| org.scala-lang.modules | scala-parser-combinators_2.12 | 1.1.2 |
| org.scala-lang.modules | scala-xml_2.12 | 1.2.0 |
| org.scala-sbt | 测试界面 | 1.0 |
| org.scalacheck | scalacheck_2.12 | 1.14.2 |
| org.scalactic | scalactic_2.12 | 3.0.8 |
| org.scalanlp | breeze-macros_2.12 | 1.2 |
| org.scalanlp | breeze_2.12 | 1.2 |
| org.scalatest | scalatest_2.12 | 3.0.8 |
| org.slf4j | jcl-over-slf4j | 1.7.36 |
| org.slf4j | jul-to-slf4j | 1.7.36 |
| org.slf4j | slf4j-api | 1.7.36 |
| org.spark-project.spark | 未使用 | 1.0.0 |
| org.threeten | threeten-extra | 1.5.0 |
| org.tukaani | xz | 1.9 |
| org.typelevel | algebra_2.12 | 2.0.1 |
| org.typelevel | cats-kernel_2.12 | 2.1.1 |
| org.typelevel | macro-compat_2.12 | 1.1.1 |
| org.typelevel | spire-macros_2.12 | 0.17.0 |
| org.typelevel | spire-platform_2.12 | 0.17.0 |
| org.typelevel | spire-util_2.12 | 0.17.0 |
| org.typelevel | spire_2.12 | 0.17.0 |
| org.wildfly.openssl | WildFly-OpenSSL | 1.0.7.最终版 |
| org.xerial | sqlite-jdbc | 3.8.11.2 |
| org.xerial.snappy | snappy-java | 1.1.8.4 |
| org.yaml | snakeyaml | 1.24 |
| oro | oro | 2.0.8 |
| pl.edu.icm | JLargeArrays | 1.5 |
| software.amazon.cryptools | AmazonCorrettoCryptoProvider | 1.6.1-linux-x86_64 |
| software.amazon.ion | ion-java | 1.0.2 |
| 斯塔克斯 | stax-api | 1.0.1 |