通过

Databricks Runtime 13.2 （EoS）

注意

对此 Databricks Runtime 版本的支持已结束。 有关终止支持日期，请参阅终止支持历史记录。 有关所有受支持的 Databricks Runtime 版本，请参阅 Databricks Runtime 发行说明版本和兼容性。

以下发行说明提供了由 Apache Spark 3.4.0 提供支持的 Databricks Runtime 13.2 的相关信息。

Databricks 于 2023 年 7 月发布此版本。

新增功能和改进

RocksDB 状态存储的更改日志检查点

可启用更改日志检查点，以降低有状态“结构化流式处理”工作负载的检查点持续时间和端到端延迟。 Databricks 建议为所有结构化流有状态查询启用更改日志检查点功能。 请参阅启用更改日志检查点。

通过 Unity Catalog 中的浅表克隆增强了 VACUUM 的可靠性。

将 Unity Catalog 托管表用于浅克隆操作的源和目标时，Unity Catalog 会管理基础数据文件，以提高克隆操作的源和目标的可靠性。 在浅克隆的源上运行 VACUUM 不会破坏克隆的表。 请参阅 Vacuum 和 Unity Catalog 浅表克隆。

SQL 中对 Python UDF 的支持

现在可以在 Unity Catalog 的 SQL CREATE FUNCTION 语句中使用 Python 来声明用户定义的函数。 请参阅 Unity Catalog 中的用户定义函数 (UDF)。

Delta Lake UniForm for Apache Iceberg 以公共预览版提供

Delta Lake 通用格式（UniForm）允许你使用 Apache Iceberg 客户端读取 Delta 表。 请参阅使用 Iceberg 客户端读取 Delta 表。

Delta Lake liquid 聚类分析目前为公共预览版

Delta Lake liquid 聚类分析取代了表分区和 ZORDER，以简化数据布局决策并优化查询性能。 请参阅 对表使用液体聚类分析。

Azure Databricks 中的存档支持

Azure Databricks 中的存档支持引入了一系列功能，使你能够在包含 Delta 表的云对象存储上使用基于云的生命周期策略将文件移动到存档存储层。 请参阅 Azure Databricks 中的存档支持。

IDENTIFIER 子句支持

使用 IDENTIFIER(:mytable) 在许多 SQL 语句中安全地参数化表、列、函数和架构名。

Unity Catalog 支持 Python 和 Pandas 用户定义函数 (UDF)。

在 Databricks Runtime 13.2 及更高版本上，在启用了 Unity 目录的工作区中使用标准访问模式（以前共享访问模式）的群集上支持用 Python 编写的用户定义的函数（UDF）。 这包括 Python UDF 和 Pandas UDF。 有关 Python UDF 的详细信息，请参阅用户定义的标量函数 - Python。

使用 Delta Sharing 共享架构

通过 Databricks Runtime 13.2，可使用 ALTER SHARE <share-name> ADD SCHEMA <schema-name> 来采用 Delta Sharing 共享整个架构，使接收者能够在共享架构时访问该架构中的所有表和视图，以及将来添加到该架构中的任何表和视图。 请参阅向共享添加架构和 ALTER SHARE。

错误修复

  • 修复了 JSON 读取器中的一个 bug：如果启用了 PERMISSIVE，会在 failOnUnknownFieldsmode 模式中分析记录。 现在，记录会在 DROPMALFORMEDparser 模式中被删除，或者写出到 badRecordsPath 中（如果设置了任一选项）。 如果列类型不匹配，FAILFAST 会引发错误。

图书馆升级

  • 升级了 Python 库：
    • 将 nodeenv 从 1.7.0 升级到 1.8.0
  • 升级了 R 库：
  • 升级了 Java 库：
    • io.delta.delta-sharing-spark_2.12 已从 0.6.7 升级到 0.7.0

Apache Spark

Databricks Runtime 13.2 包含 Apache Spark 3.4.0。 此版本包括 Databricks Runtime 13.1 (EoS) 中包含的所有 Spark 修复和改进，以及对 Spark 进行的以下其他缺陷修复和改进：

  • [SPARK-42750] [SC-133452][dbrrm-273] 支持“按名称插入”语句
  • [SPARK-43133] [SC-133728] Scala 客户端 DataStreamWriter Foreach 支持
  • [SPARK-43663] [SC-134135][connect][PS] 启用 SeriesParityTests.test_compare
  • [SPARK-43684] [SC-134162][spark-43685][SPARK-43686][spark-43691][CONNECT][ps] 修复 Spark Connect 的 (NullOps|NumOps).(eq|ne)。
  • [SPARK-44021] [SC-134109][sql] 添加 spark.sql.files.maxPartitionNum
  • [SPARK-43910] [SC-132936][sql] 从错误中的 ID 中删除 __auto_generated_subquery_name
  • [SPARK-43976] [SC-133375][core] 处理事件日志中不存在 modifiedConfigs 的情况
  • [SPARK-32559] [SC-133992][sql] 修复剪裁逻辑未正确处理 ASCII 控制字符的问题
  • [SPARK-43421] [SC-132930][ss] 为 RocksDB 状态存储提供程序实现基于更改日志的检查点
  • [SPARK-43594] [SC-133851][sql] 将 LocalDateTime 添加到 anyToMicros
  • [SPARK-43884] [SC-133867] DDL 中的参数标记
  • [SPARK-43398] [SC-133894][core] 执行程序超时应为 idle、shuffle 和 rdd 超时的最大值
  • [SPARK-43610] [SC-133892][connect][PS] 在 Spark Connect 中启用 InternalFrame.attach_distributed_column。
  • [SPARK-43971] [SC-133826][connect][PYTHON] 以流式处理方式支持 Python 的 createDataFrame
  • [SPARK-44006] [SC-133652][connect][PYTHON] 支持缓存项目
  • [SPARK-43790] [SC-133468][python][CONNECT][ml] 添加 copyFromLocalToFs API
  • [SPARK-43921] [SC-133461][protobuf] 在构建时生成 Protobuf 描述符文件
  • [SPARK-43906] [SC-133638][sc-133404][PYTHON][connect] 在 SparkSession.addArtifacts 中实现文件支持
  • [SPARK-44010] [SC-133744][python][SS][minor] Python StreamingQueryProgress rowsPerSecond 类型修复
  • [SPARK-43768] [SC-132398][python][CONNECT] Python Spark Connect 中的 Python 依赖项管理支持
  • [SPARK-43979] [13.X] 还原“[SC-133456][sql] CollectedMetrics 应被视为与自联接相同的参数”
  • [SPARK-42290] [SC-133696][sql] 修复在启用 AQE 时无法报告 OOM 错误的问题
  • [SPARK-43943] [SC-133648][sql][PYTHON][connect] 将 SQL 数学函数添加到 Scala 和 Python
  • [SPARK-43747] [SC-132047][python][CONNECT] 在 SparkSession.addArtifacts 中实现 pyfile 支持
  • [SPARK-43700] [SC-133726][spark-43701][CONNECT][ps] 使用 Spark Connect 启用 TimedeltaOps.(sub|rsub)
  • [SPARK-43712] [SC-133641][spark-43713][CONNECT][ps] 启用奇偶校验测试：test_line_plot，test_pie_plot。
  • [SPARK-43867] [SC-132895][sql] 改进未解析属性的建议候选项
  • [SPARK-43901] [SC-133454][sql] Avro 支持由 Long 支持的自定义十进制类型
  • [SPARK-43267] [SC-133024][jdbc] 将 PostgreSQL 未知的用户定义列在数组中处理为字符串
  • [SPARK-43935] [SC-133637][sql][PYTHON][connect] 向 Scala 和 Python 添加 xpath_* 函数
  • [SPARK-43916] [SC-133647][sql][PYTHON][connect] 向 Scala 和 Python API 添加百分位
  • [SPARK-43717] [SC-133455][connect] Scala 客户端 reduce agg 无法处理 scala 基元输入的空分区
  • [SPARK-43984] [SC-133469][sql][PROTOBUF] 修改为在 foreach 不产生结果时使用 map
  • [SPARK-43612] [SC-132011][connect][PYTHON] 在 Python 客户端中实现 SparkSession.addArtifact（s）
  • [SPARK-44002] [SC-133606][connect] 修复项目状态处理程序
  • [SPARK-43933] [SC-133470][sql][PYTHON][connect] 向 Scala 和 Python 添加线性回归聚合函数
  • [SPARK-43920] [SC-133614][sql][CONNECT] 创建 sql/api 模块
  • [SPARK-43979] [SC-133456][sql] CollectedMetrics 应被视为自联接的相同对象
  • [SPARK-43977] [SC-133373][connect] 修复 dev/connect-jvm-client-mima-check 的意外检查结果
  • [SPARK-43985] [SC-133412][protobuf] spark protobuf：修复“将枚举视为整数”bug
  • [SPARK-43930] [SC-133406][sql][PYTHON][connect] 向 Scala 和 Python 添加 unix_* 函数
  • [SPARK-43807] [SC-132545][sql] 将 _LEGACY_ERROR_TEMP_1269 迁移到 PARTITION_SCHEMA_IS_EMPTY
  • [SPARK-43956] [SC-133123][sql] 修复 Percentile[Cont|Disc] 不显示列的 sql 的 bug
  • [SPARK-42626] [SC-133248][connect] 为 SparkResult 添加破坏性迭代器
  • [SPARK-43333] [SC-132898][sql] 允许 Avro 将联合类型转换为字段名随字段稳定的 SQL
  • [SPARK-43953] [SC-133134][connect] 移除 pass
  • [SPARK-43970] [SC-133403][python][CONNECT] 在自动完成中隐藏不受支持的数据帧方法
  • [SPARK-43973] [SC-133272][ss][UI] Structured Streaming UI 应正确显示失败的查询
  • [SPARK-42577] [SC-125445][core] 为阶段添加最大尝试限制，以避免潜在的无限重试
  • [SPARK-43841] [SC-132699][sql] 处理在 StringUtils#orderSuggestedIdentifiersBySimilarity 中没有前缀的候选属性
  • [SPARK-41497] [SC-124795][core][Follow UP]修改配置 spark.rdd.cache.visibilityTracking.enabled 支持版本为 3.5.0
  • [SPARK-37942] [SC-130983][core][SQL] 迁移错误类
  • [SPARK-43898] [SC-132926][core] 为 Scala 2.13 自动注册 immutable.ArraySeq$ofRef 到 KryoSerializer
  • [SPARK-43775] [SC-132891][sql] DataSource V2：允许将更新表示为删除和插入
  • [SPARK-43817] [SC-132662][Spark-43702][PYTHON] 支持 createDataFrame 中来自 pandas DataFrame 和 toPandas 的 UserDefinedType
  • [SPARK-43418] [sc-132753][SC-130685][CONNECT] 添加 SparkSession.Builder.getOrCreate
  • [SPARK-43549] [SC-132383][sql] 将 _LEGACY_ERROR_TEMP_0036 转换为 INVALID_SQL_SYNTAX.ANALYZE_TABLE_UNEXPECTED_NOSCAN
  • [SPARK-41497] [SC-124644][core] 修复使用 rdd 缓存的重试任务时累加器计数不足的问题
  • [SPARK-43892] [SC-133006][python] 在 df[|] 中添加对 pyspark.sql.dataframe.DataFrame 的自动完成支持
  • [SPARK-43881] [SC-133140][sql][PYTHON][connect] 为 Catalog.listDatabases 添加可选模式
  • [SPARK-43205] [SC-132623] IDENTIFIER 字句
  • [SPARK-43545] [SC-132378][sql][PYTHON] 支持嵌套时间戳类型
  • [SPARK-43949] [SC-133048][python] 将 cloudpickle 升级到 2.2.1
  • [SPARK-43760] [SC-132809][sql] 标量子查询结果的为 Null 性
  • [SPARK-43696] [SC-132737][spark-43697][SPARK-43698][spark-43699][PS] 修复 Spark Connect 中的 TimedeltaOps 问题
  • [SPARK-43895] [SC-132897][connect][GO] 准备 go 包路径
  • [SPARK-43894] [SC-132892][python] 修复 df.cache（） 中的 bug
  • [SPARK-43509] [SC-131625][connect] 支持创建多个 Spark Connect 会话
  • [SPARK-43882] [SC-132888][sql] 将名称分配到 _LEGACY_ERROR_TEMP_2122
  • [SPARK-43687] [SC-132747][spark-43688][SPARK-43689][spark-43690][PS] 修复 Spark Connect 的 NumOps
  • [SPARK-43604] [SC-132165][sql] 重构 INVALID_SQL_SYNTAX 以避免在源代码中嵌入错误的文本
  • [SPARK-43859] [SC-132883][sql] 在 LateralColumnAliasReference 中重写 toString
  • [SPARK-43792] [SC-132939][sql][PYTHON][connect] 为 Catalog.listCatalogs 添加可选模式
  • [SPARK-43353] 还原“[SC-132734][python] 将剩余的会话错误迁移到错误类”
  • [SPARK-43375] [SC-130309][connect] 改进INVALID_CONNECT_URL的错误消息
  • [SPARK-43863] [SC-132721][connect] 对于 Scala 2.13，从 toSeq 中移除冗余的 SparkConnectPlanner
  • [SPARK-43676] [SC-132708][spark-43677][SPARK-43678][spark-43679][PS] 修复 Spark Connect DatetimeOps 问题
  • [SPARK-43666] [SC-132689][spark-43667][SPARK-43668][spark-43669][PS] 修复 Spark Connect 的 BinaryOps
  • [SPARK-43680] [SC-132709][spark-43681][SPARK-43682][spark-43683][PS] 修复 Spark Connect 的 NullOps
  • [SPARK-43782] [SC-132885][core] 支持使用静态 Spark conf 的日志级别配置
  • [SPARK-43132] [SC-131623] [SS] [CONNECT] Python 客户端 DataStreamWriter foreach() API
  • [SPARK-43290] [SC-131961][sql] 向 ExpressionImplUtils 添加 AES IV 和 AAD 支持
  • [SPARK-43795] [SC-132532][connect] 删除不用于 SparkConnectPlanner 的参数
  • [SPARK-42317] [SC-129194][sql] 将名称分配至 _LEGACY_ERROR_TEMP_2247：CANNOT_MERGE_SCHEMAS
  • [SPARK-43597] [SC-131960][sql] 向错误类分配名称_LEGACY_ERROR_TEMP_0017
  • [SPARK-43834] [SC-132679][sql] 在 ResolveDefaultColumns 的编译错误中使用错误类
  • [SPARK-43749] [SC-132423][spark-43750][SQL] 将名称分配给错误类_LEGACY_ERROR_TEMP_240[4-5]
  • [SPARK-43576] [SC-132533][core] 从 Core 模块中删除未使用的声明
  • [SPARK-43314] [SC-129970][connect][PYTHON] 将 Spark Connect 客户端错误迁移到错误类
  • [SPARK-43799] [SC-132715][python] 向 Pyspark Protobuf API 添加描述符二进制选项
  • [SPARK-43837] [SC-132678][sql] 将名称分配给错误类 _LEGACY_ERROR_TEMP_103[1-2]
  • [SPARK-43862] [SC-132750][sql] 向错误类分配名称 LEGACY_ERROR_TEMP（1254 & 1315）
  • [SPARK-43886] [SC-132808][python] 接受泛型元组作为 Pandas UDF 的键入提示
  • [SPARK-43530] [SC-132653][protobuf] 仅读取描述符文件一次
  • [SPARK-43820] [SC-132676][spark-43822][SPARK-43823][spark-43826][SPARK-43827] 为错误类 _LEGACY_ERROR_TEMP_241[1-7] 分配名称
  • [SPARK-43671] [SC-132519][spark-43672][SPARK-43673][spark-43674][PS] 为 Spark Connect 修复 CategoricalOps
  • [SPARK-39979] [SC-132685][sql] 添加用于箭头UDF操作的大型可变宽度向量的选项
  • [SPARK-43692] [SC-132660][spark-43693][SPARK-43694][spark-43695][PS] 修复 Spark Connect 中的 StringOps
  • [SPARK-43353] [SC-132734][python] 将剩余会话错误迁移到错误类
  • [SPARK-43815] [SC-132781][sql] 为 to_varchar 添加 to_char 别名
  • [SPARK-43543] [13.x][sc-131839][PYTHON] 修复 Pandas UDF 中的嵌套 MapType 行为
  • [SPARK-43361] [SC-131789][protobuf] 与枚举序列化相关的错误的更新文档
  • [SPARK-43740] [SC-132035][python][CONNECT] 在自动完成中隐藏不受支持的 session 方法
  • [SPARK-43022] [SC-131681][connect] 对 Scala 客户端的 protobuf 函数的支持
  • [SPARK-43304] [13.x][sc-129969][CONNECT][python] 将 NotImplementedError 迁移到 PySparkNotImplementedError
  • [SPARK-43860] [SC-132713][sql] 尽可能启用尾递归
  • [SPARK-42421] [SC-132695][core] 使用 utils 获取用于本地检查点的动态分配的开关
  • [SPARK-43590] [SC-132012][connect] 使 connect-jvm-client-mima-check 支持使用 protobuf 模块进行 mima 检查
  • [SPARK-43315] [13.x][connect][PYTHON][ss] 将 DataFrame(Reader|Writer) 中剩余错误迁移到错误类
  • [SPARK-43361] [SC-130980][protobuf] spark-protobuf：允许将枚举视为整数的 serde
  • [SPARK-43789] [SC-132397][r] 默认情况下，将 R createDataFrame 中的“spark.sql.execution.arrow.maxRecordsPerBatch”与箭头结合使用
  • [SPARK-43596] [SC-126994][sql] 在 rewriteDomainJoins 中处理 IsNull 谓词
  • [SPARK-42249] [SC-122565][sql] 优化错误消息中用于说明文档的 html 链接。
  • [SPARK-43128] [SC-131628][connect][SS] 使 recentProgress 和 lastProgress 返回与本机 Scala Api 一致的 StreamingQueryProgress
  • [SPARK-43387] [SC-130448][sql] 为_LEGACY_ERROR_TEMP_1168提供人工可读错误代码。
  • [SPARK-43334] [SC-132358] [UI] 修复将 ExecutorPeakMetricsDistributions 序列化为 API 响应时出现的错误
  • [SPARK-42958] [SC-131475][connect] 重构 connect-jvm-client-mima-check 以支持使用 avro 模块进行 mima 检查
  • [SPARK-43591] [SC-131977][sql] 向错误类分配名称_LEGACY_ERROR_TEMP_0013
  • [SPARK-38464] [SC-132211][core] 在 org.apache.spark.io 中使用错误类
  • [SPARK-43759] [SC-132189][sql][PYTHON] 在 pyspark.sql.types 中公开 TimestampNTZType
  • [SPARK-43649] [SC-132036][spark-43650][SPARK-43651][sql] 将名称分配给错误类_LEGACY_ERROR_TEMP_240[1-3]
  • [SPARK-43719] [SC-132016][webui] 处理 missing row.excludedInStages 字段
  • [SPARK-42956] [SC-127257][connect] 支持 Scala 客户端的 avro 函数
  • [SPARK-43487] [SC-131975][sql] 修复嵌套的 CTE 错误消息
  • [SPARK-43265] [SC-129653] 将错误框架移动到通用 utils 模块
  • [SPARK-40912] [SC-131547][core] KryoDeserializationStream 中异常的开销
  • [SPARK-43583] [SC-131976][core] 从委托中获取 MergedBlockedMetaReqHandler，而不是从 SaslRpcHandler 实例中获取
  • [SPARK-42996] [SC-131997][connect][PS][ml] 为所有失败的测试创建 & 分配正确的 JIRA 票证。
  • [SPARK-38469] [SC-131425][core] 在 org.apache.spark.network 中使用错误类
  • [SPARK-43718] [SC-132014][sql] 为 USING 联接中的键正确设置“可为空”
  • [SPARK-43502] [SC-131419][python][CONNECT] DataFrame.drop 应接受空列
  • [SPARK-43743] [SC-132038][sql] 端口 HIVE-12188（DoAs 在非 kerberos 保护的 HS2 中没有正常工作）
  • [SPARK-43598] [SC-131929][sql] 将名称分配给错误类_LEGACY_ERROR_TEMP_2400
  • [SPARK-43138] [SC-131031][core] 修复迁移期间的 ClassNotFoundException
  • [SPARK-43360] [SC-131526][ss][CONNECT] Scala 客户端 StreamingQueryManager
  • [SPARK-38467] [SC-131025][core] 在 org.apache.spark.memory 中使用错误类
  • [SPARK-43345] [SC-131790][spark-43346][SQL] 重命名错误类 LEGACY_ERROR_TEMP[0041|1206]
  • [SPARK-42815] [SC-126450][sql] 子表达式消除支持快捷方式表达式
  • [SPARK-38462] [SC-130449][core] 添加错误类 INTERNAL_ERROR_EXECUTOR
  • [SPARK-43589] [SC-131798][sql] 修复 cannotBroadcastTableOverMaxTableBytesError 以使用 bytesToString
  • [SPARK-43539] [SC-131830][sql] 向错误类分配名称_LEGACY_ERROR_TEMP_0003
  • [SPARK-43157] [SC-131688][sql] 克隆 InMemoryRelation 缓存计划，以防止克隆的计划引用相同的对象
  • [SPARK-43309] [SC-129746][spark-38461][CORE] 使用类别扩展 INTERNAL_ERROR 并添加错误类 INTERNAL_ERROR_BROADCAST
  • [SPARK-43281] [SC-131370][sql] 修复并发写入器未更新文件指标的问题
  • [SPARK-43383] [SC-130660][sql] 向 LocalRelation 添加 rowCount 统计信息
  • [SPARK-43574] [SC-131739][python][SQL] 支持在运行时为辅助角色中的 UDF 和 pandas 函数 API 设置 Python 可执行文件
  • [SPARK-43569] [SC-131694][sql] 删除 HADOOP-14067 的解决方法
  • [SPARK-43183] [ SC-128938][ss][13.x] 向 StreamingQueryListener 引入新的回调“onQueryIdle”
  • [SPARK-43528] [SC-131531][sql][PYTHON] 在 createDataFrame 中使用 pandas DataFrame 支持重复的字段名
  • [SPARK-43548] [SC-131686][ss] 移除针对 HADOOP-16255 的解决方法
  • [SPARK-43494] [SC-131272][core] 直接调用 replicate() 的 HdfsDataOutputStreamBuilder，而不是在 SparkHadoopUtil#createFile 中调用反射
  • [SPARK-43471] [SC-131063][core] 处理缺少 hadoopProperties 和 metricsProperties 的情况
  • [SPARK-42899] [SC-126456][sql] 修复 DataFrame.to(schema)，以处理在可为空的字段中存在不可为 null 的嵌套字段的情况
  • [SPARK-43302] [SC-129747][sql] 使 Python UDAF 成为 AggregateFunction
  • [SPARK-43223] [SC-131270][connect] 键入了 agg，reduce 函数，RelationalGroupedDataset#as
  • [SPARK-43482] [SC-131375][ss] 扩展 QueryTerminatedEvent 以包含错误类（如果异常中存在）
  • [SPARK-43359] [ SC-131463][sql] 从 Hive 表执行删除操作应抛出“UNSUPPORTED_FEATURE.TABLE_OPERATION”错误。
  • [SPARK-43284] [SC-130313] 切换回 URL 编码的字符串
  • [SPARK-43492] [SC-131227][sql] 添加 具有 3 个参数的函数的别名 DATE_ADD 和 DATE_DIFF
  • [SPARK-43473] [SC-131372][python] 支持 createDataFrame 中来自 pandas DataFrame 的结构类型
  • [SPARK-43386] [SC-131110][sql] 优化 UNRESOLVED_COLUMN.WITH_SUGGESTION 错误类中的建议列/属性列表
  • [SPARK-43443] [SC-131332][sql] 使用无效值时为时间戳类型推理添加基准
  • [SPARK-43518] [SC-131420][sql] 将 _LEGACY_ERROR_TEMP_2029 转换为 INTERNAL_ERROR
  • [SPARK-42604] [SC-130648][connect] 实现 functions.typedlit
  • [SPARK-42323] [ES-669513] 还原“[SC-123479][sql] 将名称分配给_LEGACY_ERROR_TEMP_2332”
  • [SPARK-43357] [SC-130649][sql] 筛选日期类型引用日期
  • [SPARK-43410] [SC-130526][sql] 改进 Packed skipValues 的矢量化循环
  • [SPARK-43441] [SC-130995][core] makeDotNode 不应在 DeterministicLevel 不存在时失败
  • [SPARK-43324] [SC-130455][sql] 处理 UPDATE 基于增量的源的命令
  • [SPARK-43272] [SC-131168][core] 直接调用 createFile 而不是反射
  • [SPARK-43296] [13.x][sc-130627][CONNECT][python] 将 Spark Connect 会话错误迁移到错误类
  • [SPARK-43405] [SC-130987][sql] 删除无用的 getRowFormatSQL，inputRowFormatSQL，outputRowFormatSQL 方法
  • [SPARK-43447] [SC-131017][r] 支持 R 4.3.0
  • [SPARK-43425] [SC-130981][sql] 将 TimestampNTZType 添加到 ColumnarBatchRow
  • [SPARK-41532] [SC-130523][connect][CLIENT] 为涉及多个数据帧的操作添加检查
  • [SPARK-43262] [SC-129270][connect][SS][python] 将 Spark Connect 结构化流式处理错误迁移到错误类
  • [SPARK-42992] [13.x][sc-129465][PYTHON] 引入 PySparkRuntimeError
  • [SPARK-43422] [SC-130982][sql] 具有元数据输出的情况下将标记保留在 LogicalRelation 上
  • [SPARK-43390] [SC-130646][sql] DSv2 允许 CTAS/RTAS 保留架构为 Null 性
  • [SPARK-43430] [SC-130989][connect][PROTO] ExecutePlanRequest 支持任意请求选项。
  • [SPARK-43313] [SC-130254][sql] 为 MERGE 动作添加缺失列的默认值INSERT
  • [SPARK-42842] [SC-130438][sql] 将错误类_LEGACY_ERROR_TEMP_2006合并到REGEX_GROUP_INDEX
  • [SPARK-43377] [SC-130405][sql] 默认启用 spark.sql.thriftServer.interruptOnCancel
  • [SPARK-43292] [SC-130525][core][CONNECT] 将 ExecutorClassLoader 移动到 core 模块并简化 Executor#addReplClassLoaderIfNeeded
  • [SPARK-43040] [SC-130310][sql] 改进 JDBC 数据源中的 TimestampNTZ 类型支持
  • [SPARK-43343] [SC-130629][ss] FileStreamSource 在创建 DataSource 时应禁用额外的文件 glob 检查
  • [SPARK-43312] [SC-130294][protobuf] 将任何字段转换为 JSON 的选项
  • [SPARK-43404] [SC-130586][ss] 跳过对同一版本的 RocksDB 状态存储重用 sst 文件以避免 ID 不匹配错误
  • [SPARK-43397] [SC-130614][core] executorLost 方法中的日志执行程序解除授权持续时间
  • [SPARK-42388] [SC-128568][sql] 避免在矢量化读取器中读取 parquet 页脚两次
  • [SPARK-43306] [13.x][sc-130320][PYTHON] 将 ValueError 从 Spark SQL 类型迁移到错误类
  • [SPARK-43337] [SC-130353][ui][3.4] 用于排序列的升序/降序箭头图标不会显示在表格列中
  • [SPARK-43279] [SC-130351][core] 清理 SparkHadoopUtil 中未使用的成员
  • [SPARK-43250] [SC-130147][sql] 将错误类替换为内部错误 _LEGACY_ERROR_TEMP_2014
  • [SPARK-43363] [SC-130299][sql][PYTHON] 仅在未提供箭头类型时才对类别类型调用 astype
  • [SPARK-43261] [SC-130154][python] 将 TypeError 从 Spark SQL 类型迁移到错误类
  • [SPARK-41971] [SC-130230][sql][PYTHON] 为 pandas 转换添加如何处理结构类型的配置
  • [SPARK-43381] [SC-130464][connect] 使“transformStatCov”延迟
  • [SPARK-43362] [SC-130481][sql] MySQL 连接器的 JSON 类型特殊处理
  • [SPARK-42843] [SC-130196][sql] 将错误类 _LEGACY_ERROR_TEMP_2007 更新为 REGEX_GROUP_INDEX
  • [SPARK-42585] [SC-129968][connect] 本地关系的流式处理
  • [SPARK-43181] [SC-130476][sql] 在 spark-sql shell 中显示 UI WebURL
  • [SPARK-43051] [SC-130194][connect] 添加输出默认值的选项
  • [SPARK-43204] [SC-129296][sql] 将 MERGE 分配与表属性对齐
  • [SPARK-43348] [SC-130082][python] 在 PyPy3 中支持 Python 3.8
  • [SPARK-42845] [SC-130078][sql] 将错误类 _LEGACY_ERROR_TEMP_2010 更新为 InternalError
  • [SPARK-43211] [SC-128978][hive] 删除 IsolatedClientLoader 中的 Hadoop2 支持

系统环境

  • 操作系统：Ubuntu 22.04.2 LTS
  • Java：Zulu 8.70.0.23-CA-linux64
  • Scala：2.12.15
  • Python：3.10.12
  • R：4.2.2
  • Delta Lake：2.4.0

已安装的 Python 库

图书馆 版本 图书馆 版本 图书馆 版本
appdirs 1.4.4 argon2-cffi 21.3.0 argon2-cffi-bindings 21.2.0
asttokens 2.2.1 属性 21.4.0 回调 0.2.0
beautifulsoup4 4.11.1 黑色 22.6.0 漂白剂 4.1.0
闪烁器 1.4 boto3 1.24.28 botocore 1.27.28
certifi 2022.9.14 cffi 1.15.1 chardet 4.0.0
charset-normalizer (字符集正常化工具) 2.0.4 点击 8.0.4 密码系统 37.0.1
骑行者 0.11.0 Cython 0.29.32 Databricks软件开发工具包 (databricks-sdk) 0.1.6
dbu-python 1.2.18 debugpy 1.5.1 装饰师 5.1.1
defusedxml 0.7.1 distlib 0.3.6 从文档字符串到Markdown 0.12
入口点 0.4 正在执行 1.2.0 各个方面概述 1.0.3
fastjsonschema 2.16.3 文件锁 3.12.0 fonttools（字体工具） 4.25.0
googleapis-common-protos 1.56.4 grpcio 1.48.1 grpcio-status 1.48.1
httplib2 0.20.2 IDNA 3.3 importlib-metadata 4.6.4
ipykernel 6.17.1 ipython 8.10.0 ipython-genutils（IPython通用工具） 0.2.0
ipywidgets 7.7.2 jedi 0.18.1 吉普尼 0.7.1
Jinja2 2.11.3 jmespath 0.10.0 joblib 1.2.0
jsonschema 4.16.0 Jupyter客户端 7.3.4 jupyter_core（Jupyter核心） 4.11.2
jupyterlab-pygments 0.1.2 jupyterlab-widgets 1.0.0 钥匙圈 23.5.0
kiwisolver 1.4.2 launchpadlib 1.10.16 lazr.restfulclient 0.14.4
lazr.uri 1.0.6 MarkupSafe 2.0.1 matplotlib 3.5.2
matplotlib-inline 0.1.6 麦凯布 0.7.0 mistune 0.8.4
more-itertools 8.10.0 mypy-extensions 0.4.3 nbclient 0.5.13
nbconvert 6.4.4 nbformat 5.5.0 nest-asyncio 1.5.5
nodeenv 1.8.0 笔记本 6.4.12 numpy 1.21.5
oauthlib 3.2.0 包装 21.3 熊猫 1.4.4
pandocfilters 1.5.0 帕尔索 0.8.3 pathspec 0.9.0
替罪羊 0.5.2 pexpect 4.8.0 pickleshare 0.7.5
枕头 9.2.0 果仁 22.2.2 platformdirs 2.5.2
plotly 5.9.0 Pluggy (Python库) 1.0.0 prometheus-client 0.14.1
prompt-toolkit 3.0.36 protobuf 3.19.4 psutil 5.9.0
psycopg2 2.9.3 ptyprocess 0.7.0 pure-eval 0.2.2
pyarrow 8.0.0 Python代码解析器 2.21 pydantic 1.10.6
pyflakes 3.0.1 Pygments 2.11.2 PyGObject 3.42.1
PyJWT 2.3.0 pyodbc 4.0.32 pyparsing 3.0.9
pyright 1.1.294 pyrsistent（持久性，类似于 persistent 的 Python 包） 0.18.0 python-dateutil 2.8.2
python-lsp-jsonrpc 1.0.0 python-lsp-server 1.7.1 pytoolconfig 1.2.2
pytz 2022年1月 pyzmq 23.2.0 请求 2.28.1
绳子 1.7.0 s3transfer 0.6.0 scikit-learn 1.1.1
scipy 1.9.1 seaborn 0.11.2 SecretStorage 3.3.1
Send2Trash 1.8.0 setuptools 63.4.1 6 1.16.0
汤滤器 2.3.1 ssh-import-id 5.11 堆栈数据 0.6.2
statsmodels 0.13.2 坚韧 8.1.0 完成 0.13.1
测试路径 0.6.0 threadpoolctl 2.2.0 tokenize-rt 4.2.1
tomli 2.0.1 龙卷风 6.1 Traitlets 5.1.1
输入扩展 (typing_extensions) 4.3.0 ujson 5.4.0 无人参与升级 0.1
urllib3 1.26.11 virtualenv 20.16.3 wadllib 1.3.6
wcwidth 0.2.5 Web编码 0.5.1 whatthepatch 1.0.2
轮子 0.37.1 widgetsnbextension 3.6.1 yapf 0.31.0
齐普 1.0.0

已安装的 R 库

R 库安装自 2023-02-10 版本中的 Microsoft CRAN 快照。

图书馆 版本 图书馆 版本 图书馆 版本
箭头 10.0.1 askpass 1.1 assertthat 0.2.1
回移补丁 1.4.1 基础 4.2.2 base64enc 0.1-3
位 4.0.5 bit64 4.0.5 团状物 1.2.3
靴子 1.3-28 酿造/冲泡 1.0-8 活力 1.1.3
扫帚 1.0.3 bslib 0.4.2 卡齐姆 1.0.6
Callr 3.7.3 插入符号 6.0-93 cellranger (细胞测序工具) 1.1.0
chron 2.3-59 班级 7.3-21 cli 3.6.0
剪辑器 0.8.0 时钟 0.6.1 集群 2.1.4
codetools 0.2至19 色彩空间 2.1-0 commonmark 1.8.1
编译器 4.2.2 配置 0.3.1 cpp11 0.4.3
蜡笔 1.5.2 资格证书 1.3.2 卷曲 5.0.0
data.table（数据表） 1.14.6 数据集 4.2.2 DBI 1.1.3
dbplyr 2.3.0 desc 1.4.2 devtools 2.4.5
diffobj 0.3.5 摘要 0.6.31 向下照明 0.4.2
dplyr 1.1.0 dtplyr 1.2.2 e1071 1.7-13
省略号 0.3.2 评价 0.20 fansi 1.0.4
颜色 2.1.1 快速映射 1.1.0 fontawesome 0.5.0
forcats 1.0.0 foreach 1.5.2 外国 0.8-82
锻造 0.2.0 文件系统 (if fs stands for "file system") 1.6.1 未来 1.31.0
future.apply 1.10.0 漱口 1.3.0 泛 型 0.1.3
格尔特 1.9.2 ggplot2 3.4.0 gh 1.3.1
gitcreds 0.1.2 glmnet 4.1-6 全局变量 0.16.2
胶水 1.6.2 googledrive 2.0.0 googlesheets4 1.0.1
戈尔 1.0.1 图形 4.2.2 grDevices 4.2.2
“业务流程参数” 网格 4.2.2 gridExtra 2.3 gsubfn 0.7
gtable 0.3.1 安全帽 1.2.0 避风港 2.5.1
更高 0.10 赫姆斯 1.1.2 HTML工具 0.5.4
HTML小插件 1.6.1 httpuv 1.6.8 httr 1.4.4
ids 1.0.1 ini 0.3.1 ipred 0.9-13
isoband 0.2.7 迭代器 1.0.14 jquerylib 0.1.4
jsonlite 1.8.4 KernSmooth 2.23-20 针织器 1.42
标记 0.4.2 稍后 1.3.0 格子 0.20-45
熔岩 1.7.1 生命周期 1.0.3 listenv 0.9.0
lubridate 1.9.1 magrittr 2.0.3 markdown 1.5
质量 7.3-58.2 矩阵 1.5-1 缓存 2.0.1
方法 4.2.2 mgcv 1.8-41 默剧 0.12
迷你用户界面 0.1.1.1 ModelMetrics 1.2.2.2 modelr 0.1.10
蒙塞尔 0.5.0 nlme 3.1-162 nnet（神经网络） 7.3-18
numDeriv 2016年8月至2017年1月1日 openssl（开放SSL） 2.0.5 平行 4.2.2
并行 1.34.0 柱子 1.8.1 pkgbuild (软件包构建工具) 1.4.0
pkgconfig 2.0.3 pkgdown 2.0.7 pkgload 1.3.2
普洛格 0.2.0 普莱尔 1.8.8 赞美 1.0.0
prettyunits 1.1.1 pROC 1.18.0 processx 3.8.0
prodlim 2019.11.13 profvis 0.3.7 进度 1.2.2
progressr 0.13.0 承诺 1.2.0.1 原型 (proto) 1.0.0
代理服务器 0.4-27 附注 (ps) 1.7.2 purrr 1.0.1
r2d3 0.2.6 R6 2.5.1 ragg 1.2.5
随机森林 (randomForest) 4.7-1.1 rappdirs 0.3.3 rcmdcheck 1.4.0
RColorBrewer 1.1-3 Rcpp 1.0.10 RcppEigen 0.3.3.9.3
readr（阅读器） 2.1.3 readxl 1.4.2 食谱 1.0.4
重赛 1.0.1 rematch2 2.1.2 遥控器 2.4.2
可复现示例 2.0.2 reshape2 1.4.4 rlang 1.0.6
rmarkdown（R语言动态文档生成工具） 2.20 RODBC 1.3-20 roxygen2 7.2.3
rpart 4.1.19 rprojroot 2.0.3 Rserve 1.8-12
RSQLite 2.2.20 rstudioapi 0.14 rversions 2.1.2
rvest 1.0.3 sass 0.4.5 磅秤 1.2.1
selectr 0.4-2 会话信息 1.2.2 形状 1.4.6
光亮 1.7.4 sourcetools 0.1.7-1 sparklyr 1.7.9
SparkR 3.4.0 空间 7.3-15 样 条 4.2.2
sqldf（R环境中的数据库操作软件包） 0.4-11 SQUAREM 2021年1月 统计数据 4.2.2
统计数据4 4.2.2 字符串 1.7.12 stringr 1.5.0
生存 3.5-3 sys 3.4.1 systemfonts 1.0.4
tcltk 4.2.2 testthat 3.1.6 文本整形 0.3.6
tibble 3.1.8 tidyr 1.3.0 tidyselect 1.2.0
tidyverse（数据分析工具包） 1.3.2 时间变化 0.2.0 时间日期 4022.108
tinytex 0.44 工具 4.2.2 tzdb 0.3.0
URL检查器 1.0.1 usethis 2.1.6 utf8 1.2.3
实用工具 4.2.2 UUID（通用唯一识别码） 1.1-0 vctrs 0.5.2
viridisLite 0.4.1 vroom 1.6.1 瓦尔多 0.4.0
晶 须 0.4.1 无改动（具体含义和背景需要更多信息） 2.5.0 xfun 0.37
xml2 1.3.3 xopen 1.0.0 xtable 1.8-4
yaml 2.3.7 压缩包 2.2.2

已安装的 Java 库和 Scala 库（Scala 2.12 群集版本）

组 ID 项目 ID 版本
antlr antlr 2.7.7
com.amazonaws 亚马逊Kinesis客户端 1.12.0
com.amazonaws AWS Java SDK 自动扩展 1.12.390
com.amazonaws aws-java-sdk-cloudformation 1.12.390
com.amazonaws AWS Java SDK CloudFront 1.12.390
com.amazonaws AWS-Java-SDK-云HSM 1.12.390
com.amazonaws AWS Java SDK 云搜索 1.12.390
com.amazonaws aws-java-sdk-cloudtrail 1.12.390
com.amazonaws aws-java-sdk-cloudwatch 1.12.390
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.390
com.amazonaws AWS Java SDK CodeDeploy（AWS Java 软件开发工具包 CodeDeploy） 1.12.390
com.amazonaws aws-java-sdk-cognitoidentity 1.12.390
com.amazonaws aws-java-sdk-cognitosync 1.12.390
com.amazonaws aws-java-sdk-config（AWS Java SDK 配置） 1.12.390
com.amazonaws aws-java-sdk-core (AWS Java软件开发工具包核心) 1.12.390
com.amazonaws aws-java-sdk-datapipeline 1.12.390
com.amazonaws AWS Java SDK Direct Connect（直连） 1.12.390
com.amazonaws aws-java-sdk-directory 1.12.390
com.amazonaws aws-java-sdk-dynamodb 1.12.390
com.amazonaws aws-java-sdk-ec2 1.12.390
com.amazonaws aws-java-sdk-ecs 1.12.390
com.amazonaws aws-java-sdk-efs 1.12.390
com.amazonaws aws-java-sdk-elasticache 1.12.390
com.amazonaws aws-java-sdk-elasticbeanstalk（AWS Java 开发工具包 - Elastic Beanstalk） 1.12.390
com.amazonaws aws-java-sdk-弹性负载均衡 1.12.390
com.amazonaws aws-java-sdk-elastictranscoder（AWS Java SDK弹性转码器） 1.12.390
com.amazonaws aws-java-sdk-emr 1.12.390
com.amazonaws AWS Java SDK Glacier 1.12.390
com.amazonaws AWS Java SDK Glue 1.12.390
com.amazonaws aws-java-sdk-iam 1.12.390
com.amazonaws AWS Java SDK 导入导出 (aws-java-sdk-importexport) 1.12.390
com.amazonaws aws-java-sdk-kinesis 1.12.390
com.amazonaws AWS Java 软件开发工具包 - KMS 1.12.390
com.amazonaws aws-java-sdk-lambda 1.12.390
com.amazonaws aws-java-sdk-logs（AWS Java开发包日志） 1.12.390
com.amazonaws AWS-Java-SDK-机器学习 1.12.390
com.amazonaws aws-java-sdk-opsworks 1.12.390
com.amazonaws aws-java-sdk-rds 1.12.390
com.amazonaws aws-java-sdk-redshift 1.12.390
com.amazonaws aws-java-sdk-route53 1.12.390
com.amazonaws aws-java-sdk-s3 1.12.390
com.amazonaws aws-java-sdk-ses 1.12.390
com.amazonaws aws-java-sdk-simpledb 1.12.390
com.amazonaws aws-java-sdk-simpleworkflow 1.12.390
com.amazonaws aws-java-sdk-sns 1.12.390
com.amazonaws aws-java-sdk-sqs 1.12.390
com.amazonaws aws-java-sdk-ssm 1.12.390
com.amazonaws AWS Java SDK 存储网关 1.12.390
com.amazonaws aws-java-sdk-sts 1.12.390
com.amazonaws AWS Java SDK支持 1.12.390
com.amazonaws AWS-Java-SDK-SWF-库 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.390
com.amazonaws jmespath-java 1.12.390
com.clearspring.analytics 溪流 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb 编译器插件_compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml 同学 1.3.4
com.fasterxml.jackson.core Jackson注解 2.14.2
com.fasterxml.jackson.core jackson-core 2.14.2
com.fasterxml.jackson.core jackson-databind 2.14.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor（Jackson的CBOR数据格式） 2.14.2
com.fasterxml.jackson.datatype jackson-datatype-joda（杰克逊数据类型-Joda） 2.14.2
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.13.4
com.fasterxml.jackson.module jackson-module-paranamer 2.14.2
com.fasterxml.jackson.module jackson-module-scala_2.12 2.14.2
com.github.ben-manes.咖啡因 咖啡因 2.9.3
com.github.fommil jniloader 1.1
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java 1.1-本地人
com.github.fommil.netlib 原生系统-Java 1.1
com.github.fommil.netlib 原生系统-Java 1.1-本地人
com.github.fommil.netlib netlib-native_ref-linux-x86_64 1.1-本地人
com.github.fommil.netlib netlib-本地系统-linux-x86_64 1.1-本地人
com.github.luben zstd-jni 1.5.2-5
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.8.9
com.google.crypto.tink 丁克 1.7.0
com.google.errorprone 易出错的注释 2.10.0
com.google.flatbuffers flatbuffers-java 1.12.0
com.google.guava 番石榴 15.0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 2.1.214
com.helger 分析器 1.1.1
com.jcraft jsch 0.1.55
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi 源代码_2.12 0.1.9
com.microsoft.azure Azure 数据湖存储 SDK 2.3.9
com.microsoft.sqlserver mssql-jdbc 11.2.2.jre8
com.ning 压缩-lzf 1.1.2
com.sun.mail javax.mail 1.5.2
com.sun.xml.bind jaxb-core 2.2.11
com.sun.xml.bind jaxb-impl 2.2.11
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses 镜头_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe 配置 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.0
com.univocity univocity-parsers解析器 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec（公共编解码器） commons-codec（公共编解码器） 1.15
commons-collections (通用集合库) commons-collections (通用集合库) 3.2.2
commons-dbcp commons-dbcp 1.4
公共文件上传 公共文件上传 1.5
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.11.0
commons-lang commons-lang 2.6
commons-logging（日志库） commons-logging（日志库） 1.1.3
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 3.0.3
dev.ludovic.netlib BLAS 3.0.3
dev.ludovic.netlib lapack 3.0.3
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift 空气压缩机 0.21
io.delta delta-sharing-spark_2.12 0.7.0
io.dropwizard.metrics metrics-core 4.2.10
io.dropwizard.metrics metrics-graphite 4.2.10
io.dropwizard.metrics 指标-健康检查 4.2.10
io.dropwizard.metrics metrics-jetty9 4.2.10
io.dropwizard.metrics 指标-JMX 4.2.10
io.dropwizard.metrics metrics-json 4.2.10
io.dropwizard.metrics 指标-JVM 4.2.10
io.dropwizard.metrics 指标-Servlets 4.2.10
io.netty netty-all 4.1.87.Final
io.netty netty-buffer（Netty缓存） 4.1.87.Final
io.netty netty-codec 4.1.87.Final
io.netty Netty HTTP 编解码器 4.1.87.Final
io.netty netty-codec-http2 4.1.87.Final
io.netty netty-codec-socks 4.1.87.Final
io.netty Netty-Common（网络通用组件） 4.1.87.Final
io.netty netty-handler 4.1.87.Final
io.netty netty-handler-proxy（Netty 处理器代理） 4.1.87.Final
io.netty netty-resolver (Netty 解析器) 4.1.87.Final
io.netty netty-transport 4.1.87.Final
io.netty netty-transport-classes-epoll 4.1.87.Final
io.netty netty-transport-classes-kqueue 4.1.87.Final
io.netty netty-transport-native-epoll 4.1.87.Final
io.netty netty-transport-native-epoll 4.1.87.Final-linux-aarch_64
io.netty netty-transport-native-epoll 4.1.87.Final-linux-x86_64
io.netty netty-transport-native-kqueue 4.1.87.Final-osx-aarch_64
io.netty netty-transport-native-kqueue 4.1.87.Final-osx-x86_64
io.netty Netty传输-本机-Unix-通用 4.1.87.Final
io.prometheus simpleclient 0.7.0
io.prometheus 简单客户端通用 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx 收藏者 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation 激活 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1.1
javax.transaction 交易接口 (transaction-api) 1.1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.12.1
ml.combust.mleap mleap-databricks-runtime_2.12 v0.20.0-db2
net.java.dev.jna jna 5.8.0
net.razorvine 泡菜 1.3
net.sf.jpam 杰潘 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.13.29
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt.remotetea remotetea-oncrpc（远程调用协议库） 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.9.3
org.antlr 字符串模板 3.2.1
org.apache.ant 蚂蚁 1.9.16
org.apache.ant ant-jsch（Java的SSH库） 1.9.16
org.apache.ant ant-launcher 1.9.16
org.apache.arrow 箭头格式 11.0.0
org.apache.arrow 箭头内存核心 11.0.0
org.apache.arrow 箭头内存网状系统 11.0.0
org.apache.arrow 箭头向量 11.0.0
org.apache.avro Avro 1.11.1
org.apache.avro avro-ipc 1.11.1
org.apache.avro avro-mapred 1.11.1
org.apache.commons commons-collections4（通用集合库） 4.4
org.apache.commons commons-compress 1.21
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-text 1.10.0
org.apache.curator 策展人与客户 2.13.0
org.apache.curator curator-framework (ZooKeeper客户端库) 2.13.0
org.apache.curator 策展人食谱 2.13.0
org.apache.datasketches datasketches-java 3.1.0
org.apache.datasketches 数据草图内存 2.0.0
org.apache.derby 德比 10.14.2.0
org.apache.hadoop hadoop-client-runtime（Hadoop客户端运行时） 3.3.4
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-垫片 2.3.9
org.apache.hive hive-storage-api 2.8.1
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.httpcomponents httpclient 4.5.14
org.apache.httpcomponents httpcore 4.4.16
org.apache.ivy 常春藤 2.5.1
org.apache.logging.log4j log4j-1.2-api 2.19.0
org.apache.logging.log4j log4j-api 2.19.0
org.apache.logging.log4j log4j-core 2.19.0
org.apache.logging.log4j log4j-slf4j2-impl 2.19.0
org.apache.mesos mesos 1.11.0-shaded-protobuf
\ org.apache.orc orc-core 1.8.3-shaded-协议缓冲区
\ org.apache.orc orc-mapreduce 1.8.3-shaded-协议缓冲区
\ org.apache.orc orc-shims 1.8.3
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm9-shaded 4.22
org.apache.yetus 听众批注 0.13.0
org.apache.zookeeper 动物园管理员 3.6.3
org.apache.zookeeper zookeeper-jute 3.6.3
org.checkerframework checker-qual 3.19.0
org.codehaus.jackson jackson-core-asl (Jackson核心库 - ASL) 1.9.13
org.codehaus.jackson 杰克逊映射器-ASL 1.9.13
org.codehaus.janino commons-compiler（通用编译器） 3.0.16
org.codehaus.janino 雅尼诺 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.50.v20221201
org.eclipse.jetty jetty-continuation 9.4.50.v20221201
org.eclipse.jetty Jetty-HTTP 9.4.50.v20221201
org.eclipse.jetty jetty-io 9.4.50.v20221201
org.eclipse.jetty jetty-jndi 9.4.50.v20221201
org.eclipse.jetty jetty-plus 9.4.50.v20221201
org.eclipse.jetty jetty-proxy 9.4.50.v20221201
org.eclipse.jetty 码头安全 9.4.50.v20221201
org.eclipse.jetty Jetty服务器 9.4.50.v20221201
org.eclipse.jetty jetty-servlet 9.4.50.v20221201
org.eclipse.jetty jetty-servlets 9.4.50.v20221201
org.eclipse.jetty jetty-util（Jetty工具库） 9.4.50.v20221201
org.eclipse.jetty jetty-util-ajax 9.4.50.v20221201
org.eclipse.jetty Jetty 网页应用 9.4.50.v20221201
org.eclipse.jetty jetty-xml 9.4.50.v20221201
org.eclipse.jetty.websocket WebSocket API 9.4.50.v20221201
org.eclipse.jetty.websocket WebSocket客户端 9.4.50.v20221201
org.eclipse.jetty.websocket WebSocket-通用 9.4.50.v20221201
org.eclipse.jetty.websocket WebSocket 服务器 9.4.50.v20221201
org.eclipse.jetty.websocket websocket-servlet 9.4.50.v20221201
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-定位器 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi资源定位器 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers Jersey容器Servlet 2.36
org.glassfish.jersey.containers Jersey容器Servlet核心 2.36
org.glassfish.jersey.core jersey-client 2.36
org.glassfish.jersey.core jersey-common 2.36
org.glassfish.jersey.core jersey-server 2.36
org.glassfish.jersey.inject jersey-hk2 2.36
org.hibernate.validator Hibernate验证器 6.1.7.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss 日志 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains 注释 17.0.0
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mariadb.jdbc mariadb-java-client 2.7.4
org.mlflow mlflow-spark 2.2.0
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.3.8
org.roaringbitmap RoaringBitmap 0.9.39
org.roaringbitmap 垫片 0.9.39
.rocksdb rocksdbjni 7.8.3
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.15
org.scala-lang scala-library_2.12 2.12.15
org.scala-lang scala-reflect_2.12 2.12.15
org.scala-lang.modules scala-collection-compat_2.12 2.4.3
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt 测试接口 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.2.15
org.scalanlp breeze-macros_2.12 2.1.0
org.scalanlp breeze_2.12 2.1.0
org.scalatest scalatest兼容 3.2.15
org.scalatest scalatest-core_2.12 3.2.15
org.scalatest scalatest-diagrams_2.12 3.2.15
org.scalatest scalatest-featurespec_2.12 3.2.15
org.scalatest scalatest-flatspec_2.12 3.2.15
org.scalatest scalatest-freespec_2.12 3.2.15
org.scalatest scalatest-funspec_2.12 3.2.15
org.scalatest scalatest-funsuite_2.12 3.2.15
org.scalatest scalatest-matchers-core_2.12 3.2.15
org.scalatest scalatest-mustmatchers_2.12 3.2.15
org.scalatest scalatest-propspec_2.12 3.2.15
org.scalatest scalatest-refspec_2.12 3.2.15
org.scalatest scalatest-shouldmatchers_2.12 3.2.15
org.scalatest scalatest-wordspec_2.12 3.2.15
org.scalatest scalatest_2.12 3.2.15
org.slf4j jcl-over-slf4j 2.0.6
org.slf4j jul-to-slf4j 2.0.6
org.slf4j slf4j-api 2.0.6
org.threeten threeten-extra 1.7.1
org.tukaani xz 1.9
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl WildFly-OpenSSL 1.1.3.Final
org.xerial sqlite-jdbc 3.42.0.0
org.xerial.snappy snappy-java 1.1.8.4
org.yaml snakeyaml 1.33
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.cryptools AmazonCorrettoCryptoProvider 1.6.1-linux-x86_64
software.amazon.ion ion-java 1.0.2
斯塔克斯 stax-api 1.0.1