通过

Databricks Runtime 12.1 （EoS）

注意

对此 Databricks Runtime 版本的支持已结束。 有关终止支持日期，请参阅终止支持历史记录。 有关所有受支持的 Databricks Runtime 版本，请参阅 Databricks Runtime 发行说明版本和兼容性。

以下发行说明提供了由 Apache Spark 3.3.1 提供支持的 Databricks Runtime 12.1 的相关信息。

Databricks 于 2023 年 1 月发布此版本。

新增功能和改进

支持用于协议管理的 Delta Lake 表功能

Azure Databricks 引入了对 Delta Lake 表功能的支持，其中引入了细化的标志用于指定给定的表支持哪些功能。 请参阅 Delta Lake 功能兼容性和协议。

更新的预测性 I/O 目前为公共预览版

借助在启用了 Photon 的计算中启用的删除向量，预测性 I/O 现在可以加速对 Delta 表的 DELETE、MERGE 和 UPDATE 操作。 请参阅什么是预测性 I/O？

目录资源管理器现在可供所有角色使用

使用 Databricks Runtime 7.3 LTS 及更高版本时，目录资源管理器现在可供所有 Azure Databricks 角色使用。

支持在单个流式处理查询中使用多个有状态运算符

用户现在可以在流式处理查询中使用追加模式链接有状态运算符。 并非完全支持所有运算符。 流式传输时间间隔联接， flatMapGroupsWithState 不允许链接其他有状态运算符。

对协议缓冲区的支持现仅提供公共预览版

可以使用 from_protobuf 和 to_protobuf 函数在二进制和结构类型之间交换数据。 请参阅读取和写入协议缓冲区。

支持 Confluent 架构注册表身份验证

Azure Databricks 与 Confluent 架构注册表的集成现在支持具有身份验证的外部架构注册表地址。 此功能适用于 from_avro、to_avro、from_protobuf 和 to_protobuf 函数。 请参阅 Protobuf 或 Avro。

支持使用 Delta Sharing 共享来共享表历史记录

现在，可以使用 Delta Sharing 来共享一个具有完整历史记录的表，使接收者能够执行时间旅行查询，并使用 Spark 结构化流式处理来查询该表。 建议使用 WITH HISTORY 而不是 CHANGE DATA FEED，不过后者仍受支持。 请参阅 ALTER SHARE 和将表添加到共享。

支持使用 Delta Sharing 共享进行流式处理

Spark 结构化流式处理现在支持已使用 deltasharing 共享的源 Delta Sharing 表中的格式 WITH HISTORY。

目录中的 Delta Sharing 表现在支持使用时间戳的表版本

现在你可以在 TIMESTAMP AS OF 语句中使用 SELECTSQL 语法来指定挂载在目录中的 Delta Sharing 表的版本。 必须使用 WITH HISTORY 共享表。

支持为 MERGE INTO 使用 WHEN NOT MATCHED BY SOURCE

现在可以添加 WHEN NOT MATCHED BY SOURCE 子句到 MERGE INTO 中，根据合并条件更新或删除所选表中那些与源表不匹配的行。 新子句在 SQL、Python、Scala 和 Java 中可用。 请参阅 MERGE INTO。

优化 CONVERT TO DELTA 的统计信息集合

CONVERT TO DELTA 操作的统计信息收集现在速度要快得多。 这减少了可使用 NO STATISTICS 提高效率的工作负载数。

Unity 目录支持撤销删除表

此功能最初在公共预览版中发布。 自 2023 年 10 月 25 日起进入正式发布阶段。

现在可以在删除后 7 天内，在现有架构中取消删除已删除的托管表或外部表。 请参阅 UNDROP 和 SHOW TABLES DROPPED。

软件库升级

  • 升级了 Python 库：
    • filelock 已从 3.8.0 升级到 3.8.2
    • platformdirs 已从 2.5.4 升级到 2.6.0
    • setuptools 已从 58.0.4 升级到 61.2.0
  • 升级了 R 库：
  • 升级了 Java 库：
    • io.delta.delta-sharing-spark_2.12 已从 0.5.2 升级到 0.6.2
    • org.apache.hive.hive-storage-api 已从 2.7.2 升级到 2.8.1
    • org.apache.parquet.parquet-column 已从 1.12.3-databricks-0001 升级到 1.12.3-databricks-0002
    • org.apache.parquet.parquet-common 已从 1.12.3-databricks-0001 升级到 1.12.3-databricks-0002
    • org.apache.parquet.parquet-encoding 已从 1.12.3-databricks-0001 升级到 1.12.3-databricks-0002
    • org.apache.parquet.parquet-format-structures 已从 1.12.3-databricks-0001 升级到 1.12.3-databricks-0002
    • org.apache.parquet.parquet-hadoop 已从 1.12.3-databricks-0001 升级到 1.12.3-databricks-0002
    • org.apache.parquet.parquet-jackson 已从 1.12.3-databricks-0001 升级到 1.12.3-databricks-0002
    • org.tukaani.xz 已从 1.8 升级到 1.9

Apache Spark

Databricks Runtime 12.1 包含 Apache Spark 3.3.1。 此版本包括 Databricks Runtime 12.0 (EoS) 中包含的所有 Spark 修复和改进，以及对 Spark 进行的以下其他缺陷修复和改进：

  • [SPARK-41405] [SC-119769][12.1.0] 还原“[SC-119411][sql] 集中化列解析逻辑”和“[SC-117170][spark-41338][sql] 在同一个分析器批中解析外部引用和普通列”
  • [SPARK-41405] [SC-119411][sql] 集中化列解析逻辑
  • [SPARK-41859] [SC-119514][sql] CreateHiveTableAsSelectCommand 应正确设置覆盖标志
  • [SPARK-41659] [SC-119526][connect][12.X] 在 pyspark.sql.connect.readwriter 中启用 doctests
  • [SPARK-41858] [SC-119427][sql] 修复由于默认值特性导致的 ORC 读取器性能回退问题
  • [SPARK-41807] [SC-119399][core] 删除不存在的错误类：UNSUPPORTED_FEATURE.DISTRIBUTE_BY
  • [SPARK-41578] [12.x][sc-119273][SQL] 将名称分配给_LEGACY_ERROR_TEMP_2141
  • [SPARK-41571] [SC-119362][sql] 为 _LEGACY_ERROR_TEMP_2310 分配名称
  • [SPARK-41810] [SC-119373][connect] 从 SparkSession.createDataFrame 中的字典列表中推断名称
  • [SPARK-40993] [SC-119504][spark-41705][CONNECT][12.x] 将 Spark Connect 文档和脚本移动到开发/和 Python 文档
  • [SPARK-41534] [SC-119456][connect][SQL][12.x] 为 Spark Connect 设置初始客户端模块
  • [SPARK-41365] [SC-118498][ui][3.3] 无法为特定 yarn 环境中的代理加载阶段 UI 页
  • [SPARK-41481] [SC-118150][core][SQL] 重复使用 INVALID_TYPED_LITERAL，而不是 _LEGACY_ERROR_TEMP_0020
  • [SPARK-41049] [SC-119305][sql] 重新审查有状态表达式处理
  • [SPARK-41726] [SC-119248][sql] 删除 OptimizedCreateHiveTableAsSelectCommand
  • [SPARK-41271] [SC-118648][sc-118348][SQL] sql() 支持参数化 SQL 查询
  • [SPARK-41066] [SC-119344][connect][PYTHON] 实现 DataFrame.sampleBy 和 DataFrame.stat.sampleBy
  • [SPARK-41407] [SC-119402][sc-119012][sql][all tests] 将 v1 写入拉取到 WriteFiles
  • [SPARK-41565] [SC-118868][sql] 添加错误类 UNRESOLVED_ROUTINE
  • [SPARK-41668] [SC-118925][sql] DECODE 函数在传递 NULL 时返回错误的结果
  • [SPARK-41554] [SC-119274] 修复小数位数减少 m 时小数位数的变化...
  • [SPARK-41065] [SC-119324][connect][PYTHON] 实现 DataFrame.freqItems 和 DataFrame.stat.freqItems
  • [SPARK-41742] [SC-119404][spark-41745][CONNECT][12.x] 重新启用文档测试，并将缺少的列别名添加到 count() 中
  • [SPARK-41069] [SC-119310][connect][PYTHON] 实现 DataFrame.approxQuantile 和 DataFrame.stat.approxQuantile
  • [SPARK-41809] [SC-119367][connect][PYTHON] 使函数 from_json 支持 DataType 架构
  • [SPARK-41804] [SC-119382][sql] 为 UDT 数组选择 InterpretedUnsafeProjection 中正确的元素大小
  • [SPARK-41786] [SC-119308][connect][PYTHON] 删除重复的帮助器函数
  • [SPARK-41745] [SC-119378][spark-41789][12.X] 创建 createDataFrame 支持行列表
  • [SPARK-41344] [SC-119217][sql] 在 SupportsCatalogOptions 目录中找不到表时使错误的表达更明确
  • [SPARK-41803] [SC-119380][connect][PYTHON] 添加缺少的函数 log(arg1, arg2)
  • [SPARK-41808] [SC-119356][connect][PYTHON] 使 JSON 函数支持选项
  • [SPARK-41779] [SC-119275][spark-41771][CONNECT][python] 使 __getitem__ 支持过滤和选择操作
  • [SPARK-41783] [SC-119288][spark-41770][CONNECT][python] 使列操作支持 None
  • [SPARK-41440] [SC-119279][connect][PYTHON] 避免对一般示例使用缓存运算符。
  • [SPARK-41785] [SC-119290][connect][PYTHON] 实现 GroupedData.mean
  • [SPARK-41629] [SC-119276][connect] 支持关系和表达式中的协议扩展
  • [SPARK-41417] [SC-118000][core][SQL] 将 _LEGACY_ERROR_TEMP_0019 重命名为 INVALID_TYPED_LITERAL
  • [SPARK-41533] [SC-119342][connect][12.X] Spark Connect 服务器/客户端的正确错误处理
  • [SPARK-41292] [SC-119357][connect][12.X] 支持 pyspark.sql.window 命名空间中的窗口
  • [SPARK-41493] [SC-119339][connect][PYTHON] 使 csv 函数支持选项
  • [SPARK-39591] [SC-118675][ss] 异步进度跟踪
  • [SPARK-41767] [SC-119337][connect][PYTHON][12.x] 实现 Column.{withField, dropFields}
  • [SPARK-41068] [SC-119268][connect][PYTHON] 实现 DataFrame.stat.corr
  • [SPARK-41655] [SC-119323][connect][12.X] 在 pyspark.sql.connect.column 中启用文档测试
  • [SPARK-41738] [SC-119170][connect] 在 SparkSession 缓存中混合 ClientId
  • [SPARK-41354] [SC-119194][connect] 将 RepartitionByExpression 添加到 proto
  • [SPARK-41784] [SC-119289][connect][PYTHON] 添加缺失的 __rmod__ 到列中
  • [SPARK-41778] [SC-119262][sql] 向 ArrayAggregate 添加别名“reduce”
  • [SPARK-41067] [SC-119171][connect][PYTHON] 实现 DataFrame.stat.cov
  • [SPARK-41764] [SC-119216][connect][PYTHON] 使内部字符串操作名称与 FunctionRegistry 保持一致
  • [SPARK-41734] [SC-119160][connect] 为目录添加父消息
  • [SPARK-41742] [SC-119263] 支持 df.groupBy().agg({“*”:”count”})
  • [SPARK-41761] [SC-119213][connect][PYTHON] 修复算术运算：__neg__、__pow__、__rpow__
  • [SPARK-41062] [SC-118182][sql] 将 UNSUPPORTED_CORRELATED_REFERENCE 重命名为 CORRELATED_REFERENCE
  • [SPARK-41751] [SC-119211][connect][PYTHON] 修复 Column.{isNull, isNotNull, eqNullSafe}
  • [SPARK-41728] [SC-119164][connect][PYTHON][12.x] 实现 unwrap_udt 函数
  • [SPARK-41333] [SC-119195][spark-41737] 实现 GroupedData.{min, max, avg, sum}
  • [SPARK-41751] [SC-119206][connect][PYTHON] 修复 Column.{bitwiseAND, bitwiseOR, bitwiseXOR}
  • [SPARK-41631] [SC-101081][sql] 支持 Aggregate 中的隐式横向列别名解析
  • [SPARK-41529] [SC-119207][connect][12.X] 实现 SparkSession.stop
  • [SPARK-41729] [SC-119205][core][SQL][12.x] 将 _LEGACY_ERROR_TEMP_0011 重命名为 UNSUPPORTED_FEATURE.COMBINATION_QUERY_RESULT_CLAUSES
  • [SPARK-41717] [SC-119078][connect][12.X] 在 LogicalPlan 中删除重复的输出和 repr_html
  • [SPARK-41740] [SC-119169][connect][PYTHON] 实现 Column.name
  • [SPARK-41733] [SC-119163][sql][SS] 应用基于树模式的修剪策略于规则 ResolveWindowTime
  • [SPARK-41732] [SC-119157][sql][SS] 对 SessionWindowing 规则应用基于树模式的修剪
  • [SPARK-41498] [SC-119018] 通过联合传播元数据
  • [SPARK-41731] [SC-119166][connect][PYTHON][12.x] 实现列访问器
  • [SPARK-41736] [SC-119161][connect][PYTHON] pyspark_types_to_proto_types 应支持 ArrayType
  • [SPARK-41473] [SC-119092][connect][PYTHON] 实现 format_number 函数
  • [SPARK-41707] [SC-119141][connect][12.X] 在 Spark Connect 中实现目录 API
  • [SPARK-41710] [SC-119062][connect][PYTHON] 实现 Column.between
  • [SPARK-41235] [SC-119088][sql][PYTHON]高阶函数：array_compact实现
  • [SPARK-41518] [SC-118453][sql] 将名称分配给错误类 _LEGACY_ERROR_TEMP_2422
  • [SPARK-41723] [SC-119091][connect][PYTHON] 实现 sequence 函数
  • [SPARK-41703] [SC-119060][connect][PYTHON] 在 Literal 中组合 NullType 和 typed_null
  • [SPARK-41722] [SC-119090][connect][PYTHON] 实现 3 个缺失的时间窗口函数
  • [SPARK-41503] [SC-119043][connect][PYTHON] 实现分区转换函数
  • [SPARK-41413] [SC-118968][sql] 避免当分区键不匹配但联接表达式兼容时存储分区联接中出现随机排列
  • [SPARK-41700] [SC-119046][connect][PYTHON] 删除 FunctionBuilder
  • [SPARK-41706] [SC-119094][connect][PYTHON] pyspark_types_to_proto_types 应支持 MapType
  • [SPARK-41702] [SC-119049][connect][PYTHON] 添加无效的列操作
  • [SPARK-41660] [SC-118866][sql] 仅在使用元数据列时才传播这些列
  • [SPARK-41637] [SC-119003][sql] ORDER BY ALL
  • [SPARK-41513] [SC-118945][sql] 实现累加器以收集每个映射器行计数指标
  • [SPARK-41647] [SC-119064][connect][12.X] 去除 pyspark.sql.connect.functions 中的文档字符串重复
  • [SPARK-41701] [SC-119048][connect][PYTHON] 使列操作支持 decimal
  • [SPARK-41383] [SC-119015][spark-41692][SPARK-41693] 实现 rollup、cube 和 pivot
  • [SPARK-41635] [SC-118944][sql] GROUP BY ALL
  • [SPARK-41645] [SC-119057][connect][12.X] 删除 pyspark.sql.connect.dataframe 中的重复 docstrings
  • [SPARK-41688] [SC-118951][connect][PYTHON] 将表达式移动到 expressions.py
  • [SPARK-41687] [SC-118949][connect] 删除 pyspark.sql.connect.group 中的重复 docstrings
  • [SPARK-41649] [SC-118950][connect] 删除 pyspark.sql.connect.window 中的重复 docstrings
  • [SPARK-41681] [SC-118939][connect] 将 GroupedData 析出到 group.py
  • [SPARK-41292] [SC-119038][spark-41640][SPARK-41641][connect][PYTHON][12.x] 实现 Window 函数
  • [SPARK-41675] [SC-119031][sc-118934][CONNECT][python][12.X] 使列操作支持 datetime
  • [SPARK-41672] [SC-118929][connect][PYTHON] 启用已弃用的函数
  • [SPARK-41673] [SC-118932][connect][PYTHON] 实现 Column.astype
  • [SPARK-41364] [SC-118865][connect][PYTHON] 实现 broadcast 函数
  • [SPARK-41648] [SC-118914][connect][12.X] 删除 pyspark.sql.connect.readwriter 中的重复 docstrings
  • [SPARK-41646] [SC-118915][connect][12.X] 去除 pyspark.sql.connect.session 中的重复文档字符串
  • [SPARK-41643] [SC-118862][connect][12.X] 删除 pyspark.sql.connect.column 中的重复 docstrings
  • [SPARK-41663] [SC-118936][connect][PYTHON][12.x] 实现 Lambda 函数的其余部分
  • [SPARK-41441] [SC-118557][sql] 支持生成，无需子输出即可托管外部引用
  • [SPARK-41669] [SC-118923][sql] canCollapseExpressions 中的早期修剪
  • [SPARK-41639] [SC-118927][sql][PROTOBUF] ： 从 SchemaConverters 中删除 ScalaReflectionLock
  • [SPARK-41169] [SC-116378][connect][PYTHON] 实现 DataFrame.to
  • [SPARK-41434] [SC-118857][connect][PYTHON] 初始 LambdaFunction 实现
  • [SPARK-41539] [SC-118802][sql] 针对 LogicalRDD 的逻辑计划中的输出重新映射统计信息和约束
  • [SPARK-41396] [SC-118786][sql][PROTOBUF] OneOf 字段支持和递归检查
  • [SPARK-41528] [SC-118769][connect][12.X] Spark Connect 和 PySpark API 的合并命名空间
  • [SPARK-41568] [SC-118715][sql] 为_LEGACY_ERROR_TEMP_1236 赋予名称
  • [SPARK-41440] [SC-118788][connect][PYTHON] 实现 DataFrame.randomSplit
  • [SPARK-41583] [SC-118718][sc-118642][CONNECT][protobuf] 使用指定依赖项将 Spark Connect 和 protobuf 添加到 setup.py
  • [SPARK-27561] [SC-101081][12.x][SQL] 支持 Project 中的隐式横向列别名解析
  • [SPARK-41535] [SC-118645][sql] 将 InterpretedUnsafeProjection 和 InterpretedMutableProjection 中的日历间隔字段正确设为 null
  • [SPARK-40687] [ SC-118439][sql] 支持数据掩码内置函数“mask”
  • [SPARK-41520] [SC-118440][sql] 拆分 AND_OR TreePattern 以分隔 AND 和 OR TreePattern
  • [SPARK-41349] [SC-118668][connect][PYTHON] 实现 DataFrame.hint
  • [SPARK-41546] [SC-118541][connect][PYTHON] pyspark_types_to_proto_types 应支持 StructType。
  • [SPARK-41334] [SC-118549][connect][PYTHON] 将 SortOrder proto 从关系移动到表达式
  • [SPARK-41387] [SC-118450][ss] 为 Trigger.AvailableNow 声明来自 Kafka 数据源的当前结束偏移量
  • [SPARK-41508] [SC-118445][core][SQL] 将 _LEGACY_ERROR_TEMP_1180 重命名为 UNEXPECTED_INPUT_TYPE 并删除 _LEGACY_ERROR_TEMP_1179
  • [SPARK-41319] [SC-118441][connect][PYTHON] 使用 when 实现 Column.{when, otherwise} 和函数 UnresolvedFunction
  • [SPARK-41541] [SC-118460][sql] 修复 SQLShuffleWriteMetricsReporter.decRecordsWritten（） 中错误子方法的调用
  • [SPARK-41453] [SC-118458][connect][PYTHON] 实现 DataFrame.subtract
  • [SPARK-41248] [SC-118436][sc-118303][SQL] 添加“spark.sql.json.enablePartialResults”以启用/禁用 JSON 部分结果
  • [SPARK-41437] 还原“[SC-117601][sql] 不要为 v1 写入回退优化输入查询两次”
  • [SPARK-41472] [SC-118352][connect][PYTHON] 实现字符串/二进制函数的其余部分
  • [SPARK-41526] [SC-118355][connect][PYTHON] 实现 Column.isin
  • [SPARK-32170] [SC-118384] [CORE] 通过阶段任务指标改进推测。
  • [SPARK-41524] [SC-118399][ss] 区分 StateStoreConf 中的 SQLConf 和 extraOptions，使其在 RocksDBConf 中使用
  • [SPARK-41465] [SC-118381][sql] 将名称分配给错误类_LEGACY_ERROR_TEMP_1235
  • [SPARK-41511] [SC-118365][sql] LongToUnsafeRowMap 支持 ignoresDuplicatedKey
  • [SPARK-41409] [SC-118302][core][SQL] 将 _LEGACY_ERROR_TEMP_1043 重命名为 WRONG_NUM_ARGS.WITHOUT_SUGGESTION
  • [SPARK-41438] [SC-118344][connect][PYTHON] 实现 DataFrame.colRegex
  • [SPARK-41437] [SC-117601][sql] 不要为 v1 写入回退优化输入查询两次
  • [SPARK-41314] [SC-117172][sql] 向错误类分配名称 _LEGACY_ERROR_TEMP_1094
  • [SPARK-41443] [SC-118004][sql] 将名称分配给错误类_LEGACY_ERROR_TEMP_1061
  • [SPARK-41506] [SC-118241][connect][PYTHON] 重构 LiteralExpression 以支持 DataType
  • [SPARK-41448] [SC-118046] 在 FileBatchWriter 和 FileFormatWriter 中创建一致的 MR 作业 ID
  • [SPARK-41456] [SC-117970][sql] 提高try_cast的性能
  • [SPARK-41495] [SC-118125][connect][PYTHON] 实现 collection 函数：P~Z
  • [SPARK-41478] [SC-118167][sql] 将名称分配给错误类_LEGACY_ERROR_TEMP_1234
  • [SPARK-41406] [SC-118161][sql] 重构 NUM_COLUMNS_MISMATCH 错误消息，使其更通用
  • [SPARK-41404] [SC-118016][sql] 重构 ColumnVectorUtils#toBatch，使 ColumnarBatchSuite#testRandomRows 测试更多的基元数据类型
  • [SPARK-41468] [SC-118044][sql] 修复 EquivalentExpressions 中的 PlanExpression 处理
  • [SPARK-40775] [SC-118045][sql] 修复 V2 文件扫描的重复描述条目
  • [SPARK-41492] [SC-118042][connect][PYTHON] 实现 MISC 函数
  • [SPARK-41459] [SC-118005][sql] 修复 thrift 服务器操作日志输出为空的问题
  • [SPARK-41395] [SC-117899][sql] InterpretedMutableProjection 应使用 setDecimal 为不安全行中的小数设置 null 值
  • [SPARK-41376] [SC-117840][core][3.3] 更正执行程序启动时的 Netty preferDirectBufs 检查逻辑
  • [SPARK-41484] [SC-118159][sc-118036][CONNECT][python][12.x] 实现 collection 函数：E~M
  • [SPARK-41389] [SC-117426][core][SQL] 重复使用 WRONG_NUM_ARGS 而不是 _LEGACY_ERROR_TEMP_1044
  • [SPARK-41462] [SC-117920][sql] 日期和时间戳类型可以向上强制转换为 TimestampNTZ
  • [SPARK-41435] [SC-117810][sql] 更改为当 invalidFunctionArgumentsError 不为空时，对 curdate() 调用 expressions
  • [SPARK-41187] [SC-118030][core] 发生 ExecutorLost 时 AppStatusListener 中的 LiveExecutor MemoryLeak
  • [SPARK-41360] [SC-118083][core] 在执行程序丢失时，避免 BlockManager 重新注册
  • [SPARK-41378] [SC-117686][sql] 支持 DS v2 中的列统计信息
  • [SPARK-41402] [SC-117910][sql][CONNECT][12.x] 重写 StringDecode 的 prettyName
  • [SPARK-41414] [SC-118041][connect][PYTHON][12.x] 实现日期/时间戳函数
  • [SPARK-41329] [SC-117975][connect] 解决 Spark Connect 中的循环导入问题
  • [SPARK-41477] [SC-118025][connect][PYTHON] 正确推断文本整数的数据类型
  • [SPARK-41446] [SC-118024][connect][PYTHON][12.x] 使 createDataFrame 支持架构和其他输入数据集类型
  • [SPARK-41475] [SC-117997][connect] 修复 lint-scala 命令错误和拼写错误
  • [SPARK-38277] [ SC-117799][ss] 在 RocksDB 状态存储提交后清除写入批次
  • [SPARK-41375] [SC-117801][ss] 避免空的最新 KafkaSourceOffset
  • [SPARK-41412] [SC-118015][connect] 实现 Column.cast
  • [SPARK-41439] [SC-117893][connect][PYTHON] 实现 DataFrame.melt 和 DataFrame.unpivot
  • [SPARK-41399] [SC-118007][sc-117474][CONNECT] 将列相关测试重构为 test_connect_column
  • [SPARK-41351] [SC-117957][sc-117412][CONNECT][12.x] 列应支持 != 运算符
  • [SPARK-40697] [SC-117806][sc-112787][sql] 添加读取端字符填充以涵盖外部数据文件
  • [SPARK-41349] [SC-117594][connect][12.X] 实现 DataFrame.hint
  • [SPARK-41338] [SC-117170][sql] 在同一分析器批处理中解析外部引用和普通列
  • [SPARK-41436] [SC-117805][connect][PYTHON] 实现 collection 函数：A~C
  • [SPARK-41445] [SC-117802][connect] 实现 DataFrameReader.parquet
  • [SPARK-41452] [SC-117865][sql] to_char 格式为 null 时应返回 null
  • [SPARK-41444] [SC-117796][connect] 支持 read.json()
  • [SPARK-41398] [SC-117508][sql] 在运行时筛选后分区键不匹配时放宽对 Storage-Partitioned Join 的约束
  • [SPARK-41228] [SC-117169][sql] 重命名 & 改进 COLUMN_NOT_IN_GROUP_BY_CLAUSE的错误消息。
  • [SPARK-41381] [SC-117593][connect][PYTHON] 实现 count_distinct 和 sum_distinct 函数
  • [SPARK-41433] [SC-117596][connect] 使 Max Arrow 批处理大小可配置
  • [SPARK-41397] [SC-117590][connect][PYTHON] 实现字符串/二进制函数的一部分
  • [SPARK-41382] [SC-117588][connect][PYTHON] 实现 product 函数
  • [SPARK-41403] [SC-117595][connect][PYTHON] 实现 DataFrame.describe
  • [SPARK-41366] [SC-117580][connect] DF.groupby.agg（） 应兼容
  • [SPARK-41369] [SC-117584][connect] 将 connect-common 添加到服务器的影子 jar 中
  • [SPARK-41411] [SC-117562][ss] 多状态运算符水印支持 bug 修复
  • [SPARK-41176] [SC-116630][sql] 向错误类分配名称_LEGACY_ERROR_TEMP_1042
  • [SPARK-41380] [SC-117476][connect][PYTHON][12.x] 实现聚合函数
  • [SPARK-41363] [SC-117470][connect][PYTHON][12.x] 实现正常函数
  • [SPARK-41305] [SC-117411][connect] 改进命令 proto 的文档
  • [SPARK-41372] [SC-117427][connect][PYTHON] 实现 DataFrame TempView
  • [SPARK-41379] [SC-117420][ss][PYTHON] 在 PySpark 中的 foreachBatch 接收器的用户函数中的数据帧中提供克隆的 spark 会话
  • [SPARK-41373] [SC-117405][sql][ERROR] 将 CAST_WITH_FUN_SUGGESTION 重命名为 CAST_WITH_FUNC_SUGGESTION
  • [SPARK-41358] [SC-117417][sql] 重构 ColumnVectorUtils#populate 方法，以使用 PhysicalDataType 而不是 DataType
  • [SPARK-41355] [SC-117423][sql] 解决 hive 表名称验证问题
  • [SPARK-41390] [SC-117429][sql] 更新用于在 register 中生成 UDFRegistration 函数的脚本
  • [SPARK-41206] [SC-117233][sc-116381][SQL] 将错误类重命名为 _LEGACY_ERROR_TEMP_1233COLUMN_ALREADY_EXISTS
  • [SPARK-41357] [SC-117310][connect][PYTHON][12.x] 实现数学函数
  • [SPARK-40970] [SC-117308][connect][PYTHON] 支持 Join 的 on 参数中的列表[列]
  • [SPARK-41345] [SC-117178][connect] 将提示添加到 Connect Proto
  • [SPARK-41226] [SC-117194][sql][12.x] 通过引入物理类型重构 Spark 类型
  • [SPARK-41317] [SC-116902][connect][PYTHON][12.x] 添加对 DataFrameWriter 的基本支持
  • [SPARK-41347] [SC-117173][connect] 将强制转换添加到表达式 proto
  • [SPARK-41323] [SC-117128][sql] 支持 current_schema
  • [SPARK-41339] [SC-117171][sql] 关闭并重新创建 RocksDB 写入批而不是仅仅清除
  • [SPARK-41227] [SC-117165][connect][PYTHON] 实现数据帧交叉联接
  • [SPARK-41346] [SC-117176][connect][PYTHON] 实现 asc 和 desc 函数
  • [SPARK-41343] [SC-117166][connect] 将 FunctionName 分析移动到服务器端
  • [SPARK-41321] [SC-117163][connect] 支持 UnresolvedStar 的目标字段
  • [SPARK-41237] [SC-117167][sql] 为 UNSUPPORTED_DATATYPE 重用错误类 _LEGACY_ERROR_TEMP_0030
  • [SPARK-41309] [SC-116916][sql] 重复使用 INVALID_SCHEMA.NON_STRING_LITERAL 而不是 _LEGACY_ERROR_TEMP_1093
  • [SPARK-41276] [SC-117136][sql][ML][mllib][PROTOBUF][python][R][ss][AVRO] 优化 StructType 的构造函数使用
  • [SPARK-41335] [SC-117135][connect][PYTHON] 支持在列（Column）中使用 IsNull 和 IsNotNull
  • [SPARK-41332] [SC-117131][connect][PYTHON] 修复 nullOrdering 在 SortOrder 中的问题
  • [SPARK-41325] [SC-117132][connect][12.X] 修复 DF 上 GroupBy 缺少的 avg()
  • [SPARK-41327] [SC-117137][core] 通过切换 On/OffHeapStorageMemory 信息修复 SparkStatusTracker.getExecutorInfos
  • [SPARK-41213] [SC-116375][connect][PYTHON] 实现 DataFrame.replace 和 DataFrame.na.replace
  • [SPARK-41328] [SC-117125][connect][PYTHON] 向列添加逻辑和字符串 API
  • [SPARK-41331] [SC-117127][connect][PYTHON] 添加 orderBy 和 drop_duplicates
  • [SPARK-40987] [SC-117124][core] BlockManager#removeBlockInternal 应确保锁正常解锁
  • [SPARK-41268] [SC-117102][sc-116970][CONNECT][python] 为了 API 兼容性重构“列”
  • [SPARK-41312] [SC-116881][connect][PYTHON][12.x] 实现 DataFrame.withColumnRenamed
  • [SPARK-41221] [SC-116607][sql] 添加错误类 INVALID_FORMAT
  • [SPARK-41272] [SC-116742][sql] 向错误类分配名称_LEGACY_ERROR_TEMP_2019
  • [SPARK-41180] [SC-116760][sql] 重复使用 INVALID_SCHEMA 而不是 _LEGACY_ERROR_TEMP_1227
  • [SPARK-41260] [SC-116880][python][SS][12.x] 将 NumPy 实例强制转换为 GroupState 更新中的 Python 基元类型
  • [SPARK-41174] [SC-116609][core][sql] 针对 format 的无效 to_binary()，向用户传播错误类
  • [SPARK-41264] [SC-116971][connect][PYTHON] 使 Literal 支持更多数据类型
  • [SPARK-41326] [SC-116972] [CONNECT] 修复重复数据删除缺失输入的问题
  • [SPARK-41316] [SC-116900][sql] 尽可能启用尾部递归
  • [SPARK-41297] [SC-116931] [CONNECT] [PYTHON] 支持筛选器中的字符串表达式。
  • [SPARK-41256] [SC-116932][sc-116883][CONNECT] 实现 DataFrame.withColumn（s）
  • [SPARK-41182] [SC-116632][sql] 将名称分配给错误类_LEGACY_ERROR_TEMP_1102
  • [SPARK-41181] [SC-116680][sql] 将映射选项错误迁移到错误类
  • [SPARK-40940] [SC-115993][12.x] 删除流式处理查询的多状态运算符检查程序。
  • [SPARK-41310] [SC-116885][connect][PYTHON] 实现 DataFrame.toDF
  • [SPARK-41179] [SC-116631][sql] 向错误类分配名称_LEGACY_ERROR_TEMP_1092
  • [SPARK-41003] [SC-116741][sql] 在禁用 codegen 时 BHJ LeftAnti 不更新 numOutputRows
  • [SPARK-41148] [SC-116878][connect][PYTHON] 实现 DataFrame.dropna 和 DataFrame.na.drop
  • [SPARK-41217] [SC-116380][sql] 添加错误类 FAILED_FUNCTION_CALL
  • [SPARK-41308] [SC-116875][connect][PYTHON] 改进 DataFrame.count()
  • [SPARK-41301] [SC-116786] [CONNECT] 均匀化 SparkSession.range() 的行为
  • [SPARK-41306] [SC-116860][connect] 改进 Connect Expression proto 文档
  • [SPARK-41280] [SC-116733][connect] 实现 DataFrame.tail
  • [SPARK-41300] [SC-116751] [CONNECT] 将未设置的架构解释为架构
  • [SPARK-41255] [SC-116730][sc-116695] [CONNECT] 重命名 RemoteSparkSession
  • [SPARK-41250] [ SC-116788][sc-116633][CONNECT][python] 数据帧。 toPandas 不应返回可选的 pandas 数据帧
  • [SPARK-41291] [SC-116738][connect][PYTHON] DataFrame.explain 应输出并返回 None
  • [SPARK-41278] [SC-116732][connect] 清理 Expression.proto 中未使用的 QualifiedAttribute
  • [SPARK-41097] [SC-116653][core][sql][ss][PROTOBUF] 基于 Scala 2.13 代码删除多余的集合转换
  • [SPARK-41261] [SC-116718][python][SS] 修复当分组键的列未按从早到晚的时间顺序排列时 applyInPandasWithState 的问题
  • [SPARK-40872] [SC-116717][3.3] 当推送合并的随机排列块大小为零时回退到原始随机排列块
  • [SPARK-41114] [SC-116628][connect] 支持 LocalRelation 的本地数据
  • [SPARK-41216] [SC-116678][connect][PYTHON] 实现 DataFrame.{isLocal, isStreaming, printSchema, inputFiles}
  • [SPARK-41238] [SC-116670][connect][PYTHON] 支持更多内置数据类型
  • [SPARK-41230] [SC-116674][connect][PYTHON] 从聚合表达式类型中删除 str
  • [SPARK-41224] [SC-116652][spark-41165][SPARK-41184][connect] 优化的基于箭头的收集实现，从服务器流式传输到客户端
  • [SPARK-41222] [SC-116625][connect][PYTHON] 统一类型化定义
  • [SPARK-41225] [SC-116623] [CONNECT] [PYTHON] 禁用不受支持的函数。
  • [SPARK-41201] [SC-116526][connect][PYTHON] 在 Python 客户端中实现 DataFrame.SelectExpr
  • [SPARK-41203] [SC-116258] [CONNECT] 在 Python 客户端中支持 Dataframe.tansform。
  • [SPARK-41213] [SC-116375][connect][PYTHON] 实现 DataFrame.__repr__ 和 DataFrame.dtypes
  • [SPARK-41169] [SC-116378][connect][PYTHON] 实现 DataFrame.drop
  • [SPARK-41172] [SC-116245][sql] 将不明确的 ref 错误迁移到错误类
  • [SPARK-41122] [SC-116141][connect] 说明 API 可以支持不同的模式
  • [SPARK-41209] [SC-116584][sc-116376][PYTHON] 改进 _merge_type 方法中的 PySpark 类型推理
  • [SPARK-41196] [SC-116555][sc-116179] [CONNECT] 跨 Spark 连接服务器将 protobuf 版本同质化，以使用相同的主版本。
  • [SPARK-35531] [SC-116409][sql] 在无需进行不必要转换的情况下更新 hive 表统计信息
  • [SPARK-41154] [SC-116289][sql] 涉及时间旅行规范的查询的关系缓存不正确
  • [SPARK-41212] [SC-116554][sc-116389][CONNECT][python] 实现 DataFrame.isEmpty
  • [SPARK-41135] [SC-116400][sql] 将 UNSUPPORTED_EMPTY_LOCATION 重命名为 INVALID_EMPTY_LOCATION
  • [SPARK-41183] [SC-116265][sql] 添加扩展 API 以进行计划规范化以实现缓存
  • [SPARK-41054] [SC-116447][ui][CORE] 在实时 UI 中支持将 RocksDB 用作 KVStore
  • [SPARK-38550] [SC-115223] 还原“[SQL][core] 使用基于磁盘的存储为实时 UI 保存更多调试信息”
  • [SPARK-41173] [SC-116185][sql] 从字符串表达式的构造函数移出 require()
  • [SPARK-41188] [SC-116242][core][ML] 默认情况下，将 executorEnv OMP_NUM_THREADS设置为 spark.task.cpus（对于 spark 执行程序 JVM 进程）
  • [SPARK-41130] [SC-116155][sql] 将 OUT_OF_DECIMAL_TYPE_RANGE 重命名为 NUMERIC_OUT_OF_SUPPORTED_RANGE
  • [SPARK-41175] [SC-116238][sql] 向错误类分配名称_LEGACY_ERROR_TEMP_1078
  • [SPARK-41106] [SC-116073][sql] 创建 AttributeMap 时减少集合转换
  • [SPARK-41139] [SC-115983][sql] 改进错误类：PYTHON_UDF_IN_ON_CLAUSE
  • [SPARK-40657] [SC-115997][protobuf] 需要为 Java 类 jar 分装，改进错误处理
  • [SPARK-40999] [SC-116168] 提示传播到子查询
  • [SPARK-41017] [SC-116054][sql] 支持使用多个非确定性筛选器进行列修剪
  • [SPARK-40834] [SC-114773][sql] 使用 SparkListenerSQLExecutionEnd 跟踪 UI 中的最终 SQL 状态
  • [SPARK-41118] [SC-116027][sql] to_number/try_to_number 在格式 null 时应返回 null
  • [SPARK-39799] [SC-115984][sql] DataSourceV2： 查看目录接口
  • [SPARK-40665] [SC-116210][sc-112300][CONNECT] 避免在 Apache Spark 二进制版本中嵌入 Spark Connect
  • [SPARK-41048] [SC-116043][sql] 使用 AQE 缓存改进输出分区和排序
  • [SPARK-41198] [SC-116256][ss] 修复具有 CTE 和 DSv1 流式处理源的流式处理查询中的指标
  • [SPARK-41199] [SC-116244][ss] 修复同时使用 DSv1 流式处理源和 DSv2 流式处理源时的指标问题
  • [SPARK-40957] [SC-116261][sc-114706] 在 HDFSMetadataLog 中添加内存缓存
  • [SPARK-40940] 撤回“[SC-115993] 删除流式查询的多状态运算符检测器”的更改。
  • [SPARK-41090] [SC-116040][sql] 在通过数据集 API 创建临时视图时为 db_name.view_name 引发异常
  • [SPARK-41133] [SC-116085][sql] 将 UNSCALED_VALUE_TOO_LARGE_FOR_PRECISION 集成到 NUMERIC_VALUE_OUT_OF_RANGE
  • [SPARK-40557] [SC-116182][sc-111442][CONNECT] 代码转储 9 提交
  • [SPARK-40448] [SC-114447][sc-111314][CONNECT] Spark Connect 生成为具有阴影依赖项的驱动程序插件
  • [SPARK-41096] [SC-115812][sql] 支持读取 parquet FIXED_LEN_BYTE_ARRAY 类型
  • [SPARK-41140] [SC-115879][sql] 将错误类重命名为 _LEGACY_ERROR_TEMP_2440INVALID_WHERE_CONDITION
  • [SPARK-40918] [SC-114438][sql] 生成列式输出时 FileSourceScanExec 与 Orc 和 ParquetFileFormat 之间不匹配
  • [SPARK-41155] [SC-115991][sql] 向 SchemaColumnConvertNotSupportedException 添加错误消息
  • [SPARK-40940] [SC-115993] 删除流式处理查询的多状态运算符检查程序。
  • [SPARK-41098] [SC-115790][sql] 将 GROUP_BY_POS_REFERS_AGG_EXPR 重命名为 GROUP_BY_POS_AGGREGATE
  • [SPARK-40755] [SC-115912][sql] 将数字格式的类型检查失败迁移到错误类
  • [SPARK-41059] [SC-115658][sql] 将 _LEGACY_ERROR_TEMP_2420 重命名为 NESTED_AGGREGATE_FUNCTION
  • [SPARK-41044] [SC-115662][sql] 将 DATATYPE_MISMATCH.UNSPECIFIED_FRAME 转换为 INTERNAL_ERROR
  • [SPARK-40973] [SC-115132][sql] 将 _LEGACY_ERROR_TEMP_0055 重命名为 UNCLOSED_BRACKETED_COMMENT

维护更新

请参阅 Databricks Runtime 12.1 维护更新。

系统环境

  • 操作系统：Ubuntu 20.04.5 LTS
  • Java：Zulu 8.64.0.19-CA-linux64
  • Scala：2.12.14
  • Python：3.9.5
  • R：4.2.2
  • Delta Lake：2.2.0

已安装的 Python 库

图书馆 版本 图书馆 版本 图书馆 版本
argon2-cffi 21.3.0 argon2-cffi-bindings 21.2.0 asttokens 2.0.5
属性 21.4.0 回调 0.2.0 backports.entry-points-selectable 1.2.0
beautifulsoup4 4.11.1 黑色 22.3.0 漂白剂 4.1.0
boto3 1.21.32 botocore 1.24.32 certifi 2021.10.8
cffi 1.15.0 chardet 4.0.0 charset-normalizer (字符集正常化工具) 2.0.4
点击 8.0.4 密码系统 3.4.8 骑行者 0.11.0
Cython 0.29.28 dbu-python 1.2.16 debugpy 1.5.1
装饰师 5.1.1 defusedxml 0.7.1 distlib 0.3.6
从文档字符串到Markdown 0.11 入口点 0.4 正在执行 0.8.3
各个方面概述 1.0.0 fastjsonschema 2.16.2 文件锁 3.8.2
fonttools（字体工具） 4.25.0 IDNA 3.3 ipykernel 6.15.3
ipython 8.5.0 ipython-genutils（IPython通用工具） 0.2.0 ipywidgets 7.7.2
jedi 0.18.1 Jinja2 2.11.3 jmespath 0.10.0
joblib 1.1.0 jsonschema 4.4.0 jupyter-client（Jupyter 客户端） 6.1.12
jupyter_core（Jupyter核心） 4.11.2 jupyterlab-pygments 0.1.2 jupyterlab-widgets 1.0.0
kiwisolver 1.3.2 MarkupSafe 2.0.1 matplotlib 3.5.1
matplotlib-inline 0.1.2 麦凯布 0.7.0 mistune 0.8.4
mypy-extensions 0.4.3 nbclient 0.5.13 nbconvert 6.4.4
nbformat 5.3.0 nest-asyncio 1.5.5 nodeenv 1.7.0
笔记本 6.4.8 numpy 1.21.5 包装 21.3
熊猫 1.4.2 pandocfilters 1.5.0 帕尔索 0.8.3
pathspec 0.9.0 替罪羊 0.5.2 pexpect 4.8.0
pickleshare 0.7.5 枕头 9.0.1 果仁 21.2.4
platformdirs 2.6.0 plotly 5.6.0 Pluggy (Python库) 1.0.0
prometheus-client 0.13.1 prompt-toolkit 3.0.20 protobuf 3.19.4
psutil 5.8.0 psycopg2 2.9.3 ptyprocess 0.7.0
pure-eval 0.2.2 pyarrow 7.0.0 Python代码解析器 2.21
pyflakes 2.5.0 Pygments 2.11.2 PyGObject 3.36.0
pyodbc 4.0.32 pyparsing 3.0.4 pyright 1.1.283
pyrsistent（持久性，类似于 persistent 的 Python 包） 0.18.0 python-dateutil 2.8.2 python-lsp-jsonrpc 1.0.0
python-lsp-server 1.6.0 pytz 2021.3 pyzmq 22.3.0
请求 2.27.1 requests-unixsocket 0.2.0 绳子 0.22.0
s3transfer 0.5.0 scikit-learn 1.0.2 scipy 1.7.3
seaborn 0.11.2 Send2Trash 1.8.0 setuptools 61.2.0
6 1.16.0 汤滤器 2.3.1 ssh-import-id 5.10
堆栈数据 0.2.0 statsmodels 0.13.2 韧性 8.0.1
完成 0.13.1 测试路径 0.5.0 threadpoolctl 2.2.0
tokenize-rt 4.2.1 tomli 1.2.2 龙卷风 6.1
Traitlets 5.1.1 输入扩展 (typing_extensions) 4.1.1 ujson 5.1.0
无人参与升级 0.1 urllib3 1.26.9 virtualenv 20.8.0
wcwidth 0.2.5 Web编码 0.5.1 whatthepatch 1.0.3
轮子 0.37.0 widgetsnbextension 3.6.1 yapf 0.31.0

已安装的 R 库

R 库安装自 2022-11-11 版本中的 Microsoft CRAN 快照。

图书馆 版本 图书馆 版本 图书馆 版本
箭头 10.0.0 askpass 1.1 assertthat 0.2.1
回移补丁 1.4.1 基础 4.2.2 base64enc 0.1-3
位 4.0.4 bit64 4.0.5 团状物 1.2.3
靴子 1.3-28 酿造/冲泡 1.0-8 活力 1.1.3
扫帚 1.0.1 bslib 0.4.1 卡齐姆 1.0.6
调用方 3.7.3 插入符号 6.0-93 cellranger (细胞测序工具) 1.1.0
chron 2.3-58 班级 7.3-20 cli 3.4.1
剪辑器 0.8.0 时钟 0.6.1 集群 2.1.4
codetools 0.2-18 色彩空间 2.0-3 commonmark 1.8.1
编译器 4.2.2 配置 0.3.1 cpp11 0.4.3
蜡笔 1.5.2 资格证书 1.3.2 卷曲 4.3.3
数据表 (data.table) 1.14.4 数据集 4.2.2 DBI 1.1.3
dbplyr 2.2.1 desc 1.4.2 devtools 2.4.5
diffobj 0.3.5 摘要 0.6.30 向下照明 0.4.2
dplyr 1.0.10 dtplyr 1.2.2 e1071 1.7-12
省略号 0.3.2 评价 0.18 fansi 1.0.3
颜色 2.1.1 快速映射 1.1.0 fontawesome 0.4.0
forcats 0.5.2 foreach 1.5.2 外国 0.8-82
锻造 0.2.0 文件系统 (if fs stands for "file system") 1.5.2 未来 1.29.0
future.apply 1.10.0 漱口 1.2.1 泛 型 0.1.3
格尔特 1.9.1 ggplot2 3.4.0 gh 1.3.1
gitcreds 0.1.2 glmnet 4.1-4 全局变量 0.16.1
胶水 1.6.2 googledrive 2.0.0 googlesheets4 1.0.1
gower 1.0.0 图形 4.2.2 grDevices 4.2.2
“业务流程参数” 网格 4.2.2 gridExtra 2.3 gsubfn 0.7
gtable 0.3.1 安全帽 1.2.0 避风港 2.5.1
更高 0.9 赫姆斯 1.1.2 HTML工具 0.5.3
HTML小插件 1.5.4 httpuv 1.6.6 httr 1.4.4
ids 1.0.1 ini 0.3.1 ipred 0.9-13
isoband 0.2.6 迭代器 1.0.14 jquerylib 0.1.4
jsonlite 1.8.3 KernSmooth 2.23-20 针织器 1.40
标记 0.4.2 稍后 1.3.0 格子 0.20-45
熔岩 1.7.0 生命周期 1.0.3 listenv 0.8.0
lubridate 1.9.0 magrittr 2.0.3 markdown 1.3
质量 7.3-58 矩阵 1.5-1 缓存 2.0.1
方法 4.2.2 mgcv 1.8-41 默剧 0.12
迷你用户界面 0.1.1.1 ModelMetrics 1.2.2.2 modelr 0.1.9
蒙塞尔 0.5.0 nlme 3.1-160 nnet 7.3-18
numDeriv 2016年8月至1月1日 openssl（开放SSL） 2.0.4 平行 4.2.2
并行 1.32.1 柱子 1.8.1 pkgbuild (软件包构建工具) 1.3.1
pkgconfig 2.0.3 pkgdown 2.0.6 pkgload 1.3.1
普洛格 0.2.0 普莱尔 1.8.7 赞美 1.0.0
prettyunits 1.1.1 pROC 1.18.0 processx 3.8.0
prodlim 2019.11.13 profvis 0.3.7 进度 1.2.2
progressr 0.11.0 承诺 1.2.0.1 原型 (proto) 1.0.0
代理服务器 0.4-27 附注 (ps) 1.7.2 purrr 0.3.5
r2d3 0.2.6 R6 2.5.1 ragg 1.2.4
随机森林 (randomForest) 4.7-1.1 rappdirs 0.3.3 rcmdcheck 1.4.0
RColorBrewer 1.1-3 Rcpp 1.0.9 RcppEigen 0.3.3.9.3
readr（阅读器） 2.1.3 readxl 1.4.1 食谱 1.0.3
重赛 1.0.1 rematch2 2.1.2 遥控器 2.4.2
可复现示例 2.0.2 reshape2 1.4.4 rlang 1.0.6
rmarkdown（R语言动态文档生成工具） 2.18 RODBC 1.3-19 roxygen2 7.2.1
rpart 4.1.19 rprojroot 2.0.3 Rserve 1.8-11
RSQLite 2.2.18 rstudioapi 0.14 rversions 2.1.2
rvest 1.0.3 sass 0.4.2 磅秤 1.2.1
selectr 0.4-2 会话信息 1.2.2 形状 1.4.6
光亮 1.7.3 sourcetools 0.1.7 sparklyr 1.7.8
SparkR 3.3.1 空间 7.3-11 样 条 4.2.2
sqldf（R环境中的数据库操作软件包） 0.4-11 SQUAREM 2021年1月 统计数据 4.2.2
统计数据4 4.2.2 字符串 1.7.8 stringr 1.4.1
生存 3.4-0 sys 3.4.1 systemfonts 1.0.4
tcltk 4.2.2 testthat 3.1.5 文本整形 0.3.6
tibble 3.1.8 tidyr 1.2.1 tidyselect 1.2.0
tidyverse（数据分析工具包） 1.3.2 时间变化 0.1.1 时间日期 4021.106
tinytex 0.42 工具 4.2.2 tzdb 0.3.0
网址检查工具 1.0.1 usethis 2.1.6 utf8 1.2.2
实用工具 4.2.2 通用唯一识别码 (UUID) 1.1-0 vctrs 0.5.0
viridisLite 0.4.1 vroom 1.6.0 瓦尔多 0.4.0
晶 须 0.4 无改动（具体含义和背景需要更多信息） 2.5.0 xfun 0.34
xml2 1.3.3 xopen 1.0.0 xtable 1.8-4
yaml 2.3.6 压缩包 2.2.2

已安装的 Java 库和 Scala 库（Scala 2.12 群集版本）

组 ID 项目 ID 版本
antlr antlr 2.7.7
com.amazonaws Amazon Kinesis 客户端 1.12.0
com.amazonaws AWS Java SDK 自动扩展 1.12.189
com.amazonaws aws-java-sdk-cloudformation 1.12.189
com.amazonaws AWS Java SDK CloudFront 1.12.189
com.amazonaws AWS-Java-SDK-云HSM 1.12.189
com.amazonaws AWS Java SDK 云搜索 1.12.189
com.amazonaws aws-java-sdk-cloudtrail 1.12.189
com.amazonaws aws-java-sdk-cloudwatch 1.12.189
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.189
com.amazonaws AWS Java SDK CodeDeploy（AWS Java 软件开发工具包 CodeDeploy） 1.12.189
com.amazonaws aws-java-sdk-cognitoidentity 1.12.189
com.amazonaws aws-java-sdk-cognitosync 1.12.189
com.amazonaws aws-java-sdk-config（AWS Java SDK 配置） 1.12.189
com.amazonaws aws-java-sdk-core (AWS Java软件开发工具包核心) 1.12.189
com.amazonaws aws-java-sdk-datapipeline 1.12.189
com.amazonaws AWS Java SDK Direct Connect（直连） 1.12.189
com.amazonaws aws-java-sdk-directory 1.12.189
com.amazonaws aws-java-sdk-dynamodb 1.12.189
com.amazonaws aws-java-sdk-ec2 1.12.189
com.amazonaws aws-java-sdk-ecs 1.12.189
com.amazonaws aws-java-sdk-efs 1.12.189
com.amazonaws aws-java-sdk-elasticache 1.12.189
com.amazonaws aws-java-sdk-elasticbeanstalk（AWS Java 开发工具包 - Elastic Beanstalk） 1.12.189
com.amazonaws aws-java-sdk-弹性负载均衡 1.12.189
com.amazonaws aws-java-sdk-elastictranscoder（AWS Java SDK弹性转码器） 1.12.189
com.amazonaws aws-java-sdk-emr 1.12.189
com.amazonaws AWS Java SDK Glacier 1.12.189
com.amazonaws AWS Java SDK Glue 1.12.189
com.amazonaws aws-java-sdk-iam 1.12.189
com.amazonaws AWS Java SDK 导入导出 (aws-java-sdk-importexport) 1.12.189
com.amazonaws aws-java-sdk-kinesis 1.12.189
com.amazonaws AWS Java 软件开发工具包 - KMS 1.12.189
com.amazonaws aws-java-sdk-lambda 1.12.189
com.amazonaws aws-java-sdk-logs（AWS Java开发包日志） 1.12.189
com.amazonaws AWS-Java-SDK-机器学习 1.12.189
com.amazonaws aws-java-sdk-opsworks 1.12.189
com.amazonaws aws-java-sdk-rds 1.12.189
com.amazonaws aws-java-sdk-redshift 1.12.189
com.amazonaws aws-java-sdk-route53 1.12.189
com.amazonaws aws-java-sdk-s3 1.12.189
com.amazonaws aws-java-sdk-ses 1.12.189
com.amazonaws aws-java-sdk-simpledb 1.12.189
com.amazonaws aws-java-sdk-simpleworkflow 1.12.189
com.amazonaws aws-java-sdk-sns 1.12.189
com.amazonaws aws-java-sdk-sqs 1.12.189
com.amazonaws aws-java-sdk-ssm 1.12.189
com.amazonaws AWS Java SDK 存储网关 1.12.189
com.amazonaws aws-java-sdk-sts 1.12.189
com.amazonaws aws-java-sdk-support（AWS Java SDK 支持） 1.12.189
com.amazonaws AWS-Java-SDK-SWF-库 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.189
com.amazonaws jmespath-java 1.12.189
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics 溪流 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml 同学 1.3.4
com.fasterxml.jackson.core Jackson注解 2.13.4
com.fasterxml.jackson.core jackson-core 2.13.4
com.fasterxml.jackson.core jackson-databind 2.13.4.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor（Jackson的CBOR数据格式） 2.13.4
com.fasterxml.jackson.datatype jackson-datatype-joda（杰克逊数据类型-Joda） 2.13.4
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.13.4
com.fasterxml.jackson.module jackson-module-paranamer 2.13.4
com.fasterxml.jackson.module jackson-module-scala_2.12 2.13.4
com.github.ben-manes.咖啡因 咖啡因 2.3.4
com.github.fommil jniloader 1.1
com.github.fommil.netlib 核心 1.1.2
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java-natives 1.1
com.github.fommil.netlib 原生系统-Java 1.1
com.github.fommil.netlib native_system-Java原生代码 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1.1
com.github.luben zstd-jni 1.5.2-1
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.8.6
com.google.crypto.tink 丁克 1.6.1
com.google.flatbuffers flatbuffers-java 1.12.0
com.google.guava 番石榴 15.0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 2.0.204
com.helger 分析器 1.1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi 源代码_2.12 0.1.9
com.microsoft.azure Azure 数据湖存储 SDK 2.3.9
com.ning compress-lzf 1.1
com.sun.mail javax.mail 1.5.2
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses 镜头_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe 配置 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.0
com.univocity univocity-parsers解析器 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec（公共编解码器） commons-codec（公共编解码器） 1.15
commons-collections (通用集合库) commons-collections (通用集合库) 3.2.2
commons-dbcp commons-dbcp 1.4
公共文件上传 公共文件上传 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.11.0
commons-lang commons-lang 2.6
commons-logging（日志库） commons-logging（日志库） 1.1.3
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 2.2.1
dev.ludovic.netlib BLAS 2.2.1
dev.ludovic.netlib lapack 2.2.1
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift 空气压缩机 0.21
io.delta delta-sharing-spark_2.12 0.6.2
io.dropwizard.metrics metrics-core 4.1.1
io.dropwizard.metrics metrics-graphite 4.1.1
io.dropwizard.metrics 指标-健康检查 4.1.1
io.dropwizard.metrics metrics-jetty9 4.1.1
io.dropwizard.metrics 指标-JMX 4.1.1
io.dropwizard.metrics metrics-json 4.1.1
io.dropwizard.metrics 指标-JVM 4.1.1
io.dropwizard.metrics 指标-Servlets 4.1.1
io.netty netty-all 4.1.74.Final
io.netty netty-buffer（Netty缓存） 4.1.74.Final
io.netty netty-codec 4.1.74.Final
io.netty Netty-Common（网络通用组件） 4.1.74.Final
io.netty netty-handler 4.1.74.Final
io.netty netty-resolver (Netty 解析器) 4.1.74.Final
io.netty Netty TcNative 类 2.0.48.Final
io.netty netty-transport 4.1.74.Final
io.netty netty-transport-classes-epoll 4.1.74.Final
io.netty netty-transport-classes-kqueue 4.1.74.Final
io.netty netty-transport-native-epoll-linux-aarch_64 4.1.74.Final
io.netty netty-transport-native-epoll-linux-x86_64 4.1.74.Final
io.netty netty-transport-native-kqueue-osx-aarch_64 4.1.74.Final
io.netty netty-transport-native-kqueue-osx-x86_64 4.1.74.Final
io.netty Netty传输-本机-Unix-通用 4.1.74.Final
io.prometheus simpleclient 0.7.0
io.prometheus 简单客户端通用 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx 收藏者 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation 激活 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1.1
javax.transaction 交易接口 (transaction-api) 1.1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.10.13
net.java.dev.jna jna 5.8.0
net.razorvine 泡菜 1.2
net.sf.jpam 杰潘 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.13.22
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt.remotetea remotetea-oncrpc（远程调用协议库） 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.8
org.antlr 字符串模板 3.2.1
org.apache.ant 蚂蚁 1.9.2
org.apache.ant ant-jsch（Java的SSH库） 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow arrow-format 7.0.0
org.apache.arrow 箭头内存核心 7.0.0
org.apache.arrow 箭头内存网状系统 7.0.0
org.apache.arrow 箭头向量 7.0.0
org.apache.avro avro 1.11.0
org.apache.avro avro-ipc 1.11.0
org.apache.avro avro-mapred 1.11.0
org.apache.commons commons-collections4（通用集合库） 4.4
org.apache.commons commons-compress 1.21
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-text 1.10.0
org.apache.curator 策展人与客户 2.13.0
org.apache.curator curator-framework 2.13.0
org.apache.curator 策展人食谱 2.13.0
org.apache.derby 德比 10.14.2.0
org.apache.hadoop Hadoop 客户端 API 3.3.4-databricks
org.apache.hadoop Hadoop 客户端运行时 3.3.4
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-垫片 2.3.9
org.apache.hive hive-storage-api 2.8.1
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.httpcomponents httpclient 4.5.13
org.apache.httpcomponents httpcore 4.4.14
org.apache.ivy 常春藤 2.5.0
org.apache.logging.log4j log4j-1.2-api 2.18.0
org.apache.logging.log4j log4j-api 2.18.0
org.apache.logging.log4j log4j-core 2.18.0
org.apache.logging.log4j log4j-slf4j-impl 2.18.0
org.apache.mesos mesos-shaded-protobuf 1.4.0
\ org.apache.orc orc-core 1.7.6
\ org.apache.orc orc-mapreduce 1.7.6
\ org.apache.orc orc-shims 1.7.6
org.apache.parquet parquet-column 1.12.3-databricks-0002
org.apache.parquet parquet-common 1.12.3-databricks-0002
org.apache.parquet Parquet 编码 1.12.3-databricks-0002
org.apache.parquet Apache Parquet 格式结构 1.12.3-databricks-0002
org.apache.parquet parquet-hadoop 1.12.3-databricks-0002
org.apache.parquet parquet-jackson 1.12.3-databricks-0002
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm9-shaded 4.20
org.apache.yetus 听众批注 0.13.0
org.apache.zookeeper 动物园管理员 3.6.2
org.apache.zookeeper zookeeper-jute 3.6.2
org.checkerframework checker-qual 3.5.0
org.codehaus.jackson jackson-core-asl (Jackson核心库 - ASL) 1.9.13
org.codehaus.jackson 杰克逊映射器-ASL 1.9.13
org.codehaus.janino commons-compiler（通用编译器） 3.0.16
org.codehaus.janino 雅尼诺 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.46.v20220331
org.eclipse.jetty jetty-continuation 9.4.46.v20220331
org.eclipse.jetty Jetty-HTTP 9.4.46.v20220331
org.eclipse.jetty jetty-io 9.4.46.v20220331
org.eclipse.jetty jetty-jndi 9.4.46.v20220331
org.eclipse.jetty jetty-plus 9.4.46.v20220331
org.eclipse.jetty jetty-proxy 9.4.46.v20220331
org.eclipse.jetty 码头安全 9.4.46.v20220331
org.eclipse.jetty jetty-server（Jetty服务器） 9.4.46.v20220331
org.eclipse.jetty jetty-servlet 9.4.46.v20220331
org.eclipse.jetty jetty-servlets 9.4.46.v20220331
org.eclipse.jetty jetty-util（Jetty工具库） 9.4.46.v20220331
org.eclipse.jetty jetty-util-ajax 9.4.46.v20220331
org.eclipse.jetty Jetty 网页应用 9.4.46.v20220331
org.eclipse.jetty jetty-xml 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-api（WebSocket接口） 9.4.46.v20220331
org.eclipse.jetty.websocket WebSocket 客户端 9.4.46.v20220331
org.eclipse.jetty.websocket WebSocket-通用 9.4.46.v20220331
org.eclipse.jetty.websocket WebSocket服务器 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-servlet 9.4.46.v20220331
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-定位器 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator (OSGi 资源定位器) 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.36
org.glassfish.jersey.containers Jersey容器Servlet核心 2.36
org.glassfish.jersey.core jersey-client 2.36
org.glassfish.jersey.core jersey-common 2.36
org.glassfish.jersey.core jersey-server 2.36
org.glassfish.jersey.inject jersey-hk2 2.36
org.hibernate.validator Hibernate验证器 6.1.0.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss 日志 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains 注释 17.0.0
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mariadb.jdbc mariadb-java-client 2.7.4
org.mlflow mlflow-spark 1.27.0
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.3.3
org.roaringbitmap RoaringBitmap 0.9.25
org.roaringbitmap 垫片 0.9.25
.rocksdb rocksdbjni 6.24.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.14
org.scala-lang scala-library_2.12 2.12.14
org.scala-lang scala-reflect_2.12 2.12.14
org.scala-lang.modules scala-collection-compat_2.12 2.4.3
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt 测试接口 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 1.2
org.scalanlp breeze_2.12 1.2
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.36
org.slf4j jul-to-slf4j 1.7.36
org.slf4j slf4j-api 1.7.36
org.spark-project.spark 未使用 1.0.0
org.threeten threeten-extra 1.5.0
org.tukaani xz 1.9
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel macro-compat_2.12 1.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl WildFly-OpenSSL 1.0.7.最终版
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.8.4
org.yaml snakeyaml 1.24
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.ion ion-java 1.0.2
斯塔克斯 stax-api 1.0.1