Databricks Runtime 16.2

以下发行说明提供有关由 Apache Spark 3.5.2 提供支持的 Databricks Runtime 16.2 的信息。

Databricks 于 2025 年 2 月发布了此版本。

行为变更

ANALYZE 现在跳过不受支持的类型的列

ANALYZE TABLE 在类型不受支持的表（例如 ARRAY 或 MAP）上运行时，不再生成错误消息。 现在会自动跳过不受支持的列。 已实现预期这些错误的逻辑的用户应更新其代码。

在 Delta Sharing 中，默认启用表历史记录

使用 SQL 命令创建的共享 ALTER SHARE <share> ADD TABLE <table> 现在默认启用历史记录共享（WITH HISTORY）。 请参阅 ALTER SHARE。

凭据 SQL 语句在凭据类型不匹配时返回错误

在此版本中，如果凭据管理 SQL 语句中指定的凭据类型与凭据参数的类型不匹配，则返回错误，并且该语句未运行。 例如，对于语句 DROP STORAGE CREDENTIAL 'credential-name'，如果 credential-name 不是存储凭据，则语句将失败并出现错误。

此更改有助于防止用户错误。 以前，即使传递的凭据与指定的凭据类型不匹配，这些语句也会成功运行。 例如，以下语句将成功删除storage-credential： DROP SERVICE CREDENTIAL storage-credential

此更改会影响以下语句：

• DROP CREDENTIAL
• ALTER CREDENTIAL
• DESCRIBE CREDENTIAL
• GRANT……ON……凭证
• REVOKE……ON……凭证
• SHOW GRANTS 上……凭证

新增功能和改进

• 使用 生成自定义有状态应用程序
• 使用服务凭据向云对象存储进行身份验证
• Unity Catalog 治理的使用服务凭据对外部云服务的访问现已正式发布
• 笔记本作为工作区文件受支持
• 在生成的列表达式中使用timestampdiff和timestampadd
• 支持 SQL 管道语法
• 使用 http_request 函数发出 HTTP 请求
• 更新为 DESCRIBE TABLE 将元数据作为结构化 JSON 返回
• 忽略尾随空白的排序规则
• 将具有存储桶分区的 Apache Iceberg 表转换为未分区的 Delta 表
• 标准访问模式（以前称为共享访问模式）计算现在支持 Spark Scala 方法 foreach、foreachBatch、flatMapGroupsWithState

使用 构建自定义有状态应用程序

现在可以使用 transformWithState 和相关 API 作为结构化流式处理查询的一部分实现自定义有状态应用程序。 请参阅 生成自定义有状态应用程序。

使用服务凭据向云对象存储进行身份验证

现在，可以使用 Databricks 服务凭据通过自动加载程序向云对象存储进行身份验证。 请参阅 在文件通知模式下配置自动加载程序流。

Unity Catalog 治理的使用服务凭据对外部云服务的访问现已正式发布

服务凭据通过 Azure Databricks 的云租户服务实现简单且安全的身份验证。 借助 Databricks Runtime 16.2，服务凭据现已普遍可用，并在公共预览版支持 Python SDK 的基础上，现在还支持 Scala SDK。 请参阅 “创建服务凭据”。

笔记本支持作为工作区文件使用

在 Databricks Runtime 16.2 及更高版本中，笔记本作为工作区文件受支持。 现在可以从工作区文件系统可用的任意位置以编程方式与笔记本进行交互，包括像任何其他文件一样写入、读取和删除笔记本。 若要了解详细信息，请参阅 以编程方式创建、更新和删除文件和目录。

在生成的列表达式中使用 timestampdiff & timestampadd

在 Databricks Runtime 16.2 及更高版本中，可以在 Delta Lake 生成的列表达式中使用 timestampdiff 和 timestampadd 函数。 请参阅 Delta Lake 生成的列。

支持 SQL 管道语法

在 Databricks Runtime 16.2 及更高版本中，可以编写 SQL 管道。 SQL 管道将标准查询（如 SELECT c2 FROM T WHERE c1 = 5）构造成分步序列，如以下示例所示：

FROM T
|> SELECT c2
|> WHERE c1 = 5

若要了解 SQL 管道支持的语法，请参阅 SQL 管道语法。

有关此跨行业扩展的背景信息，请参阅 “SQL 的问题及其解决方法：SQL 中的管道语法”（由 Google Research 出品）。

使用 http_request 函数发出 HTTP 请求

在 Databricks Runtime 16.2 及更高版本中，可以使用 http_request 函数创建 HTTP 连接，并通过它们发出 HTTP 请求。

更新至 DESCRIBE TABLE 将元数据作为结构化 JSON 返回

在 Databricks Runtime 16.2 及更高版本中，可以使用 DESCRIBE TABLE AS JSON 命令将表元数据作为 JSON 文档返回。 JSON 输出的结构比默认的可读报表更结构化，可用于以编程方式解释表的架构。 若要了解详细信息，请参阅 DESCRIBE TABLE AS JSON。

不区分尾随空格的排序规则

Databricks Runtime 16.2 添加了对不区分尾随空格排序规则的支持，补充了 Databricks Runtime 16.1 中添加的排序规则支持。 例如，这些排序规则将 'Hello' 和 'Hello ' 视为相等。 若要了解详细信息，请参阅 RTRIM 排序规则。

将具有存储桶分区的 Apache Iceberg 表转换为未分区的 Delta 表

这些 CONVERT TO DELTA 和 CREATE TABLE CLONE 语句现在支持将具有存储桶分区的 Apache Iceberg 表转换为未分区的 Delta 表。

标准访问模式（以前称为共享访问模式）的计算现已支持 Spark Scala 方法 foreach、foreachBatch 和 flatMapGroupsWithState

在 Databricks Runtime 16.2 及更高版本中，标准访问模式计算现在支持Scala方法DataStreamWriter.foreachBatch和KeyValueGroupedDataset.flatMapGroupsWithState。 在 Databricks Runtime 16.1 及更高版本中，标准访问模式计算现在支持 Scala 方法 DataStreamWriter.foreach。

漏洞修复

改进了增量克隆处理

此版本修复了一个边缘情况，即增量 CLONE 可能会重新复制从源表复制到目标表的文件。 请参阅克隆 Azure Databricks 上的表。

软件库升级

• 升级后的 Python 库：
• 升级了 R 库：
• 升级了 Java 库：
  • org.json4s.json4s-ast_2.12 从 3.7.0-M11 升级到 4.0.7
  • org.json4s.json4s-core_2.12 从 3.7.0-M11 升级到 4.0.7
  • org.json4s.json4s-jackson_2.12 从 3.7.0-M11 升级到 4.0.7
  • org.json4s.json4s-scalap_2.12 从 3.7.0-M11 升级到 4.0.7

Apache Spark

Databricks Runtime 16.2 包括 Apache Spark 3.5.2。 此版本包括 Databricks Runtime 16.1中包含的所有 Spark 修复和改进，以及对 Spark 进行了以下其他 bug 修复和改进：

• [SPARK-49966] 撤销“[SC-179501][sql] 用 Invoke 实现 JsonToStructs（from_json）”
• [SPARK-50904] [ SC-186976][sql] 修复排序规则表达式遍历器查询执行
• [SPARK-49666] [SQL] 为 InSet 表达式启用剪裁测试
• [SPARK-50669] [ SC-184566][es-1327450][SQL] 更改 TimestampAdd 表达式的签名
• [SPARK-50795] [16.x][sc-186719][SQL] 在 LinkedHashMap 中long将时间戳存储为describe类型
• [SPARK-50870] [ SC-186950][sql] 在 V2ScanRelationPushDown 中转换为时间戳时添加时区
• [SPARK-50735] [ SC-186944][connect] ExecuteResponseObserver 中的失败会导致无限次重新连接请求发生
• [SPARK-50522] [ SC-186500][sql] 支持不确定排序规则
• [SPARK-50525] [ SC-186058][sql] 定义 InsertMapSortInRepartitionExpressions 优化器规则
• [SPARK-50679] [ SC-184572][sql] 不同 With 中重复的通用表达式应仅投影一次
• [SPARK-50847] [SC-186916] [SQL] 禁止在特定的 In 表达式上应用 ApplyCharTypePadding
• [SPARK-50714] [SC-186786][sql][SS] 在使用 Avro 编码时，启用 TransformWithState 的模式演变
• [SPARK-50795] [ SC-186390][sql] 以 ISO-8601 格式显示所有 DESCRIBE AS JSON 日期，并显示类型 dataType.simpleString
• [SPARK-50561] [ SC-185924][sql] DBR 16.x cherrypick： 改进 UNIFORM SQL 函数的类型强制和边界检查
• [SPARK-50700] [ SC-184845][sql] spark.sql.catalog.spark_catalog 支持 builtin 魔法值
• [SPARK-50831] [ SC-186736][sql] 默认启用剪裁排序规则
• [SPARK-50263] [SC-186793][connect] 替换为System.currentTimeMillisSystem.nanoTime
• [SPARK-48730] [ SC-184926][sql] 为 SQL 标量和表函数实现 CreateSQLFunctionCommand 命令
• [SPARK-50830] [SC-186718] [SQL] 以双重运行分析结果的形式返回单次传递结果
• [SPARK-50707] [SC-186098][sql] 启用转换到 char/from char/varchar
• [SPARK-49490] [ SC-182137][sql] 为 initCap 添加基准
• [SPARK-50529] [ SC-184535][sql] 在 spark.sql.preserveCharVarcharTypeInfo 配置中更改 char/varchar 的行为
• [SPARK-49632] [ SC-184179][sql] 删除 CANNOT_PARSE_TIMESTAMP 中的 ANSI 配置建议
• [SPARK-50815] [ SC-186487][python][SQL] 修复 bug：在 createDataFrame 中传递 null Variant 会导致它失败，并在 Spark Connect 的 createDataFrame 中添加 Variant 支持
• [SPARK-50828] [ SC-186493][python][ML][connect] 弃用 pyspark.ml.connect
• [SPARK-50600] [ SC-186057][connect][SQL] 在分析失败时分析的集
• [SPARK-50824] [ SC-186472][python] 避免导入用于检查的可选 Python 包
• [SPARK-50755] [ SC-185521][sql] InsertIntoHiveTable 的漂亮计划显示
• [SPARK-50789] [ SC-186312][connect] 类型化聚合的输入需要进行分析
• [SPARK-50791] [ SC-185867][sc-186338][SQL] 修复 State Store 错误处理中的 NPE
• [SPARK-50801] [SC-186365] [SQL] 改进 PlanLogger.logPlanResolution，使其仅显示未解决和已解决的计划
• [SPARK-50749] [SC-185925][sql] 修复 CommutativeExpression.gatherCommutative 方法中的排序问题
• [SPARK-50783] [SC-186347] 规范化 DFS 上的 JVM 探查器结果文件名和布局
• [SPARK-50790] [SC-186354][python] 在 pyspark 中实现解析 json
• [SPARK-50738] [SC-184856][python] 将 black 升级到 23.12.1
• [SPARK-50764] [ SC-185930][python] 完善 xpath 相关方法的文档字符串
• [SPARK-50798] [SC-186277][sql] 改进 NormalizePlan
• [SPARK-49883] [ SC-183787][ss] 状态存储检查点结构 V2 与 RocksDB 和 RocksDBFileManager 集成
• [SPARK-50779] [ SC-186062][sql] 为对象级别排序规则添加功能标志
• [SPARK-50778] [ SC-186183][python] 将 metadataColumn 添加到 PySpark 数据帧
• [SPARK-49565] [ SC-186056][sql] DBR 16.x cherrypick： 使用管道 SQL 运算符改进自动生成的表达式别名
• [SPARK-50541] [16.x][sc-184937] 将表描述为 JSON
• [SPARK-50772] [ SC-185923][sql] DBR 16.x cherrypick：在使用 EXTEND 和 DROP 操作符后保留表别名 SET
• [SPARK-50769] [SC-185919][sql] 修复HistogramNumeric中的ClassCastException
• [SPARK-49025] [SC-174667] 将增量代码差异同步到 DBR
• [SPARK-50752] [ SC-185547][python][SQL] 引入配置来优化没有箭头的 Python UDF
• [SPARK-50705] [SC-185944][sql] 使 QueryPlan 无锁
• [SPARK-50690] [16.x][sc-184640][SQL] 修复了视图查询输出列引用的差异DESCRIBE TABLE
• [SPARK-50746] [ SC-184932][sql] 将任一替换为 VariantPathSegment。
• [SPARK-50715] [ SC-185546][python][CONNECT] SparkSession.Builder 批量设置配置
• [SPARK-50480] [SC-183359][sql] 从 StringType 扩展 CharType 和 VarcharType
• [SPARK-50675] [ SC-184539][sql] 表和视图级别排序规则支持
• [SPARK-50409] [SC-184516][sql] 修复 set 语句以在结尾;处忽略SET;，SET -v;并SET key;
• [SPARK-50743] [ SC-185528][sql] 规范化 CTERelationDef 和 CTERelationRef ID
• [SPARK-50693] [ SC-184684][connect] 应分析 TypedScalaUdf 的输入
• [SPARK-50744] [ SC-184929][sql] 添加一个测试用例以验证 view/CTE 名称解析优先级
• [SPARK-50710] [ SC-184767][connect] 在发布后添加对会话的可选客户端重新连接的支持
• [SPARK-50703] [ SC-184843][python] 优化regexp_replace、regexp_substr和regexp_instr的文档字符串
• [SPARK-50716] [SC-184823][core] 修复 JavaUtils.deleteRecursivelyUsingJavaIO 方法中符号链接的清除逻辑
• [SPARK-50630] [ SC-184443][sql] 修复管道 SQL 汇总运算符的序数支持
• [SPARK-50614] [SC-184729][sql] 为 Parquet 添加 Variant 拆解支持
• [SPARK-50661] [SASP-4936] 为旧客户端 FEB 添加向后兼容性。
• [SPARK-50676] [SC-184641][sql] 从private lazy val mapValueContainsNullElementAt中删除未使用的
• [SPARK-50515] [ SC-183813][core] 将只读接口添加到 SparkConf
• [SPARK-50697] [ SC-184702][sql] 尽可能启用尾递归
• [SPARK-50642] [ SC-184726][sc-183517][CONNECT][ss][2/N][16.x]修复 Spark 连接中 FlatMapGroupsWithState 的状态架构（如果没有初始状态时）
• [SPARK-50701] [SC-184704][python] 设置绘图要求使用最低版本的plotly
• [SPARK-50702] [ SC-184727][python] 优化regexp_count、regexp_extract和regexp_extract_all的注释字符串
• [SPARK-50499] [ SC-184177][python] 从 BasePythonRunner 公开指标
• [SPARK-50692] [SC-184705][16.x] 添加 RPAD 下推支持
• [SPARK-50682] [SC-184579][sql] 内部别名应规范化
• [SPARK-50699] [ SC-184695][python] 使用指定的会话分析并生成 DDL 字符串
• [SPARK-50573] [ SC-184568][ss] 将状态模式 ID 添加到状态行以支持模式演变
• [SPARK-50661] [SC-184639][connect][SS][sasp-4936] 修复 Spark Connect Scala foreachBatch 的实现。 以支持 Dataset[T]。
• [SPARK-50689] [ SC-184591][sql] 在 LCA 项目列表中强制实施确定性排序
• [SPARK-50696] [ SC-184667][python] 优化 DDL 分析方法的 Py4J 调用
• [SPARK-49670] [ SC-182902][sql] 为所有直通表达式启用修剪排序规则
• [SPARK-50673] [ SC-184565][ml] 避免在构造函数中 Word2VecModel 遍历模型系数两次
• [SPARK-50687] [ SC-184588][python] 优化逻辑以获取 DataFrameQueryContext 的堆栈跟踪
• [SPARK-50681] [ SC-184662][python][CONNECT] 缓存 MapInXXX 和 ApplyInXXX 的已分析架构
• [SPARK-50674] [SC-184589][python] 修复在 UDTF 评估中检查“terminate”方法是否存在的问题。
• [SPARK-50684] [ SC-184582][python] 提高 DataFrameQueryContext 中的 Py4J 性能
• [SPARK-50578] [ DBR16.x][sc-184559][PYTHON][ss] 添加了对 TransformWithStateInPandas 的新版本状态元数据的支持
• [SPARK-50602] [ SC-184439][sql] 修复转置操作以在指定无效索引列时呈现适当的错误消息
• [SPARK-50650] [SC-184532][sql] 改进单次遍历分析器中的日志记录
• [SPARK-50665] [ SC-184533][sql] 将 LocalRelation 替换为 NormalizePlan 中的 ComparableLocalRelation
• [SPARK-50644] [SC-184486][sql] 在 Parquet 读取器中读取变体结构。
• [SPARK-49636] [SC-184089][sql] 移除 INVALID_ARRAY_INDEX 和 INVALID_ARRAY_INDEX_IN_ELEMENT_AT 中的 ANSI 配置建议
• [SPARK-50659] [ SC-184514][sql] 重构 Union 输出计算，以在单传递分析器中重复使用它
• [SPARK-50659] [ SC-184512][sql] 将 Union 相关的错误移动到 QueryCompilationErrors
• [SPARK-50530] [ SC-183419][sql] 修复了错误的隐式字符串类型上下文计算
• [SPARK-50546] [ SC-183807][sql] 向排序规则类型强制添加子查询强制转换支持
• [SPARK-50405] [SC-182889][sql] 正确处理复杂数据类型的排序规则类型转换
• [SPARK-50637] [SC-184434][sql] 修复单遍分析器的代码样式
• [SPARK-50638] [ SC-184435][sql] 将视图分辨率重构到单独的文件中以在单传递分析器中重复使用它
• [SPARK-50615] [ SC-184298][sql] 将变体推送到扫描中。
• [SPARK-50619] [ SC-184210][sql] 重构 VariantGet.cast 来封装强制转换参数
• [SPARK-50599] [ SC-184058][sql] 创建允许 Avro 和 UnsafeRow 编码的 DataEncoder 特征
• [SPARK-50076] [SC-183809] 修复 logkeys
• [SPARK-50597] [ SC-183972][sql] 在 Optimizer.scala 和 SparkOptimizer.scala 中重构批处理构造
• [SPARK-50339] [ SC-183063][spark-50360][SS] 启用更改日志以存储世系信息
• [SPARK-50526] [ SC-183811][ss] 将存储编码格式 conf 添加到偏移日志中，并阻止不支持的有状态运算符使用 avro
• [SPARK-50540] [ SC-183810][python][SS] 修复 StatefulProcessorHandle 的字符串架构
• [SPARK-50157] [ SC-183789][sql] 首先使用 SparkSession 提供的 SQLConf。
• [SPARK-48898] [SC-183793][sql] 在 Variant 模式中正确设置可空性
• [SPARK-50559] [ SC-183814][sql] 将 Except、Intersect 和 Union 的输出存储为惰性求值变量
• [SPARK-48416] [SC-183643][sql] 支持嵌套相关 With 表达式
• [SPARK-50428] [SC-183566][ss][PYTHON] 支持在批处理查询中使用Pandas的TransformWithState功能
• [SPARK-50063] [ SC-183350][sql][CONNECT] 在 Spark Connect Scala 客户端中添加对 Variant 的支持
• [SPARK-50544] [ SC-183569][python][CONNECT] 实现 StructType.toDDL
• [SPARK-50443] [ SC-182590][ss] 修复 RocksDBStateStoreProvider 中 Guava 缓存引入的 Maven 生成错误
• [SPARK-50491] [ SC-183434][sql] 修复了空的 BEGIN END 块引发错误的问题
• [SPARK-50536] [SC-183443][core] 在SparkContext和Executor中记录下载的存档文件大小
• [SPARK-45891] [ SC-183439][sql] 从切碎的数据重新生成变体二进制文件。
• [SPARK-49565] [ SC-183465][sql] 为 FROM 运算符添加 SQL 管道语法
• [SPARK-50497] [ SC-183338][sql] 如果 MultiAlias 包含非生成器函数，则查询失败并显示正确的消息
• [SPARK-50460] [ SC-183375][python][CONNECT] 通用化和简化 Connect 异常处理
• [SPARK-50537] [ SC-183452][connect][PYTHON] 修复压缩选项被覆盖的问题 df.write.parquet
• [SPARK-50329] [SC-183358][sql] 修复 InSet$toString
• [SPARK-50524] [ SC-183364][sql] 将警告消息降低 RowBasedKeyValueBatch.spill 到调试级别
• [SPARK-50528] [ SC-183385][connect] 将 InvalidCommandInput 移动到通用模块
• [SPARK-50017] [ SC-182438][ss] 支持用于 TransformWithState 运算符的 Avro 编码
• [SPARK-50463] [ SC-182833][sql] 修复从列式转换到行式转换的问题
• [SPARK-50235] [SC-180786][sql] 在处理 ColumnarToRowExec 中的所有行后清理 ColumnVector 资源
• [SPARK-50516] [ SC-183279][ss][MINOR] 修复初始化状态相关测试以使用 StreamManualClock
• [SPARK-50478] [ SC-183188][sql] 修复 StringType 类型匹配
• [SPARK-50492] [ SC-183177][ss] 修复在执行 dropDuplicatesWithinWatermark 后删除事件时间列时出现的 java.util.NoSuchElementException
• [SPARK-49566] [ SC-182589][sql] 为 SET 运算符添加 SQL 管道语法
• [SPARK-50449] [SC-183178][sql] 修复 SQL 脚本语法以允许循环、IF 和 CASE 使用空的主体
• [SPARK-50251] [SC-180970][python] 将 getSystemProperty 添加到 PySpark SparkContext
• [SPARK-50421] [ SC-183091][core] 修复了当多个资源配置文件同时工作时，与执行程序相关的内存配置不正确的问题。
• [SPARK-49461] [ SC-179572][ss] 持久检查点 ID 以提交日志并将其读回
• [SPARK-50343] [ SC-183119][spark-50344][SQL] 为 DROP 和 AS 运算符添加 SQL 管道语法
• [SPARK-50481] [ SC-182880][core] 优化 SortShuffleManager.unregisterShuffle，如果禁用了校验和，则跳过校验和文件逻辑。
• [SPARK-50498] [ SC-183090][python] 避免不必要的 py4j 调用 listFunctions
• [SPARK-50489] [ SC-183053][sql][PYTHON] 修复自联接后的问题 applyInArrow
• [SPARK-49695] [SC-182967][sc-176968][SQL] Postgres 修复 xor 下推

Databricks ODBC/JDBC 驱动程序支持

Databricks 支持过去 2 年发布的 ODBC/JDBC 驱动程序。 请下载最近发布的驱动程序并升级（下载 ODBC，下载 JDBC）。

维护更新

请参阅 Databricks Runtime 16.2 维护更新。

系统环境

• 操作系统：Ubuntu 24.04.1 LTS
  • 注意：这是 Databricks Runtime 容器使用的 Ubuntu 版本。 Databricks Runtime 容器在云提供程序的虚拟机上运行，该虚拟机可能使用不同的 Ubuntu 版本或 Linux 分发版。
• Java：Zulu17.54+21-CA
• Scala：2.12.15
• Python：3.12.3
• R：4.4.0
• Delta Lake：3.3.0

已安装的 Python 库

已安装的 R 库

R 库是从 2024年8月4日的 Posit 包管理器 CRAN 快照中安装的：https://packagemanager.posit.co/cran/2024-08-04/。

已安装的 Java 库和 Scala 库（Scala 2.12 群集版本）