Databricks Runtime 10.2 （EoS）

以下发行说明提供了由 Apache Spark 3.2.0 提供支持的 Databricks Runtime 10.2 和 Databricks Runtime 10.2 Photon 的相关信息。 Databricks 于 2021 年 12 月发布此版本。 Photon 处于公共预览版。

新增功能和改进

• 将存储库中的文件与 Spark Streaming 结合使用
• Databricks Utilities 添加了更新装载命令
• Delta Lake 支持重命名列（公共预览版）
• Delta Lake 表历史记录添加了 Databricks Runtime 版本信息
• Databricks Utilities 列出目录时添加最新的修改时间信息
• Spark SQL 添加了一个 approx_top_k 函数来返回顶部项目及其计数
• 现在，Trigger.AvailableNow 在 Python 和 Scala 中可用
• 自动加载程序现在支持 Avro 的架构演变（公共预览版）

将存储库中的文件与 Spark Streaming 结合使用

你现在可以从 Spark Streaming 访问存储库中的文件。

Databricks Utilities 添加了更新装载命令

新命令 dbutils.fs.updateMount 类似于 dbutils.fs.mount，但这个新命令更新现有安装点而不是创建新安装点。 请参阅 updateMount 命令 (dbutils.fs.updateMount)。

Delta Lake 支持重命名列（公共预览版）

Delta Lake 现在支持列重命名。 若要重命名 Delta 表的列，必须升级 Delta 表的版本，然后将列映射模式设置为名称映射。 请参阅 有关使用 Delta Lake 列映射重命名和删除列的说明。

Delta Lake 表历史记录添加了 Databricks Runtime 版本信息

现在对 Delta 表进行写入时，还会记录进行写入的 Databricks Runtime 版本信息。 若要获取版本信息，请在 DESCRIBE HISTORY 表上运行命令，然后在输出中查看 engineInfo 列。 查看 DESCRIBE HISTORY 和使用 Delta Lake 表历史记录。

Databricks Utilities 列出目录时添加最新的修改时间信息

用于列出目录内容的 dbutils.fs.ls 命令现在输出一个 modificationTime 字段。 此字段包含每个列出的文件或目录的最新修改时间。 请参阅 ls 命令 (dbutils.fs.ls)。

Spark SQL 添加了一个 approx_top_k 函数来返回顶部项目及其计数

新 approx_top_k 函数返回指定表达式的最常见项值及其近似计数。 示例包括：

df = spark.sql('SELECT approx_top_k(col, 10, 100) FROM VALUES (0), (1), (1), (2), (2), (2) AS tab(col)')

display(df)

import pyspark.sql.functions as F

df = spark.createDataFrame([
       (0,), (1,), (1,), (2,), (2,), (2,)
     ]).select(F.expr('approx_top_k(_1, 10)'))

display(df)

运行任一示例的结果是：

[{"item": 2, "count": 3}, {"item": 1, "count": 2}, {"item": 0, "count": 1}]

请参阅 approx_top_k 聚合函数。

现在，Trigger.AvailableNow 在 Python 和 Scala 中可用

此更改支持 Python 和 Scala 中的 Delta 源流式处理查询 Trigger.AvailableNow。 Databricks Runtime 10.1 引入了对 Scala 中此触发器的支持。 现在，Databricks Runtime 10.2 还在 Python 中支持此触发器。 请在Trigger.AvailableNow中查看 的覆盖范围。

自动加载程序现在支持 Avro 的架构演变（公共预览版）

请参阅在自动加载程序中配置架构推理和演变。

库升级

• 升级了 Python 库：
  • filelock 已从 3.3.1 升级到 3.4.0
  • plotly 已从 5.3.0 升级到 5.3.1
• 升级了 R 库：
  • base 已从 4.1.1 升级到 4.1.2
  • compiler 已从 4.1.1 升级到 4.1.2
  • datasets 已从 4.1.1 升级到 4.1.2
  • graphics 已从 4.1.1 升级到 4.1.2
  • grDevices 已从 4.1.1 升级到 4.1.2
  • grid 已从 4.1.1 升级到 4.1.2
  • methods 已从 4.1.1 升级到 4.1.2
  • parallel 已从 4.1.1 升级到 4.1.2
  • Rserve 已从 1.8-8 升级到 1.8-10
  • splines 已从 4.1.1 升级到 4.1.2
  • stats 已从 4.1.1 升级到 4.1.2
  • stats4 已从 4.1.1 升级到 4.1.2
  • tcltk 已从 4.1.1 升级到 4.1.2
  • tools 已从 4.1.1 升级到 4.1.2
  • utils 已从 4.1.1 升级到 4.1.2
  • backports 已从 1.2.1 升级到 1.4.0
  • broom 已从 0.7.9 升级到 0.7.10
  • cli 已从 3.0.1 升级到 3.1.0
  • cpp11 已从 0.4.0 升级到 0.4.1
  • crayon 已从 1.4.1 升级到 1.4.2
  • 凭据从 1.3.1 到 1.3.2
  • future 已从 1.22.1 升级到 1.23.0
  • gert 已从 1.4.1 升级到 1.4.3
  • glmnet 已从 4.1-2 升级到 4.1-3
  • glue 已从 1.4.2 升级到 1.5.0
  • memoise 已从 2.0.0 升级到 2.0.1
  • parallelly 已从 1.28.1 升级到 1.29.0
  • readr 已从 2.0.2 升级到 2.1.0
  • sessioninfo 已从 1.1.1 升级到 1.2.1
  • stringi 已从 1.7.5 升级到 1.7.6
  • tibble 已从 3.1.5 升级到 3.1.6
  • tinytex 已从 0.34 升级到 0.35
  • tzdb 已从 0.1.2 升级到 0.2.0
  • usethis 已从 2.1.2 升级到 2.1.3
  • uuid 已从 0.1-4 升级到 1.0-3
  • vroom 已从 1.5.5 升级到 1.5.6
  • xfun 已从 0.27 升级到 0.28
• 升级了 Java 库：
  • com.fasterxml.jackson 已从 2.12.2 升级到 2.12.3
  • io.airlift.aircompressor 已从 0.19 升级到 0.21
  • io.netty.netty-all 已从 4.1.63.Final 升级到 4.1.68.Final
  • joda-time.joda-time 已从 2.10.5 升级到 2.10.10
  • org.apache.commons.commons-compress 已从 1.20 升级到 1.21
  • org.apache.orc 已从 1.6.10 升级到 1.6.12
  • org.eclipse.jetty 已从 9.4.40.v20210413 升级到 9.4.43.v20210629
  • org.scalanlp.breeze-macros_2.12 已从 1.0 升级到 1.2
  • org.scalanlp.breeze_2.12 已从 1.0 升级到 1.2
  • org.org.typelevel.algebra_2.12 已从 2.0.0 升级到 2.0.1
  • org.typelevel.cats-kernel_2.12 已从 2.0.0 升级到 2.0.1

Apache Spark

Databricks Runtime 10.2 包含 Apache Spark 3.2.0。 此版本包括 Databricks Runtime 10.1 (EoS) 中包含的所有 Spark 修复和改进，以及对 Spark 进行的以下其他缺陷修复和改进：

• [SPARK-37447] [SQL] 缓存 LogicalPlan.isStreaming() 导致延迟 val
• [SPARK-37468] [SQL] 针对 UnionEstimation 支持 ANSI 间隔和 TimestampNTZ
• [SPARK-37464] [SQL] SCHEMA，DATABASE 应只是命名空间的别名
• [SPARK-37452] [SQL] Char 和 Varchar 破坏了 v3.1 和 v2 之间的向后兼容性
• [SPARK-36861] [SQL] 将 yyyy-MM-dd 用作分区发现中的日期模式
• [SPARK-37456] [SQL] CREATE NAMESPACE 应限定 v2 命令的位置
• [SPARK-37357] [SQL] 为重新平衡分区添加小分区因子
• [SPARK-37446] [SQL] 对 getWithoutRegisterFns 使用反射以允许构建不同的 Hive 版本
• [SPARK-37444] [SQL] ALTER NAMESPACE ... SET LOCATION 应该在 v1 和 v2 命令中以一致方式处理空位置
• [SPARK-36357] [SQL] 针对 orc 支持无时区的下推时间戳
• [SPARK-36346] [SQL] 在 Orc 文件源中支持 TimestampNTZ 类型
• [SPARK-36646] [SQL] 按分区列向下推送聚合组
• [SPARK-34960] [SQL] ORC 的聚合下推
• [SPARK-37386] [SQL] 简化 OptimizeSkewedJoin ，不运行成本评估器
• [SPARK-36073] [SQL] EquivalentExpressions 修复和改进
• [SPARK-35352] [ SQL] 为全外部排序合并联接添加代码生成
• [SPARK-37292] [SQL] 如果外部联接仅在流式传输端具有 DISTINCT 和别名，则删除外部联接
• [SPARK-37371] [SQL] 如果所有孩子都支持柱状，UnionExec 应该支持柱状
• [SPARK-36645] [SQL] 针对 Parquet 的聚合（最小/最大/计数）下推
• [SPARK-37379] [SQL] 在 CTESubstitution 规则中增加了树模式修剪
• [SPARK-37332] [SQL] 在 ALTER TABLE .. ADD COLUMNS 中允许 NASI 间隔
• [SPARK-37224] [SS] 优化 RocksDB 状态存储提供程序上的写入路径
• [SPARK-37304] [SQL]在 ALTER TABLE .. REPLACE COLUMNS v2 中允许 ANSI 间隔
• [SPARK-36924] [SQL] ANSI 间隔与 IntegralType 之间强制转换
• [SPARK-37289] [SQL] 删除 partitionSchemaOption 函数
• [SPARK-37270] [SQL] 在 elseValue 为空时，将推送可折叠固定到 CaseWhen 分支
• [SPARK-35345] [SQL] 在 BloomFilterBenchmark 中增加了 Parquet 测试
• [SPARK-37341] [SQL] 避免在完全外部排序合并连接中进行不必要的缓冲和复制
• [SPARK-37266] [SQL] 查看文本只能是 SELECT 查询
• [SPARK-37288] [PYTHON][3.2] 自注释更新后的Backport
• [SPARK-37262] [SQL] 不要在 JDBCScan 中记录空聚合和分组
• [SPARK-37283] [ SQL] 不要尝试存储包含 Hive 兼容格式的 ANSI 间隔的 V1 表
• [SPARK-37221] [SQL] SparkPlan 中的类似收集 API 应该支持列输出
• [SPARK-37202] [SQL] 使用 AnalysisContext 跟踪引用的临时函数
• [SPARK-37023] [CORE] 当重试期间，shuffleDependency 针对 shuffleMergeEnabled 为false 时，避免获取合并状态
• [SPARK-37307] [CORE] 不获取空分区的 JDBC 连接
• [SPARK-37267] [ SQL] OptimizeSkewInRebalancePartitions 支持优化非根节点
• [SPARK-36799] [SQL] 在 CLI 中传递 queryExecution 名称
• [SPARK-37261] [SQL] 允许在 DSv2 中添加具有 ANSI 间隔的分区
• [SPARK-37203] [SQL] 解决了使用 TypedImperativeAggregate 观察时出现的 NotSerializableException
• [SPARK-37199] [SQL] 向 QueryPlan 添加了确定性字段
• [SPARK-37253] [PYTHON] 当 try_simplify_traceback 为 None 时，tb_frame.f_lineno 不会失败
• [SPARK-37214] [SQL] 早期使用无效标识符使查询分析失败
• [SPARK-37240] [SQL] 使用 ColumnVectorUtils.populate() 处理 ANSI 间隔
• [SPARK-35437] [SQL] 在客户端使用表达式筛选 Hive 分区
• [SPARK-32940] [SQL] Collect、first 和 last 应该是确定性聚合函数
• [SPARK-37231] [SQL] ANSI 间隔分区的动态写入/读取
• [SPARK-37038] [SQL] DSV2 样品下推
• [SPARK-36665] [SQL] 添加更多 Not 运算符简化
• [SPARK-37150] [SQL] 迁移 DESCRIBE NAMESPACE，因此默认使用 V2 命令
• [SPARK-37196] [SQL] HiveDecimal enforcePrecisionScale 失败会返回 null
• [SPARK-37212] [SQL] 改进聚合下推的实施。
• [SPARK-37190] [SQL] 改进 ANSI 模式下强制转换的错误消息
• [SPARK-37161] [SQL] RowToColumnConverter 支持 AnsiIntervalType
• [SPARK-37160] [SQL] 添加配置，可选择性地禁用 char 类型的填充
• [SPARK-36554] [ SQL][python] 在 functions.scala 中公开make_date表达式
• [SPARK-37200] [SQL] 针对 Data Source V2 支持删除索引
• [SPARK-37179] [SQL] ANSI 模式：添加了一个配置以允许在 Datetime 和 Numeric 之间进行转换
• [SPARK-37168] [SQL] 改进了 ANSI 模式下 SQL 函数和运算符的错误消息
• [SPARK-36935] [SQL] 扩展了 ParquetSchemaConverter，可计算 Parquet 重复和定义级别
• [SPARK-37066] [SQL] 改进了错误消息，可在读取下一个文件失败时显示文件路径
• [SPARK-32567] [ SQL] 为完整的外部随机哈希联接添加代码代
• [SPARK-37176] [SQL] 使用 JacksonParser#parse 方法同步 JsonInferSchema#infer 方法的异常句柄逻辑
• [SPARK-37149] [SQL] 改进 ANSI 模式下算术溢出异常的错误信息
• [SPARK-37136] [ SQL] 删除有关 hive buildin 函数的代码，但不在 spark 中实现
• [SPARK-16280][SPARK-37082] [SQL] 实现支持部分聚合的 histogram_numeric 聚合函数。
• [SPARK-36975] [SQL] 更正 HiveClientImpl 中 Hive 客户端调用的指标

维护更新

请参阅 Databricks Runtime 10.2 维护更新。

系统环境

• 操作系统：Ubuntu 20.04.3 LTS
• Java：Zulu 8.58.0.13-CA-linux64
• Scala：2.12.14
• Python：3.8.10
• R：4.1.2
• Delta Lake：1.1.0

已安装的 Python 库

已安装的 R 库

R 库安装自 2021-11-30 的 Microsoft CRAN 快照。

已安装的 Java 库和 Scala 库（Scala 2.12 群集版本）