Databricks Runtime 6.5 （EoS）

Databricks 于 2020 年 4 月发布此版本。

以下发行说明提供了由 Apache Spark 支持的 Databricks Runtime 6.5 的相关信息。

新增功能

Delta 表的所有写入、更新和删除操作的指标现在显示在表历史记录中。

现在，您可以在表的历史记录中查看 Delta 表上所有的写入、更新和删除操作指标（例如，文件数和行数）。 生成这些指标的功能在默认情况下是启用的。 可以通过运行以下命令来查看历史记录：

DESCRIBE HISTORY deltaTableName

对 Delta Lake 流式处理微批处理中处理的数据进行速率限制

使用 结构化流处理来自 Delta Lake 的数据时，现在可以将选项 maxBytesPerTrigger 设置为对每个微批处理中处理的数据量进行速率限制。 这会设置一个“软最大值”，这意味着一个批处理处理大约此量的数据，并且可能处理超过限制。

如果将 Trigger.Once 用于流式处理，此选项将被忽略。 此外，如果将此选项与 maxFilesPerTrigger 结合使用，微批处理将持续处理数据，直到达到 maxFilesPerTrigger 或 maxBytesPerTrigger 限制。

改进

Snowflake 连接器已更新到 2.5.9

该更新后的连接器会将 Snowflake JDBC 驱动程序升级到 3.12.0。

Java 已升级到 1.8.0_242

此版本引入了对信任定位点证书的新检查，以确保信任定位点是 CA 证书并包含正确的扩展。 信任定位点证书必须包含基本约束扩展， ca 字段设置为 true。 此外，如果它们包含密钥用法扩展，则必须设置位 keyCertSign。

如果使用自签名的信任定位点证书，可能会遇到这些新检查引入的以下异常：

TrustAnchor with subject "..." is not a CA certificate

TrustAnchor with subject "..." does not have keyCertSign bit set in KeyUsage extension

若要继续使用自签名信任定位点证书，可以选择使用以下两种方法之一来解决上述异常：

• 将 Java 1.9.0_242 引入的 Java 系统属性 jdk.security.allowNonCaAnchor 设置为 true 还原以前的行为。 可以使用 spark.driver.extraJavaOptions 将此系统属性设置为 Spark 驱动器，并使用 spark.executor.extraJavaOptions 分别设置为执行者。

• 将基本约束扩展与字段ca设置为true包含到您的信任锚点证书中。 如果您的信任锚点证书包含密钥用法扩展，请设置 keyCertSign 位。

  如果使用 Java Keytool 生成公钥/私钥对，请在生成信任定位点证书时设置 -ext BasicConstraints=ca:true 。 如果信任定位点证书包含密钥用法扩展，请在生成信任定位点证书时设置 keyCertSign 位 -ext KeyUsage=...,keyCertSign 。

升级了 R 库

升级了多个已安装的 R 库。 请参阅已安装的 R 库。

弃用项

• 已弃用 boto 包，并且在即将发布的 Databricks Runtime 主版本中将会删除该包。 Azure Databricks 建议改用 boto3。
• 在即将发布的 Databricks Runtime 的主版本中，将会删除以下 R 包：
  • abind
  • bitops
  • 汽车
  • 汽车数据
  • doMC
  • gbm
  • H₂O
  • 更小
  • lme4
  • mapproj
  • 地图
  • maptools
  • MatrixModels
  • 明卡
  • mvtnorm
  • nloptr
  • openxlsx
  • pbkrtest
  • pkgKitten
  • quantreg
  • R.methodsS3
  • R.oo
  • R.utils
  • RcppEigen
  • RCurl
  • 里约
  • sp
  • 稀疏M
  • statmod
  • 压缩包

Azure Databricks 建议使用以下代码来安装并加载 Databricks Runtime 未安装的 R 包：

if (!require("package_name")) {
  install.packages("package_name")
  library("package_name")
}

Apache Spark

Databricks Runtime 6.5 包括 Apache Spark 2.4.5。 此版本包括 Databricks Runtime 6.4 (EoS) 中包含的所有 Spark 修复和改进，以及对 Spark 进行的以下其他缺陷修复和改进：

• [SPARK-27099] [ SQL] 添加“xxhash64”，用于将任意列哈希到 Long
• [SPARK-26151] [SQL] 返回错误 CSV 记录的部分结果
• [SPARK-30927] [SS] StreamingQueryManager 应避免保持对已终止的 StreamingQuery 的引用
• [SPARK-22590] 将 sparkContext.localproperties 复制到 BroadcastExchangeExec.executionContext 中的子线程
• [SPARK-30671] emptyDataFrame 应该使用 LocalRelation
• [SPARK-30556] [SQL] 使用ThreadLocalCaptured 重置 SQLExecution 中更改的状态
• [SPARK-30763] [SQL] 为 regexp_extract 修复 java.lang.IndexOutOfBoundsException No group 1
• [SPARK-30806] [SQL] 在 UnboundedWindowFunctionFrame 中，每个组评估一次
• [SPARK-30731] 更新已弃用的 Mkdocs 选项
• [SPARK-30857] [SQL] 修复了将 epoch 之前的时间戳截断到小时和天的问题
• [SPARK-30798] 在 QueryExecution 中限定 Session.active 的范围
• [SPARK-30793] [SQL] 修复了将 epoch 之前的时间戳截断到分钟和秒的问题
• [SPARK-30826] [SQL] 遵循向下推送到 parquet 的 StringStartsWith 中的引用大小写
• [SPARK-30797] [SQL] 在设置截断表的 ACL 时，将传统的用户/组/其他权限分配到 ACL 条目中
• [SPARK-30065] [SQL] DataFrameNaFunctions.drop 应处理重复列
• [SPARK-29890] [SQL] DataFrameNaFunctions.fill 应处理重复列
• [SPARK-30310] [CORE] 解决了 SparkUncaughtExceptionHandler 中缺失匹配大小写的问题并添加了测试
• [SPARK-30512] 添加了专用的 boss 事件循环组

维护更新

请参阅 Databricks Runtime 6.5 维护更新。

系统环境

• 操作系统：Ubuntu 16.04.6 LTS
• Java：1.8.0_252
• Scala：2.11.12
• Python：3.7.3
• R：R 版本 3.6.3 (2020-02-29)
• Delta Lake：0.5.0

本节内容：

• 已安装的 Python 库
• 已安装的 R 库
• 已安装的 Java 库和 Scala 库（Scala 2.11 群集版本）

已安装的 Python 库

已安装的 R 库

R 库安装自 2020-02-26 的 Microsoft CRAN 快照。

已安装的 Java 库和 Scala 库（Scala 2.11 群集版本）