Databricks Runtime 14.3 LTS

以下发行说明提供了由 Apache Spark 3.5.0 提供支持的 Databricks Runtime 14.3 LTS 的相关信息。

Databricks 于 2024 年 2 月发布了此版本。

新增功能和改进

• 标准访问模式群集（原共享访问模式）上 PySpark 用户定义的函数 (UDF) 中的工作区文件系统支持
• 支持在没有 Photon 的情况下进行删除矢量 MERGE 优化
• Spark 目录 API 现在完全支持标准访问模式
• Delta UniForm 现已正式发布
• 新的 SQL 函数 EXECUTE IMMEDIATE
• 重新计算 Delta 表的跳过数据统计信息
• 有状态流式处理查询的查询状态信息
• 在标准群集上使用 Microsoft Entra ID 进行 Kafka 身份验证
• 增加了对文件和分区修剪的支持，以提高查询性能
• 在 SQL 会话中声明临时变量
• Thriftserver 更新以删除未使用的功能
• Unity Catalog 卷中使用信任存储和密钥存储文件
• 原生 XML 文件格式支持（公共预览版）
• 支持 Cloudflare R2 存储（公共预览版）
• Spark 和 dbutils 访问标准访问 Unity Catalog 群集上的工作区文件支持
• 标准访问 Unity Catalog 群集上的 Init 脚本和群集库支持

标准访问模式群集（原共享访问模式）上 PySpark 用户定义的函数 (UDF) 中的工作区文件系统支持

标准群集上的 PySpark UDF 现在可以从 Git 文件夹、工作区文件或 UC 卷导入 Python 模块。

有关在 Git 文件夹或工作区文件中使用模块的详细信息，请参阅使用 Python 和 R 模块。

支持在没有 Photon 的情况下进行删除矢量 MERGE 优化

MERGE 操作不再需要 Photon 即可使用删除向量优化。 请参阅什么是删除向量？。

Spark 目录 API 现在完全支持标准访问模式

现在，可以在使用标准访问模式配置的计算上使用 python 和 Scala spark.catalog API 中的所有函数。

Delta UniForm 现已正式发布

UniForm 现已正式发布并使用 IcebergCompatV2 表功能。 你现在可以对现有表启用或升级 UniForm。 请参阅使用 Iceberg 客户端读取 Delta 表。

新的 SQL 函数 EXECUTE IMMEDIATE

现在可以使用 EXECUTE IMMEDIATE 语法来支持 SQL 中的参数化查询。 请参阅 EXECUTE IMMEDIATE。

重新计算 Delta 表的跳过数据统计信息

现在可以在更改用于数据跳过的列后，重新计算存储在 Delta 日志中的统计信息。 请参阅指定 Delta 统计信息列。

有状态流式处理查询的查询状态信息

现在可以查询结构化流式处理状态数据和元数据。 请参阅读取结构化流式处理状态信息。

在标准群集上使用 Microsoft Entra ID 进行 Kafka 身份验证

现在，您可以在配置了标准访问模式的计算上，通过 OAuth 使用 Microsoft Entra ID 对事件中心服务进行身份验证。 请参阅使用 Microsoft Entra ID 和 Azure 事件中心进行服务主体身份验证。

增加了对文件和分区修剪的支持，以提高查询性能

为了加快 JOIN 条件中依赖 null 容错相等性的某些查询的速度，我们现在支持 JOIN 中 DynamicFilePruning 运算符的 DynamicPartitionPruning 和 EqualNullSafe。

在 SQL 会话中声明临时变量

此版本引入了在会话中声明临时变量的功能，可以对该会话进行设置，然后从查询中引用这些变量。 请参阅 变量。

Thriftserver 更新以删除未使用的功能

Thriftserver 代码已更新，删除了过时功能的代码。 由于这些更改，不再支持以下配置：

• 使用hive.aux.jars.path属性配置的 Hive 辅助 JAR 不再支持hive-thriftserver连接。
• Hive 全局初始化文件 (.hiverc)，其位置由 hive.server2.global.init.file.___location 属性或 HIVE_CONF_DIR 环境变量配置，已不再支持 hive-thriftserver 连接。

Unity Catalog 卷中使用信任存储和密钥存储文件

现在，可以使用 Unity Catalog 中的信任存储和密钥存储文件对 Avro 或协议缓冲区数据的 Confluent 架构注册表进行身份验证。 请参阅有关 avro 或协议缓冲区的文档。

原生 XML 文件格式支持（公共预览版）

原生 XML 文件格式支持目前以公共预览版提供。 XML 文件格式支持启用对 XML 数据的引入、查询和分析，以便进行批处理或流式处理。 它可以自动推理并改进架构和数据类型，支持 SQL 表达式（例如 from_xml）并生成 XML 文档。 它不需要外部 JAR 文件，并且可以与自动加载程序、read_files、COPY INTO 和 DLT 无缝配合工作。 请参阅读取和写入 XML 文件。

支持 Cloudflare R2 存储（公共预览版）

现在，你可以使用 Cloudflare R2 作为云存储来存储 Unity Catalog 中注册的数据。 Cloudflare R2 主要用于下述 Delta Sharing 用例：当数据跨区域传输时，你希望避免云提供商收取数据流出量费用。 R2 存储支持 AWS S3、Azure Data Lake Storage 和 Google Cloud Storage 中支持的所有 Databricks 数据和 AI 资产。 请参阅使用 Cloudflare R2 副本或将存储迁移到 R2和创建用于连接到 Cloudflare R2 的存储凭据。

Spark 和 dbutils 访问标准访问 Unity Catalog 群集上的工作区文件支持

dbutils的 Unity 目录群集现在支持 Spark 和 对工作区文件的读取和写入访问。 请参阅使用工作区对象。

标准访问 Unity Catalog 群集上的 Init 脚本和群集库支持

标准访问模式中的 Unity Catalog 群集上的群集范围的 init 脚本和 Python 和 JAR 库的安装（包括使用群集策略进行安装）现已正式发布。 Databricks 建议从 Unity Catalog 卷安装初始化脚本和库。

软件库升级

• 升级了 Python 库：
  • fastjsonschema 已从 2.19.0 升级到 2.19.1
  • filelock 已从 3.12.4 升级到 3.13.1
  • googleapis-common-protos 已从 1.61.0 升级到 1.62.0
  • packaging 已从 22.0 升级到 23.2
• 升级了 R 库：
  • foreign 已从 0.8-82 升级到 0.8-85
  • nlme 已从 3.1-162 升级到 3.1-163
  • rpart 已从 4.1.19 升级到 4.1.21
• 升级了 Java 库：
  • com.databricks.databricks-sdk-java 已从 0.7.0 升级到 0.13.0
  • org.apache.orc.orc-core 已从 1.9.1-shaded-protobuf 升级到 1.9.2-shaded-protobuf
  • org.apache.orc.orc-mapreduce 已从 1.9.1-shaded-protobuf 升级到 1.9.2-shaded-protobuf
  • org.apache.orc.orc-shims 已从 1.9.1 升级到 1.9.2
  • org.scala-lang.modules.scala-collection-compat_2.12 已从 2.9.0 升级到 2.11.0

Apache Spark

Databricks Runtime 14.3 包含 Apache Spark 3.5.0。 此版本包含 Spark 的所有修复和改进，这些修复和改进是 Databricks Runtime 14.2 (EoS)中的内容，并且对 Spark 进行了以下其他 bug 修复和改进：

• [SPARK-46541] [SC-153546][sql][CONNECT] 修复自联接中的不明确列引用
• [SPARK-45433] 恢复“[SC-145163][sql] 修复 CSV/JSON 架构推断…
• [SPARK-46723] [14.3][sasp-2792][SC-153425][connect][SCALA] 使 addArtifact 可重试
• [SPARK-46660] [SC-153391][connect] ReattachExecute 请求更新 SessionHolder 的活动状态
• [SPARK-46670] [SC-153273][python][SQL] 通过分离静态和运行时 Python 数据源使 DataSourceManager 能够自行克隆
• [SPARK-46720] [SC-153410][sql][PYTHON] 重构 Python 数据源以与其他 DSv2 内置数据源保持一致
• [SPARK-46684] [SC-153275][python][CONNECT] 修复 CoGroup.applyInPandas/Arrow 以正确传递参数
• [SPARK-46667] [SC-153271][sc-153263][SQL] XML：在多个 XML 数据源上引发错误
• [SPARK-46382] [SC-151881][sql]XML: 默认 ignoreSurroundingSpaces 为 true
• [SPARK-46382] [SC-153178][sql] XML：更新 ignoreSurroundingSpaces 文档
• [SPARK-45292] 恢复“[SC-151609][sql][HIVE] 从 IsolatedClientLoader 的共享类中移除 Guava”
• [SPARK-45292] [SC-151609][sql][HIVE] 从 IsolatedClientLoader 的共享类中移除 Guava
• [SPARK-46311] [SC-150137][core] 在 Master.removeDriver 期间记录驱动程序的最终状态
• [SPARK-46413] [SC-151052][python] 验证 Arrow Python UDF 的 returnType
• [SPARK-46633] [WARMFIX][sc-153092][SQL] 修复 Avro 读取器以处理零长度块
• [SPARK-46537] [SC-151286][sql] 将 NPE 和断言从命令转换为内部错误
• [SPARK-46179] [SC-151678][sql] 添加 CrossDbmsQueryTestSuites，它使用其他 DBMS 针对黄金文件运行其他 DBMS，从 Postgres 开始
• [SPARK-44001] [SC-151413][protobuf] 添加选项以允许解包 protobuf 已知的包装器类型
• [SPARK-40876] [SC-151786][sql] 在 Parquet 读取器中扩大小数位数的类型提升
• [SPARK-46605] [SC-151769][connect] 让连接模块中的 lit/typedLit 功能实现对 s.c.immutable.ArraySeq 的支持
• [SPARK-46634] [SC-153005][sql] 文本验证不应向下钻取到 null 字段
• [SPARK-37039] [SC-153094][ps] 修复 Series.astype 以在缺失值的情况下正常工作
• [SPARK-46312] [SC-150163][core] 在 lower_camel_case 中使用 store_types.proto
• [SPARK-46630] [SC-153084][sql] XML： 在写入时验证 XML 元素名称
• [SPARK-46627] [SC-152981][ss] [UI] 修复流式处理 ui 上的时间线工具提示内容
• [SPARK-46248] [SC-151774][sql] XML：支持 ignoreCorruptFiles 和 ignoreMissingFiles 选项
• [SPARK-46386] [SC-150766][python] 改进观察断言（pyspark.sql.observation）
• [SPARK-46581] [SC-151789][core] 更新 AccumulatorV2 中 isZero 的注释
• [SPARK-46601] [SC-151785] [CORE] 修复 handleStatusMessage 中的日志错误
• [SPARK-46568] [SC-151685][python] 使 Python 数据源选项成为不区分大小写的字典
• [SPARK-46611] [SC-151783][core] 通过将 SimpleDateFormat 替换为 DateTimeFormatter 来删除 ThreadLocal
• [SPARK-46604] [SC-151768][sql] 使 Literal.apply 支持 s.c.immuable.ArraySeq
• [SPARK-46324] [SC-150223][sql][PYTHON] 修复了 pyspark.sql.functions.user 和 session_user 的输出名称
• [SPARK-46621] [SC-151794][python] 解决 Py4J 捕获异常中 Exception.getMessage 中的 null
• [SPARK-46598] [SC-151767][sql] OrcColumnarBatchReader 在为缺失列创建列向量时应遵循内存模式
• [SPARK-46613] [SC-151778][sql][PYTHON] 未能查找 Python 数据源时记录完整异常
• [SPARK-46559] [SC-151364][mllib] 将 export 用反引号包装在包名称中
• [SPARK-46522] [SC-151784][python] 阻止具有名称冲突的 Python 数据源注册
• [SPARK-45580] [SC-149956][sql] 处理嵌套子查询成为存在联接的情况
• [SPARK-46609] [SC-151714][sql] 避免 PartitioningPreservingUnaryExecNode 中的指数爆炸
• [SPARK-46535] [SC-151288][sql] 描述没有列统计信息的列扩展时修复 NPE
• [SPARK-46599] [SC-147661][sc-151770][SQL] XML：使用 TypeCoercion.findTightestCommonType 进行兼容性检查
• [SPARK-40876] [SC-151129][sql] 扩大 Parquet 读取器的类型提升
• [SPARK-46179] [SC-151069][sql] 将代码提取到 SQLQueryTestSuite 中的可重用函数中
• [SPARK-46586] [SC-151679][sql] 支持 s.c.immutable.ArraySeq，如 customCollectionCls 中的 MapObjects
• [SPARK-46585] [SC-151622][core] 直接构造 metricPeaks 作为 immutable.ArraySeq，而不是在 mutable.ArraySeq.toSeq 中使用 Executor
• [SPARK-46488] [SC-151173][sql] 在时间戳解析过程中跳过 trimAll 调用
• [SPARK-46231] [SC-149724][python] 将所有剩余 NotImplementedError & TypeError 迁移到 PySpark 错误框架
• [SPARK-46348] [SC-150281][core] 支持 spark.deploy.recoveryTimeout
• [SPARK-46313] [SC-150164][core] 日志 Spark HA 恢复持续时间
• [SPARK-46358] [SC-150307][CONNECT] 简化 ResponseValidator#verifyResponse中的条件检查
• [SPARK-46380] [SC-151078][sql]在评估内联表表达式之前替换当前时间/日期。
• [SPARK-46563] [SC-151441][sql] 查看 simpleString 不遵循 conf spark.sql.debug.maxToStringFields
• [SPARK-46101] [SC-149211][core][SQL][mllib][SS][r][CONNCT][graphx] 通过将 (string|array).size 替换为 (string|array).length 来减少堆栈深度
• [SPARK-46539] [SC-151469][sql] SELECT * EXCEPT（排除结构体中的所有字段）会导致断言失败
• [SPARK-46565] [SC-151414][python] 优化 Python 数据源的错误类和错误消息
• [SPARK-46576] [SC-151614][sql] 改进了不受支持的数据源保存模式的错误消息
• [SPARK-46540] [SC-151355][python] 当 Python 数据源读取函数输出具有名称的 Row 对象时尊重列名
• [SPARK-46577] [ SC-151448][sql] HiveMetastoreLazyInitializationSuite 泄漏 hive 中的 SessionState
• [SPARK-44556] [SC-151562][sql] 启用 vectorizedReader 时重复使用 OrcTail
• [SPARK-46587] [SC-151618][sql] XML：修复 XSD 大整数转换
• [SPARK-46382] [SC-151297][sql] XML：捕获交杂在元素之间的值
• [SPARK-46567] [SC-151447][core] 删除 ReadAheadInputStream 的 ThreadLocal
• [SPARK-45917] [SC-151269][python][SQL] 启动时自动注册 Python 数据源
• [SPARK-28386] [SC-151014][sql] 无法分析具有 ORDER BY 和 GROUP BY 的 HAVING 列
• [SPARK-46524] [SC-151446][sql] 改进无效保存模式的错误消息
• [SPARK-46294] [SC-150672][sql] 理清 init 和零值的语义
• [SPARK-46301] [SC-150100][core] 支持 spark.worker.(initial|max)RegistrationRetries
• [SPARK-46542] [SC-151324][sql] 从 c>=0 中删除 ExternalCatalogUtils#needsEscaping 检查，因为它始终为 true
• [SPARK-46553] [SC-151360][ps] FutureWarning 的 interpolate，具有对象类型
• [SPARK-45914] [SC-151312][python] 支持提交和中止用于 Python 数据源写入的 API
• [SPARK-46543] [SC-151350][python][CONNECT] 使 json_tuple 为空字段引发 PySparkValueError
• [SPARK-46520] [SC-151227][python] 支持 Python 数据源写入的覆盖模式
• [SPARK-46502] [SC-151235][sql] 支持 UnwrapCastInBinaryComparison 中的时间戳类型
• [SPARK-46532] [SC-151279][connect] 在 ErrorInfo 的元数据中传递消息参数
• [SPARK-46397] 恢复“[SC-151311][python][CONNECT] 函数 sha2 应为无效 PySparkValueError 引发 numBits”
• [SPARK-46170] [SC-149472][sql] 支持在 SparkSessionExtensions 中注入自适应查询后规划器策略规则
• [SPARK-46444] [SC-151195][sql] V2SessionCatalog#createTable 不应加载表
• [SPARK-46397] [SC-151311][python][CONNECT] 函数 sha2 应为无效 PySparkValueError 引发 numBits
• [SPARK-46145] [SC-149471][sql] spark.catalog.listTables 在找不到表或视图时不会引发异常
• [SPARK-46272] [SC-151012][sql] 使用 DSv2 源支持 CTAS
• [SPARK-46480] [SC-151127][core][SQL] 尝试表缓存任务时修复 NPE
• [SPARK-46100] [SC-149051][core][PYTHON] 通过将 (string|array).size 替换为 (string|array).length 来减少堆栈深度
• [SPARK-45795] [SC-150764][sql] DS V2 支持下推模式
• [SPARK-46485] [SC-151133][sql] V1Write 在不需要时不应添加排序
• [SPARK-46468] [SC-151121] [SQL] 使用 Aggregate 处理 EXISTS 子查询的 COUNT 个 bug，无需对键进行分组
• [SPARK-46246] [SC-150927][sql] EXECUTE IMMEDIATE SQL 支持
• [SPARK-46498] [SC-151199][core] 从 shuffleServiceEnabled 中移除 o.a.spark.util.Utils#getConfiguredLocalDirs
• [SPARK-46440] [SC-150807][sql] 默认将存储库配置设置为 CORRECTED 模式
• [SPARK-45525] [SC-151120][sql][PYTHON] 支持使用 DSv2 编写的 Python 数据源
• [SPARK-46505] [SC-151187][connect] 使字节阈值可配置为 ProtoUtils.abbreviate
• [SPARK-46447] [SC-151025][sql] 移除旧版日期/时间重定基准SQL配置
• [SPARK-46443] [SC-151123][sql] 十进制精度和小数位数应由 H2 方言决定。
• [SPARK-46384] [SC-150694][spark-46404][SS][ui] 修复结构化流页面上的操作持续时间堆栈图表
• [SPARK-46207] [SC-151068][sql] 支持 DataFrameWriterV2 中的 MergeInto
• [SPARK-46452] [SC-151018][sql] 在 DataWriter 中添加新的 API 以编写记录迭代器
• [SPARK-46273] [SC-150313][sql] 支持使用 DSv2 源的 INSERT INTO/OVERWRITE
• [SPARK-46344] [SC-150267][core] 当驱动程序成功存在但主服务器断开连接时正确发出警告
• [SPARK-46284] [SC-149944][python][CONNECT] 将 session_user 函数添加到 Python
• [SPARK-46043] [SC-149786][sql] 支持使用 DSv2 源创建表
• [SPARK-46323] [SC-150191][python] 修复了 pyspark.sql.functions 的输出名称。now
• [SPARK-46465] [SC-151059][python][CONNECT] 在 PySpark 中添加 Column.isNaN
• [SPARK-46456] [SC-151050][core] 添加 spark.ui.jettyStopTimeout 以将 Jetty 服务器停止超时设置为取消组织 SparkContext 关闭
• [SPARK-43427] [SC-150356][protobuf] spark protobuf：允许向上转换无符号整数类型
• [SPARK-46399] [SC-151013][14.x][Core] 将退出状态添加到应用程序结束事件以使用 Spark 侦听器
• [SPARK-46423] [SC-150752][python][SQL] 在 DataSource.lookupDataSourceV2 上生成 Python 数据源实例
• [SPARK-46424] [SC-150765][python][SQL] 支持 Python 数据源中的 Python 指标
• [SPARK-46330] [SC-151015] 启用 HybridStore 时，Spark UI 组件加载时间过长
• [SPARK-46378] [SC-150397][sql] 在将聚合转换为 Project 后仍删除排序
• [SPARK-45506] [SC-146959][connect] 向 SparkConnect addArtifact 添加 ivy URI 支持
• [SPARK-45814] [SC-147871][connect][SQL]Make ArrowConverters.createEmptyArrowBatch call close（） 以避免内存泄漏
• [SPARK-46427] [SC-150759][python][SQL] 更改 Python 数据源的说明，使在解释中更美观
• [SPARK-45597] [SC-150730][python][SQL] 支持在 SQL 中使用 Python 数据源创建表 （DSv2 exec）
• [SPARK-46402] [SC-150700][python] 添加 getMessageParameters 和 getQueryContext 支持
• [SPARK-46453] [SC-150897][connect] 从 internalError() 的 SessionHolder 中引发异常
• [SPARK-45758] [SC-147454][sql] 引入了用于 hadoop 压缩编解码器的映射器
• [SPARK-46213] [python] 为错误框架引入 PySparkImportError
• [SPARK-46230] [SC-149960][python] 将 RetriesExceeded 迁移到 PySpark 错误
• [SPARK-45035] [SC-145887][sql] 修复 ignoreCorruptFiles/ignoreMissingFiles 和多行 CSV/JSON 将报告错误
• [SPARK-46289] [SC-150846][sql] 支持在解释模式下对 UDT 进行排序
• [SPARK-46229] [SC-150798][python][CONNECT] 将 applyInArrow 添加到 Spark Connect 中的 groupBy 和 cogroup
• [SPARK-46420] [SC-150847][sql] 删除 SparkSQLCLIDriver 中未使用的传输
• [SPARK-46226] [PYTHON] 将所有剩余 RuntimeError 迁移到 PySpark 错误框架
• [SPARK-45796] [SC-150613][sql] 支持 MODE() WITHIN GROUP (ORDER BY col)
• [SPARK-40559] [SC-149686][python][14.X] 将 applyInArrow 添加到 groupBy 和 cogroup
• [SPARK-46069] [SC-149672][sql] 支持将时间戳类型解包到日期类型
• [SPARK-46406] [SC-150770][sql] 向错误类分配名称_LEGACY_ERROR_TEMP_1023
• [SPARK-46431] [SC-150782][ss] 在会话迭代器中将 IllegalStateException 转换为 internalError
• [SPARK-45807] [SC-150751][sql] 改进 ViewCatalog API
• [SPARK-46009] [SC-149771][sql][CONNECT] 将 PercentileCont 和 PercentileDisc 分析规则合并到 functionCall
• [SPARK-46403] [SC-150756][sql] 使用 getBytesUnsafe 方法解码 parquet 二进制文件
• [SPARK-46389] [SC-150779][core] RocksDB/LevelDB 引发异常时手动关闭 checkVersion 实例
• [SPARK-46360] [SC-150376][python] 使用新的 getMessage API 增强错误消息调试
• [SPARK-46233] [SC-149766][python] 将所有剩余的 AttributeError 迁移到 PySpark 错误框架
• [SPARK-46394] [SC-150599][sql] 修复 spark.sql.legacy.keepCommandOutputSchema 设置为 true 时具有特殊字符的架构的 spark.catalog.listDatabases() 问题
• [SPARK-45964] [SC-148484][sql] 删除 catalyst 包下 XML 和 JSON 包中的专用 sql 访问器
• [SPARK-45856] [SC-148691] 将 ArtifactManager 从 Spark Connect 移至 SparkSession (sql/core)
• [SPARK-46409] [SC-150714][connect] 修复 spark-connect-scala-client 启动脚本
• [SPARK-46416] [SC-150699][core] 将 @tailrec 添加到 HadoopFSUtils#shouldFilterOutPath
• [SPARK-46115] [SC-149154][sql] 限制 encode() 中的字符集
• [SPARK-46253] [SC-150416][python] 规划使用 MapInArrow 读取的 Python 数据源
• [SPARK-46339] [SC-150266][ss] 目录中的批号名称不应被视为元数据日志
• [SPARK-46353] [SC-150396][core] 重构以提高 RegisterWorker 单元测试覆盖率
• [SPARK-45826] [SC-149061][sql] 在 DataFrame 查询上下文中添加堆栈跟踪的 SQL 配置
• [SPARK-45649] [SC-150300][sql] 统一 OffsetWindowFunctionFrame 的准备框架
• [SPARK-46346] [SC-150282][core] 修复主服务器，将 UNKNOWN msg 上的辅助角色从 ALIVE 更新到 RegisterWorker
• [SPARK-46388] [SC-150496][sql] HiveAnalysis 错过了 query.resolved 的模式防护
• [SPARK-46401] [SC-150609][core] 在 !isEmpty() 上使用 RoaringBitmap，而不是在 getCardinality() > 0 中使用 RemoteBlockPushResolver
• [SPARK-46393] [SC-150603][sql] 对 JDBC 表目录中的异常进行分类
• [SPARK-45798] [SC-150513][connect] 后续：将 serverSessionId 添加到 SessionHolderInfo
• [SPARK-46153] [SC-146564][sc-150508][SQL] XML： 添加 TimestampNTZType 支持
• [SPARK-46075] [SC-150393][connect] 对 SparkConnectSessionManager 的改进
• [SPARK-46357] [SC-150596] 将 setConf 的错误文档使用替换为 conf.set
• [SPARK-46202] [SC-150420][connect] 公开新的 ArtifactManager API 以支持自定义目标目录
• [SPARK-45824] [SC-147648][sql] 在 ParseException 中强制执行错误类
• [SPARK-45845] [SC-148163][ss] [UI] 将已逐出的状态行数添加到流式处理 UI
• [SPARK-46316] [SC-150181][core] 启用 buf-lint-action 模块上的 core
• [SPARK-45816] [SC-147656][sql] 从时间戳转换为整数期间溢出时返回 NULL
• [SPARK-46333] [SC-150263][sql] 用催化剂中的 IllegalStateException 替换 SparkException.internalError
• [SPARK-45762] [SC-148486][core] 通过更改启动顺序支持用户 jar 中定义的随机选择管理器
• [SPARK-46239] [SC-149752][core] 隐藏 Jetty 信息
• [SPARK-45886] [SC-148089][sql] 在 DataFrame 上下文的 callSite 中输出完整的堆栈跟踪信息
• [SPARK-46290] [SC-150059][python] 将 DataSourceWriter 的 saveMode 更改为布尔标志
• [SPARK-45899] [SC-148097][CONNECT] 在 errorInfoToThrowable 中设置 errorClass
• [SPARK-45841] [SC-147657][sql] 通过 DataFrameQueryContext 公开堆栈跟踪
• [SPARK-45843] [SC-147721][core] 支持 REST 提交 API 中的 killall
• [SPARK-46234] [SC-149711][python] 为 PySpark 错误框架引入 PySparkKeyError
• [SPARK-45606] [SC-147655][sql] 对多层运行时筛选器的发布限制
• [SPARK-45725] [SC-147006][sql] 删除非默认 IN 子查询运行时筛选器
• [SPARK-45694] [SC-147314][spark-45695][SQL] 清理弃用的 API 使用情况 View.force 和 ScalaNumberProxy.signum
• [SPARK-45805] [SC-147488][sql] 使 withOrigin 更通用
• [SPARK-46292] [SC-150086][core][UI] 在 MasterPage 中显示辅助角色摘要
• [SPARK-45685] [SC-146881][core][SQL] 使用 LazyList 而不是 Stream
• [SPARK-45888] [SC-149945][ss] 将错误类框架应用于状态（元数据） 数据源
• [SPARK-46261] [SC-150111][CONNECT] DataFrame.withColumnsRenamed 应保留 dict/map 排序
• [SPARK-46263] [SC-149933][sql][ss] [ml][MLLIB][ui] 清理 SeqOps.view 和 ArrayOps.view 转换
• [SPARK-46029] [SC-149255][sql] 转义 DS V2 下推的单引号、_ 和 %
• [SPARK-46275] [SC-150189] Protobuf：反序列化失败时，在许可模式下返回 null。
• [SPARK-46320] [SC-150187][core] 支持 spark.master.rest.host
• [SPARK-46092] [ SC-149658][sql] 不要向下推送溢出的 Parquet 行组过滤器
• [SPARK-46300] [SC-150097][python][CONNECT] 将列中的次要行为与完整测试覆盖率相匹配
• [SPARK-46298] [SC-150092][python][CONNECT] 匹配 Catalog.createExternalTable 的弃用警告、测试用例和错误
• [SPARK-45689] [SC-146898][spark-45690][SPARK-45691][core][SQL] 清理与 StringContext/StringOps/RightProjection/LeftProjection/Either 和 BufferedIterator/CanBuildFrom/Traversable 类型使用相关的已弃用 API 使用情况
• [SPARK-33393] [SC-148407][sql] 在 v2 中支持 SHOW TABLE EXTENDED
• [SPARK-45737] [SC-147011][sql] 移除 .toArray[InternalRow] 中不必要的 SparkPlan#executeTake
• [SPARK-46249] [SC-149797][ss] 需要实例锁才能收集 RocksDB 指标，以防止与后台操作竞争
• [SPARK-46260] [SC-149940][python][SQL] DataFrame.withColumnsRenamed 应遵循 dict 顺序
• [SPARK-46274] [SC-150043] [SQL] 修复范围运算符 computeStats() 以在转换之前检查长期有效性
• [SPARK-46040] [ SC-149767][sql][Python] 更新 UDTF API 以进行“分析”分区/排序列以支持常规表达式
• [SPARK-46287] [SC-149949][python][CONNECT] DataFrame.isEmpty 应适用于所有数据类型
• [SPARK-45678] [SC-146825][core] 覆盖 BufferReleasingInputStream.available/在 tryOrFetchFailedException 下重置
• [SPARK-45667] [SC-146716][core][SQL][connect] 清理与 IterableOnceExtensionMethods相关的已弃用的 API 使用情况。
• [SPARK-43980] [SC-148992][sql] 引入 select * except 语法
• [SPARK-46269] [SC-149816][ps] 启用更多 NumPy 兼容性函数测试
• [SPARK-45807] [SC-149851][sql] 将 createOrReplaceView(..) / replaceView(..) 添加到 ViewCatalog
• [SPARK-45742] [SC-147212][core][CONNECT][mllib][PYTHON] 引入了一个隐式函数，以便 Scala 数组包装到 immutable.ArraySeq中。
• [SPARK-46205] [SC-149655][core]通过 PersistenceEngine 提高 KryoSerializer 性能
• [SPARK-45746] [ SC-149359][python] 如果 UDTF“analyze”或“eval”方法接受或返回错误值，则返回特定的错误消息
• [SPARK-46186] [SC-149707][connect] 修复执行线程运行器在开始之前被中断时的非法状态转换
• [SPARK-46262] [SC-149803][ps] 为 Pandas-on-Spark 对象启用 np.left_shift 测试。
• [SPARK-45093] [SC-149679][connect][PYTHON] 正确支持 AddArtifactHandler 的错误处理和转换
• [SPARK-46188] [ SC-149571][doc][3.5] 修复 Spark 文档生成的表的 CSS
• [SPARK-45940] [SC-149549][python] 向 DataSourceReader 接口添加 InputPartition
• [SPARK-43393] [SC-148301][sql] 解决序列表达式溢出错误。
• [SPARK-46144] [SC-149466][sql] INSERT INTO 失败… 当条件包含子查询时，使用 REPLACE 语句。
• [SPARK-46118] [SC-149096][sql][SS][connect] 使用 SparkSession.sessionState.conf 而不是 SQLContext.conf，并将 SQLContext.conf 标记为已弃用
• [SPARK-45760] [SC-147550][sql] 添加 With 表达式以避免复制表达式
• [SPARK-43228] [SC-149670][sql] 联接键也与 CoalesceBucketsInJoin 中的 PartitioningCollection 匹配
• [SPARK-46223] [SC-149691][ps] 测试 SparkPandasNotImplementedError，并清理未使用的代码
• [SPARK-46119] [SC-149205][sql] 替代 toString 的 UnresolvedAlias 方法
• [SPARK-46206] [SC-149674][ps] 对 SQL 处理器使用更窄的范围异常
• [SPARK-46191] [SC-149565][core] 存在现有文件时改进 FileSystemPersistenceEngine.persist 错误 msg
• [SPARK-46036] [SC-149356][sql] 从 raise_error 函数中删除错误类
• [SPARK-46055] [SC-149254][sql] 重写目录数据库 API 实现
• [SPARK-46152] [SC-149454][sql] XML： 在 XML 架构推理中添加 DecimalType 支持
• [SPARK-45943] [SC-149452][sql] 将 DetermineTableStats 移动到解析规则
• [SPARK-45887] [SC-148994][sql] 对齐 Encode 的 codegen 和非 codegen 实现
• [SPARK-45022] [SC-147158][sql] 提供数据集 API 错误的上下文
• [SPARK-45469] [SC-145135][core][SQL][connect][PYTHON] 将 toIterator 替换为 iterator 的 IterableOnce
• [SPARK-46141] [SC-149357][sql] 将 spark.sql.legacy.ctePrecedencePolicy 的默认值更改为 CORRECTED
• [SPARK-45663] [SC-146617][core][MLLIB] 将 IterableOnceOps#aggregate 替换为 IterableOnceOps#foldLeft
• [SPARK-45660] [SC-146493][sql] 在 ComputeCurrentTime 规则中重复使用文本对象
• [SPARK-45803] [SC-147489][core] 删除不再使用的 RpcAbortException
• [SPARK-46148] [SC-149350][ps] 修复 pyspark.pandas.mlflow.load_model 测试（Python 3.12）
• [SPARK-46110] [SC-149090][python] 在 catalog、conf、connect、observation、pandas 模块中使用错误类
• [SPARK-45827] [SC-149203][sql] 修复了代码生成和矢量化读取器禁用的变体
• [SPARK-46080] 还原“[SC-149012][python] 将 Cloudpickle 升级到 3.0.0”
• [SPARK-45460] [SC-144852][sql] 将 scala.collection.convert.ImplicitConversions 替换为 scala.jdk.CollectionConverters
• [SPARK-46073] [SC-149019][sql] 删除某些命令的 UnresolvedNamespace 的特殊解析
• [SPARK-45600] [SC-148976][python] 生成 Python 数据源注册会话级别
• [SPARK-46074] [SC-149063][connect][SCALA] UDF 失败时错误消息中的详细信息不足
• [SPARK-46114] [SC-149076][python] 为错误框架添加 PySparkIndexError
• [SPARK-46120] [SC-149083][connect][PYTHON] 删除辅助函数 DataFrame.withPlan
• [SPARK-45927] [SC-148660][python] 更新 Python 数据源的路径处理
• [SPARK-46062] [14.x][SC-148991][SQL] 同步 CTE 定义和引用之间的 isStreaming 标志
• [SPARK-45698] [SC-146736][core][SQL][ss] 清理与 Buffer 相关的已弃用 API 使用情况
• [SPARK-46064] [SC-148984][sql][ss] 将 EliminateEventTimeWatermark 移出到分析器并更改为仅对已解析的子项生效
• [SPARK-45922] [SC-149038][CONNECT][CLIENT] 次要重试重构（跟进多个策略）
• [SPARK-45851] [SC-148419][connect][SCALA] 支持 scala 客户端中的多个策略
• [SPARK-45974] [SC-149062][sql] 为 RowLevelOperationRuntimeGroupFiltering 添加 scan.filterAttributes 非空判断
• [SPARK-46085] [SC-149049][CONNECT] Scala Spark Connect 客户端中的 Dataset.groupingSets
• [SPARK-45136] [SC-146607][CONNECT] 通过 Ammonite 支持来增强 ClosureCleaner
• [SPARK-46084] [SC-149020][ps] 重构分类类型的数据类型转换操作。
• [SPARK-46083] [SC-149018][python] 将 SparkNoSuchElementException 确立为规范错误 API
• [SPARK-46048] [SC-148982][python][CONNECT] 在 Python Spark Connect 中支持 DataFrame.groupingSets
• [SPARK-46080] [SC-149012][python] 将 Cloudpickle 升级到 3.0.0
• [SPARK-46082] [SC-149015][python][CONNECT] 使用 Spark Connect 修复 Pandas Functions API 的 protobuf 字符串表示形式
• [SPARK-46065] [SC-148985][ps] 重构 (DataFrame|Series).factorize() 以使用 create_map。
• [SPARK-46070] [SC-148993][sql] 在热循环之外的 SparkDateTimeUtils.getZoneId 中编译正则表达式模式
• [SPARK-46063] [SC-148981][python][CONNECT] 改进与 cute、rollup、groupby 和pivot 中的参数类型相关的错误消息
• [SPARK-44442] [SC-144120][mesos] 删除 Mesos 支持
• [SPARK-45555] [SC-147620][python] 提供用于调试失败断言的对象
• [SPARK-46048] [SC-148871][python][SQL] 支持 PySpark 中的 DataFrame.groupingSets
• [SPARK-45768] [SC-147304][sql][PYTHON] 使故障处理器成为 SQL 中 Python 执行的运行时配置
• [SPARK-45996] [SC-148586][python][CONNECT] 显示 Spark Connect 的正确依赖项要求消息
• [SPARK-45681] [SC-146893][ui] 复制 UIUtils.errorMessageCell 的 JavaScript 版本，以确保在 UI 上能够一致地显示错误
• [SPARK-45767] [SC-147225][core] 删除 TimeStampedHashMap 及其 UT
• [SPARK-45696] [SC-148864][core] 修复特征 Promise 中的 tryCompleteWith 方法已弃用
• [SPARK-45503] [SC-146338][ss] 添加 Conf 以设置 RocksDB 压缩
• [SPARK-45338] [SC-143934][core][SQL] 将 scala.collection.JavaConverters 替换为 scala.jdk.CollectionConverters
• [SPARK-44973] [SC-148804][sql]修复 ArrayIndexOutOfBoundsException 中的 conv()
• [SPARK-45912] [SC-144982][sc-148467][SQL] XSDToSchema API 的增强功能：改为 HDFS API 以实现云存储可访问性
• [SPARK-45819] [SC-147570][core] 在 REST 提交 API 中支持 clear
• [SPARK-45552] [14.x][sc-146874][PS] 向 assertDataFrameEqual 引入灵活的参数
• [SPARK-45815] [SC-147877][sql][Streaming][14.x][CHERRY-PICK] 为其他流式处理源提供添加 _metadata 列的接口
• [SPARK-45929] [SC-148692][sql] 支持 dataframe api 中的 groupingSets 操作
• [SPARK-46012] [SC-148693][core] EventLogFileReader 如果缺少应用状态文件，则不应读取滚动日志
• [SPARK-45965] [SC-148575][sql] 将 DSv2 分区表达式移动到 functions.partitioning
• [SPARK-45971] [SC-148541][core][SQL] 将 SparkCollectionUtils 的包名称更正为 org.apache.spark.util
• [SPARK-45688] [SC-147356][spark-45693][CORE] 清理与 MapOps & 修复 method += in trait Growable is deprecated 相关的已弃用 API 使用情况
• [SPARK-45962] [SC-144645][sc-148497][SQL] 删除 treatEmptyValuesAsNulls 并使用 XML 中的 nullValue 选项
• [SPARK-45988] [SC-148580][spark-45989][PYTHON] 修复类型提示以处理 Python 3.11+ 中的 list GenericAlias
• [SPARK-45999] [SC-148595][ps] 在 PandasProduct 中使用专用 cumprod
• [SPARK-45986] [SC-148583][ml][PYTHON] 修复 Python 3.11 中的 pyspark.ml.torch.tests.test_distributor
• [SPARK-45994] [SC-148581][python] 将 description-file 更改为 description_file
• [SPARK-45575] [SC-146713][sql] 支持 df 读取 API 的按时间顺序查看选项
• [SPARK-45747] [SC-148404][ss] 使用状态元数据中的前缀键信息来处理会话窗口聚合的读取状态
• [SPARK-45898] [SC-148213][sql] 重写目录表 API 以使用未解析的逻辑计划
• [SPARK-45828] [SC-147663][sql] 删除 dsl 中弃用的方法
• [SPARK-45990] [SC-148576][spark-45987][PYTHON][connect] 将 protobuf 升级到 4.25.1 以支持 Python 3.11
• [SPARK-45911] [SC-148226][core] 使 TLS1.3 成为 RPC SSL 的默认值
• [SPARK-45955] [SC-148429][ui] 折叠对火焰图和线程转储详细信息的支持
• [SPARK-45936] [SC-148392][ps] 优化 Index.symmetric_difference
• [SPARK-45389] [SC-144834][sql][3.5] 修正获取分区元数据的 MetaException 匹配规则
• [SPARK-45655] [SC-148085][sql][SS] 允许 CollectMetrics 中的 AggregateFunctions 中的非确定性表达式
• [SPARK-45946] [SC-148448][ss] 修复使用已弃用的 FileUtils 写入以在 RocksDBSuite 中传递默认字符集
• [SPARK-45511] [SC-148285][ss] 状态数据源 - 读取者
• [SPARK-45918] [SC-148293][ps] 优化 MultiIndex.symmetric_difference
• [SPARK-45813] [SC-148288][connect][PYTHON] 从命令返回观察到的指标
• [SPARK-45867] [SC-147916][core] 支持 spark.worker.idPattern
• [SPARK-45945] [SC-148418][connect] 为 parser 添加辅助函数
• [SPARK-45930] [SC-148399][sql] 支持 MapInPandas/MapInArrow 中的非确定性 UDF
• [SPARK-45810] [SC-148356][python] 创建 Python UDTF API 以停止使用输入表中的行
• [SPARK-45731] [SC-147929][sql] 还使用 ANALYZE TABLE 命令更新分区统计信息
• [SPARK-45868] [SC-148355][CONNECT] 确保 spark.table 使用与 vanilla Spark 相同的分析程序
• [SPARK-45882] [SC-148161][sql] BroadcastHashJoinExec 传播分区应遵循 CoalescedHashPartitioning
• [SPARK-45710] [SC-147428][sql] 将名称分配给错误 _LEGACY_ERROR_TEMP_21[59,60,61,62]
• [SPARK-45915] [SC-148306][sql] 将小数 (x, 0) 视为与 PromoteStrings 中的 IntegralType 相同
• [SPARK-45786] [SC-147552][sql] 修复不准确的十进制乘法和除法结果
• [SPARK-45871] [SC-148084][connect] 优化 .toBuffer 模块中 connect 相关的集合转换
• [SPARK-45822] [SC-147546][CONNECT] SparkConnectSessionManager 可能会查找已停止的 SparkContext
• [SPARK-45913] [SC-148289][python] 将内部属性设置为专用，以避免 PySpark 错误。
• [SPARK-45827] [SC-148201][sql] 在 Spark 中添加 Variant 数据类型。
• [SPARK-44886] [SC-147876][sql] 为 CREATE/REPLACE CLUSTER BY 引入 TABLE 子句
• [SPARK-45756] [SC-147959][core] 支持 spark.master.useAppNameAsAppId.enabled
• [SPARK-45798] [SC-147956][connect] 断言服务器端会话 ID
• [SPARK-45896] [SC-148091][sql] 使用正确预期类型来构造 ValidateExternalType
• [SPARK-45902] [SC-148123][sql] 从 resolvePartitionColumns 中删除未使用的函数 DataSource
• [SPARK-45909] [SC-148137][sql] 如果 NumericType 可以在 IsNotNull 中安全地向上转换，则删除它
• [SPARK-42821] [SC-147715][sql] 删除 splitFiles 方法中未使用的参数
• [SPARK-45875] [SC-148088][core] 从 MissingStageTableRowData 模块中删除 core
• [SPARK-45783] [SC-148120][python][CONNECT] 启用 Spark Connect 模式但未设置远程 URL 时改进错误消息
• [SPARK-45804] [SC-147529][ui] 添加 spark.ui.threadDump.flamegraphEnabled 配置以打开/关闭火焰图
• [SPARK-45664] [SC-146878][sql] 为 ORC 压缩格式引入了映射器
• [SPARK-45481] [SC-146715][sql] 引入 parquet 压缩编解码器的映射器
• [SPARK-45752] [SC-148005][sql] 简化检查未引用 CTE 关系的代码
• [SPARK-44752] [SC-146262][sql] XML：更新 Spark 文档
• [SPARK-45752] [SC-147869][sql] 未引用的 CTE 均应由 CheckAnalysis0 检查
• [SPARK-45842] [SC-147853][sql] 重构目录函数 API 以使用分析器
• [SPARK-45639] [SC-147676][sql][PYTHON] 支持在 DataFrameReader 中加载 Python 数据源
• [SPARK-45592] [SC-146977][sql]AQE 中使用 InMemoryTableScanExec 的正确性问题
• [SPARK-45794] [SC-147646][ss] 引入状态元数据源，查询流式状态元数据信息
• [SPARK-45739] [SC-147059][python] 为 faulthandler 捕获 IOException 而不是单独捕获 EOFException
• [SPARK-45677] [SC-146700] 改进观察 API 的错误日志记录
• [SPARK-45544] [SC-146873][core] 将 SSL 支持集成到 TransportContext
• [SPARK-45654] [SC-147152][python] 添加 Python 数据源写入 API
• [SPARK-45771] [SC-147270][core] 默认启用 spark.eventLog.rolling.enabled
• [SPARK-45713] [SC-146986][python] 支持注册 Python 数据源
• [SPARK-45656] [SC-146488][sql] 修复不同数据集上具有相同名称的命名观察时的观察
• [SPARK-45808] [SC-147571][connect][PYTHON] 更好的 SQL 异常错误处理
• [SPARK-45774] [SC-147353][core][UI] 支持 spark.master.ui.historyServerUrl 中的 ApplicationPage
• [SPARK-45776] [SC-147327][core] 删除 SPARK-39553 中添加的 MapOutputTrackerMaster#unregisterShuffle 的防御性 null 检查
• [SPARK-45780] [SC-147410][connect] 在 InheritableThread 中传播所有 Spark Connect 客户端线程局部变量
• [SPARK-45785] [SC-147419][core] 支持 spark.deploy.appNumberModulo 轮换应用编号
• [SPARK-45793] [SC-147456][core] 改进内置压缩编解码器
• [SPARK-45757] [SC-147282][ml] 避免在 Binarizer 中重新计算 NNZ
• [SPARK-45209] [SC-146490][core][UI] 执行器线程转储页的火焰图支持
• [SPARK-45777] [SC-147319][core] 支持 spark.test.appId 中的 LocalSchedulerBackend
• [SPARK-45523] [SC-146331][python] 重构 null 检查以具有快捷方式
• [SPARK-45711] [SC-146854][sql] 引入 avro 压缩编解码器的映射器
• [SPARK-45523] [SC-146077][python] 如果 UDTF 对任何不可为 null 的列返回 'None'，则返回有用的错误消息
• [SPARK-45614] [SC-146729][sql] 将名称分配给错误 _LEGACY_ERROR_TEMP_215[6,7,8]
• [SPARK-45755] [SC-147164][sql] 改进 Dataset.isEmpty() 通过应用全局限制 1
• [SPARK-45569] [SC-145915][sql] 分配名称给错误 _LEGACY_ERROR_TEMP_2153
• [SPARK-45749] [SC-147153][core][WEBUI] 修复 Spark History Server 以便正确地对 Duration 列进行排序
• [SPARK-45754] [SC-147169][core] 支持 spark.deploy.appIdPattern
• [SPARK-45707] [SC-146880][sql] 使用 DataFrameStatFunctions.countMinSketch 简化 CountMinSketchAgg
• [SPARK-45753] [SC-147167][core] 支持 spark.deploy.driverIdPattern
• [SPARK-45763] [SC-147177][core][UI] 改进 MasterPage，仅在 Resource 列存在时显示它
• [SPARK-45112] [SC-143259][sql]在 SQL 数据集函数中使用基于 UnresolvedFunction 的解析

Databricks ODBC/JDBC 驱动程序支持

Databricks 支持过去 2 年发布的 ODBC/JDBC 驱动程序。 请下载最近发布的驱动程序并升级（下载 ODBC，下载 JDBC）。

维护更新

请参阅 Databricks Runtime 14.3 维护更新。

系统环境

• 操作系统：Ubuntu 22.04.3 LTS
• Java：Zulu 8.74.0.17-CA-linux64
• Scala：2.12.15
• Python：3.10.12
• R：4.3.1
• Delta Lake：3.1.0

已安装的 Python 库

已安装的 R 库

R 库从 Posit 包管理器在 2023 年 7 月 13 日的 CRAN 快照中安装：https://packagemanager.posit.co/cran/2023-07-13/。

已安装的 Java 库和 Scala 库（Scala 2.12 群集版本）