Databricks Runtime 15.4 LTS

以下发行说明提供了由 Apache Spark 3.5.0 提供支持的 Databricks Runtime 15.4 LTS 的相关信息。

Databricks 于 2024 年 8 月发布此版本。

行为更改

• 使用 VARIANT 作为 Python UDF、UDAF 或 UDTF 的输入或输出类型会引发异常
• spark.sql.legacy.jdbc.useNullCalendar 现已默认启用
• 更改了视图的默认架构绑定模式
• 禁止在布尔表达式外部使用未记录的 ! 语法来代替 NOT
• 禁止视图中的未记录列定义语法
• Spark 和 Photon 中 Base64 解码的统一错误处理
• 现在，在无效列上添加CHECK约束将返回UNRESOLVED_COLUMN.WITH_SUGGESTION错误类
• spark.sql.legacy.jdbc.useNullCalendar 现已默认启用
• pyodbc 已从 4.0.38 更新为 4.0.39

使用 VARIANT 作为 Python UDF、UDAF 或 UDTF 的输入或输出类型会引发异常

[中断性变更] 在 Databricks Runtime 15.3 及更高版本中，调用使用 VARIANT 类型作为参数或返回值的任何 Python 用户定义函数 (UDF)、用户定义聚合函数 (UDAF) 或用户定义表函数 (UDTF) 将引发异常。 进行此更改是为了防止由于其中一个函数返回的无效值而可能发生的问题。 若要了解有关 VARIANT 类型的详细信息，请参阅使用 VARIANT 存储半结构化数据。

spark.sql.legacy.jdbc.useNullCalendar 现已默认启用

spark.sql.legacy.jdbc.useNullCalendar 现在默认设置为 true。 如果此更改会中断查询（例如返回 TIMESTAMP 值的查询），请在代码中将其设置为 false 。

更改了视图的默认架构绑定模式

视图现在使用常规强制转换规则来进行架构补偿，从而适应底层查询中的架构更改。 这与 BINDING 模式之前的默认设置不同，如果在引用该视图时无法执行安全强制转换，这会引发错误。

请参阅 CREATE VIEW 和 cast 函数。

禁止在布尔表达式外部使用未记录的 ! 语法来代替 NOT

在此版本中，不再允许在布尔表达式外部使用 ! 来代替 NOT。 例如，CREATE ... IF ! EXISTS、IS !NULL、! NULL 列或字段属性、! IN 和 !BETWEEN 等语句必须替换为 CREATE ... IF NOT EXISTS、IS NOT NULL、NOT NULL 列或字段属性、NOT IN 和 NOT BETWEEN。

此更改可确保一致性、遵守 SQL 标准，并使 SQL 更易于移植。

布尔前缀运算符!（例如，!is_mgr 或 !(true AND false)）不受此更改影响。

禁止视图中的未记录列定义语法

Databricks 支持具有命名列和列注释的 CREATE VIEW。 以前，允许指定列类型、NOT NULL 约束或 DEFAULT。 在此版本中，不能再使用此语法。

此更改可确保一致性、遵守 SQL 标准，并支持将来的增强功能。

Spark 和 Photon 中针对 Base64 解码的一致错误处理

此版本改变了 Photon 处理 Base64 解码错误的方式，使之与 Spark 对这些错误的处理匹配。 在进行这些更改之前，代码生成路径中的 Photon 和 Spark 有时无法抛出解析异常，而 Spark 在解释执行时则正确地抛出 IllegalArgumentException 或 ConversionInvalidInputError。 此更新确保 Photon 在出现 Base64 解码错误时始终引发与 Spark 相同的异常，从而提供更可预测和可靠的错误处理。

在无效列上添加 CHECK 约束现在会返回 UNRESOLVED_COLUMN.WITH_SUGGESTION 错误类

在 Databricks Runtime 15.3 及更高版本中，包含某个引用无效列名的 ALTER TABLE ADD CONSTRAINT 约束的 CHECK 语句会返回 UNRESOLVED_COLUMN.WITH_SUGGESTION 错误类，这是为了提供更有用的错误消息。 以前会返回 INTERNAL_ERROR。

spark.sql.legacy.jdbc.useNullCalendar 现已默认启用

### spark.sql.legacy.jdbc.useNullCalendar 现在设置为 true 默认设置。 如果此更改会中断查询（例如返回 TIMESTAMP 值的查询），请在代码中将其设置为 false 。

pyodbc 从 4.0.38 更新为 4.0.39

pyodbc 包从版本 4.0.38 更新到版本 4.0.39。 此更改是必需的，因为版本 4.0.38 中发现了 bug，并且该版本已从 PyPI 中删除。

新增功能和改进

• UTF-8 验证函数
• 具有 Scala UDF 的类型化数据集 API
• 使用 ALTER TABLE 启用 UniForm Iceberg
• try_url_decode 函数
• 选择性地允许优化器依赖于未强制实施的外键约束
• 针对选择性覆盖的并行作业运行
• 通过选择性覆盖改进了更改数据源的性能
• 降低了 COPY INTO 命令的查询延迟
• 支持删除 check 约束表功能
• 专用计算（以前是单用户计算）支持精细访问控制、具体化视图和流式处理表（公共预览版）
• 扩展了对 Java 和 Scala 库的支持
• 扩展了对 Scala 数据集操作的支持
• Scala 在 Unity Catalog 标准计算上为正式发布版
• 使用服务凭据访问由 Unity 目录管理的外部云服务（公共预览）

UTF-8 验证函数

此版本引入了以下 UTF-8 字符串验证函数：

• is_valid_utf8 验证字符串是否为有效的 UTF-8 字符串。
• make_valid_utf8 使用替换字符将可能无效的 UTF-8 字符串转换为有效的 UTF-8 字符串
• 如果输入不是有效的 UTF-8 字符串，则 validate_utf8 会引发错误。
• 如果输入不是有效的 UTF-8 字符串，则 try_validate_utf8 返回 NULL。

带有 Scala UDF 的类型化数据集 API

此版本新增了对启用 Unity Catalog 的计算环境中，具备 Scala 用户定义函数（不包括用户定义聚合函数）的类型化数据集 API 的支持，这些环境使用标准访问模式（前称共享访问模式）。 请参阅类型化数据集 API。

使用 ALTER TABLE 启用 UniForm Iceberg

现在可以在现有表上启用 UniForm Iceberg，而无需重写数据文件。 请参阅对现有表启用 Iceberg 读取。

try_url_decode 函数

此版本引入了 try_url_decode 函数，可以对 URL 编码字符串进行解码。 如果字符串的格式不正确，该函数将返回 NULL，而不是引发错误。

选择性地允许优化器依赖于未强制实施的外键约束

要提高查询性能，现在可以在 RELY 或 FOREIGN KEY 表时，在 约束上指定 关键字。

针对选择性覆盖的并行作业运行

使用 replaceWhere 进行的选择性覆盖现在可以并行运行删除数据和插入新数据的作业，从而提高查询性能和群集利用率。

通过选择性覆盖改进了变更数据源的性能

使用 replaceWhere 对具有更改数据源的表进行选择性覆盖时，不再为插入的数据写入单独的更改数据文件。 这些操作使用基础 Parquet 数据文件中存在的隐藏 _change_type 列，在没有写入放大的情况下记录更改。

降低了 COPY INTO 命令的查询延迟

此版本包含一项更改，可降低 COPY INTO 命令的查询延迟。 此改进是通过使 RocksDB 状态存储的状态加载变为异步来实现的。 进行此更改后，你应会看到具有较大状态的查询（例如，具有大量已引入文件的查询）的启动时间有所改善。

支持删除 CHECK 约束表功能

现在可以使用 checkConstraints 从 Delta 表中删除 ALTER TABLE table_name DROP FEATURE checkConstraints 表功能。 请参阅禁用检查约束。

专用计算（以前是单用户计算）支持精细的访问控制、具体化视图和流式处理表（公共预览版）

为无服务器计算启用工作区后，Databricks Runtime 15.4 LTS 增加了对专用计算的精细访问控制的支持。 当查询访问以下任何对象时，Databricks Runtime 15.4 LTS 上的专用计算资源会将查询传递给无服务器计算以运行数据筛选：

• 基于用户不具有 SELECT 特权的表定义的视图。
• 动态视图。
• 应用了行筛选器或列掩码的表。
• 具体化视图和流式处理表。

在运行 Databricks Runtime 15.3 及更低版本专用计算时不支持这些查询。

有关详细信息，请参阅 专用计算上的精细访问控制。

扩展了对 Java 和 Scala 库的支持

从 Databricks Runtime 15.4 LTS 开始，当你使用 Unity Catalog 时，与 Databricks Runtime 捆绑的所有 Java 和 Scala 库都会在所有计算访问模式下可用。 若要详细了解启用 Unity Catalog 的计算上的语言支持，请参阅 Unity Catalog 的计算访问模式限制。

扩展了对 Scala 数据集操作的支持

在此版本中，启用 Unity Catalog 的、使用标准访问模式的计算资源支持以下 Scala Dataset 操作：map、mapPartitions、foreachPartition、flatMap、reduce 和 filter。

Scala 在 Unity Catalog 标准计算上已推出正式版

在此版本中，Scala 在支持标准访问模式的 Unity 目录计算上正式发布，包括对标量用户定义函数（UDF）的支持。 不支持结构化流式处理、Hive UDF 和 Hive 用户定义聚合函数。 有关限制的完整列表，请参阅 Unity Catalog 的计算访问模式限制。

Unity Catalog 治理的使用服务凭据对外部云服务的访问（公共预览版）

使用 Azure 托管标识 (MI) 和 Unity Catalog，服务凭据可以实现对云租户服务的简单且安全的身份验证。 请参阅 “创建服务凭据”。

问题修复

图书馆升级

• 升级了 Python 库：
  • azure-core（从 1.30.1 升级到 1.30.2）
  • google-auth（从 2.29.0 升级到 2.31.0）
  • google-cloud-storage（从 2.16.0 升级到 2.17.0）
  • google-resumable-media 从 2.7.0 升级至 2.7.1
  • googleapis-common-protos（从 1.63.0 升级到 1.63.2）
  • mlflow-skinny（从 2.11.3 升级到 2.11.4）
  • proto-plus（从 1.23.0 升级到 1.24.0）
  • s3transfer（从 0.10.1 升级到 0.10.2）
• 升级了 R 库：
• 升级了 Java 库：
  • com.databricks.databricks-sdk-java（从 0.17.1 升级到 0.27.0）
  • com.ibm.icu.icu4j（从 72.1 升级到 75.1）
  • software.amazon.cryptools.AmazonCorrettoCryptoProvider（从 1.6.1-linux-x86_64 升级到 1.6.2-linux-x86_64）

Apache Spark

Databricks Runtime 15.4 LTS 包括 Apache Spark 3.5.0。 此版本包括 Databricks Runtime 15.3 （EoS）中包含的所有 Spark 修复和改进，以及以下对 Spark 进行的其他 bug 修复和改进：

• [SPARK-48503] [DBRRM-1150][sc-172196][SQL] 如果标量子查询中的表达式绑定到外部行，则允许在其基础上进行分组
• [SPARK-48834] [BEHAVE-79][sc-170972][SQL] 在查询编译期间禁用 python 标量 UDF、UDTF 和 UDAF 的变体输入/输出
• [SPARK-48441] [SC-170980][sql][WARMFIX] 修复非 UTF8_BINARY 排序规则的 StringTrim 行为
• [SPARK-48440] [SC-170895][sql][WARMFIX] 修复非 UTF8_BINARY 排序规则的 StringTranslate 行为
• [SPARK-48872] [SC-170866][python] 减少 _capture_call_site 的开销
• [SPARK-48862] [SC-170845][python][CONNECT] 避免在未启用 INFO 级别时调用 _proto_to_string
• [SPARK-48852] [SC-170837][connect] 修复connect中的字符串修剪函数
• [SPARK-48791] [SC-170658][core] 修复使用 CopyOnWriteArrayList 的累加器注册开销导致的性能回归
• [SPARK-48118] [SQL] 支持 SPARK_SQL_LEGACY_CREATE_HIVE_TABLE 环境变量
• [SPARK-48241] [SC-165811][sql] char/varchar 类型列的 CSV 分析失败
• [SPARK-48168] [SC-166900][sql] 添加按位移位运算符支持
• [SPARK-48148] [SC-165630][core] JSON 对象在读取为 STRING 时不应修改
• [SPARK-46625] [SC-170561] 以标识符子句为参考的 CTE
• [SPARK-48771] [SC-170546][sql] 加快大型查询计划的 LogicalPlanIntegrity.validateExprIdUniqueness 的速度
• [SPARK-48831] [BEHAVE-76][sc-170554][CONNECT] 将默认列名设为与 Spark 经典版兼容的 cast
• [SPARK-48623] [SC-170544][core] 结构化日志记录迁移 [第 2 部分]
• [SPARK-48296] [SC-166138][sql] 为 to_xml 提供代码生成支持
• [SPARK-48027] [SC-165154][sql] 用于多级联接的 InjectRuntimeFilter 应检查子联接类型
• [SPARK-48686] [SC-170365][sql] 提高 ParserUtils.unescapeSQLString 的性能
• [SPARK-48798] [SC-170588][python] 为基于 SparkSession 的分析引入 spark.profile.render
• [SPARK-48048] [SC-169099] 还原“[SC-164846][connect][SS] 添加了对 Scala 的客户端侦听器支持”
• [SPARK-47910] [SC-168929][core] 在 DiskBlockObjectWriter closeResources 时关闭流以避免内存泄漏
• [SPARK-48816] [SC-170547][sql] UnivocityParser 中的间隔转换器的简写
• [SPARK-48589] [SC-170132][sql][SS] 将 option snapshotStartBatchId 和 snapshotPartitionId 添加到状态数据源
• [SPARK-48280] [SC-170293][sql] 使用表达式遍历改进排序规则测试外围应用
• [SPARK-48837] [SC-170540][ml] 在 CountVectorizer 中，每个转换仅读取二进制参数一次，而不是每行读取一次
• [SPARK-48803] [SC-170541][sql] 在 Orc(De)serializer 中引发内部错误以与 ParquetWriteSupport 保持一致
• [SPARK-48764] [SC-170129][python] 从用户堆栈中筛选出与 IPython 相关的帧
• [SPARK-48818] [SC-170414][python] 简化 percentile 函数
• [SPARK-48479] [SC-169079][sql] 支持在分析器中创建标量和表 SQL UDF
• [SPARK-48697] [SC-170122][lc-4703][SQL] 添加排序规则感知字符串筛选器
• [SPARK-48800] [SC-170409][connect][SS] 对 ClientStreamingQuerySuite 执行 deflake 操作
• [SPARK-48738] [SC-169814][sql] 从内置函数别名 random、position、mod、cardinality、current_schema、user、session_user、char_length、character_length 的版本开始进行更正
• [SPARK-48638] [SC-169575][connect] 为 DataFrame 添加 ExecutionInfo 支持
• [SPARK-48064] [SC-164697][sql] 更新例程相关错误类的错误消息
• [SPARK-48810] [CONNECT] 会话 stop() API 应具有幂等性，在会话已被服务器关闭的情况下不会失败
• [SPARK-48650] [15.x][python] 显示 IPython Notebook 中的正确调用站点
• [SPARK-48271] [SC-166076][sql] 将 RowEncoder 中的匹配错误转换为 UNSUPPORTED_DATA_TYPE_FOR_ENCODER
• [SPARK-48709] [SC-169603][sql] 修复 DataSourceV2 CTAS 的 varchar 类型解析不匹配
• [SPARK-48792] [SC-170335][sql] 修复了将部分列列表的 INSERT 操作回归到包含 char/varchar 的表的问题
• [SPARK-48767] [SC-170330][sql] 修正 variant 类型数据无效时的错误提示
• [SPARK-48719] [SC-170339][sql] 修复了第一个参数为 null 时出现的 RegrSlope 和 RegrIntercept 计算 bug
• [SPARK-48815] [SC-170334][connect] 停止连接会话时更新环境
• [SPARK-48646] [SC-169020][python] 优化 Python 数据源 API docstring 和类型提示
• [SPARK-48806] [SC-170310][sql] url_decode失败时传递具体异常信息
• [SPARK-47777] [SC-168818] 修复 Python 流式数据源连接测试
• [SPARK-48732] [SC-169793][sql] 清理与 JdbcDialect.compileAggregate 相关的已弃用 API 使用
• [SPARK-48675] [SC-169538][sql] 修复包含排序列的缓存表
• [SPARK-48623] [SC-169034][core] 结构化日志记录迁移
• [SPARK-48655] [SC-169542][sql] SPJ：添加针对聚合查询的随机跳过测试
• [SPARK-48586] [SC-169808][ss] 通过在 load() 中对 RocksDBFileManager 中的文件映射进行深层复制，移除 doMaintenance() 中的锁获取
• [SPARK-48799] [Backport][15.x][SC-170283][ss] 重构运算符元数据读/写和调用方的版本控制
• [SPARK-48808] [SC-170309][sql] 修复通过 Hive 1.2.1 连接 thriftserver 时出现的 NPE，此时的结果架构为空
• [SPARK-48715] [SC-170291][sql] 将 UTF8String 验证集成到排序规则感知字符串函数实现中
• [SPARK-48747] [SC-170120][sql] 将代码点迭代器添加到 UTF8String
• [SPARK-48748] [SC-170115][sql] 在 UTF8String 中缓存 numChars 变量
• [SPARK-48744] [SC-169817][core] 日志条目只能构造一次
• [SPARK-46122] [SC-164313][sql] 默认将 spark.sql.legacy.createHiveTableByDefault 设置为 false
• [SPARK-48765] [SC-170119][deploy] 增强 SPARK_IDENT_STRING 的默认值评估
• [SPARK-48759] [SC-170128][sql] 添加有关自 Spark 3.4 以来出现的 CREATE TABLE AS SELECT 行为变更的迁移文档
• [SPARK-48598] [SC-169484][python][CONNECT] 在数据帧操作中传递缓存的模式
• [SPARK-48766] [SC-170126][python] 记录 extraction 和 element_at 之间的 try_element_at 行为差异
• [SPARK-48768] [SC-170124][python][CONNECT] 不应缓存 explain
• [SPARK-48770] [Backport][15.x][SC-170133][ss] 更改为在驱动程序上读取一次运算符元数据，以检查我们是否可以找到用于会话窗口聚合查询的 numColsPrefixKey 的信息
• [SPARK-48656] [SC-169529][core] 执行长度检查，并在 CartesianRDD.getPartitions 内抛出 COLLECTION_SIZE_LIMIT_EXCEEDED 错误
• [SPARK-48597] [SC-168817][sql] 在逻辑计划的文本表示形式中引入 isStreaming 属性的标记
• [SPARK-48472] [SC-169044][sql] 启用包含排序字符串的反射表达式
• [SPARK-48699] [SC-169597][sql] 优化字符排序 API
• [SPARK-48682] [SC-169812][sql][BEHAVE-58] 在 InitCap 表达式中使用 ICU 进行 UTF8_BINARY 字符串的处理。
• [SPARK-48282] [SC-169813][sql] 更改 UTF8_BINARY_LCASE 排序规则的字符串搜索逻辑（StringReplace、FindInSet）
• [SPARK-47353] [SC-169599][sql] 为 Mode 表达式启用排序规则支持
• [SPARK-48320] [SPARK-48490] 从 OSS Spark 同步最新的日志记录特征和测试用例
• [SPARK-48629] [SC-169479] 将剩余代码迁移到结构化日志记录框架
• [SPARK-48681] [SC-169469][sql][BEHAVE-58] 在 UTF8_BINARY 字符串的 Lower/Upper 表达式中使用 ICU
• [SPARK-48573] [15.x][sc-169582][SQL] 升级 ICU 版本
• [SPARK-48687] [Backport][15.x][SS] 添加变更以执行状态架构验证并更新驱动程序以进行有状态查询
• [SPARK-47579] [15.x][sc-167310][CORE][part4] 将带变量的 logInfo 迁移到结构化日志记录框架
• [SPARK-48008] [SC-167363][1/2] 在 Spark Connect 中支持 UDAF
• [SPARK-48578] [SC-169505][sql] 添加 UTF8 字符串验证相关函数
• [SPARK-48670] [SC-169598][sql] 当给定无效排序规则名称时，提供建议作为错误消息的一部分
• [SPARK-48059] [SPARK-48145] [SPARK-48134][SPARK-48182][SPARK-48209][SPARK... …RK-48291] Java 端的结构化日志框架
• [SPARK-47599] [15.x][sc-166000][MLLIB] MLLib： 将带变量的 logWarn 迁移到结构化日志记录框架
• [SPARK-48706] [SC-169589][python] Python UDF 在较高顺序函数中不应引发内部错误
• [SPARK-48498] [BEHAVE-38][sc-168060][SQL] 始终在谓词中进行字符型填充
• [SPARK-48662] [SC-169533][sql] 修复带有排序规则的StructsToXml表达式
• [SPARK-48482] [SC-167702][python][15.x] dropDuplicates 和 dropDuplicatesWIthinWatermark 应接受可变长度参数
• [SPARK-48678] [SC-169463][core] SparkConf.get（ConfigEntry） 的性能优化
• [SPARK-48576] [SQL] 将 UTF8_BINARY_LCASE 重命名为 UTF8_LCASE
• [SPARK-47927] [SC-164123][sql]： 修复 UDF 解码器中的可为 null 性属性
• [SPARK-47579] [SC-165297][core][PART1] 将带变量的 logInfo 迁移到结构化日志记录框架（新）
• [SPARK-48695] [SC-169473][python] TimestampNTZType.fromInternal 不使用已弃用的方法
• [SPARK-48431] [SC-167290][lc-4066][SQL] 不将已排序列上的谓词转发给文件读取器
• [SPARK-47579] 还原“[SC-165297][core][PART1] 将带变量的 logInfo 迁移到结构化日志记录框架”
• [SPARK-47585] [SC-164306][sql] SQL 核心：将带变量的 logInfo 迁移到结构化日志记录框架
• [SPARK-48466] [SC-169042][sql] 在 AQE 中创建 EmptyRelation 的专用节点
• [SPARK-47579] [SC-165297][core][PART1] 将带变量的 logInfo 迁移到结构化日志记录框架
• [SPARK-48410] [SC-168320][sql] 修复了 UTF8_BINARY_LCASE 和 ICU 排序规则的 InitCap 表达式
• [SPARK-48318] [SC-167709][sql] 启用哈希联接支持以适用于所有排序规则（复杂类型）
• [SPARK-48435] [SC-168128][sql] UNICODE 排序规则不应支持二进制相等性
• [SPARK-48555] [SC-169041][sql][PYTHON][connect] 支持使用列作为 pyspark/scala 中多个函数的参数
• [SPARK-48591] [SC-169081][python] 添加帮助程序函数以简化 Column.py
• [SPARK-48574] [SC-169043][sql] 修复了对带排序规则的 StructTypes 的支持
• [SPARK-48305] [SC-166390][sql] 为 CurrentLike 表达式添加排序规则支持
• [SPARK-48342] [SC-168941][sql] SQL 脚本分析器简介
• [SPARK-48649] [SC-169024][sql] 添加“ignoreInvalidPartitionPaths”和“spark.sql.files.ignoreInvalidPartitionPaths”配置以允许忽略无效分区路径
• [SPARK-48000] [SC-167194][sql] 为所有排序规则 (StringType) 启用哈希联接支持
• [SPARK-48459] [SC-168947][connect][PYTHON] 在 Spark Connect 中实现 DataFrameQueryContext
• [SPARK-48602] [SC-168692][sql] 使 csv 生成器支持 spark.sql.binaryOutputStyle 的不同输出样式
• [SPARK-48283] [SC-168129][sql] 修改UTF8_BINARY_LCASE的字符串比较
• [SPARK-48610] [SC-168830][sql] 重构：使用辅助 idMap 代替 OP_ID_TAG
• [SPARK-48634] [SC-169021][python][CONNECT] 避免在 ExecutePlanResponseReattachableIterator 处以静态方式初始化线程池
• [SPARK-47911] [SC-164658][sql] 引入了通用 BinaryFormatter 以使二进制输出保持一致
• [SPARK-48642] [SC-168889][core] 溢出时终止任务导致错误的 SparkOutOfMemoryError
• [SPARK-48572] [SC-168844][sql] 修复 DateSub、DateAdd、WindowTime、TimeWindow 和 SessionWindow 表达式
• [SPARK-48600] [SC-168841][sql] 修复了 FrameLessOffsetWindowFunction 表达式隐式转换
• [SPARK-48644] [SC-168933][sql] 执行长度检查并在 Hex.hex 中引发 COLLECTION_SIZE_LIMIT_EXCEEDED 错误
• [SPARK-48587] [SC-168824][variant] 访问子变量时避免存储放大
• [SPARK-48647] [SC-168936][python][CONNECT] 优化 YearMonthIntervalType 中 df.collect 的错误消息
• [SPARK-48307] [SC-167802][sql] InlineCTE 应保留原始 WithCTE 节点中的非内联关系
• [SPARK-48596] [SC-168581][sql] 改进计算 long 数据类型的十六进制字符串时的性能
• [SPARK-48621] [SC-168726][sql] 修复了优化器中针对已排序字符串的 Like 简化问题
• [SPARK-47148] [SC-164179][sql] 避免在取消时具体化 AQE ExchangeQueryStageExec
• [SPARK-48584] [SC-168579][sql] unescapePathName 的性能改进
• [SPARK-48281] [SC-167260][sql] 更改 UTF8_BINARY_LCASE 排序规则的字符串搜索逻辑（StringInStr、SubstringIndex）
• [SPARK-48577] [SC-168826][sql] UTF-8 字节序列替换无效
• [SPARK-48595] [SC-168580][core] 清理与 commons-compress 相关的已弃用 API 使用
• [SPARK-48030] [SC-164303][sql] SPJ：缓存 InternalRowComparableWrapper 的 rowOrdering 和 structType
• [SPARK-48004] [SC-164005][sql] 为 v1 写入添加 WriteFilesExecBase 特征
• [SPARK-48551] [SC-168438][sql] escapePathName 的性能改进
• [SPARK-48565] [SC-168437][ui] 修复了 UI 中的线程转储显示
• [SPARK-48364] [SC-166782][sql] 添加 AbstractMapType 类型转换并修复 RaiseError 参数映射以使用已排序的字符串
• [SPARK-48421] [SC-168689][sql] SPJ： 添加文档
• [SPARK-48604] [SC-168698][sql] 替换已弃用的 new ArrowType.Decimal(precision, scale) 方法调用
• [SPARK-46947] [SC-157561][core] 延迟内存管理器初始化，直到加载驱动程序插件
• [SPARK-48411] [SC-168576][ss][PYTHON] 为 DropDuplicateWithinWatermark 添加 E2E 测试
• [SPARK-48543] [SC-168697][ss] 使用显式错误类跟踪状态行验证失败
• [SPARK-48221] [SC-167143][sql] 更改 UTF8_BINARY_LCASE 排序规则的字符串搜索逻辑（Contains、StartsWith、EndsWith、StringLocate）
• [SPARK-47415] [SC-168441][sql] 为 Levenshtein 表达式添加排序规则支持
• [SPARK-48593] [SC-168719][python][CONNECT] 修复 lambda 函数的字符串表示形式
• [SPARK-48622] [SC-168710][sql] 解析列名时获取一次 SQLConf
• [SPARK-48594] [SC-168685][python][CONNECT] 将 parent 字段重命名为 child 中的 ColumnAlias
• [SPARK-48403] [SC-168319][sql] 修复了 UTF8_BINARY_LCASE 和 ICU 排序规则的 Lower 和 Upper 表达式
• [SPARK-48162] [SC-166062][sql] 为 MISC 表达式添加排序规则支持
• [SPARK-48518] [SC-167718][core] 使 LZF 压缩能够并行运行
• [SPARK-48474] [SC-167447][core] 修复日志的类名 SparkSubmitArguments & SparkSubmit
• [SPARK-48012] [SC-168267][sql] SPJ：支持单侧 Shuffle 的 Transfrom 表达式
• [SPARK-48552] [SC-168212][sql] 多行 CSV 架构推理也应引发 FAILED_READ_FILE
• [SPARK-48560] [SC-168268][ss][PYTHON] 使 StreamingQueryListener.spark 可设置
• [SPARK-48569] [SC-168321][ss][CONNECT] 处理 query.name 中的边缘事例
• [SPARK-47260] [SC-167323][sql] 为错误类 _LEGACY_ERROR_TEMP_3250 分配名称
• [SPARK-48564] [SC-168327][python][CONNECT] 在集合操作中传播缓存的模式
• [SPARK-48155] [SC-165910][sql] 联接的 AQEPropagateEmptyRelation 应检查剩余子项是否仅为 BroadcastQueryStageExec
• [SPARK-48506] [SC-167720][core] 压缩编解码器短名称不区分大小写，但事件日志记录除外
• [SPARK-48447] [SC-167607][ss] 在调用构造函数之前检查状态存储提供程序类
• [SPARK-47977] [SC-167650] DateTimeUtils.timestampDiff 和 DateTimeUtils.timestampAdd 不应引发 INTERNAL_ERROR 异常
• [SPARK-48513] [Backport][15.x][SC-168085][ss] 为状态架构兼容性和次要重构添加错误类
• [SPARK-48413] [SC-167669][sql] 带排序规则的 ALTER COLUMN
• [SPARK-48561] [SC-168250][ps][CONNECT] 针对不受支持的绘图函数引发 PandasNotImplementedError
• [SPARK-48465] [SC-167531][sql] 避免 no-op 空关系传播
• [SPARK-48553] [SC-168166][python][CONNECT] 缓存更多属性
• [SPARK-48540] [SC-168069][core] 避免将设置加载到 stdout 的 ivy 输出
• [SPARK-48535] [SC-168057][ss] 更新配置文档，以指示在启用“跳过流间联接的 null”配置时可能出现数据丢失/损坏问题
• [SPARK-48536] [SC-168059][python][CONNECT] 缓存 applyInPandas 和 applyInArrow 中用户指定的架构
• [SPARK-47873] [SC-163473][sql] 使用常规字符串类型将整理字符串写入 Hive 元存储
• [SPARK-48461] [SC-167442][sql] 将 NullPointerExceptions 替换为 AssertNotNull 表达式中的错误类
• [SPARK-47833] [SC-163191][sql][CORE] 为 checkAndGlobPathIfNecessary AnalysisException 提供调用方堆栈跟踪
• [SPARK-47898] [SC-163146][sql] 端口 HIVE-12270：将 DBTokenStore 支持添加到 HS2 委派令牌
• [SPARK-47578] [SC-167497][r] 将带变量的 RPackageUtils 迁移到结构化日志记录框架
• [SPARK-47875] [SC-162935][core] 删除 spark.deploy.recoverySerializer
• [SPARK-47552] [SC-160880][core] 如果缺少，请将 spark.hadoop.fs.s3a.connection.establish.timeout 设置为 30s
• [SPARK-47972] [SC-167692][sql] 限制排序规则的 CAST 表达式
• [SPARK-48430] [SC-167489][sql] 修复映射中包含排序字符串时的值提取问题
• [SPARK-47318] [SC-162712][core][3.5] 在 AuthEngine 密钥派生中添加 HKDF 轮次，以遵循标准 KEX 做法。
• [SPARK-48503] [BEHAVE-29][es-1135236][SQL] 修复了当错误地允许在非等效列上使用 group-by 时出现的无效标量子查询问题
• [SPARK-48508] [SC-167695][connect][PYTHON] 缓存 DataFrame.{to, mapInPandas, mapInArrow} 中的用户指定的架构
• [SPARK-23015] [SC-167188][windows] 修复 Windows 中的 bug，其中在同一秒内启动多个 Spark 实例会导致失败
• [SPARK-45891] [SC-167608] 还原“描述变体的分片方案”
• [SPARK-48391] [SC-167554][core] 在 TaskMetrics 类的 fromAccumulatorInfos 方法中使用 addAll 而不是 add 函数
• [SPARK-48496] [SC-167600][core] 在 JavaUtils.timeStringAs 和 JavaUtils.byteStringAs 中使用静态正则表达式模式实例
• [SPARK-48476] [SC-167488][sql] 修复了 null delmiter csv 的 NPE 错误消息
• [SPARK-48489] [SC-167598][sql] 从文本数据源读取非法架构时引发更好的、面向用户的错误
• [SPARK-48471] [SC-167324][core] 改进历史记录服务器的文档和用法指南
• [SPARK-45891] [SC-167597] 描述变体的分片方案
• [SPARK-47333] [SC-159043][sql] 使用 checkInputDataTypes 检查函数 to_xml 的参数类型
• [SPARK-47387] [SC-159310][sql] 删除一些未使用的错误类
• [SPARK-48265] [ES-1131440][sql] 推断窗口组限制批次应进行经常性折叠
• [SPARK-47716] [SC-167444][sql] 避免 SQLQueryTestSuite 语义排序测试用例中的视图名称冲突
• [SPARK-48159] [SC-167141][sql] 扩展对日期时间表达式上排序字符串的支持
• [SPARK-48462] [SC-167271][sql][Tests] 在测试中使用 withSQLConf：重构 HiveQuerySuite 和 HiveTableScanSuite
• [SPARK-48392] [SC-167195][core] 提供 spark-defaults.conf 时也加载 --properties-file
• [SPARK-48468] [SC-167417] 在 catalyst 中添加 LogicalQueryStage 接口
• [SPARK-47578] [SC-164988][core] Spark PR #46309 的手动向后移植：将带变量的 logWarning 迁移到结构化日志记录框架
• [SPARK-48415] [SC-167321] 还原“[PYTHON] 重构 TypeName 以支持参数化数据类型”
• [SPARK-46544] [SC-151361][sql] 支持使用表统计信息的 v2 DESCRIBE TABLE EXTENDED
• [SPARK-48325] [SC-166963][core] 在 ExecutorRunner.killProcess 中始终指定消息
• [SPARK-46841] [SC-167139][sql] 为 ICU 区域设置和排序规则说明符添加排序规则支持
• [SPARK-47221] [SC-157870][sql] 将 CsvParser 的签名应用于 AbstractParser
• [SPARK-47246] [SC-158138][sql] 将 InternalRow.fromSeq 替换为 new GenericInternalRow 以保存集合转换
• [SPARK-47597] [SC-163932][streaming] Spark PR #46192 的手动向后移植：流式处理：将带变量的 logInfo 迁移到结构化日志记录框架
• [SPARK-48415] [SC-167130][python] 重构 TypeName 以支持参数化数据类型
• [SPARK-48434] [SC-167132][python][CONNECT] 使 printSchema 使用缓存架构
• [SPARK-48432] [ES-1097114][sql] 避免在 UnivocityParser 中对整数进行拆箱操作
• [SPARK-47463] [SC-162840][sql] 使用 V2Predicate 封装返回类型为布尔值的表达式
• [SPARK-47781] [SC-162293][sql] 处理 JDBC 数据源的负刻度小数位数
• [SPARK-48394] [SC-166966][core] 在取消注册 mapoutput 时清理 mapIdToMapIndex
• [SPARK-47072] [SC-156933][sql] 修复错误消息中支持的间隔格式
• [SPARK-47001] [SC-162487][sql] 优化器中的下推验证
• [SPARK-48335] [SC-166387][python][CONNECT] 使 _parse_datatype_string 与 Spark Connect 兼容
• [SPARK-48329] [SC-166518][sql] 默认启用 spark.sql.sources.v2.bucketing.pushPartValues.enabled
• [SPARK-48412] [SC-166898][python] 重构数据类型 json 分析
• [SPARK-48215] [SC-166781][sql] 扩展对 date_format 表达式上排序字符串的支持
• [SPARK-45009] [SC-166873][sql][FOLLOW UP] 添加错误类并测试联接条件中引用两个联接子项的谓词子查询的去相关
• [SPARK-47960] [SC-165295][ss][15.x] 允许在 transformWithState 运算符后链接其他有状态运算符。
• [SPARK-48340] [SC-166468][python] 支持 TimestampNTZ 推断架构缺少 prefer_timestamp_ntz
• [SPARK-48157] [SC-165902][sql] 增加对 CSV 表达式排序规则的支持
• [SPARK-48158] [SC-165652][sql] 为 XML 表达式添加排序规则支持
• [SPARK-48160] [SC-166064][sql] 为 XPATH 表达式添加排序规则支持
• [SPARK-48229] [SC-165901][sql] 为 inputFile 表达式添加排序规则支持
• [SPARK-48367] [SC-166487][connect] 修复 lint-scala 以便 scalafmt 能正确检测文件格式
• [SPARK-47858] [SC-163095][spark-47852][PYTHON][sql] 重构 DataFrame 错误上下文的结构
• [SPARK-48370] [SC-166787][connect] Scala Spark Connect 客户端中的检查点和 localCheckpoint
• [SPARK-48247] [SC-166028][python] 在推断 MapType 模式时使用字典中的所有值
• [SPARK-48395] [SC-166794][python] 修复了参数化类型的 StructType.treeString
• [SPARK-48393] [SC-166784][python] 将一组常量移动到 pyspark.util
• [SPARK-48372] [SC-166776][spark-45716][PYTHON] 实现 StructType.treeString
• [SPARK-48258] [SC-166467][python][CONNECT] Spark Connect 中的检查点和 localCheckpoint

请参阅 Databricks Runtime 15.4 LTS 维护更新。

系统环境

• 操作系统：Ubuntu 22.04.4 LTS
  • 注意：这是 Databricks Runtime 容器使用的 Ubuntu 版本。 DBR 容器在云提供程序的虚拟机上运行，该虚拟机可能使用不同的 Ubuntu 版本或 Linux 分发版。
• Java：Zulu 8.78.0.19-CA-linux64
• Scala：2.12.15
• Python：3.11.11
• R：4.3.2
• Delta Lake：3.2.0

已安装的 Python 库

已安装的 R 库

R 库安装自 2024-02-05 版本中的 Posit 包管理器 CRAN 快照：https://packagemanager.posit.co/cran/2024-02-05/。

已安装的 Java 库和 Scala 库（Scala 2.12 群集版本）