Databricks Runtime 13.1 （EoS）

以下发行说明提供了由 Apache Spark 3.4.0 提供支持的 Databricks Runtime 13.1 的相关信息。

Databricks 于 2023 年 5 月发布此版本。

新增功能和改进

• 对 JDK 17（公开预览版）的群集支持
• 在流式处理表中添加、更改或删除数据
• 使用 SQL 读取 Kafka
• 新的 SQL 内置函数
• Unity Catalog 对群集范围的 Python 库的支持
• 扩展了 Unity Catalog 中优化写入的默认启用功能
• 结构化流式处理工作负载中对有状态运算符的高级支持
• Unity Catalog 的 Delta 克隆以公共预览版提供
• 对结构化流式处理的 Pub/Sub 支持
• 在结构化流式处理中删除水印内的重复项
• 扩展了对包含截断分区列的 Apache Iceberg 表增量转换的支持
• Delta Lake 中使用列映射流式传输架构更改
• 删除 START VERSION
• 可用于 Python 的新 H3 表达式

对 JDK 17（公开预览版）的群集支持

Databricks 现在为 Java 开发工具包 (JDK) 17 提供群集支持。 请参阅 Databricks SDK for Java。

在流式处理表中添加、更改或删除数据

现在可以使用 DML 语句修改由 Lakeflow 声明式管道发布到 Unity Catalog 的流数据表。 请参阅在流式处理表中添加、更改或删除数据和在目标流式处理表中添加、更改或删除数据。 还可以使用 DML 语句修改在 Databricks SQL 中创建的流式处理表。

使用 SQL 读取 Kafka

现在可以使用 read_kafka SQL 函数读取 Kafka 数据。 使用 SQL 进行流处理仅在 DLT 或 Databricks SQL 中的流式表中受支持。 请参阅 read_kafka 表值函数。

新的 SQL 内置函数

添加了以下函数：

• array_prepend(array, elem) 返回以 array 为前缀的 elem。
• try_aes_decrypt(expr, key [, mode [, padding]]) 解密使用 AES 加密生成的二进制文件，如果出现错误，则返回 NULL。
• sql_keywords() 返回 Azure Databricks SQL 关键字的表。

Unity Catalog 对群集范围的 Python 库的支持

Unity Catalog 对库的使用有一些限制。 在 Databricks Runtime 13.1 及更高版本中，支持群集范围的 Python 库（包括作为工作区文件上传的 Python wheel 文件）。 不支持使用 DBFS 文件路径引用的库，无论是在 DBFS 根目录中，还是在装载到 DBFS 的外部位置。 不支持非 Python 库。 请参阅计算范围的库。

在 Databricks Runtime 13.0 及更低版本上，在启用了 Unity 目录的工作区中使用标准访问模式（以前共享访问模式）的群集不支持群集范围库。

扩展了 Unity Catalog 中优化写入的默认启用功能

针对 Unity Catalog 中注册的 Delta 表的默认优化写入支持已经扩展，现包含用于已分区表的 CTAS 语句和 INSERT 操作。 此行为与 SQL 仓库的默认设置保持一致。 请参阅 Azure Databricks 上的 Delta Lake 的优化写入。

结构化流式处理工作负载中对有状态运算符的高级支持

现在可以将多个有状态运算符链接在一起，这意味着可以将操作的输出（如开窗聚合）馈送到另一个有状态操作（如联接）。 请参阅什么是有状态流式处理？。

Unity Catalog 的 Delta 克隆以公共预览版提供

现在可以使用浅表克隆根据现有的 Unity Catalog 托管表创建新的 Unity Catalog 托管表。 请参阅适用于 Unity Catalog 表的浅表克隆。

对结构化流式处理的 Pub/Sub 支持

现在可以使用内置连接器通过结构化流式处理来订阅 Google Pub/Sub。 请参阅订阅 Google Pub/Sub。

在结构化流式处理中删除水印内的重复项

现在可以将 dropDuplicatesWithinWatermark 与指定的水印阈值结合使用，以在结构化流式处理中删除重复记录。 请参阅删除水印内的重复项。

扩展了对包含截断分区列的 Apache Iceberg 表增量转换的支持

现在 CLONE ，可以使用 Apache CONVERT TO DELTA Iceberg 表，这些表在类型 int被截断的列上定义了分区， long以及 string。 decimal 类型的截断列不受支持。

Delta Lake 中使用列映射流式传输架构更改

现在可提供一个架构跟踪位置，以便在启用了列映射的 Delta 表中启用流式处理。 请参阅使用列映射和架构更改进行流式处理。

删除 START VERSION

现已对 START VERSION 弃用了 ALTER SHARE。

可用于 Python 的新 H3 表达式

h3_coverash3 和 h3_coverash3string 表达式可用于 Python。

Bug 修复

Parquet failOnUnknownFields 不再以无提示方式删除类型不匹配的数据

如果仅使用 failOnUnknownFields 选项读取 Parquet 文件，或在 failOnNewColumns 架构演化模式下使用自动加载程序来这样做，则具有不同数据类型的列现在会失败，会建议用户使用 rescuedDataColumn。 如果提供了其中某种数据类型，则自动加载程序现在可以正确读取，而不再补救 Integer、Short、Byte 类型。 Parquet 文件建议使用其他两种类型之一。

中断性变更

将 sqlite-jdbc 版本升级到 3.42.0.0，以解决 CVE-2023-32697 问题

将 sqlite-jdbc 版本从 3.8.11.2 升级到 3.42.0.0。 版本为 3.42.0.0 的 API 与 3.8.11.2 不完全兼容。 如果在代码中使用 sqlite-jdbc，请检查 sqlite-jdbc 兼容性报告以了解详细信息。 如果迁移到 13.1 并使用 sqlite，请在版本 3.42.0.0 中确认方法并返回类型。

库升级

• 升级了 Python 库：
  • facets-overview 已从 1.0.2 升级到 1.0.3
  • filelock 已从 3.10.7 升级到 3.12.0
  • pyarrow 已从 7.0.0 升级为 8.0.0
  • tenacity 已从 8.0.1 升级到 8.1.0
• 升级了 R 库：
• 升级了 Java 库：
  • com.github.ben-manes.caffeine.caffeine 已从 2.3.4 升级到 2.9.3
  • io.delta.delta-sharing-spark_2.12 从 0.6.8 到 0.6.4
  • net.snowflake.snowflake-jdbc 从 3.13.29 升级到 3.13.22
  • org.checkerframework.checker-qual 已从 3.5.0 升级到 3.19.0
  • org.scalactic.scalactic_2.12 已从 3.0.8 升级到 3.2.15
  • org.scalatest.scalatest_2.12 已从 3.0.8 升级到 3.2.15
  • org.xerial.sqlite-jdbc 已从 3.8.11.2 升级到 3.42.0.0

Apache Spark

Databricks Runtime 13.1 包含 Apache Spark 3.4.0。 此版本包括 Databricks Runtime 13.0 (EoS) 中包含的所有 Spark 修复和改进，以及对 Spark 进行的以下其他缺陷修复和改进：

• [SPARK-42719] [DBRRM-199][sc-131578] 还原“[SC-125225] `MapOutputTracker#getMap...
• [SPARK-39696] [ DBRRM-166][sc-130056][CORE] 回退 [SC-127830]/
• [SPARK-43331] [SC-130064][connect] 添加 Spark Connect SparkSession.interruptAll
• [SPARK-43332] [SC-130051][connect][PYTHON] 使能拓展ChannelBuilder以便SparkConnectClient实现扩展功能
• [SPARK-43323] [ SC-129966][sql][PYTHON] 修复启用了箭头的 DataFrame.toPandas 以正确处理异常
• [SPARK-42940] [ SC-129896][ss][CONNECT] 改进流查询的会话管理
• [SPARK-43032] [SC-125756] [CONNECT][ss] 添加流式处理查询管理器
• [SPARK-16484] [SC-129975][sql] 添加对 Datasketches HllSketch 的支持
• [SPARK-43260] [ SC-129281][python] 将 Spark SQL 中 Pandas Arrow 类型错误迁移到错误类别中。
• [SPARK-41766] [ SC-129964][core] 处理在执行程序注册之前发送的解除授权请求
• [SPARK-43307] [SC-129971][python] 将 PandasUDF 的值错误重分类为错误类
• [SPARK-43206] [SC-129903] [SS] [CONNECT] StreamingQuery exception() 包括堆栈跟踪
• [SPARK-43311] [SC-129905][ss] 添加 RocksDB 状态存储提供程序内存管理增强功能
• [SPARK-43237] [SC-129898][core] 处理事件日志中的空异常消息
• [SPARK-43320] [ SC-129899][sql][HIVE] 直接调用 Hive 2.3.9 API
• [SPARK-43270] [SC-129897][python] 实现__dir__()pyspark.sql.dataframe.DataFrame以包含列
• [SPARK-43183] 还原“[SC-128938][ss] 引入新的回调”...
• [SPARK-43143] [SC-129902] [SS] [CONNECT] Scala StreamingQuery awaitTermination（）
• [SPARK-43257] [ SC-129675][sql] 将错误类_LEGACY_ERROR_TEMP_2022替换为内部错误
• [SPARK-43198] [SC-129470][connect] 修复了“无法初始化类 Ammonite...” 使用筛选器时出错
• [SPARK-43165] [ SC-129777][sql] 将 canWrite 移动到 DataTypeUtils
• [SPARK-43298] [ SC-129729][python][ML] predict_batch_udf在标量输入的情况下失败，批大小为1
• [SPARK-43298] [ SC-129700]还原“[PYTHON][ml] predict_batch_udf，标量输入失败，批大小为 1”
• [SPARK-43052] [ SC-129663][core] 处理事件日志中带有 null 文件名的堆栈跟踪
• [SPARK-43183] [ SC-128938][ss] 向 StreamingQueryListener 引入了新的回调方法“onQueryIdle”
• [SPARK-43209] [ SC-129190][connect][PYTHON] 将表达式错误迁移到错误类
• [SPARK-42151] [SC-128754][sql] 将分配与表属性对齐UPDATE
• [SPARK-43134] [SC-129468] [CONNECT] [SS] JVM 客户端 StreamingQuery exception() API
• [SPARK-43298] [SC-129699][python][ML] 当批量大小为 1 时，predict_batch_udf 标量输入失败。
• [SPARK-43248] [ SC-129660][sql] 并行收集分区统计信息时不必要的路径序列化/反序列化
• [SPARK-43274] [ SC-129464][spark-43275][PYTHON][connect] 简介 PySparkNotImplementedError
• [SPARK-43146] [SC-128804][connect][PYTHON] 实现 repr 和 repr_html 的及时评估
• [SPARK-42953] [SC-129469][connect][后续] 修复 Scala 客户端 UDF 测试的 maven 测试构建
• [SPARK-43144] [SC-129280] Scala 客户端 DataStreamReader table() API
• [SPARK-43136] [ SC-129358][connect] 添加 groupByKey + mapGroup + coGroup 函数
• [SPARK-43156] [ SC-129672][sc-128532][SQL] 修复 COUNT(*) is null 相关标量子查询中的 bug
• [SPARK-43046] [SC-129110] [SS] [Connect] 实现了适用于 Spark Connect 的 Python API dropDuplicatesWithinWatermark
• [SPARK-43199] [ SC-129467][sql] 使 InlineCTE 幂等
• [SPARK-43293] [SC-129657][sql] __qualified_access_only 应在普通列中忽略
• [SPARK-43276] [ SC-129461][connect][PYTHON] 将 Spark Connect 窗口错误迁移到错误类
• [SPARK-43174] [SC-129109][sql] 修复 SparkSQLCLIDriver 补全器
• [SPARK-43084] [SC-128654] [SS] 添加对 Spark Connect 的 applyInPandasWithState 支持
• [SPARK-43119] [SC-129040][sql] 支持动态获取 SQL 关键字通过 JDBC API 和 TVF
• [SPARK-43082] [ SC-129112][connect][PYTHON] Spark Connect 中箭头优化的 Python UDF
• [SPARK-43085][SC-128432][sql] 支持多部分表名称的列 DEFAULT 设置
• [SPARK-43226] [LC-671] 为文件常量元数据定义提取程序
• [SPARK-43210] [ SC-129189][connect][PYTHON] 简介 PySparkAssertionError
• [SPARK-43214] [SC-129199][sql] 发布 LocalTableScanExec/CommandResultExec 的驱动程序端指标
• [SPARK-43285] [SC-129347] 修复了 ReplE2ESuite 在 JDK 17 中一直失败的问题
• [SPARK-43268] [ SC-129249][sql] 使用消息构造异常时使用正确的错误类
• [SPARK-43142] [SC-129299] 修复具有特殊字符的属性上的 DSL 表达式
• [SPARK-43129] [SC-128896] 用于流式处理 Spark Connect 的 Scala 核心 API
• [SPARK-43233] [SC-129250] [SS] 为 Kafka 批量读取功能添加日志记录，以记录主题分区、偏移范围和任务 ID
• [SPARK-43249] [ SC-129195][connect] 修复 SQL 命令缺少的统计信息
• [SPARK-42945] [SC-129188][connect] 支持在 Spark Connect 中启用 PYSPARK_JVM_STACKTRACE_ENABLED
• [SPARK-43178] [ SC-129197][connect][PYTHON] 将 UDF 错误迁移到 PySpark 错误框架
• [SPARK-43123] [ SC-128494][sql] 不应将内部字段元数据泄露到目录
• [SPARK-43217] [SC-129205] 在 findNestedField 中正确递归到嵌套映射/数组
• [SPARK-43243] [SC-129294][python][CONNECT] 向 printSchema for Python 添加级别参数
• [SPARK-43230] [SC-129191][connect] 简化 DataFrameNaFunctions.fillna
• [SPARK-43088] [ SC-128403][sql] 尊重 CTAS/RTAS 中的 RequiresDistributionAndOrdering
• [SPARK-43234] [ SC-129192][connect][PYTHON] 从 Conect DataFrame 迁移到 ValueError 错误类
• [SPARK-43212] [ SC-129187][ss][PYTHON] 将结构化流式处理错误迁移到错误类
• [SPARK-43239] [ SC-129186][ps] 从信息中删除 null_counts （）
• [SPARK-43190] [ SC-128930][sql] ListQuery.childOutput 应与子输出保持一致
• [SPARK-43191] [SC-128924][core] 用直接调用替换 Hadoop CallerContext 的反射
• [SPARK-43193] [SC-129042][ss] 去掉 HADOOP-12074 的临时解决方案
• [SPARK-42657] [ SC-128621][connect] 支持查找客户端 REPL 类文件并将其作为工件传输到服务器
• [SPARK-43098] [ SC-77059][sql] 修复标量子查询在具有 group by 子句时导致的计数错误
• [SPARK-43213] [SC-129062][python] 将 DataFrame.offset 添加到原版 PySpark中
• [SPARK-42982] [ SC-128400][connect][PYTHON] 修复 createDataFrame 以遵循给定的 schema DDL
• [SPARK-43124] [ SC-129011][sql] Dataset.show projects CommandResults 本地
• [SPARK-42998] [SC-127422][connect][PYTHON] 修复带有 null 结构体的 DataFrame.collect
• [SPARK-41498] [SC-125343]还原“通过 Union 传播元数据”
• [SPARK-42960] [SC-129010] [CONNECT] [SS] 为 Python 中的流式处理查询添加 await_termination() 和 exception() API
• [SPARK-42552] [SC-128824][sql] 更正 Antlr 解析器的两阶段解析策略
• [SPARK-43207] [ SC-128937][connect] 添加帮助程序函数以从文本表达式中提取值
• [SPARK-43186] [ SC-128841][sql][HIVE] 删除 FileSinkDesc 的解决方法
• [SPARK-43107] [ SC-128533][sql] 在广播联接流端应用的联接中的 Coalesce 存储桶
• [SPARK-43195] [SC-128922][core] 删除 HadoopFSUtils 中不必要的可序列化包装器
• [SPARK-43137] [ SC-128828][sql] 如果位置可折叠且正，则改进 ArrayInsert。
• [SPARK-37829] [ SC-128827][sql] DataFrame.joinWith 的 "outer-join" 应该为不匹配的行返回 null 值
• [SPARK-43042] [SC-128602] [SS] [Connect] 为 DataStreamReader 添加 table() API 支持
• [SPARK-43153] [ SC-128753][connect] 当数据帧为本地时跳过 Spark 执行
• [SPARK-43064] [ SC-128496][sql] Spark SQL CLI SQL 选项卡应只显示一次语句一次
• [SPARK-43126] [ SC-128447][sql] 将两个 Hive UDF 表达式标记为有状态
• [SPARK-43111] [ SC-128750][ps][CONNECT][python] 将嵌套 if 语句合并为单个 if 语句
• [SPARK-43113] [ SC-128749][sql] 在为绑定条件生成代码时评估流端变量
• [SPARK-42895] [ SC-127258][connect] 改进已停止的 Spark 会话的错误消息
• [SPARK-42884] [SC-126662][connect] 添加 Ammonite REPL 集成
• [SPARK-43168] [ SC-128674][sql] 从 Datatype 类中删除 get PhysicalDataType 方法
• [SPARK-43121] [ SC-128455][sql] 在“HiveInspectors”中使用 BytesWritable.copyBytes 而不是手动复制
• [SPARK-42916][SC-128389][sql] JDBCTableCatalog 在读取方面保留 Char/Varchar 元数据
• [SPARK-43050] [ SC-128550][sql] 通过替换分组函数修复构造聚合表达式
• [SPARK-43095] [ SC-128549][sql] 避免批处理过程中策略的幂等性遭到破坏：Infer Filters
• [SPARK-43130] [SC-128597][sql] 将 InternalType 移动到 PhysicalDataType
• [SPARK-43105] [ SC-128456][connect] 在 proto 消息中缩写字节和字符串
• [SPARK-43099] [ SC-128596][sql] 在注册 udf 到 FunctionRegistry 时使用 getName 而不是 getCanonicalName 获取生成器类名称
• [SPARK-42994] [ SC-128586][ml][CONNECT] PyTorch 分发服务器支持本地模式
• [SPARK-42859] 还原“[SC-127935][connect][PS] Spark Connect 上 pandas API 的基本支持”
• [SPARK-43021] [SC-128472][sql] CoalesceBucketsInJoin 在使用 AQE 时无效
• [SPARK-43125] [ SC-128477][connect] 修复 Connect 服务器无法处理 Null 消息异常
• [SPARK-43147] [SC-128594] 修复用于本地检查的 flake8 lint
• [SPARK-43031] [SC-128360] [SS] [Connect] 为流式处理启用单元测试和文档测试
• [SPARK-43039] [LC-67] 支持文件源 _metadata 列中的自定义字段。
• [SPARK-43120] [SC-128407][ss] 添加支持跟踪 RocksDB 状态存储中固定块内存使用情况
• [SPARK-43110] [ SC-128381][sql] 将 asIntegral 移动到 PhysicalDataType
• [SPARK-43118] [SC-128398][ss] 删除 KafkaMicroBatchStream 中 UninterruptibleThread 不必要的断言
• [SPARK-43055] [SC-128331][connect][PYTHON] 支持嵌套字段名称的重复使用
• [SPARK-42437] [ SC-128339][python][CONNECT] PySpark catalog.cacheTable 将允许指定存储级别
• [SPARK-42985] [ SC-128332][connect][PYTHON] 修复 createDataFrame 以尊重 SQL 配置
• [SPARK-39696] [ SC-127830][core] 修复访问 TaskMetrics.externalAccums 的数据竞争问题
• [SPARK-43103] [SC-128335][sql] 将整数类型移动到 PhysicalDataType
• [SPARK-42741] [SC-125547][sql] 当字面值为 null 时，不要在二进制比较中解包转换
• [SPARK-43057] [ SC-127948][connect][PYTHON] 将 Spark Connect 列错误迁移到错误类
• [SPARK-42859] [SC-127935] [connect] [PS] 对 Spark Connect 上的 pandas API 的基本支持
• [SPARK-43013] [ SC-127773][python] 将ValueError 从数据帧中迁移到PySparkValueError.
• [SPARK-43089] [SC-128051][connect] 在 UI 中编辑调试字符串
• [SPARK-43028] [SC-128070][sql] 添加错误类 SQL_CONF_NOT_FOUND
• [SPARK-42999] [ SC-127842][connect] Dataset#foreach， foreachPartition
• [SPARK-43066] [SC-127937][sql] 为 JavaDatasetSuite 添加 dropDuplicates 的测试
• [SPARK-43075] [SC-127939][connect] 当未安装时，将gRPC更改为grpcio。
• [SPARK-42953] [ SC-127809][connect] 类型化筛选器， 地图， flatMap， mapPartitions
• [SPARK-42597] [ SC-125506][sql] 支持将日期类型解包到时间戳类型
• [SPARK-42931] [SC-127933][ss] 引入新功能 dropDuplicatesWithinWatermark
• [SPARK-43073] [SC-127943][connect] 添加 proto 数据类型常量
• [SPARK-43077] [ SC-128050][sql] 改进UNRECOGNIZED_SQL_TYPE的错误消息
• [SPARK-42951] [SC-128030][ss][Connect] DataStreamReader API接口
• [SPARK-43049] [ SC-127846][sql] 对 Oracle JDBC 的 StringType 使用 CLOB 而不是 VARCHAR（255）
• [SPARK-43018] [SC-127762][sql] 修复带有时间戳字面量的命令的错误 INSERT
• [SPARK-42855] [ SC-127722][sql] 在 TableOutputResolver 中使用运行时 null 检查
• [SPARK-43030] [SC-127847][sql] 去重包含元数据列的关系
• [SPARK-42993] [ SC-127829][ml][CONNECT] 使 PyTorch 分发服务器与 Spark Connect 兼容
• [SPARK-43058] [ SC-128072][sql] 将数字和分数移动到 PhysicalDataType
• [SPARK-43056] [SC-127946][ss] RocksDB 状态存储提交应仅在其已暂停时继续后台工作
• [SPARK-43059] [ SC-127947][connect][PYTHON] 将 TypeError 从 DataFrame（读取器|写入器）迁移到错误类
• [SPARK-43071] [SC-128018][sql] 支持SELECT、ORDER BY、LIMIT、OFFSET的默认值用于INSERT源关系
• [SPARK-43061] [SC-127956][core][SQL] 为 SQL 运算符执行引入 PartitionEvaluator
• [SPARK-43067] [ SC-127938][ss] 更正 Kafka 连接器中错误类资源文件的位置
• [SPARK-43019] [SC-127844][sql] 将顺序移动到PhysicalDataType中
• [SPARK-43010] [SC-127759][python] 将列错误迁移到异常类中
• [SPARK-42840] [SC-127782][sql] 将 _LEGACY_ERROR_TEMP_2004 错误更改为内部错误
• [SPARK-43041] [ SC-127765][sql] 还原连接器 API 中兼容性异常的构造函数
• [SPARK-42939] [SC-127761][ss][CONNECT] Spark Connect 的核心流式 Python API
• [SPARK-42844] [SC-127766][sql] 将错误类 _LEGACY_ERROR_TEMP_2008 更新为 INVALID_URL
• [SPARK-42316] [SC-127720][sql] 将名称分配给_LEGACY_ERROR_TEMP_2044
• [SPARK-42995] [ SC-127723][connect][PYTHON] 将 Spark Connect 数据帧错误迁移到错误类
• [SPARK-42983] [ SC-127717][connect][PYTHON] 修复 createDataFrame 以正确处理 0-dim numpy 数组
• [SPARK-42955] [ SC-127476][sql] 跳过对 SparkThrowable 的 classifyException 分类和对 AnalysisException 的包装
• [SPARK-42949] [ SC-127255][sql] 简化 NAAJ 的代码
• [SPARK-43011] [SC-127577][sql] array_insert 应在索引为 0 时失败
• [SPARK-42974] [ SC-127487][core] 还原 Utils.createTempDir 以使用 ShutdownHookManager 和清理 JavaUtils.createTempDir 方法。
• [SPARK-42964] [ SC-127585][sql] PosgresDialect '42P07' 也意味着表已存在
• [SPARK-42978] [ SC-127351][sql] Derby&PG： RENAME 无法限定具有架构名称的新表名称
• [SPARK-37980] [SC-127668] [sql] 在测试中尽可能通过 _metadata 访问 row_index
• [SPARK-42655] [SC-127591][sql] 错误的含糊列引用问题
• [SPARK-43009] [SC-127596][sql] 将sql()参数化为Any常量
• [SPARK-43026] [ SC-127590][sql] 对非交换表缓存应用 AQE
• [SPARK-42963] [ SC-127576][sql] 扩展 SparkSessionExtensions，以在 AQE 查询阶段优化器中注入规则
• [SPARK-42918] [SC-127357] 将 FileSourceStrategy 中元数据属性的处理通用化
• [SPARK-42997] [ SC-127535][sql] TableOutputResolver 必须在数组和映射的错误消息中使用正确的列路径
• [SPARK-43006] [ SC-127486][pyspark] 修复 StorageLevel eq（） 中的拼写错误
• [SPARK-43005] [ SC-127485][pyspark] 修复 pyspark/pandas/config.py 中的拼写错误
• [SPARK-43004] [ SC-127457][core] 修复 ResourceRequest.equals（） 中的拼写错误
• [SPARK-42907] [ SC-126984][connect][PYTHON] 实现 Avro 函数
• [SPARK-42979] [ SC-127272][sql] 将文本构造函数定义为关键字
• [SPARK-42946] [ SC-127252][sql] 编辑由于变量替换而嵌套的敏感数据
• [SPARK-42952] [ SC-127260][sql] 简化分析器规则 PreprocessTableCreation 和 DataSourceAnalysis 的参数
• [SPARK-42683] [LC-75] 自动重命名发生冲突的元数据列
• [SPARK-42853] [SC-126101][followup] 修复冲突
• [SPARK-42929] [SC-126748][connect] 使 mapInPandas / mapInArrow 支持 "is_barrier"
• [SPARK-42968] [ SC-127271][ss] 在 StreamingWrite API 中添加跳过提交协调器的选项，以用于 DSv2 源/接收器
• [SPARK-42954] [ SC-127261][python][CONNECT] 将 YearMonthIntervalType 添加到 PySpark 和 Spark Connect Python 客户端
• [SPARK-41359] [ SC-127256][sql] 在 UnsafeRow 中使用 PhysicalDataType 而不是使用 DataType
• [SPARK-42873] [ SC-127262][sql] 将 Spark SQL 类型定义为关键字
• [SPARK-42808] [SC-126302][core] 避免在每次调用时获取 availableProcessorsMapOutputTrackerMaster#getStatistics
• [SPARK-42937] [SC-126880][sql] PlanSubqueries 应设置为 InSubqueryExec#shouldBroadcast true
• [SPARK-42896] [SC-126729][sql][PYTHON] 使mapInPandas / mapInArrow支持屏障模式执行
• [SPARK-42874] [ SC-126442][sql] 为所有输入文件启用新的黄金文件测试框架进行分析
• [SPARK-42922] [SC-126850][sql] 从 Random 切换到 SecureRandom
• [SPARK-42753] [SC-126369] ReusedExchange 引用不存在的节点
• [SPARK-40822] [SC-126274][sql] 稳定衍生列别名
• [SPARK-42908] [ SC-126856][python] 在需要 SparkContext 但未初始化时引发 RuntimeError
• [SPARK-42779] [SC-126042][sql] 允许 V2 写入以指示建议的随机分区大小
• [SPARK-42914] [SC-126727][python] 复用transformUnregisteredFunctionDistributedSequenceID。
• [SPARK-42878] [ SC-126882][connect] DataFrameReader 中的表 API 也可以接受选项
• [SPARK-42927] [ SC-126883][core] 将访问范围 o.a.spark.util.Iterators#size 更改为 private[util]
• [SPARK-42943] [ SC-126879][sql] 使用 LONGTEXT 代替 TEXT，以提高 StringType 的长度处理能力
• [SPARK-37677] [SC-126855][core] 解压缩可以保留文件权限
• [SPARK-42891] [13.x][sc-126458][CONNECT][python] 实现 CoGrouped 地图 API
• [SPARK-41876] [ SC-126849][connect][PYTHON] 实现 DataFrame.toLocalIterator
• [SPARK-42930] [ SC-126761][core][SQL] 将相关实现的访问范围 ProtobufSerDe 更改为 private[protobuf]
• [SPARK-42819] [ SC-125879][ss] 添加对在流式处理中使用的 RocksDB 设置max_write_buffer_number和write_buffer_size的支持
• [SPARK-42924] [ SC-126737][sql][CONNECT][python] 阐明参数化 SQL 参数的注释
• [SPARK-42748] [SC-126455][connect] 服务器端工件管理
• [SPARK-42816] [ SC-126365][connect] 支持最大消息大小，最大为 128MB
• [SPARK-42850] [ SC-126109][sql] 删除优化器中的重复规则 CombineFilters
• [SPARK-42662] [ SC-126355][connect][PS] 在 Spark 默认索引上为 pandas API 添加 proto 消息
• [SPARK-42720] [SC-126136][ps][SQL] 使用表达式作为分布式序列默认索引，而不是计划
• [SPARK-42790] [ SC-126174][sql] 抽象化排除的方法，以便更好地测试 JDBC docker 测试。
• [SPARK-42900] [ SC-126473][connect][PYTHON] 修复 createDataFrame 以尊重推理和列名
• [SPARK-42917] [SC-126657][sql] 修正 DerbyDialect 的 getUpdateColumnNullabilityQuery 设置。
• [SPARK-42684] [ SC-125157][sql] v2 目录默认情况下不应允许列设置默认值
• [SPARK-42861] [ SC-126635][sql] 使用 private[sql] 而不是 protected[sql] 以避免生成 API 文档
• [SPARK-42920] [SC-126728][connect][PYTHON] 启用包含 UDT 的 UDF 测试
• [SPARK-42791] [ SC-126617][sql] 创建新的黄金文件测试框架进行分析
• [SPARK-42911] [ SC-126652][python] 引入更多基本异常
• [SPARK-42904] [ SC-126634][sql] JDBC 目录的 Char/Varchar 支持
• [SPARK-42901] [SC-126459][connect][PYTHON] 将 StorageLevel 移动到一个单独的文件中以避免潜在的问题 file recursively imports
• [SPARK-42894] [SC-126451][connect] 支持 cache/persist/unpersist/storageLevel Spark connect jvm 客户端
• [SPARK-42792] [ SC-125852][ss] 添加对流式处理有状态运算符中使用的 RocksDB WRITE_FLUSH_BYTES的支持
• [SPARK-41233] [ SC-126441][connect][PYTHON] 向 Spark Connect Python 客户端添加 array_prepend 函数
• [SPARK-42681] [SC-125149][sql] 放宽 ALTER TABLE ADD|REPLACE 列描述符的排序约束
• [SPARK-42889] [ SC-126367][connect][PYTHON] 实现缓存、持久化、取消持久化和 storageLevel
• [SPARK-42824] [ SC-125985][connect][PYTHON] 为不支持的 JVM 属性提供明确的错误消息
• [SPARK-42340] [ SC-126131][connect][PYTHON] 实现分组映射的 API
• [SPARK-42892] [ SC-126454][sql] 将 sameType 和相关方法移出 DataType
• [SPARK-42827] [ SC-126126][connect] 支持 functions#array_prepend Scala 连接客户端
• [SPARK-42823] [ SC-125987][sql] spark-sql shell 支持用于初始化的多部分命名空间
• [SPARK-42817] [ SC-125960][core] 在 ApplicationMaster 中记录一次洗牌服务名称
• [SPARK-42786] [SC-126438][connect] 键入的 Select
• [SPARK-42800] [ SC-125868][connect][PYTHON][ml] 实现 ml 函数 {array_to_vector, vector_to_array}
• [SPARK-42052] [SC-126439][sql] 对 HiveSimpleUDF 的 Codegen 支持
• [SPARK-41233] [SC-126110][sql][PYTHON] 添加 array_prepend 函数
• [SPARK-42864] [ SC-126268][ml][3.4] 设为 IsotonicRegression.PointsAccumulator 专用
• [SPARK-42876] [ SC-126281][sql] DataType 的 physicalDataType 应为 private[sql]
• [SPARK-42101] [ SC-125437][sql] 使 AQE 支持 InMemoryTableScanExec
• [SPARK-41290] [SC-124030][sql] 支持 CREATE/REPLACE 表语句中列的 GENERATED ALWAYS AS 表达式
• [SPARK-42870] [SC-126220][connect] 移动 toCatalystValue 到 connect-common
• [SPARK-42247] [ SC-126107][connect][PYTHON] 修复 UserDefinedFunction，确保其具有 returnType
• [SPARK-42875] [SC-126258][connect][PYTHON] 修复 toPandas，以正确处理时区和映射类型问题
• [SPARK-42757] [SC-125626][connect] 为 DataFrameReader 实现 textFile
• [SPARK-42803] [ SC-126081][core][SQL][ml] 使用 getParameterCount 函数而不是 getParameterTypes.length
• [SPARK-42833] [SC-126043][sql] 在applyExtensionsSparkSession中重构
• [SPARK-41765] 还原“[SC-123550][sql] 提取 v1 写入指标”...
• [SPARK-42848] [ SC-126105][connect][PYTHON] 实现 DataFrame.registerTempTable
• [SPARK-42020] [ SC-126103][connect][PYTHON] 在 Spark Connect 中支持用户定义类型
• [SPARK-42818] [ SC-125861][connect][PYTHON] 实现 DataFrameReader/Writer.jdbc
• [SPARK-42812] [SC-125867][connect] 向 AddArtifactsRequest protobuf 消息中添加 client_type
• [SPARK-42772][SC-125860][sql] 将 JDBC 选项中关于下推功能的默认值更改为 true
• [SPARK-42771] [SC-125855][sql] 重构 HiveGenericUDF
• [SPARK-25050] [ SC-123839][sql] Avro： 编写复杂联合
• [SPARK-42765] [SC-125850][connect][PYTHON] 支持从pandas_udf导入pyspark.sql.connect.functions
• [SPARK-42719] [SC-125225][core] MapOutputTracker#getMapLocation 应遵循 spark.shuffle.reduceLocality.enabled
• [SPARK-42480] [ SC-125173][sql] 提高删除分区的性能
• [SPARK-42689] [SC-125195][core][SHUFFLE] 允许 ShuffleDriverComponent 声明是否可靠地存储洗牌数据
• [SPARK-42726] [ SC-125279][connect][PYTHON] 实现 DataFrame.mapInArrow
• [SPARK-41765] [ SC-123550][sql] 将 v1 写入指标提取到 WriteFiles
• [SPARK-41171] [ SC-124191][sql] 如果 partitionSpec 为空，则通过窗口推断和下推窗口限制
• [SPARK-42686] [ SC-125292][core] 延后 TaskMemoryManager 中调试消息的格式化
• [SPARK-42756] [ SC-125443][connect][PYTHON] 帮助程序函数，将 proto 文本转换为 Python 客户端中的值
• [SPARK-42793] [SC-125627][connect] connect 模块需要 build_profile_flags
• [SPARK-42701] [SC-125192][sql] 添加 try_aes_decrypt() 函数
• [SPARK-42679] [ SC-125438][connect][PYTHON] createDataFrame 不适用于不可为 null 的架构
• [SPARK-42733] [ SC-125542][connect][Followup] 在没有路径或表的情况下写入
• [SPARK-42777] [ SC-125525][sql] 支持将 TimestampNTZ 目录统计信息转换为计划统计信息
• [SPARK-42770] [SC-125558][connect] 添加 truncatedTo(ChronoUnit.MICROS) 以使 Java 17 每日测试 GA 任务中的 SQLImplicitsTestSuite 通过测试
• [SPARK-42752] [ SC-125550][pyspark][SQL] 使 PySpark 异常在初始化期间可打印
• [SPARK-42732] [ SC-125544][pyspark][CONNECT] 支持 Spark Connect 会话的 getActiveSession 方法
• [SPARK-42755] [ SC-125442][connect] 将文本值转换为 connect-common
• [SPARK-42747] [ SC-125399][ml] 修复了 LoR 和 AFT 的内部状态不正确
• [SPARK-42740] [ SC-125439][sql] 修复了某些内置方言的下推偏移量或分页功能无效的 bug
• [SPARK-42745] [ SC-125332][sql] 改进的 AliasAwareOutputExpression 与 DSv2 兼容
• [SPARK-42743] [ SC-125330][sql] 支持对 TimestampNTZ 列进行分析
• [SPARK-42721] [SC-125371][connect] RPC 日志拦截器
• [SPARK-42691] [ SC-125397][connect][PYTHON] 实现 Dataset.semanticHash
• [SPARK-42688] [SC-124922][connect] 将 Connect proto 请求中的 client_id 重命名为 session_id
• [SPARK-42310] [SC-122792][sql] 为_LEGACY_ERROR_TEMP_1289分配名称
• [SPARK-42685] [ SC-125339][core] 优化 Utils.bytesToString 例程
• [SPARK-42725] [ SC-125296][connect][PYTHON] 使 LiteralExpression 支持数组参数
• [SPARK-42702] [ SC-125293][spark-42623][SQL] 支持子查询和 CTE 中的参数化查询
• [SPARK-42697] [ SC-125189][webui] 修复 /api/v1/applications 以返回持续时间字段的总运行时间而不是 0
• [SPARK-42733] [ SC-125278][connect][PYTHON] 修复 DataFrameWriter.save 以在没有路径参数的情况下正常工作
• [SPARK-42376] [ SC-124928][ss] 引入运算符之间的水印传播
• [SPARK-42710] [ SC-125205][connect][PYTHON] 将 FrameMap proto 重命名为 MapPartitions
• [SPARK-37099] [ SC-123542][sql] 引入用于基于排名筛选器的窗口组限制，以优化 top-k 计算
• [SPARK-42630] [ SC-125207][connect][PYTHON] 引入 UnparsedDataType 并延迟分析 DDL 字符串，直到 SparkConnectClient 可用
• [SPARK-42690] [ SC-125193][connect] 为 Scala 客户端实现 CSV/JSON 分析函数
• [SPARK-42709] [SC-125172][python] 删除对__file__可用的假设
• [SPARK-42318] [ SC-122648][spark-42319][SQL] 将名称分配给 LEGACY_ERROR_TEMP（2123|2125）
• [SPARK-42723] [ SC-125183][sql] 支持分析器数据类型 json “timestamp_ltz” 作为 TimestampType
• [SPARK-42722] [ SC-125175][connect][PYTHON] Python Connect def schema（） 不应缓存架构
• [SPARK-42643] [SC-125152][connect][PYTHON] 注册 Java（用于聚合的）用户定义函数
• [SPARK-42656] [ SC-125177][connect][Followup] 修复 spark-connect 脚本
• [SPARK-41516] [SC-123899] [SQL] 允许 jdbc 方言替代用于创建表的查询
• [SPARK-41725] [ SC-124396][connect] 立即执行DF.sql()
• [SPARK-42687] [SC-124896][ss] 流处理中的不支持pivot操作的改进的错误消息
• [SPARK-42676] [ SC-124809][ss] 将临时检查点写入本地文件系统，即使默认 FS 设置不同
• [SPARK-42303] [SC-122644][sql] 将名称分配给_LEGACY_ERROR_TEMP_1326
• [SPARK-42553] [SC-124560][sql] 确保“间隔”后至少有一个时间单位
• [SPARK-42649] [ SC-124576][core] 从第三方源文件顶部删除标准 Apache 许可证标头
• [SPARK-42611] [ SC-124395][sql] 在解析过程中为内部字段插入 char/varchar 长度检查
• [SPARK-42419] [ SC-124019][connect][PYTHON] 迁移至 Spark Connect 列 API 的错误框架。
• [SPARK-42637] [ SC-124522][connect] 新增 SparkSession.stop（）
• [SPARK-42647] [ SC-124647][python] 更改 numpy 已弃用和已删除类型的别名
• [SPARK-42616] [SC-124389][sql] SparkSQLCLIDriver 应只关闭已启动的 hive sessionState
• [SPARK-42593] [ SC-124405][ps] 弃用并删除将在 pandas 2.0 中删除的 API。
• [SPARK-41870] [ SC-124402][connect][PYTHON] 修复 createDataFrame 来处理重复的列名称
• [SPARK-42569] [ SC-124379][connect] 抛出异常以处理不支持的连接会话应用程序接口
• [SPARK-42631] [ SC-124526][connect] 支持 Scala 客户端中的自定义扩展
• [SPARK-41868] [SC-124387][connect][PYTHON] 修复 createDataFrame 以支持时间间隔
• [SPARK-42572] [ SC-124171][sql][SS] 修复 StateStoreProvider.validateStateRowFormat 的行为

维护更新

请参阅 Databricks Runtime 13.1 维护更新。

系统环境

• 操作系统：Ubuntu 22.04.2 LTS
• Java：Zulu 8.70.0.23-CA-linux64
• Scala：2.12.15
• Python：3.10.12
• R：4.2.2
• Delta Lake：2.4.0

已安装的 Python 库

已安装的 R 库

R 库安装自 2023-02-10 版本中的 Microsoft CRAN 快照。

已安装的 Java 库和 Scala 库（Scala 2.12 群集版本）