Databricks Runtime 14.1 （EoS）

以下发行说明提供了由 Apache Spark 3.5.0 提供支持的 Databricks Runtime 14.1 的相关信息。

Databricks 于 2023 年 10 月发布了此版本。

新功能和改进

• array_insert() 对于负索引为从 1 开始
• Delta v2 检查点默认启用了液态聚类分析
• 在公共预览版中删除 Delta 表功能
• Delta Sharing：接收者可以对使用删除矢量的共享表执行批处理查询（公共预览版）
• Delta Sharing：接收者可以使用列映射对共享表执行批查询（公共预览版）
• 在公共预览版中从 Unity Catalog 视图进行流式传输
• 公共预览版中的 Apache Pulsar 连接器
• 升级后的 Snowflake 驱动程序
• SQL 会话变量
• SQL 和 Python UDF 的命名参数调用。
• 函数的表参数支持分区和排序。
• 新的和增强的内置 SQL 函数
• 改进了相关子查询的处理

array_insert() 是基于 1 的负索引

对于正索引和负索引，array_insert 函数是基于 1的。 现在，它会在输入数组的末尾插入索引为 -1 的新元素。 若要还原以前的行为，请将 spark.sql.legacy.negativeIndexInArrayInsert 设置为 true。

Delta v2 检查点默认启用了液态聚类分析

默认情况下，使用液体聚类分析新建的 Delta 表会使用 v2 检查点。 请参阅表与液体聚类分析的兼容性。

在公共预览版中删除 Delta 表功能

现在，可以删除 Delta 表的某些表功能。 当前支持包括删除 deletionVectors 和 v2Checkpoint。 请参阅删除 Delta Lake 表功能和降级表协议。

Delta Sharing：接收者可以对使用删除矢量的共享表执行批处理查询（公共预览版）

Delta Sharing 接收者现在可以对使用删除矢量的共享表执行批处理查询。 请参阅将带有删除矢量或列映射的表添加到共享中、读取启用了删除矢量或列映射的表和读取启用了删除矢量或列映射的表。

增量共享：收件人可以对使用列映射的共享表执行批处理查询（公共预览版）

增量共享收件人现在可以对使用列映射的共享表执行批处理查询。 请参阅将带有删除矢量或列映射的表添加到共享中、读取启用了删除矢量或列映射的表和读取启用了删除矢量或列映射的表。

在公共预览版中从 Unity Catalog 视图进行流式传输

现在可以使用结构化流式处理从注册到 Unity 目录的视图执行流式传输读取。 Azure Databricks 仅支持从针对 Delta 表定义的视图流式读取。

公共预览版中的 Apache Pulsar 连接器

现在可以使用结构化流式传输功能从 Azure Databricks 上的 Apache Pulsar 流式传输数据。 请参阅从 Apache Pulsar 进行流式传输。

升级后的 Snowflake 驱动程序

Snowflake JDBC 驱动程序现在使用版本 3.13.33。

SQL 会话变量

此版本引入了在会话中声明临时变量的功能，可以对该会话进行设置，然后从查询中引用这些变量。 请参阅 变量。

SQL 和 Python UDF 的命名参数调用。

现在可以在 SQL 和 Python UDF 上使用 命名的参数调用。

函数的表参数支持分区和排序。

现在可以使用 PARTITION BY 和 ORDER BY 子句控制在函数调用期间如何将表参数传递给函数。

新的和增强的内置 SQL 函数

添加了以下内置函数：

• from_xml：将 XML STRING 分析为 STRUCT。
• schema_of_xml：从 XML STRING 派生架构。
• session_user：返回已登录用户。
• try_reflect：如果 Java 方法失败，则返回 NULL 而不是异常。

增强了以下内置函数：

• 模式：对强制确定性结果的可选参数的支持。
• to_char：新增对 DATE、TIMESTAMP 和 BINARY 的支持。
• to_varchar：新增对 DATE、TIMESTAMP 和 BINARY 的支持。

改进了相关子查询的处理

扩展了在子查询中处理关联的能力：

• 在相关标量（横向）子查询中处理限制和排序依据。
• 支持相关标量子查询中的窗口函数。
• 支持标量子查询和横向子查询的连接谓词中的相关引用

行为变更

Photon Parquet 阅读器中的严格类型检查

尝试从非小数类型的 Parquet 列读取小数值时，Photon 会失败。 从 Parquet 读取固定长度字节数组作为字符串时，Photon 也会失败。

图书馆升级

• 升级后的 Python 库：
  • filelock 已从 3.12.2 升级到 3.12.3
  • s3transfer 已从 0.6.1 升级到 0.6.2
• 升级后的 Java 库：
  • com.uber.h3 已从 3.7.0 升级到 3.7.3
  • io.airlift.aircompressor 已从 0.24 升级到 0.25
  • io.delta.delta-sharing-spark_2.12 已从 0.7.1 升级到 0.7.5
  • io.netty.netty-all 已从 4.1.93.Final 升级到 4.1.96.Final
  • io.netty.netty-buffer 从 4.1.93.Final 升级到 4.1.96.Final
  • io.netty.netty-codec 从 4.1.93.Final 升级到 4.1.96.Final
  • io.netty.netty-codec-http 从 4.1.93.Final 升级到 4.1.96.Final
  • io.netty.netty-codec-http2 从 4.1.93.Final 升级到 4.1.96.Final
  • io.netty.netty-codec-socks 从 4.1.93.Final 升级到 4.1.96.Final
  • io.netty.netty-common 从 4.1.93.Final 升级到 4.1.96.Final
  • io.netty.netty-handler 从 4.1.93.Final 升级到 4.1.96.Final
  • io.netty.netty-handler-proxy 从 4.1.93.Final 升级到 4.1.96.Final
  • io.netty.netty-resolver 从 4.1.93.Final 升级到 4.1.96.Final
  • io.netty.netty-transport 从 4.1.93.Final 升级到 4.1.96.Final
  • io.netty.netty-transport-classes-epoll 从 4.1.93.Final 升级到 4.1.96.Final
  • io.netty.netty-transport-classes-kqueue 从 4.1.93.Final 升级到 4.1.96.Final
  • io.netty.netty-transport-native-epoll 从 4.1.93.Final-linux-x86_64 升级到 4.1.96.Final-linux-x86_64
  • io.netty.netty-transport-native-kqueue 从 4.1.93.Final-osx-x86_64 升级到 4.1.96.Final-osx-x86_64
  • io.netty.netty-transport-native-unix-common 已从 4.1.93.Final 升级到 4.1.96.Final
  • net.snowflake.snowflake-jdbc 已从 3.13.29 升级到 3.13.33
  • org.apache.orc.orc-core 已从 1.9.0-shaded-protobuf 升级到 1.9.1-shaded-protobuf
  • org.apache.orc.orc-mapreduce 从 1.9.0-shaded-protobuf 升级到 1.9.1-shaded-protobuf
  • org.apache.orc.orc-shims 从 1.9.0 升级到 1.9.1

Apache Spark

Databricks Runtime 14.1 包含 Apache Spark 3.5.0。 此版本包括 Databricks Runtime 14.0 (EoS) 中包含的所有 Spark 修复和改进，以及对 Spark 进行的以下其他 bug 修复和改进：

• [SPARK-45088] [DBRRM-557] 还原“[SC-142785][python][CONNECT] 使 getitem 适用于重复的列”
• [SPARK-43453] [DBRRM-557] 还原“[SC-143135][ps] 当 names 适用于 MultiIndex 时忽略 axis=1 的 concat”
• [SPARK-45225] [SC-143207][sql] XML：XSD 文件 URL 支持
• [SPARK-45156] [SC-142782][sql] 在 inputName 错误类中使用反引号将 NON_FOLDABLE_INPUT 括起来
• [SPARK-44910] [SC-143082][sql] Encoders.bean 不支持具有泛型类型参数的超级类
• [SPARK-43453] [SC-143135][ps] 当 names 适用于 MultiIndex 时，忽略 axis=1 的 concat
• [SPARK-44463] [SS][connect] 改进连接流式 Python 辅助角色的错误处理
• [SPARK-44960] [SC-141023][ui] 跨 UI 页面取消转义并包含错误摘要
• [SPARK-44788] [SC-142980][connect][PYTHON][sql] 将 from_xml 和 schema_of_xml 添加到 pyspark、spark connect 和 sql 函数
• [SPARK-44614] [SC-138460][python][CONNECT][3.5] 在 setup.py 中添加缺少的包
• [SPARK-45151] [SC-142861][core][UI] 任务级别线程转储支持
• [SPARK-45056] [SC-142779][python][SS][connect] streamingQueryListener 和 foreachBatch 的终止测试
• [SPARK-45084] [SC-142828][ss] StateOperatorProgress，用于使用准确的有效随机分区号
• [SPARK-44872] [SC-142405][connect] 服务器测试基础设施和 ReattachableExecuteSuite
• [SPARK-45197] [SC-142984][core] 让 StandaloneRestServer 将 JavaModuleOptions 添加到驱动程序
• [SPARK-44404] [SC-139601][sql] 将名称分配到错误类 LEGACY_ERROR_TEMP[1009,1010,1013,1015,1016,1278]
• [SPARK-44647] [SC-142297][sql] 支持 SPJ，其中连接键小于聚类键
• [SPARK-45088] [SC-142785][python][CONNECT] 使 getitem 能够处理重复的列
• [SPARK-45128] [SC-142851][sql] 在 Arrow 中支持 CalendarIntervalType
• [SPARK-45130] [SC-142976][connect][ML][python] 避免 Spark Connect ML 模型以更改输入 pandas 数据帧
• [SPARK-45034] [SC-142959][sql] 支持确定性模式函数
• [SPARK-45173] [SC-142931][ui] 删除 UI 中一些不必要的 sourceMapping 文件
• [SPARK-45162] [SC-142781][sql] 支持通过 call_function 构造的映射和数组参数
• [SPARK-45143] [SC-142840][python][CONNECT] 使 PySpark 与 PyArrow 13.0.0 兼容
• [SPARK-45174] [SC-142837][core] 支持 spark.deploy.maxDrivers
• [SPARK-45167] [SC-142956][connect][PYTHON] Python 客户端必须调用 release_all
• [SPARK-36191] [SC-142777][sql] 在相关标量（横向）子查询中处理限制和排序依据
• [SPARK-45159] [SC-142829][python] 仅在必要时处理命名参数
• [SPARK-45133] [SC-142512][connect] 使 Spark Connect 查询在完成最后一个结果任务时完成
• [SPARK-44801] [SC-140802][sql][UI] 在侦听器和 UI 中捕获分析失败的查询
• [SPARK-45139] [SC-142527][sql] 添加 DatabricksDialect 来处理 SQL 类型转换
• [SPARK-45157] [SC-142546][sql] 避免在 if 中重复 [On|Off|HeapColumnVector 检查
• [SPARK-45077] 还原“[SC-142069][ui] 将 dagre-d3.js 从 0.4.3 升级到 0.6.4”
• [SPARK-45145] [SC-142521][example] 添加 JavaSparkSQLCli 示例
• [SPARK-43295] 还原“[SC-142254][ps] 支持 DataFrameGroupBy.sum的字符串类型列”
• [SPARK-44915] [ SC-142383][core] 在恢复之前验证重新装载 PVC 的随机数据的校验和
• [SPARK-45147] [SC-142524][core] 删除 System.setSecurityManager 用法
• [SPARK-45104] [SC-142206][ui] 将 graphlib-dot.min.js 升级到 1.0.2
• [SPARK-44238] [SC-141606][core][SQL] 引入一个新的 readFrom 方法，其中包含用于 BloomFilter 的字节数组输入
• [SPARK-45060] [SC-141742][sql] 修复 to_char() 中 NULL 格式的内部错误
• [SPARK-43252] [SC-142381][sql] 将错误类 _LEGACY_ERROR_TEMP_2016 替换为内部错误
• [SPARK-45069] [SC-142279][sql] SQL 变量应始终在外部引用后解析
• [SPARK-44911] [SC-142388][sql] 创建包含无效列的 Hive 表应返回错误类
• [SPARK-42754] [SC-125567][sql][UI] 修复嵌套 SQL 执行中的后向兼容性问题
• [SPARK-45121] [SC-142375][connect][PS] 对 Spark Connect 支持 Series.empty。
• [SPARK-44805] [SC-142203][sql] getBytes/getShorts/getInts/ 等应该在有字典的列矢量中工作
• [SPARK-45027] [SC-142248][python] 隐藏 pyspark.sql.functions 中的内部函数/变量以防止自动完成
• [SPARK-45073] [SC-141791][ps][CONNECT] 将 LastNotNull 替换为 Last(ignoreNulls=True)
• [SPARK-44901] [ SC-141676][sql] 手动回送：在 Python UDTF“analyze”方法中添加 API 以返回分区/排序表达式
• [SPARK-45076] [SC-141795][ps] 切换到内置 repeat 函数
• [SPARK-44162] [SC-141605][core] 在 Spark 指标中支持 G1GC
• [SPARK-45053] [SC-141733][python][MINOR] Python 版本不匹配的日志改进
• [SPARK-44866] [SC-142221][sql] 添加 SnowflakeDialect 以正确处理 BOOLEAN 类型
• [SPARK-45064] [SC-141775][python][CONNECT] 在 scale 中添加缺少的 ceil/ceiling 参数
• [SPARK-45059] [SC-141757][connect][PYTHON] 将 try_reflect 函数添加到 Scala 和 Python
• [SPARK-43251] [SC-142280][sql] 将错误类 _LEGACY_ERROR_TEMP_2015 替换为内部错误
• [SPARK-45052] [SC-141736][sql][PYTHON][connect] 使函数别名输出列名称与 SQL 一致
• [SPARK-44239] [SC-141502][sql] 重置矢量时由大矢量分配可用内存
• [SPARK-43295] [SC-142254][ps] 对 DataFrameGroupBy.sum 支持字符串类型列
• [SPARK-45080] [SC-142062][ss] 显式调用 DSv2 流式处理数据源中对列式的支持
• [SPARK-45036] [SC-141768][sql] SPJ：简化处理部分群集分布的逻辑
• [SPARK-45077] [SC-142069][ui] 将 dagre-d3.js 从 0.4.3 升级到 0.6.4
• [SPARK-45091] [SC-142020][python][CONNECT][sql] 函数 floor/round/bround 接受列类型 scale
• [SPARK-45090] [SC-142019][python][CONNECT] DataFrame.{cube, rollup} 支持列序号
• [SPARK-44743] [SC-141625][sql] 添加 try_reflect 函数
• [SPARK-45086] [SC-142052][ui] 显示线程锁哈希码的十六进制
• [SPARK-44952] [SC-141644][sql][PYTHON] 支持聚合 Pandas UDF 中的命名参数
• [SPARK-44987] [SC-141552][sql] 为错误类 _LEGACY_ERROR_TEMP_1100 指定名称
• [SPARK-45032] [SC-141730][connect] 修复与 Top-level wildcard is not allowed and will error under -Xsource:3 相关的编译警告
• [SPARK-45048] [SC-141629][connect] 添加针对 Python 客户端和可附加执行的附加测试
• [SPARK-45072] [SC-141807][connect] 修复二元类的外部范围
• [SPARK-45033] [SC-141759][sql] 通过参数化 sql() 支持映射
• [SPARK-45066] [SC-141772][sql][PYTHON][connect] 使函数 repeat 重复接受列类型 n
• [SPARK-44860] [SC-141103][sql] 添加 SESSION_USER 函数
• [SPARK-45074] [SC-141796][python][CONNECT] DataFrame.{sort, sortWithinPartitions} 支持列序号
• [SPARK-45047] [SC-141774][python][CONNECT] DataFrame.groupBy 支持序号
• [SPARK-44863] [SC-140798][ui] 在 Spark UI 中添加一个按钮，以将线程转储下载为 txt
• [SPARK-45026] [SC-141604][connect] spark.sql 应该支持与 arrow 不兼容的数据类型
• [SPARK-44999] [SC-141145][core] 重构 ExternalSorter 以减少调用 shouldPartition 时对 getPartition 的检查
• [SPARK-42304] [SC-141501][sql] 将 _LEGACY_ERROR_TEMP_2189 重命名为 GET_TABLES_BY_TYPE_UNSUPPORTED_BY_HIVE_VERSION
• [SPARK-43781] [SC-139450][sql] 修复从同一源派生两个数据集时的 IllegalStateException
• [SPARK-45018] [SC-141516][python][CONNECT] 将 CalendarIntervalType 添加到 Python 客户端
• [SPARK-45024] [SC-141513][python][CONNECT] 筛选出会话创建中的一些配置
• [SPARK-45017] [SC-141508][python] 将 CalendarIntervalType 添加到 PySpark
• [SPARK-44720] [SC-139375][connect] 使数据集使用编码器而不是 AgnosticEncoder
• [SPARK-44982] [SC-141027][connect] 在创建过程中将配置应用于sparksession
• [SPARK-44839] [SC-140900][ss][CONNECT] 在用户尝试序列化 Spark 会话时优化错误日志记录
• [SPARK-44865] [SC-140905][ss] 使 StreamingRelationV2 支持元数据列
• [SPARK-45001] [SC-141141][python][CONNECT] 实现 DataFrame.foreachPartition
• [SPARK-44497] [SC-141017][webui] 在任务表中显示任务分区 ID
• [SPARK-45006] [SC-141143][ui] 对时间线 x 轴使用其他 UI 日期元素的相同日期格式
• [SPARK-45000] [SC-141135][python][CONNECT] 实施 DataFrame.foreach
• [SPARK-44967] [SC-141137][sql][CONNECT] 单元应先考虑使用 Boolean for TreeNodeTag
• [SPARK-44993] [SC-141088][core] 通过重用 ShuffleChecksumUtils.compareChecksums 来添加 ShuffleChecksumTestHelp.compareChecksums
• [SPARK-44807] [SC-140176][connect] 将 Dataset.metadataColumn 添加到 Scala 客户端
• [SPARK-44965] [SC-141098][python] 隐藏 pyspark.sql.functions 中的内部函数/变量
• [SPARK-44983] [SC-141030][sql] 通过 to_char 将二进制转换为字符串，格式为：hex、base64、utf-8
• [SPARK-44980] [DBRRM-462][sc-141024][PYTHON][connect] 修复继承的命名元组以在 createDataFrame 中工作
• [SPARK-44985] [SC-141033][core] 对任务 reaper threadDump 使用 toString 而不是 stacktrace
• [SPARK-44984] [SC-141028][python][CONNECT] 从 DataFrame 中删除 _get_alias
• [SPARK-44975] [SC-141013][sql] 删除已解析的 BinaryArithmetic 无用替代
• [SPARK-44969] [SC-140957][sql] 在 ArrayInsert 中重用 ArrayAppend
• [SPARK-44549] [SC-140714][sql] 支持相关标量子查询中的窗口函数
• [SPARK-44938] [SC-140811][sql] 将默认值 spark.sql.maxSinglePartitionBytes 更改为 128m
• [SPARK-44918] [SC-140816][sql][PYTHON] 支持标量 Python/Pandas UDF 中的命名参数
• [SPARK-44966] [SC-140907][core][CONNECT] 将从未更改的 var 更改为 val
• [SPARK-41471] [SC-140804][sql] 当仅联接的一端为 KeyGroupedPartitioning 时，减少 Spark 随机
• [SPARK-44214] [SC-140528][core] 支持 Spark 驱动程序实时日志 UI
• [SPARK-44861] [SC-140716][connect] jsonignore SparkListenerConnectOperationStarted.planRequest
• [SPARK-44776] [SC-140519][connect] 将 ProducedRowCount 添加到 SparkListenerConnectOperationFinished
• [SPARK-42017] [SC-140765][python][CONNECT] df['col_name'] 应验证列名
• [SPARK-40178] [SC-140433][sql][COONECT] 轻松支持 PySpark 和 R 的联合提示
• [SPARK-44840] [SC-140593][sql] 将 array_insert() 的负索引调整为从 1 开始
• [SPARK-44939] [SC-140778][r] 在 SparkR SystemRequirements 中支持 Java 21
• [SPARK-44936] [SC-140770][core] 当 Spark HybridStore 达到内存限制时简化日志
• [SPARK-44908] [SC-140712][ml][CONNECT] 修复交叉验证程序 foldCol param 功能
• [SPARK-44816] [SC-140717][connect] 在找不到 UDF 类时改进错误消息
• [SPARK-44909] [SC-140710][ml] 当 torch 分发服务器日志流式处理服务器不可用时，跳过启动它
• [SPARK-44920] [SC-140707][core] 在 TransportClientFactory.createClient() 中使用 await() 而不是 awaitUninterruptibly()
• [SPARK-44905] [SC-140703][sql] 有状态的 lastRegex 导致 regexp_replace 的 eval 出现 NullPointerException
• [SPARK-43987] [SC-139594][shuffle] 将 finalizeShuffleMerge 处理分离到专用线程池
• [SPARK-42768] [SC-140549][sql] 默认启用缓存计划应用 AQE
• [SPARK-44741] [SC-139447][core] 在 StatsdSink 中支持基于正则表达式的 MetricFilter
• [SPARK-44751] [SC-140532][sql] XML FileFormat 接口实现
• [SPARK-44868] [SC-140438][sql] 通过 to_char/to_varchar 将日期/时间转换为字符串
• [SPARK-44748] [SC-140504][sql] UDTF PARTITION 参数中 TABLE BY 子句的查询执行
• [SPARK-44873] [SC-140427] 在 Hive 客户端中支持具有嵌套列的更改视图
• [SPARK-44876] [SC-140431][python] 修复 Spark Connect 上经过 Arrow 优化的 Python UDF
• [SPARK-44520] [SC-137845][sql] 将术语 UNSUPPORTED_DATA_SOURCE_FOR_DIRECT_QUERY 替换为 UNSUPPORTED_DATASOURCE_FOR_DIRECT_QUERY，并披露根 AE
• [SPARK-42664] [SC-139769][connect] 支持 bloomFilter 的 DataFrameStatFunctions 函数
• [SPARK-43567] [SC-139227][ps] 支持 use_na_sentinel 的 factorize
• [SPARK-44859] [SC-140254][ss] 修复结构化流式处理文档中不正确的属性名称
• [SPARK-44822] [SC-140182][python][SQL] 默认情况下将 Python UDTF 设为非确定性
• [SPARK-44731] [SC-139524][python][CONNECT] 使 TimestampNTZ 适用于 Python Spark Connect 中的文本
• [SPARK-44836] [SC-140180][python] 重构 Arrow Python UDTF
• [SPARK-44714] [SC-139238] 使用 having 放宽了关于查询的 LCA 解析限制
• [SPARK-44749] [SC-139664][sql][PYTHON] 支持 Python UDTF 中的命名参数
• [SPARK-44737] [SC-139512][sql][UI] 对于 SQL 选项卡上的非 SparkThrowables，不应在 SQL 页上显示 json 格式错误
• [SPARK-44665] [SC-139307][python] 添加对 pandas DataFrame assertDataFrameEqual 的支持
• [SPARK-44736] [SC-139622][connect] 向 Spark Connect Scala 客户端添加 Dataset.explode
• [SPARK-44732] [SC-139422][sql] 内置 XML 数据源支持
• [SPARK-44694] [SC-139213][python][CONNECT] 重构活动会话并将其公开为 API
• [SPARK-44652] [SC-138881] 当只有一个 df 为 None 时引发错误
• [SPARK-44562] [SC-138824][sql] 在子查询批处理中添加 OptimizeOneRowRelationSubquery
• [SPARK-44717] [SC-139319][python][PS] 重采样时遵循 TimestampNTZ
• [SPARK-42849] [SC-139365] [SQL] 会话变量
• [SPARK-44236] [SC-139239][sql] 在将 spark.sql.codegen.factoryMode 设置为 NO_CODEGEN 时禁用 WholeStageCodegen
• [SPARK-44695] [SC-139316][python] 改进 DataFrame.toDF 的错误消息
• [SPARK-44680] [SC-139234][sql] 改进 DEFAULT 中的参数错误
• [SPARK-43402] [SC-138321][sql] FileSourceScanExec 支持使用标量子查询向下推送数据筛选器
• [SPARK-44641] [SC-139216][sql] 未触发 SPJ 时，某些情况下结果不正确
• [SPARK-44689] [SC-139219][connect] 使函数 SparkConnectPlanner#unpackScalarScalaUDF 的异常处理更加通用
• [SPARK-41636] [SC-139061][sql] 确保 selectFilters 按确定性顺序返回谓词
• [SPARK-44132] [SC-139197][sql] 具体化联接列名的 Stream 以避免 codegen 失败
• [SPARK-42330] [SC-138838][sql] 将名称 RULE_ID_NOT_FOUND 分配到错误类 _LEGACY_ERROR_TEMP_2175
• [SPARK-44683] [ SC-139214][ss] 日志记录级别未正确传递到 RocksDB 状态存储提供程序
• [SPARK-44658] [SC-138868][core] ShuffleStatus.getMapStatus 应返回 None 而不是 Some(null)
• [SPARK-44603] [SC-138353] 将 pyspark.testing 添加到 setup.py
• [SPARK-44252] [SC-137505][ss] 定义新的错误类并申请从 DFS 加载状态失败的情况
• [SPARK-29497] [DBRRM-396][sc-138477][CONNECT] 在 UDF 不可反序列化时抛出错误。
• [SPARK-44624] [ DBRRM-396][sc-138900][CONNECT] 在初始请求未到达服务器的情况下重试 ExecutePlan
• [SPARK-41400] [DBRRM-396][sc-138287][CONNECT] 删除 Connect Client Catalyst 依赖项
• [SPARK-44059] [SC-138833][sql] 为名为 argumnts 的 SQL 添加更好的错误消息
• [SPARK-44620] [SC-138831][sql][PS][connect] 使 ResolvePivot 保留 Plan_ID_TAG
• [SPARK-43838] [SC-137413][sql] 修复具有 HAVING 子句的单个表上的子查询无法优化的问题
• [SPARK-44555] [SC-138820][sql] 使用 checkError() 检查命令套件中的异常并分配一些错误类名称
• [SPARK-44280] [SC-138821][sql] 在 JDBCDialect API 中添加 convertJavaTimestampToTimestamp
• [SPARK-44602] [SC-138337][sql][CONNECT][ps] 使 WidenSetOperationTypes 保留 Plan_ID_TAG
• [SPARK-42941] [SC-138389][ss][CONNECT] Python StreamingQueryListener
• [SPARK-43838] 还原“[SC-137413][sql] 修复单个 ta 上的子查询…
• [SPARK-44538] [SC-138178][connect][SQL] 恢复 Row.jsonValue 及其相关方法
• [SPARK-44421] [SC-138434][spark-44423][CONNECT] Spark Connect 中的可重新附加执行
• [SPARK-43838] [SC-137413][sql] 修复具有 HAVING 子句的单个表上的子查询无法优化的问题
• [SPARK-44587] [SC-138315][sql][CONNECT] 增加 protobuf 封送器递归限制
• [SPARK-44605] [SC-138338][core] 优化内部 ShuffleWriteProcessor API
• [SPARK-44394] [SC-138291][connect][WEBUI] 为 Spark Connect 添加 Spark UI 页面
• [SPARK-44585] [SC-138286][mllib] 修复 MLLib RankingMetrics ndcgAk 中的警告条件
• [SPARK-44198] [SC-138137][core] 支持将日志级别传播到执行程序
• [SPARK-44454] [SC-138071][sql][HIVE] HiveShim getTablesByType 支持回退
• [SPARK-44425] [SC-138135][connect] 验证用户提供的 sessionId 是否为 UUID
• [SPARK-43611] [SC-138051][sql][PS][connect] 使 ExtractWindowExpressions 保留 PLAN_ID_TAG
• [SPARK-44560] [SC-138117][python][CONNECT] 改进 Arrow Python UDF 的测试和文档
• [SPARK-44482] [SC-138067][connect] Connect 服务器应可以指定绑定地址
• [SPARK-44528] [SC-138047][connect] 支持对 Connect 数据帧正确使用 hasattr()
• [SPARK-44525] [SC-138043][sql] 在找不到调用方法时改进错误消息
• [SPARK-44355] [SC-137878][sql] 将 WithCTE 移动到命令查询中

Databricks ODBC/JDBC 驱动程序支持

Databricks 支持在过去 2 年中发布的 ODBC/JDBC 驱动程序。 请下载最近发布的驱动程序并升级（下载 ODBC，下载 JDBC）。

请参阅 Databricks Runtime 14.1 维护更新。

系统环境

• 操作系统：Ubuntu 22.04.3 LTS
• Java：Zulu 8.72.0.17-CA-linux64
• Scala：2.12.15
• Python：3.10.12
• R：4.3.1
• Delta Lake：3.0.0

已安装的 Python 库

已安装的 R 库

R 库安装自 2023-02-10 版本中的 Posit 包管理器 CRAN 快照。

已安装的 Java 和 Scala 库（Scala 2.12 群集版本）