Databricks Runtime 13.3 LTS

以下发行说明提供了由 Apache Spark 3.4.1 提供支持的 Databricks Runtime 13.3 LTS 的相关信息。

Databricks 于 2023 年 8 月发布了此版本。

新增功能和改进

• 对共享群集的 Scala 支持
• Unity 目录标准群集（以前共享群集）上的 init 脚本、JAR 和 Maven 坐标的允许列表为公共预览版
• 对 init 脚本和 JAR 的卷支持为公共预览版
• 默认情况下，为 Delta Lake 操作启用了安全强制转换
• 推出 Unity Catalog 标记
• 如果在查询计划和调用之间修改了文件，Databricks Runtime 将返回错误
• 使用动态分区覆盖时阻止架构覆盖
• 将 copyFile API 集成到 dbutils.fs.cp 中
• Databricks ODBC/JDBC 驱动程序支持
• 支持未命名（位置）参数标记
• 启用时序列标签
• 新位图 SQL 函数
• 改进的加密函数
• Unity 目录对REFRESH FOREIGN的支持
• INSERT按名称
• 与 Delta Sharing 共享具体化视图

对共享群集的 Scala 支持

使用 Databricks Runtime 13.3 及更高版本时，启用 Unity Catalog 的共享群集现在支持 Scala。

Unity 目录标准群集（以前共享群集）上的 init 脚本、JAR 和 Maven 坐标的允许列表为公共预览版

现在，可以使用 Unity Catalog allowlist 在运行 Databricks Runtime 13.3 及更高版本的计算上，通过标准访问模式控制初始化脚本、JAR 和 Maven 坐标的安装。 请参阅在采用标准访问模式（以前称为“共享访问模式”）的计算上将库和初始化脚本加入允许列表。

对 init 脚本和 JAR 的卷支持为公共预览版

现在，可以使用 Unity 目录卷通过运行 Databricks Runtime 13.3 及更高版本的专用或标准访问模式在计算上存储初始化脚本和 JAR。 请参阅 初始化脚本可以安装在哪里？ 和 计算范围库。

默认情况下，为 Delta Lake 操作启用了安全强制转换

当值无法安全地强制转换为目标表架构中的类型时，Delta UPDATE 和 MERGE 操作现在会导致错误。 Delta 中的所有隐式强制转换现在都遵循 spark.sql.storeAssignmentPolicy 而不是 spark.sql.ansi.enabled。 请参阅Databricks Runtime 中的 ANSI 合规性。

Unity Catalog 标记简介

使用 Databricks Runtime 13.3 LTS 及更高版本，你可以将标记应用到安全对象。 标记有助于组织安全对象并简化数据资产的搜索和发现。 请参阅“将标记应用于 Unity Catalog 安全对象”。

如果在查询计划和调用之间修改文件，Databricks Runtime 将返回错误

如果在查询计划和调用之间更新了文件，Databricks Runtime 查询现在会返回错误。 在此更改之前，Databricks Runtime 会在这些阶段之间读取文件，这偶尔会导致意外结果。

使用动态分区覆盖时阻止架构覆盖

不能将 overwriteSchema 设置为 true 与 Delta Lake 中的动态分区覆盖相结合。 这样可以防止由于架构不匹配而导致的表损坏。 请参阅动态分区覆盖。

将 copyFile API 集成到 dbutils.fs.cp 中

dbutils 复制命令，dbutils.fs.cp 现在经过优化，可以更快地进行复制。 有了这一改进，根据文件大小的不同，复制操作的速度可以提高 100 倍。 功能可在 Azure Databricks 中可访问的所有文件系统中使用，包括 Unity Catalog 卷和 Databricks 文件系统装载。

Databricks ODBC/JDBC 驱动程序支持

Azure Databricks 支持过去 2 年中发布的 ODBC 和 JDBC 驱动程序。 在下载 ODBC 驱动程序和下载 JDBC 驱动程序下载最新的驱动程序。

支持未命名（位置）参数标记

除了使用 SparkSession.sql() 语法的参数化查询之外，? API 现在还支持使用 :parm 语法的参数化查询。 请参阅参数标记。

启用时序列标签

现在，可以在创建主键约束时为时序列添加标签。

新位图 SQL 函数

Azure Databricks 现在提供了一组函数，可用于将整数数值映射到位图上并聚合它们。 这可以用于预先计算不同值的数量。

• bitmap_bit_position
• 位图桶编号
• bitmap_construct_agg
• bitmap_count
• bitmap_or_agg

改进的加密函数

通过支持初始化向量 (IV) 和身份认证附加数据 (AAD)，aes_encrypt、aes_decrypt 和 try_aes_decrypt 函数得到了改进。

Unity Catalog 对 REFRESH FOREIGN 的支持

现在可以使用 REFRESH FOREIGN CATALOG、REFRESH FOREIGN SCHEMA 和 REFRESH FOREIGN TABLE 更新 Unity Catalog 中的外部目录、架构和表。 请参阅 REFRESH FOREIGN （CATALOG， SCHEMA和 TABLE） 。

INSERT 按名称

现在当将行插入表中时，可以让 Azure Databricks 按名称自动将源查询中的列和字段映射到表的列。 请参阅 INSERT INTO。

与 Delta Sharing 共享具体化视图

该 ALTER SHARE 语句现在支持具体化视图。

中断性变更

在表中存储行时对使用MERGE INTO和UPDATE进行隐式转换的更改

Azure Databricks 现在遵循在表中存储行时隐式转换的配置 spark.sql.storeAssignmentPolicy。 存储溢出的值时，默认值 ANSI 将引发错误。 以前，值默认存储为 NULL。

如以下示例所示，可以通过重写表，为导致错误的列使用更广泛的类型来解决溢出问题。

-- Enable column mapping
ALTER TABLE MyTable SET TBLPROPERTIES (
    'delta.minReaderVersion' = '2',
    'delta.minWriterVersion' = '5',
    'delta.columnMapping.mode' = 'name'
  )

-- Rename the old column and create a new column with the new type using the old name
ALTER TABLE MyTable RENAME ID to ID_old
ALTER TABLE MyTable ADD COLUMN ID BIGINT

-- Rewrite the entire table
UPDATE MyTable SET ID = ID_old

-- Drop the old column
ALTER TABLE MyTable DROP COLUMN ID_old

Parquet 架构推理更改

从不是以 Spark 编写的 Parquet 文件推理架构时，使用 int64 批注的 isAdjustedToUTC=false 时间戳列现在将默认为 TIMESTAMP_NTZ 类型。 以前，这些列会推理为 TIMESTAMP 类型。 此项更新增强了将 Parquet 类型映射到 Spark SQL 类型的准确度。

因此，如果未启用 timestampNtz 功能，将数据从外部 Parquet 文件读取到 Delta 表中可能会导致错误。 显示的错误如下所示：

Fatal exception of the update:
com.databricks.sql.transaction.tahoe.DeltaTableFeatureException
Your table schema requires manual enablement of the following table feature(s): timestampNtz.

若要维持以前的行为并防止出现此错误，可以将 Spark 配置参数 spark.sql.parquet.inferTimestampNTZ.enabled 设置为 false。

库升级

• 升级了 Python 库：
  • debugpy 已从 1.5.1 升级到 1.6.0
  • distlib 已从 0.3.6 升级到 0.3.7
  • fastjsonschema 已从 2.16.3 升级到 2.18.0
  • filelock 已从 3.12.0 升级到 3.12.2
• 升级了 R 库：
  • SparkR 已从 3.4.0 升级到 3.4.1
• 升级了 Java 库：
  • org.apache.orc.orc-core 已从 1.8.3-shaded-protobuf 升级到 1.8.4-shaded-protobuf
  • org.apache.orc.orc-mapreduce 已从 1.8.3-shaded-protobuf 升级到 1.8.4-shaded-protobuf
  • org.apache.orc.orc-shims 已从 1.8.3 升级到 1.8.4
  • org.eclipse.jetty.jetty-client 已从 9.4.50.v20221201 升级到 9.4.51.v20230217
  • org.eclipse.jetty.jetty-continuation 已从 9.4.50.v20221201 升级到 9.4.51.v20230217
  • org.eclipse.jetty.jetty-http 已从 9.4.50.v20221201 升级到 9.4.51.v20230217
  • org.eclipse.jetty.jetty-io 已从 9.4.50.v20221201 升级到 9.4.51.v20230217
  • org.eclipse.jetty.jetty-jndi 已从 9.4.50.v20221201 升级到 9.4.51.v20230217
  • org.eclipse.jetty.jetty-plus 已从 9.4.50.v20221201 升级到 9.4.51.v20230217
  • org.eclipse.jetty.jetty-proxy 已从 9.4.50.v20221201 升级到 9.4.51.v20230217
  • org.eclipse.jetty.jetty-security 已从 9.4.50.v20221201 升级到 9.4.51.v20230217
  • org.eclipse.jetty.jetty-server 已从 9.4.50.v20221201 升级到 9.4.51.v20230217
  • org.eclipse.jetty.jetty-servlet 已从 9.4.50.v20221201 升级到 9.4.51.v20230217
  • org.eclipse.jetty.jetty-servlets 已从 9.4.50.v20221201 升级到 9.4.51.v20230217
  • org.eclipse.jetty.jetty-util 已从 9.4.50.v20221201 升级到 9.4.51.v20230217
  • org.eclipse.jetty.jetty-util-ajax 已从 9.4.50.v20221201 升级到 9.4.51.v20230217
  • org.eclipse.jetty.jetty-webapp 已从 9.4.50.v20221201 升级到 9.4.51.v20230217
  • org.eclipse.jetty.jetty-xml 已从 9.4.50.v20221201 升级到 9.4.51.v20230217
  • org.eclipse.jetty.websocket.websocket-api 已从 9.4.50.v20221201 升级到 9.4.51.v20230217
  • org.eclipse.jetty.websocket.websocket-client 已从 9.4.50.v20221201 升级到 9.4.51.v20230217
  • org.eclipse.jetty.websocket.websocket-common 已从 9.4.50.v20221201 升级到 9.4.51.v20230217
  • org.eclipse.jetty.websocket.websocket-server 已从 9.4.50.v20221201 升级到 9.4.51.v20230217
  • org.eclipse.jetty.websocket.websocket-servlet 已从 9.4.50.v20221201 升级到 9.4.51.v20230217
  • org.xerial.snappy.snappy-java 已从 1.1.8.4 升级到 1.1.10.1

Apache Spark

Databricks Runtime 13.3 包含 Apache Spark 3.4.1。 此版本包括 Databricks Runtime 13.2 (EoS) 中包含的所有 Spark 修复和改进，以及对 Spark 进行的以下其他缺陷修复和改进：

• 现在可以将群集环境变量 SNOWFLAKE_SPARK_CONNECTOR_VERSION=2.12 设置为使用 Spark-snowflake 连接器 v2.12.0。
• [SPARK-43380] [DBRRM-383] 还原“[SC-133100][sql] 修复 Avro 数据类型转换...
• [SPARK-44504] [Backport][13.2][13.x][13.3] 卸载提供程序，从而在维护任务出错时强制关闭 DB 实例并释放资源
• [SPARK-44059] [SC-137023] 为内置函数添加对命名参数的分析器支持
• [SPARK-44485] [SC-137653][sql] 优化 TreeNode.generateTreeString
• [SPARK-42944] [ SC-137164][ss][PYTHON] Python 中的流式处理 ForeachBatch
• [SPARK-44446] [SC-136994][python] 添加对于预期列表类型特殊情况的校验
• [SPARK-44439] [ SC-136973][connect][SS]修复了listListeners仅将IDs返回给客户端的问题
• [SPARK-44216] [SC-136941] [PYTHON] 公开 assertSchemaEqual API
• [SPARK-44201] [SC-136778][connect][SS]在 Spark Connect 的 Scala 中添加对流式侦听器的支持
• [SPARK-43915] [ SC-134766][sql] 将名称分配给错误类 LEGACY_ERROR_TEMP[2438-2445]
• [SPARK-43798] 恢复“[SC-133990][sql][PYTHON] 支持 Python 自定义表函数”
• [SPARK-44398] [ SC-136720][connect] Scala foreachBatch API
• [SPARK-44476] [ SC-137169][core][CONNECT] 修复 JobArtifactState 的工件填充，针对没有关联工件的情况
• [SPARK-44269] [ SC-135817][sql] 将名称分配给错误类 LEGACY_ERROR_TEMP[2310-2314]
• [SPARK-44395] [ SC-136744][sql] 更新 TVF 参数，要求在关键字后的标识符周围加上括号。
• [SPARK-43915] [ SC-134766][sql] 将名称分配给错误类 LEGACY_ERROR_TEMP[2438-2445]
• [SPARK-43995] [ SC-136794][spark-43996][CONNECT] 向 Connect Scala 客户端添加对 UDFRegistration 的支持
• [SPARK-44109] [ SC-134755][core] 删除每个 RDD 分区的重复首选位置
• [SPARK-44169] [ SC-135497][sql] 将名称分配给错误类 LEGACY_ERROR_TEMP[2300-2304]
• [SPARK-41487] [ SC-135636][sql] 将名称分配给_LEGACY_ERROR_TEMP_1020
• [SPARK-44398] [ SC-136720][connect] Scala foreachBatch API
• [SPARK-44153] [SC-134977][core][UI] 选项卡中的支持Heap Histogram列Executors
• [SPARK-44044] [ SC-135695][ss] 使用流式处理改进窗口函数的错误消息
• [SPARK-43914] [ SC-135414][sql] 将名称分配给错误类 LEGACY_ERROR_TEMP[2433-2437]
• [SPARK-44217] [ SC-136805][python] 允许 fp 近似相等的自定义精度
• [SPARK-44370] [SC-136575][connect] 将 Buf 的远程生成 alpha 迁移到远程插件
• [SPARK-44410] [ SC-136930][python][CONNECT] 在 create 中设置活动会话，而不仅仅是 getOrCreate
• [SPARK-44348] [ SAS-1910][sc-136644][13.X][core][CONNECT][python] 通过相关更改重新实现test_artifact
• [SPARK-44145] [ SC-136698][sql] 执行准备就绪时的回调
• [SPARK-44264] [SC-136870][python][ML] FunctionPickler 类
• [SPARK-43986] [ SC-135623][sql] 为 HyperLogLog 函数调用失败创建错误类
• [SPARK-44139] [ SC-134967][sql] 放弃基于组的 MERGE作中完全向下推送的筛选器
• [SPARK-44338] [SC-136718][sql] 修复视图架构不匹配错误消息
• [SPARK-44208] [ SC-135505][core][SQL] 为直接使用异常的某些逻辑分配明确的错误类名
• [SPARK-44364] [SC-136773] [PYTHON] 添加对预期的 List[Row] 数据类型的支持
• [SPARK-44180] [SC-136792][sql] DistributionAndOrderingUtils 应当应用 ResolveTimeZone
• [SPARK-43389] [ SC-136772][sql] 为 lineSep 选项添加了空值检查
• [SPARK-44388] [ SC-136695][connect] 修复更新 UDF 实例时的 protobuf 转换问题
• [SPARK-44352] [ SC-136373][connect] 在 DataType 中放回 sameType 和好友。
• [SPARK-43975] [ SC-134265][sql] DataSource V2：处理针对组式数据源的命令
• [SPARK-44360] [ SC-136461][sql] 支持在基于Delta的MERGE操作中进行模式修剪
• [SPARK-44138] [ SC-134907][sql] 禁止合并条件中的非确定性表达式、子查询和聚合
• [SPARK-43321] [SC-136678][connect][Followup] 为 Scala Client 的 joinWith 所用 API 提供更好的名称
• [SPARK-44263] [SC-136447][connect] 自定义侦听器支持
• [SPARK-39851] [ SC-123383][sql] 如果一侧可以保持唯一性，请改进联接统计信息估计
• [SPARK-44390] [ SC-136677][core][SQL] 重命名 SparkSerDerseUtils 为 SparkSerDeUtils
• [SPARK-44004] [ SC-134751][sql] 命名并改进常见遗留错误的错误信息。
• [SPARK-44322] [ SC-136204][connect] 使分析器使用 SqlApiConf 而不是 SQLConf。
• [SPARK-44271] [ SC-136347][sql] 将默认值函数从 StructType 移动到 ResolveDefaultColumns
• [SPARK-44332] [ SC-136413][core][WEBUI] 修复执行程序 UI 页上执行程序 ID 列的排序错误
• [SPARK-44282] [SC-135948][connect] 准备用于 Spark Connect Scala 客户端的 DataType 解析
• [SPARK-44349] [SC-136581][r] 向 SparkR 添加数学函数
• [SPARK-44397] [ SC-136647][python] 在 pyspark.testing.utils 模块中开放 assertDataFrameEqual
• [SPARK-42981] [SC-136620][connect] 添加直接箭头序列化
• [SPARK-44373] [ SC-136577][sql] 为数据集API添加活跃的包装，并使用解析逻辑使解析器相关配置生效
• [SPARK-44340] [ SC-136574][sql] 通过 PartitionEvaluator API 定义计算逻辑并将其用于 WindowGroupLimitExec
• [SPARK-43665] [ SC-136573][connect][PS] 启用 PandasSQLStringFormatter.vformat 以使用 Spark Connect
• [SPARK-44325] [ SC-136572][sql] 在 SortMergeJoinExec 中使用 PartitionEvaluator API
• [SPARK-44315] [ SC-136171][sql][CONNECT] 将 DefinedByConstructorParams 移动到 sql/api
• [SPARK-44275] [ SC-136184][connect] 向 Scala Spark Connect 添加可配置的重试机制
• [SPARK-44326] [SC-136208][sql][CONNECT] 将 Scala 客户端中使用的工具移动到公用模块
• [SPARK-43321] [SC-136156][connect] 数据集#Joinwith
• [SPARK-44343] [SC-136372][connect] 为 ScalaReflection 迁移到 SQL/API 做准备
• [SPARK-44313] [ SC-136081][sql] 修复架构中含有 char/varchar 列时生成列表达式的验证问题
• [SPARK-43963] [ SC-134145][sql] DataSource V2：处理基于组的源的 MERGE 命令
• [SPARK-44363] [SC-136433] [PYTHON] 在 DataFrame 比较中显示不相等行的百分比
• [SPARK-44251] [ SC-136432][sql] 在完全外部 USING 连接中正确设置合并的连接键的可为 null 属性
• [SPARK-43948] [ SC-133366][sql] 将名称分配给错误类 LEGACY_ERROR_TEMP[0050|0057|0058|0059]
• [SPARK-44329] [ SC-136326][connect][PYTHON] 向 Scala 和 Python 添加hll_sketch_agg、hll_union_agg、to_varchar、try_aes_decrypt
• [SPARK-44351] [ SC-136353][sql] 进行一些语法简化
• [SPARK-44281] [ SC-135963][sql] 将 DataType 使用的 QueryCompilation 错误作为 DataTypeErrors 移动到 sql/api
• [SPARK-44283] [SC-136109][connect] 将源移动到 SQL/API
• [SPARK-43926] [ SC-135590][connect][PYTHON] 向 Scala 和 Python 添加数组agg、array_size、基数、count_min_sketch、mask、named_struct、json*
• [SPARK-44327] [ SC-136187][sql][CONNECT] 将函数 any 和 len 添加到 Scala
• [SPARK-44290] [ SC-136300][connect] Spark Connect 中基于会话的文件和存档
• [SPARK-44061] [ SC-136299][python] 添加 assertDataFrameEqual util 函数
• [SPARK-44331] [ SC-136324][connect][PYTHON] 向 Scala 和 Python 添加位图函数
• [SPARK-44342] [SC-136334][sql] 在 GenTPCDSData 中将 SQLContext 替换为 SparkSession
• [SPARK-42583] [ SC-124190][sql] 删除外部联接（如果它们都是不同的聚合函数）
• [SPARK-44333] [ SC-136206][connect][SQL] 将 EnhancedLogicalPlan 移出 ParserUtils
• [SPARK-43824] [SC-132655][spark-43825] [SQL] 为错误类别 _LEGACY_ERROR_TEMP_128[1-2] 分配名称
• [SPARK-43939] [ SC-134602][connect][PYTHON] 向 Scala 和 Python 添加 try_* 函数
• [SPARK-44193] [ SC-135886][connect] 实现 GRPC 异常拦截器以进行转换
• [SPARK-44284] [ SC-136107][connect] 为 sql/api 创建简单的 conf 系统
• [SPARK-43913] [ SC-133368][sql] 将名称分配给错误类 LEGACY_ERROR_TEMP[2426-2432]
• [SPARK-44291] 撤销“[SC-135924][spark-43416][CONNECT] 修复范围查询的错误架构”
• [SPARK-44312] [ SC-136185][connect][PYTHON] 允许使用环境变量设置用户代理
• [SPARK-44154] [SC-136060] 实现位图函数
• [SPARK-43885] [ SC-133996][sql] DataSource V2：处理基于Delta的源的 MERGE 命令
• [SPARK-43924] [ SC-135161][connect][PYTHON] 向 Scala 和 Python 添加 misc 函数
• [SPARK-43969] [SC-134556][sql] 重构并给错误类_LEGACY_ERROR_TEMP_1170分配名称
• [SPARK-44185] [ SC-135730][sql] 修复目录和数据操作之间路径限定不一致问题
• [SPARK-44073] [ SC-134562][sql][PYTHON][connect] 向 Scala、Python 和 Connect 添加日期时间函数 - 第 2 部分
• [SPARK-43942] [ SC-134527][connect][PYTHON] 向 Scala 和 Python 添加字符串函数 - 第 1 部分
• [SPARK-44266] [SC-135813][sql] 将 Util.truncatedString 移动到 sql/api
• [SPARK-44195] [ SC-135722][r] 将 JobTag API 添加到 SparkR SparkContext
• [SPARK-44200] [ SC-135736][sql] 支持 TABLE TableValuedFunction 的参数分析器规则
• [SPARK-44254] [ SC-135709][sql] 将 DataType 所使用的 QueryExecutionErrors 移动到 sql/api 中，并命名为 DataTypeErrors
• [SPARK-44291] [ SC-135924][spark-43416][CONNECT] 修复了范围查询的错误架构
• [SPARK-43922] [ SC-135612][sql] 在函数调用分析器中添加命名参数支持
• [SPARK-44300] [ SC-135882][connect] 修复构件清理，将删除范围限制为仅与会话相关的构件
• [SPARK-44293] [ SC-135849][connect] 修复 Spark Connect 中自定义 JAR 的无效 URI
• [SPARK-44215] [SC-135850][shuffle] 如果 num 数据块为 0，则服务器应该抛出 RuntimeException
• [SPARK-44245] [ SC-135851][python] pyspark.sql.dataframe sample() doctests 应仅用于说明
• [SPARK-44274] [ SC-135814][connect] 将 ArtifactManager 使用的 util 函数移出到 common/utils
• [SPARK-44194] [ SC-135815][python][CORE] 将 JobTag API 添加到 PySpark SparkContext
• [SPARK-42828] [ SC-135733][python][SQL] GroupedData 的更显式 Python 类型注释
• [SPARK-44079] [SC-135486][sql] 修复在使用 PERMISSIVE 模式和处理损坏的记录时，将数组解析为结构体的问题ArrayIndexOutOfBoundsException
• [SPARK-44255] [ SC-135809][sql] 将 StorageLevel 重新定位为 common/utils
• [SPARK-42169] [SC-135795] [SQL] 实现 to_csv 函数 (StructsToCsv) 的代码生成
• [SPARK-44249] [ SC-135719][sql][PYTHON] 重构 PythonUDTFRunner 以单独发送其返回类型
• [SPARK-43353] [SC-132734][python] 将剩余会话错误迁移到错误类
• [SPARK-44211] [ SC-135718][python][CONNECT] 实现SparkSession.is_stopped
• [SPARK-42784] [SC-135691] 当合并目录中的子目录数量小于 conf 时，仍应创建子目录
• [SPARK-41599] [SC-135616] 使用 InProcessLauncher 将应用提交到安全群集时，FileSystem.CACHE 内存泄漏
• [SPARK-44241] [ SC-135613][core] 错误地将 io.connectionTimeout/connectionCreationTimeout 设置为零或负数值将导致执行程序的连续创建与销毁。
• [SPARK-44133] [ SC-134795][13.x][PYTHON] 将 MyPy 从 0.920 升级到 0.982
• [SPARK-42941] [ SC-134707][ss][CONNECT][1/2] StreamingQueryListener - JSON 格式的事件 Serde
• [SPARK-44188] [SC-135173][core] 删除无用 resetAllPartitions 方法在 ActiveJob
• [SPARK-43757] [ SC-135418][connect] 将客户端兼容性从允许列表更改为拒绝列表
• [SPARK-43474] [SC-135521] [SS] [CONNECT] 通过 ID 将 spark connect 访问添加到运行时数据帧。
• [SPARK-44183][SC-135209][python] 增加最低版本号至 4.0.0
• [SPARK-44248] [ SC-135554][ss][SQL][kafka] 在 kafka 源 v2 中添加首选位置
• [SPARK-43929] [ SC-134510][sql][PYTHON][connect] 向 Scala、Python 和 Connect API 添加日期时间函数 - 第 1 部分
• [SPARK-44161] [SC-135326][connect] 处理 UDF 的行数据输入
• [SPARK-44227] [SC-135520][sql] 将 SchemaUtils 从 StructField 中提取出来
• [SPARK-44064] [ SC-135116][core][SQL] 将新 apply 函数添加到 NonFateSharingCache
• [SPARK-44171] [ SC-135269][sql] 将名称分配给错误类 LEGACY_ERROR_TEMP[2279-2282] 并删除一些未使用的错误类
• [SPARK-44056] [ SC-134758][sql] 在 UDF 执行失败错误消息中包括 UDF 名称（如果可用）
• [SPARK-44205] [ SC-135422][sql] 从 DecimalType 中提取催化剂代码
• [SPARK-44220] [ SC-135484][sql] 将 StringConcat 移动到 sql/api
• [SPARK-44146] [ SC-135230][connect] 隔离 Spark Connect 会话 jar 和类文件
• [SPARK-44206] [ SC-135411][sql] DataSet.selectExpr scope Session.active
• [SPARK-40850] [ SC-135417][sql] 修复测试用例中被解释的查询可能会调用代码生成
• [SPARK-44204] [SC-135253][sql][HIVE] 为 getPartitionNames 添加缺少的 recordHiveCall
• [SPARK-44237] [SC-135485][core] 简化 DirectByteBuffer 构造函数的查找逻辑
• [SPARK-44189] [SC-135170][connect][PYTHON] 支持位置参数 sql()
• [SPARK-44140] [ SC-134893][sql][PYTHON] 支持 Python 中的位置参数 sql()
• [SPARK-44164] [ SC-135158][sql] 将 StructField 中的 toAttribute 方法提取到 Util 类中
• [SPARK-44178] [ SC-135113][connect] 支持位置参数 sql()
• [SPARK-43208] [SC-128955][sql][HIVE] IsolatedClassLoader 在读取后应关闭屏障类的 InputStream
• [SPARK-43063] [ SC-128382][sql] df.show 句柄 null 应打印 NULL 而不是 null
• [SPARK-42539] [ SC-124464][sql][HIVE] 在元数据客户端使用“builtin”Hive 版本时消除单独的类加载程序
• [SPARK-43992] [ SC-133645][sql][PYTHON][connect] 为 Catalog.listFunctions 添加可选模式
• [SPARK-44066] [ SC-134878][sql] 支持 Scala/Java 中的位置参数 sql()
• [SPARK-44078] [ SC-134869][connect][CORE] 添加对类加载器/资源隔离的支持
• [SPARK-43470] [ SC-135187][core] 将 OS、Java、Python 版本信息添加到应用程序日志
• [SPARK-43136] [ SC-135238][connect][后续] 添加对 KeyAs 的测试
• [SPARK-39740] [ SC-135093][ui]：将 vis timeline 升级到 7.7.2 以修复 CVE-2020-28487
• [SPARK-42298] [ SC-133952][sql] 为_LEGACY_ERROR_TEMP_2132 分配名称
• [SPARK-43961] [ SC-133459][sql][PYTHON][connect] 为 Catalog.listTables 添加可选模式
• [SPARK-44026] [SC-135181] 允许为 SQLMetrics 提供初始值
• [SPARK-44202] [ SC-135244][core] 将 JobTag API 添加到 JavaSparkContext
• [SPARK-44030] [ SC-135237][sql] 实现 DataTypeExpression，以实现对表达式的非应用功能
• [SPARK-43876] 还原“[SC-134603][sql] 为非重复查询启用快速哈希映射”
• [SPARK-40082] [SC-126437] 当推送合并 shuffleMapStage 重试但没有运行任务时计划 mergeFinalize
• [SPARK-43888] [SC-132893][core] 将日志记录重新定位到 common/utils
• [SPARK-43474] [SC-134400] [SS] [CONNECT] 将 SessionHolder 添加到 SparkConnectPlanner
• [SPARK-43944] [ SC-134490][connect][PYTHON] 向 Scala 和 Python 添加字符串函数 - 第 2 部分
• [SPARK-44134] [ SC-134954][core] 修复了在 spark-defaults.conf 中设置资源（GPU/FPGA）时，将资源错误地设为 0 的问题
• [SPARK-44142] [SC-134947][python] 在实用工具中将 type 替换为 tpe，以便将 python 类型转换为 spark 类型
• [SPARK-43952] [ SC-134695][core][CONNECT][sql] 添加 SparkContext API 以按标记取消查询
• [SPARK-44000] [ SC-133634][sql] 添加提示以禁用广播和复制联接的一端
• [SPARK-43937] [SC-134362 ][connect][PYTHON] 添加 ifnull，isnotnull，equal_null，nullif，nvl，nvl2 到 Scala 和 Python
• [SPARK-43624] [13.x][sc-134557][PS][connect] 将EWM添加到SparkConnectPlanner。
• [SPARK-44040] [ SC-134366][sql] 修复当 AggregateExec 节点位于 QueryStageExec 之上时的计算统计信息问题。
• [SPARK-43485] [SC-131264][sql] 修复 datetime add/diff 函数的参数的错误消息unit
• [SPARK-43794] [SC-132561][sql] 为错误类 _LEGACY_ERROR_TEMP_1335 分配一个名称
• [SPARK-43511] [SC-134749][connect][SS]实现了 Spark Connect 的 MapGroupsWithState 和 FlatMapGroupsWithState API
• [SPARK-43529] [SQL] 支持 CREATE/REPLACE OPTIONS 表达式 + 代码优化整理
• [SPARK-44106] [SC-134750][python][CONNECT] 添加__repr__GroupedData
• [SPARK-42299] [SC-133190] 将名称分配到 _LEGACY_ERROR_TEMP_2206
• [SPARK-43290] [ SC-134388][sql] 添加了对 aes_encrypt IV 和 AAD 的支持
• [SPARK-43932] [ SC-134138][sql][PYTHON][connect] 向 Scala 和 Python 添加 current 类似函数
• [SPARK-43934] [ SC-134108][sql][PYTHON][connect] 向 Scala 和 Python 添加 regexp_* 函数
• [SPARK-44107] [SC-134746][connect][PYTHON] 在自动完成时隐藏不支持的列方法
• [SPARK-42941] [ SC-134707][ss][CONNECT][1/2] StreamingQueryListener - JSON 格式的事件 Serde
• [SPARK-43773] [ SC-132659][connect][PYTHON] 在 python 客户端中实现“levenshtein（str1， str2[， threshold]）”函数
• [SPARK-44125] [ SC-134745][r] 在 SparkR 中支持 Java 21
• [SPARK-43919] [ SC-133374][sql] 从行中提取 JSON 功能
• [SPARK-43769] [SC-132520][connect] 实现'levenshtein(str1, str2[, threshold])'函数
• [SPARK-44012] [SC-134662][ss] KafkaDataConsumer 输出一些读取状态信息
• [SPARK-43876] [ SC-134603][sql] 为非重复查询启用快速哈希映射
• [SPARK-44024] [SC-134497][sql] 更改为使用map仅在unzip用于提取单个元素时
• [SPARK-43928] [ SC-134467][sql][PYTHON][connect] 向 Scala、Python 和 Connect API 添加位操作
• [SPARK-44092] [SC-134506][core] 使用 Java 21 添加 Utils.isJavaVersionAtLeast21 并使 core 模块通过测试
• [SPARK-44018] [ SC-134512][sql] 改进某些 DS V2 表达式的 hashCode 和 toString
• [SPARK-44105] [SC-134582][sql] LastNonNull 应采用惰性解析
• [SPARK-44081] [SC-134434] 稍微简化 PartitionedFileUtil API
• [SPARK-43791] [SC-132531][sql] 为错误类_LEGACY_ERROR_TEMP_1336分配一个名称
• [SPARK-44071] [SC-134435] 定义并使用未解析的 Unresolved[Leaf|Unary]Node 特征。
• [SPARK-43852][SC-132890][spark-43853][SPARK-43854][spark-43855][SPARK-43856] 将名称分配给错误类 _LEGACY_ERROR_TEMP_2418-2425
• [SPARK-43742] [ SC-132684][sql] 重构默认列值解析
• [SPARK-43493] [SC-132063 ][sql] 向 levenshtein（） 函数添加最大距离参数
• [SPARK-44075] [SC-134382][connect] 使 transformStatCorr 惰性
• [SPARK-43925] [ SC-134381][sql][PYTHON][connect] 将 some、bool_or、bool_and 和 every 添加到 Scala、Python 和 Connect
• [SPARK-43931] [ SC-134158][sql][PYTHON][connect] 向 Scala 和 Python 添加 make_* 函数
• [SPARK-43762] [SC-132602][spark-43763][SPARK-43764][spark-43765][SPARK-43766][sql] 将名称分配给错误类_LEGACY_ERROR_TEMP_24[06-10]
• [SPARK-43962] [SC-133367][sql] 改进错误消息：CANNOT_DECODE_URL、、CANNOT_MERGE_INCOMPATIBLE_DATA_TYPECANNOT_PARSE_DECIMAL、CANNOT_READ_FILE_FOOTER、 。 CANNOT_RECOGNIZE_HIVE_TYPE
• [SPARK-43938] [ SC-133887][connect][PYTHON] 向 Scala 和 Python 添加 to_* 函数
• [SPARK-44055] [SC-134321][core] 删除冗余函数override 来自CheckpointRDD
• [SPARK-43802] [ SC-132597][sql] 修复用于 unhex 和 unbase64 且 failOnError=true 的 codegen
• [SPARK-43798] [ SC-133990][sql][PYTHON] 支持 Python 用户定义的表函数
• [SPARK-43941] [ SC-134286][sql][PYTHON][connect] 添加 any_value、approx_percentile、count_if、first_value、histogram_numeric、last_value、reduce 到 Scala、Python 和 Connect API
• [SPARK-43380] [ SC-133100][sql] 修复 Avro 数据类型转换问题，以避免产生不正确的结果
• [SPARK-43803] [SC-133729] [SS] [CONNECT] 改进 awaitTermination() 以处理客户端断开连接
• [SPARK-43179] [SC-129070][shuffle] 允许应用程序决定其元数据是否由外部洗牌服务保存在数据库中

Databricks ODBC/JDBC 驱动程序支持

Databricks 支持过去 2 年发布的 ODBC/JDBC 驱动程序。 请下载最近发布的驱动程序并升级（下载 ODBC，下载 JDBC）。

请参阅 Databricks Runtime 13.3 维护更新。

系统环境

• 操作系统：Ubuntu 22.04.2 LTS
  • 注意：这是 Databricks Runtime 容器使用的 Ubuntu 版本。 DBR 容器在云提供程序的虚拟机上运行，该虚拟机可能使用不同的 Ubuntu 版本或 Linux 分发版。
• Java：Zulu 8.70.0.23-CA-linux64
• Scala：2.12.15
• Python：3.10.12
• R：4.2.2
• Delta Lake：2.4.0

已安装的 Python 库

已安装的 R 库

R 库通过 2023-02-10 的 Posit 包管理器 CRAN 快照安装：https://packagemanager.posit.co/cran/__linux__/jammy/2023-02-10/

已安装的 Java 库和 Scala 库（Scala 2.12 群集版本）