Databricks Runtime 15.3 （EoS）

以下发行说明提供了由 Apache Spark 3.5.0 提供支持的 Databricks Runtime 15.3 的相关信息。

Databricks 于 2024 年 6 月发布此版本。

新功能和改进

PySpark DataSources 现在支持流读取和写入

PySpark DataSources 允许从自定义数据源读取数据以及将数据写入自定义数据接收器，现在支持流读取和写入。 请参阅 PySpark 自定义数据源。

使用删除功能禁用列映射

现在可以使用 DROP FEATURE 禁用 Delta 表上的列映射并降级表协议。 请参阅禁用列映射。

公共预览版中的变体类型语法和函数

在 Spark DataFrames 和 SQL 中，Apache Spark 现在原生支持将半结构化数据作为 VARIANT 类型使用。 请参阅查询变体数据。

公共预览版中对 Delta Lake 的变体类型支持

现在可以使用 VARIANT 在 Delta Lake 支持的表中存储半结构化数据。 请参阅 Delta Lake 中的变体支持。

支持视图中不同的架构演变模式

CREATE VIEW 和 ALTER VIEW 现在允许你设置一个架构绑定模式，从而改进视图处理基础对象中的架构变更的方式。 此功能使视图能够容忍或适应基础对象中的架构更改。 它解决了查询架构中因对对象定义所做的修改而引起的更改。

在 Spark Connect Scala 客户端中新增了对 observe() 方法的支持

Spark Connect Scala 客户端现在支持 Dataset.observe() 方法。 通过对这些方法的支持，你可以使用 Dataset 或 ds.observe("name", metrics...) 方法定义在 ds.observe(observationObject, metrics...) 对象上观察的指标。

改进了 Auto Loader 的数据流重启延迟

此版本包含一项改进 Auto Loader 的流重启延迟的更改。 此改进是通过使 RocksDB 状态存储的状态加载变为异步来实现的。 通过此更改，你应会看到具有较大状态的流的开始时间有所改进，例如，具有大量已引入文件的流。

以 pyarrow.Table 的形式返回 DataFrame

为了支持将 DataFrame 直接写入 Apache Arrow pyarrow.Table 对象，此版本包括 DataFrame.toArrow() 函数。 若要了解有关使用 PySpark 中的 Arrow 的详细信息，请参阅 PySpark 中的 Apache Arrow。

某些窗口函数的性能改进

此版本包括改进某些 Spark 窗口函数的性能的更改，特别是不包含 ORDER BY 子句或 window_frame 参数的函数。 在这些情况下，系统可以重写查询，以使用聚合函数运行查询。 此更改允许查询使用部分聚合更快地运行，并避免运行窗口函数的开销。 Spark 配置参数 spark.databricks.optimizer.replaceWindowsWithAggregates.enabled 控制此优化，默认情况下设置为 true。 若要关闭此优化，请将 spark.databricks.optimizer.replaceWindowsWithAggregates.enabled 设置为 false。

添加了对 try_mod 函数的支持

此版本添加了对 PySpark try_mod() 函数的支持。 此函数支持在符合 ANSI SQL 的情况下，通过除两个数值计算整数余数。 如果除数参数为 0，则 try_mod() 函数返回 null，而不是引发异常。 可使用 try_mod() 函数，而不是 mod 或 %（如果除数参数为 0 且启用了 ANSI SQL，它们会引发异常）。

list_secrets() 中的可选范围参数支持

使用此版本可以将 list_secrets() 表函数的结果限制在特定范围内。

故障修复

Spark UI 中的 WriteIntoDeltaCommand 指标现在会正确显示

此版本包含一项对 Execute WriteIntoDeltaCommand 节点的 Spark UI 的 SQL 选项卡中显示的指标的修复。 以前，此节点显示的指标全部为零。

Pandas API 中的 groupby() 函数忽略了 as_index=False 参数

此版本包含了对 Spark 上的 Pandas API 的 groupby() 函数问题的修复。 在此修补程序之前，使用 groupby() 进行聚合时，如果重新标记聚合列并使用 as_index=False 参数，则生成的 DataFrame 不会包含分组键。

多个窗口函数之间相互引用输出时的解析错误

此版本修复了 Spark 查询具有多个连续窗口函数时（此情况下，窗口函数引用来自其他窗口函数的输出）可能出现的问题。 在极少数情况下，系统可能会删除其中一个引用，从而导致评估查询时出错。 此修补程序会投影这些引用，以确保查询评估。 此更改由 Spark 配置参数 spark.databricks.optimizer.collapseWindows.projectReferences（默认设置为 true）控制。 若要关闭此更改，请将 spark.databricks.optimizer.collapseWindows.projectReferences 设置为 false。

图书馆升级

• 升级后的 Python 库：
  • filelock 从 3.13.1 到 3.13.4
• 升级后的 R 库：
• 升级后的 Java 库：
  • org.rocksdb.rocksdbjni 已从 8.3.2 升级到 8.11.4

Apache Spark

Databricks Runtime 15.3 包含 Apache Spark 3.5.0。 此版本包括 Databricks Runtime 15.2 （EoS）中包含的所有 Spark 修复和改进，以及对 Spark 进行了以下其他 bug 修复和改进：

• [SPARK-48211] [ DBRRM-1041][15.x][15.3] 回滚“[SC-165552][sql] DB2：将 SMALLINT 读取为 Sho...”
• [SPARK-47904] [DBRRM-1040][behave-33][SC-163409] 还原 SPARK-47904：使用 enableStableIdentifiersForUnionType 时，在 Avro 架构中保留大小写
• [SPARK-48288] [SC-166141] 为连接器的转换表达式添加源数据类型
• [SPARK-48175] [SC-166341][sql][PYTHON] 在元数据中存储排序规则信息，而不是在 SER/DE 中的类型中存储。
• [SPARK-48172] [ SC-166078][sql] 修复 JDBCDialects 中的转义问题
• [SPARK-48186] [ SC-165544][sql] 添加对 AbstractMapType 的支持
• [SPARK-48031] [SC-166523] 祖父对 BINDING 的旧视图SCHEMA
• [SPARK-48369] [ SC-166566][sql][PYTHON][connect] 添加函数 timestamp_add
• [SPARK-48330] [ SC-166458][ss][PYTHON] 修复了 Python 流数据源因触发间隔过大导致的超时问题
• [SPARK-48369] 还原“[SC-166494][sql][PYTHON][connect] 添加函数 timestamp_add”
• [SPARK-48336] [SC-166495][ps][CONNECT] 在 Spark Connect 中实现ps.sql
• [SPARK-48369] [ SC-166494][sql][PYTHON][connect] 添加函数 timestamp_add
• [SPARK-47354] [SC-165546][sql] 添加对变体表达式的排序规则支持
• [SPARK-48161] [ SC-165325][sql] 修复已被还原的 PR - 为 JSON 表达式添加排序规则支持
• [SPARK-48031] [ SC-166391] 分解 viewSchemaMode 配置，添加 SHOW CREATE TABLE 支持
• [SPARK-48268] [ SC-166217][core] 为 SparkContext.setCheckpointDir 添加配置
• [SPARK-48312] [ES-1076198][sql] 改进 Alias.removeNonInheritableMetadata 性能
• [SPARK-48294] [SC-166205][sql] 处理 nestedTypeMissingElementTypeError 中的小写问题
• [SPARK-47254] [SC-158847][sql] 将名称分配给错误类_LEGACY_ERROR_TEMP_325[1-9]
• [SPARK-47255] [ SC-158749][sql] 将名称分配给错误类_LEGACY_ERROR_TEMP_323[6-7] 和 _LEGACY_ERROR_TEMP_324[7-9]
• [SPARK-48310] [ SC-166239][python][CONNECT] 缓存的属性必须返回副本
• [SPARK-48308] [ SC-166152][core] 在 FileSourceStrategy 中统一获取没有分区列的数据架构
• [SPARK-48301] [SC-166143][sql] 重命名 CREATE_FUNC_WITH_IF_NOT_EXISTS_AND_REPLACE 为 CREATE_ROUTINE_WITH_IF_NOT_EXISTS_AND_REPLACE
• [SPARK-48287] [ SC-166139][ps][CONNECT] 应用内置 timestamp_diff 方法
• [SPARK-47607] [SC-166129] 添加结构化记录框架的文档
• [SPARK-48297] [ SC-166136][sql] 修复具有 char/varchar 的回归 TRANSFORM 子句
• [SPARK-47045] [SC-156808][sql] 将IllegalArgumentException替换为SparkIllegalArgumentException在sql/api中
• [SPARK-46991] [ SC-156399][sql] 在catalyst中将IllegalArgumentException替换为SparkIllegalArgumentException
• [SPARK-48031] [SC-165805][sql] 支持视图架构演变
• [SPARK-48276] [SC-166116][python][CONNECT] 添加缺少的 SQLExpression 方法
• [SPARK-48278] [ SC-166071][python][CONNECT] 优化字符串表示形式 Cast
• [SPARK-48272] [SC-166069][sql][PYTHON][connect] 添加函数 timestamp_diff
• [SPARK-47798] [SC-162492][sql] 增强关于读取失败的小数值的错误信息
• [SPARK-47158] [ SC-158078][sql] 分配正确的名称和 sqlState 到 _LEGACY_ERROR_TEMP_(2134|2231)
• [SPARK-48218] [SC-166082][core] TransportClientFactory.createClient 可能会出现NPE，从而导致 FetchFailedException
• [SPARK-48277] [SC-166066] 改进 ErrorClassesJsonReader.getErrorMessage 的错误消息
• [SPARK-47545] [SC-165444][connect] Scala 客户端的数据集observe 的支持
• [SPARK-48954] [SC-171672][sql] 添加 try_mod 函数
• [SPARK-43258] [SC-158151][sql] 将名称分配给错误_LEGACY_ERROR_TEMP_202[3,5]
• [SPARK-48267] [ SC-165903][ss] 回归 e2e 测试与 SPARK-47305
• [SPARK-48263] [SC-165925] 对非 UTF8_BINARY 字符串的排序规则函数支持
• [SPARK-48260] [ SC-165883][sql] 在 ParquetIOSuite 的一个测试中禁用输出提交器协调
• [SPARK-47834] [SC-165645][sql][CONNECT] 在SQLImplicits中用@deprecated标记已弃用的函数
• [SPARK-48011] [ SC-164061][core] 将 LogKey 名称存储为值以避免生成新的字符串实例
• [SPARK-48074] [SC-164647][core] 提高 JSON 日志记录的可读性
• [SPARK-44953] [SC-165866][core] 当启用洗牌跟踪时，与其他 DA 支持的机制一起启用时，记录一条警告信息。
• [SPARK-48266] [ SC-165897][connect] 将包对象 org.apache.spark.sql.connect.dsl 移动到测试目录
• [SPARK-47847] [SC-165651][core] 弃用 spark.network.remoteReadNioBufferConversion
• [SPARK-48171] [ SC-165178][core] 清理已弃用的构造函数的使用 o.rocksdb.Logger
• [SPARK-48235] [ SC-165669][sql] 直接传递联接而不是所有参数以获取BroadcastBuildSide 和 getShuffleHashJoinBuildSide
• [SPARK-48224] [ SC-165648][sql] 禁止映射键为变体类型
• [SPARK-48248] [ SC-165791][python] 修复嵌套数组以尊重 inferArrayTypeFromFirstElement 的旧版配置
• [SPARK-47409] [ SC-165568][sql] 添加对 StringTrim 类型的函数/表达式排序规则的支持（对于 UTF8_BINARY 和 LCASE）
• [SPARK-48143] [ ES-1095638][sql] 对 UnivocityParser 和 FailureSafeParser 之间的控制流使用轻型异常
• [SPARK-48146] [SC-165668][sql] 修复在 With 表达式的子断言中使用的聚合函数
• [SPARK-48161] 还原“[SC-165325][sql] 为 JSON 表达式添加排序规则支持”
• [SPARK-47963] [CORE] 使外部 Spark 生态系统可以使用结构化日志记录机制
• [SPARK-48180] [ SC-165632][sql] 改进在 UDTF 调用中，当 TABLE 参数忘记在多个 PARTITION/ORDER BY 表达式周围加括号时的错误提示。
• [SPARK-48002] [ SC-164132][python][SS] 在 PySpark 的 StreamingQueryListener 中增加测试以观察指标
• [SPARK-47421] [SC-165548][sql] 添加对 URL 表达式的排序规则支持
• [SPARK-48161] [SC-165325][sql] 添加对 JSON 表达式的排序规则支持
• [SPARK-47359] [ SC-164328][sql] 支持 TRANSLATE 函数来处理已整理字符串
• [SPARK-47365] [ SC-165643][python] 将 toArrow（） DataFrame 方法添加到 PySpark
• [SPARK-48228] [ SC-165649][python][CONNECT] 在 ApplyInXXX 中实现缺少的函数验证
• [SPARK-47986] [ SC-165549][connect][PYTHON] 在服务器关闭默认会话时无法创建新会话
• [SPARK-47963] 还原“[CORE] 使外部 Spark 生态系统可以使用结构化日志记录机制”
• [SPARK-47963] [CORE] 使外部 Spark 生态系统可以使用结构化日志记录机制
• [SPARK-48208] [ SC-165547][ss] 如果启用了有限内存使用量，则跳过从 RocksDB 提供内存使用情况指标
• [SPARK-47566] [ SC-164314][sql] 支持 SubstringIndex 函数来处理已排序字符串
• [SPARK-47589] [ SC-162127][sql]Hive-Thriftserver：将含变量的 logError 迁移到结构化日志框架
• [SPARK-48205] [ SC-165501][python] 删除 Python 数据源的 private[sql] 修饰符
• [SPARK-48173] [ SC-165181][sql] CheckAnalysis 应看到整个查询计划
• [SPARK-48197] [ SC-165520][sql] 避免无效 lambda 函数的断言错误
• [SPARK-47318] [ SC-162573][core] 将 HKDF 轮次添加到 AuthEngine 密钥派生中，以便遵循标准密钥交换（KEX）做法。
• [SPARK-48184] [SC-165335][python][CONNECT] 始终在客户端设置Dataframe.sample的种子
• [SPARK-48128] [ SC-165004][sql] 对于 BitwiseCount / bit_count 表达式，修复布尔类型输入的代码生成语法错误
• [SPARK-48147] [ SC-165144][ss][CONNECT] 删除本地 Spark 会话时删除客户端侦听器
• [SPARK-48045] [SC-165299][python] Pandas API 中的 groupby 在使用多重聚合重命名时忽略 as_index=False
• [SPARK-48191] [ SC-165323][sql] 支持用于字符串编码和解码的 UTF-32
• [SPARK-45352] [ SC-137627][sql] 消除可折叠窗口分区
• [SPARK-47297] [ SC-165179][sql] 添加对格式表达式的排序规则支持
• [SPARK-47267] [SC-165170][sql] 添加对哈希表达式的字符排序规则支持
• [SPARK-47965] [SC-163822][core] 避免在 TypedConfigBuilder 和 OptionalConfigEntry 中使用 orNull
• [SPARK-48166] [SQL] 避免在 VariantExpressionEvalUtils 中使用 BadRecordException 作为面向用户的错误
• [SPARK-48105] [ SC-165132][ss] 修复状态存储卸载和快照之间的竞争状况
• [SPARK-47922] [ SC-163997][sql] 实现try_parse_json表达式
• [SPARK-47719] [SC-161909][sql] 更改 spark.sql.legacy.timeParse...
• [SPARK-48035] [ SC-165136][sql] 修复try_add/try_multiply操作语义上等同于加法/乘法的问题
• [SPARK-48107] [SC-164878][python] 从 Python 分发中排除测试
• [SPARK-46894] [ SC-164447][python] 将 PySpark 错误条件移动到独立 JSON 文件中
• [SPARK-47583] [ SC-163825][core] SQL 核心：将带变量的 logError 迁移到结构化日志记录框架
• [SPARK-48064] 还原“[SC-164697][sql] 更新例程相关错误类的错误消息”
• [SPARK-48048] [ SC-164846][connect][SS] 添加了对 Scala 的客户端监听器支持
• [SPARK-48064] [SC-164697][sql] 更新例程相关错误类的错误消息
• [SPARK-48056] [ SC-164715][connect][PYTHON] 如果引发SESSION_NOT_FOUND错误且未收到部分响应，则重新执行计划
• [SPARK-48124] [ SC-165009][core] 默认情况下禁用 Connect-Repl 的结构化日志记录
• [SPARK-47922] 还原“[SC-163997][sql] 实现try_parse_json表达式”
• [SPARK-48065] [ SC-164817][sql] SPJ： allowJoinKeysSubsetOfPartitionKeys 太严格
• [SPARK-48114] [ SC-164956][core] 预编译模板正则表达式以避免不必要的工作
• [SPARK-48067] [SC-164773][sql] 修复变体默认列
• [SPARK-47922] [ SC-163997][sql] 实现try_parse_json表达式
• [SPARK-48075] [SC-164709][SS] 添加 PySpark avro 函数的类型检查
• [SPARK-47793] [ SC-164324][ss][PYTHON] 为 Python 流数据源实现 SimpleDataSourceStreamReader
• [SPARK-48081] [SC-164719] 修复 NTile.checkInputDataTypes() 中的 ClassCastException（如果参数不可折叠或类型错误）
• [SPARK-48102] [ SC-164853][ss] 在报告流式查询进展时跟踪获取源/汇指标的持续时间
• [SPARK-47671] [ SC-164854][core] 在 log4j2.properties.template 中启用结构化日志记录并更新文档
• [SPARK-47904] [ SC-163409][sql] 使用 enableStableIdentifiersForUnionType 时，在 Avro 架构中保留大小写
• [SPARK-48058] [ SC-164695][spark-43727][PYTHON][connect] UserDefinedFunction.returnType 分析 DDL 字符串
• [SPARK-46922] [ SC-156102][core][SQL] 不要包装运行时面向用户的错误
• [SPARK-48047] [ SC-164576][sql] 降低空 TreeNode 标记的内存压力
• [SPARK-47934] [SC-164648][CORE] 确保在 HistoryServer URL 重定向中使用尾随斜杠
• [SPARK-47921] [SC-163826][connect] 修复 ExecuteHolder 中 ExecuteJobTag 的创建
• [SPARK-48014] [ SC-164150][sql] 将 EvaluatePython 中的 makeFromJava 错误更改为面向用户的错误
• [SPARK-47903] [ SC-163424][python] 在 PySpark Variant 库中添加对剩余标量类型的支持
• [SPARK-48068] [SC-164579][python] mypy 应具有 --python-executable 参数
• [SPARK-47846] [ SC-163074][sql] 在 from_json 表达式中添加对 Variant 类型的支持
• [SPARK-48050] [ SC-164322][ss] 查询开始时记录逻辑计划
• [SPARK-47810] [SC-163076][sql] 将等效表达式<替换为联接条件中的 =>
• [SPARK-47741] [SC-164290] 在分析器中添加了堆栈溢出处理
• [SPARK-48053] [ SC-164309][python][CONNECT] SparkSession.createDataFrame 应针对不支持的选项发出警告
• [SPARK-47939] [ SC-164171][sql] 实现新的分析器规则，在 ExplainCommand 和 DescribeQueryCommand 内移动 ParameterizedQuery
• [SPARK-48063] [SC-164432][core] 默认情况下启用spark.stage.ignoreDecommissionFetchFailure
• [SPARK-48016] [SC-164280][sql] 修复了 try_divide 函数在使用十进制时存在的 bug
• [SPARK-48033] [ SC-164291][sql] 修复 RuntimeReplaceable 在默认列中使用的表达式
• [SPARK-48010] [ SC-164051][sql][ES-1109148] 避免在 resolveExpression 中重复调用 conf.resolver
• [SPARK-48003] [ SC-164323][sql] 为 hll 概略图聚合添加排序规则的支持
• [SPARK-47994] [ SC-164175][sql] 修复了 SQLServer 中 CASE WHEN 列筛选器下推的问题
• [SPARK-47984] [ SC-163837][ml][SQL] 更改为 MetricsAggregate/V2Aggregator#serialize/deserialize 调用 SparkSerDeUtils#serialize/deserialize
• [SPARK-48042] [ SC-164202][sql] 在类层级使用带有时区的时间戳格式化程序，而不是在方法级别创建副本
• [SPARK-47596] [SPARK-47600 ][spark-47604][SPARK-47804] 结构化日志迁移
• [SPARK-47594] [SPARK-47590 ][spark-47588][SPARK-47584] 结构化日志迁移
• [SPARK-47567] [ SC-164172][sql] 支持 LOCATE 函数处理排序规则字符串
• [SPARK-47764] [ SC-163820][core][SQL] 基于 ShuffleCleanupMode 清理洗牌依赖项
• [SPARK-48039] [ SC-164174][python][CONNECT] 更新错误类 group.apply
• [SPARK-47414] [ SC-163831][sql] 对正则表达式的小写排序规则支持
• [SPARK-47418] [SC-163818][sql] 为支持小写和 Unicode 感知的 contains、startsWith 和 endsWith 函数增加手动实现，并优化 UTF8_BINARY_LCASE
• [SPARK-47580] [ SC-163834][sql] SQL 催化剂：消除错误日志中的未命名变量
• [SPARK-47351] [ SC-164008][sql] 为 StringToMap 和 Mask 字符串表达式添加字符编码排序的支持
• [SPARK-47292] [ SC-164151][ss] safeMapToJValue 应考虑具有 null 的类型值
• [SPARK-47476] [ SC-164014][sql] 支持 REPLACE 函数来处理已排序的字符串
• [SPARK-47408] [SC-164104][sql] 修复使用 StringType 的 mathExpressions
• [SPARK-47350] [ SC-164006][sql] 为 SplitPart 字符串表达式添加排序规则功能
• [SPARK-47692] [ SC-163819][sql] 修复隐式转换中的默认 StringType 含义
• [SPARK-47094] [SC-161957][sql] SPJ：当存储桶数量不相等时动态调整以重新平衡桶数
• [SPARK-48001] [SC-164000][core] 从中删除未 private implicit def arrayToArrayWritable 使用的 SparkContext
• [SPARK-47986] [ SC-163999][connect][PYTHON] 无法在服务器关闭默认会话时创建新会话
• [SPARK-48019] [SC-164121] 使用字典和 null 修复 ColumnVector/ColumnarArray 中的错误行为
• [SPARK-47743] [ SPARK-47592][spark-47589][SPARK-47581][spark-47586][SPARK-47593][spark-47595][SPARK-47587][spark-47603] 结构化日志迁移
• [SPARK-47999] [ SC-163998][ss] 改进了关于快照创建以及在 HDFS 支持的状态存储提供程序中状态缓存映射添加和移除条目的日志记录。
• [SPARK-47417] [SC-162872][sql] 字符排序规则支持：Ascii、Chr、Base64、UnBase64、Decode、StringDecode、Encode、ToBinary、FormatNumber、Sentences
• [SPARK-47712] [ SC-161871][connect] 允许连接插件创建和处理数据集
• [SPARK-47411] [ SC-163351][sql] 支持 StringInstr 和 FindInSet 函数来处理整理字符串
• [SPARK-47360] [ SC-163014][sql] 排序规则支持：覆盖、FormatString、Length、BitLength、OctetLength、SoundEx、Luhncheck
• [SPARK-47413] [ SC-163323][sql] - 为排序规则添加对 substr/left/right 的支持
• [SPARK-47983] [ SC-163835][sql] 将 spark.sql.pyspark.legacy.inferArrayTypeFromFirstElement.enabled 降级为内部使用
• [SPARK-47964] [ SC-163816][python][CONNECT] 在 pyspark-connect 中隐藏 SQLContext 和 HiveContext
• [SPARK-47985] [SC-163841][python] 简化函数 lit
• [SPARK-47633] [ SC-163453][sql] 包括右侧计划输出， LateralJoin#allAttributes 以便实现更一致的规范化
• [SPARK-47909] 恢复“[PYTHON][connect] 父数据帧类 f...
• [SPARK-47767] [ SC-163096][sql] 显示 TakeOrderedAndProjectExec 中的偏移值
• [SPARK-47822] [SC-162968][sql] 禁止哈希表达式对变体数据类型进行哈希处理
• [SPARK-47490] [ SC-160494][ss] 修复 RocksDB 日志器构造函数的使用，以避免弃用警告
• [SPARK-47417] 还原“[SC-162872][sql] 排序规则支持：Ascii、Chr、Base64、UnBase64、解码、StringDecode、编码、ToBinary、FormatNumber、句子拆分”
• [SPARK-47352] [ SC-163460][sql] 修复上部、下层、InitCap 排序规则感知
• [SPARK-47909] [ PYTHON][connect] Spark Connect 和 Spark 经典版的父数据帧类
• [SPARK-47417] [ SC-162872][sql] 排序规则支持：Ascii、Chr、Base64、UnBase64、解码、StringDecode、编码、ToBinary、FormatNumber、句子

Databricks ODBC/JDBC 驱动程序支持

Databricks 支持在过去 2 年中发布的 ODBC/JDBC 驱动程序。 请下载最近发布的驱动程序并升级（下载 ODBC，下载 JDBC）。

请参阅 Databricks Runtime 15.3 维护更新。

系统环境

• 操作系统：Ubuntu 22.04.4 LTS
• Java：Zulu 8.78.0.19-CA-linux64
• Scala：2.12.18
• Python：3.11.0
• R：4.3.2
• Delta Lake：3.2.0

已安装的 Python 库

已安装的 R 库

R 库安装自 Posit 包管理器 CRAN 快照。

已安装的 Java 和 Scala 库（Scala 2.12 群集版本）