2025 年 Databricks SQL 发行说明

2025 年发布了以下 Databricks SQL 功能和改进。

2025 年 6 月 11 日

新功能和改进

Databricks SQL Serverless 引擎升级

以下引擎升级现已在全球推出,在未来几周内,可用性扩展到所有区域。

  • 较低的延迟:仪表盘、ETL 作业和混合工作负载现在运行得更快,性能提升最高可达 25%。 升级会自动应用于无服务器 SQL 仓库,无需额外付费或配置。
  • 预测查询执行(PQE):PQE 实时监视任务,并动态调整查询执行,以帮助避免倾斜、溢出和不必要的工作。
  • Photon 矢量化混排:将数据保持紧凑列式格式,在 CPU 的高速缓存中对其进行排序,并使用矢量化指令同时处理多个值。 这可提高 CPU 绑定工作负荷(例如大型联接和宽聚合)的吞吐量。

2025 年 6 月 5 日

用户界面更新

查询见解

  • 访问 “查询历史记录 ”页现在会发出该 listHistoryQueries 事件。 现在打开查询配置文件会发出 getHistoryQuery 事件。

2025 年 5 月 29 日

指标视图处于公共预览阶段

Unity 目录指标视图提供了一种集中方法,用于定义和管理一致、可重用和治理的核心业务指标。 它们将复杂的业务逻辑抽象化为集中式定义,使组织能够定义关键绩效指标一次,并在仪表板、Genie 空间和警报等报告工具中一致地使用它们。 使用在预览通道(2025.16)上运行的 SQL 仓库或其他运行 Databricks Runtime 16.4 或更高版本的计算资源来处理指标视图。 请参阅 Unity 目录指标视图

用户界面更新

新建 SQL 编辑器

  • Drafts 文件夹中的新查询: 现在,新查询在 Drafts 文件夹中默认创建。 保存或重命名后,这些文件会自动移出草稿箱。
  • 查询代码片段支持: 现在,可以创建和重用查询片段-预定义的 SQL 段,例如 JOINCASE 表达式,支持自动完成和动态插入点。 通过选择 “查看>查询代码段”来创建代码片段
  • 审核日志事件: 现在会记录审核日志事件,用于新的 SQL 编辑器中进行的操作。
  • 筛选器对可视化效果的影响: 应用于结果表的筛选器现在也会影响可视化效果,无需修改 SQL 查询即可进行交互式浏览。

2025 年 5 月 22 日

用户界面更新

警报

  • Beta 版中的新警报版本: 新版本的警报现在处于 Beta 版中。 此版本通过将查询设置、条件、计划和通知目标合并到单个界面,简化了创建和管理警报。 你仍然可以将旧版警报与新版本一起使用。 请参阅 Databricks SQL 警报

可视化效果

2025 年 5 月 15 日

Databricks SQL 版本 2025.16 现已在 预览 频道中提供。 查看以下部分,了解新功能、行为更改和 bug 修复。

2025.16 中的更改

新增和更新

  • IDENTIFIER Databricks SQL 中现在支持目录操作功能: 现在可以在执行以下目录操作时使用 IDENTIFIER 子句:

    • CREATE CATALOG
    • DROP CATALOG
    • COMMENT ON CATALOG
    • ALTER CATALOG

    使用此新语法,可以使用为这些作定义的参数动态指定目录名称,从而实现更灵活和可重用的 SQL 工作流。 请考虑 CREATE CATALOG IDENTIFIER(:param),其中 param 是一个参数,用于指定目录名称。

    有关更多详细信息,请参阅 IDENTIFIER 子句

  • 整理表达式现在提供自动生成的临时别名: 自动生成的整理表达式别名现在始终确定性地合并 COLLATE 信息。 自动生成的别名是暂时性的(不稳定的),不应依赖。 相反,最佳做法是一致且显式地使用 expression AS alias

  • 视图中的 UNION/EXCEPT/INTERSECT 现在EXECUTE IMMEDIATE能够返回正确的结果:由于关键字以前被视作别名,对于具有顶级UNION/EXCEPT/INTERSECT且没有别名的列的临时和持久视图定义,查询返回了错误的结果UNION/EXCEPT/INTERSECT 。 现在,这些查询将正确执行整个集合操作。

    EXECUTE IMMEDIATE ... INTO由于解析器将这些关键字解释为别名,导致具有顶级UNION/EXCEPT/INTERSECT及非别名列的集合操作错误地将结果写入指定变量。 同样,还允许包含无效尾文本的 SQL 查询。 在这些情况下,设置操作现在可以将正确的结果写入指定的变量,或者在 SQL 文本无效的情况下失败。

  • listaggstring_agg 函数: 现在可以使用 listaggstring_agg 函数来在一个组内聚合 STRINGBINARY 的值。 有关详细信息,请参阅 string_agg

行为变更

  • 对别名整数文本分组的修复导致某些操作中断: 对于某些操作 MERGE INTO,别名整数文本的分组表达式以前被破坏。 例如,此表达式将返回 GROUP_BY_POS_OUT_OF_RANGE ,因为值 (val) 将替换为202001:

    merge into t
    using
    (select 202001 as val, count(current_date) as total_count group by val) on 1=1
    when not matched then insert (id, name)  values (val, total_count)
    

    此问题已修复。 若要缓解现有查询中的问题,请检查所使用的常量是否不等于分组表达式中的列位置。

  • 启用标志以阻止在MERGE操作中禁用源对象具体化:以前,用户可以通过在MERGE中将merge.materializeSource设置为none来禁用源对象具体化。 启用新标志后,将禁止此操作并导致错误。 Databricks 计划仅针对以前未使用此配置标志的客户启用标志,因此,客户不应注意到行为的任何更改。

2025 年 4 月 10 日

Databricks SQL 版本 2025.15 现已在 预览 频道中提供。 查看以下部分,了解新功能、行为更改和 bug 修复。

2025.15 中的更改

行为更改

  • 通过使用ALTER TABLE 现在可以在单个ALTER TABLE语句中修改多个列。 请参阅 ALTER TABLE ... COLUMN 子句

  • Delta 表协议降级是具有检查点保护的正式版:DROP FEATURE 已正式发布,用于移除 Delta Lake 表功能并降级表协议。 默认情况下,DROP FEATURE 现在会创建受保护的检查点,以实现更优化和简化的降级体验,无需等待时间或历史记录截断。 请参阅删除 Delta Lake 表功能并降级表协议

  • 基于 ANSI SQL/PSM 编写过程 SQL 脚本(公共预览版): 现在,可以使用基于 ANSI SQL/PSM 的脚本功能通过 SQL 编写过程逻辑,包括条件语句、循环、局部变量和异常处理。 请参阅 SQL 脚本

  • 表和视图级别默认排序规则: 现在可以为表和视图指定默认排序规则。 这简化了表和视图的创建,其中所有或大多数列共享相同的排序规则。 请参阅排序规则

  • 新的 H3 函数: 添加了以下 H3 函数:

旧仪表板

2025 年 4 月 3 日

以下更新在 2025 年 4 月 3 日这一周发布。

用户界面更新

SQL 编辑器

可视化效果

  • 修复了只有分类 x 轴的 Databricks SQL Boxplot 可视化效果未正确显示类别和条形图的问题。 可视化效果现在按预期呈现。

SQL 仓库

  • “可以查看”权限现在在公共预览版中提供。 此权限允许用户监视 SQL 仓库,包括关联的查询历史记录和查询配置文件。 具有 CAN VIEW 权限的用户无法在未被授予其他权限的情况下对 SQL 仓库运行查询。 请参阅 SQL 仓库 ACL

2025 年 3 月 27 日

以下更新在 2025 年 3 月 27 日这一周发布。

用户界面更新

查询配置文件

  • 查询配置文件已更新,可提高可用性并帮助你快速访问关键见解。 请参阅查询简介

2025 年 3 月 20 日

以下更新在 2025 年 3 月 20 日这一周发布。

用户界面更新

SQL 仓库

  • 现在可以使用 UI 将仓库所有权转移到服务主体。

2025 年 3 月 6 日

以下更新在 2025 年 3 月 6 日这一周发布。

用户界面更新

可视化效果

  • 双轴图表现在支持缩放:现在可以通过单击拖动来放大双轴图表
  • 固定表列: 现在可以将表列固定到表显示左侧。 在表上向右滚动时,列仍然显示在视图中。 请参阅 列设置
  • 修复了组合图的问题: 在 x 轴上使用时态字段时,解决了 x 轴标签和条形之间的不对齐问题。

2025 年 2 月 21 日

Databricks SQL 版本 2025.10 现已在 预览 频道中提供。 查看以下部分,了解新功能、行为更改和 bug 修复。

2025.10 中的更改

行为更改

  • 在Delta Sharing中,默认启用表历史记录

    使用 SQL 命令创建的共享 ALTER SHARE <share> ADD TABLE <table> 现在默认启用历史记录共享(WITH HISTORY)。 请参阅 ALTER SHARE

  • 凭据 SQL 语句在凭据类型不匹配时返回错误

    在此版本中,如果凭据管理 SQL 语句中指定的凭据类型与凭据参数的类型不匹配,则返回错误,并且该语句未运行。 例如,对于语句 DROP STORAGE CREDENTIAL 'credential-name',如果 credential-name 不是存储凭据,则语句将失败并出现错误。

    此更改有助于防止用户错误。 以前,即使传递的凭据与指定的凭据类型不匹配,这些语句也会成功运行。 例如,以下语句将成功删除storage-credentialDROP SERVICE CREDENTIAL storage-credential

    此更改会影响以下语句:

新功能和改进

  • 在生成的列表达式中使用 timestampdifftimestampadd

    Delta Lake 生成的列表达式 现在支持 timestampdifftimestampadd 函数。

  • 支持 SQL 管道语法

    现在可以编写 SQL 管道。 SQL 管道将标准查询(如 SELECT c2 FROM T WHERE c1 = 5)构造成分步序列,如以下示例所示:

    FROM T
    |> SELECT c2
    |> WHERE c1 = 5
    

    若要了解 SQL 管道支持的语法,请参阅 SQL 管道语法

    有关此跨行业扩展的背景信息,请参阅 “SQL 的问题及其解决方法:SQL 中的管道语法”(由 Google Research 出品)

  • 使用 http_request 函数发出 HTTP 请求

    现在,可以使用 http_request 函数创建 HTTP 连接,并通过它们发出 HTTP 请求。

  • 更新为 DESCRIBE TABLE 会将元数据作为结构化 JSON 返回

    现在 DESCRIBE TABLE AS JSON 可以使用该命令将表元数据作为 JSON 文档返回。 JSON 输出的结构比默认的可读报表更结构化,可用于以编程方式解释表的架构。 若要了解详细信息,请参阅 DESCRIBE TABLE AS JSON

  • 忽略尾随空白的排序规则

    添加了对忽略尾随空白的排序规则的支持。 例如,这些排序规则将 'Hello''Hello ' 视为相等。 若要了解详细信息,请参阅 RTRIM 排序规则

故障修复

  • 改进了增量克隆处理

    此版本包含一个边缘情况的修补程序:增量 CLONE 可能会重新复制已经从源表复制到目标表的文件。 请参阅克隆 Azure Databricks 上的表

2025 年 2 月 13 日

以下功能和更新是在 2025 年 2 月 13 日这一周发布的。

用户界面更新

数据发现

  • 预览 Unity 目录元数据: 通过将鼠标悬停在架构浏览器中的资产上,预览 Unity 目录资产的元数据。 此功能可在目录资源管理器和其他可在其中使用架构浏览器的接口中使用,例如 AI/BI 仪表板和 SQL 编辑器。

    包含 Unity 目录元数据(如所有者和最近查询历史记录)的卡片显示在目录列表右侧。

  • 筛选以查找可以查询的数据资产 现在,目录资源管理器的架构浏览器中的筛选器设置包含“可查询”复选框。 选择此选项不包括可以查看但不能查询的对象。

    筛选器设置,其中已选择“可以查询”切换

2025 年 1 月 30 日

以下功能和更新在 2025 年 1 月 30 日这一周发布。

用户界面更新

SQL 仓库

已完成的查询计数 图表(公共预览版)现已在 SQL 仓库监视 UI 上提供。 此新图表显示时间范围内完成的查询数,包括已取消和失败的查询。 该图表可以与其他图表和查询历史记录表一起使用,以评估和排查仓库性能问题。 查询在其完成时所属的时间窗口内分配。 每分钟将计数平均一次。 有关详细信息,请参阅监视 SQL 仓库

SQL 编辑器

  • 图表中显示的扩展数据: 在 SQL 编辑器中创建的可视化效果现在最多支持 15,000 行数据。

2025 年 1 月 23 日

以下功能和更新在 2025 年 1 月 23 日这一周发布。

2024.50 中的更改

Databricks SQL 版本 2024.50 包括以下行为更改、新功能和改进。

行为更改

  • VARIANT 数据类型不能再用于涉及比较的运算

不能在包含 VARIANT 数据类型的查询中使用以下子句或运算符:

  • DISTINCT
  • INTERSECT
  • EXCEPT
  • UNION
  • DISTRIBUTE BY

这些操作执行比较,以及使用 VARIANT 数据类型的比较会生成未定义的结果,并且 Databricks 中不受支持。 如果在 Azure Databricks 工作负荷或表中使用 VARIANT 类型,Databricks 建议进行以下更改:

  • 更新查询或表达式,以将 VARIANT 值显式转换为非VARIANT 数据类型。
  • 如果字段必须与上述任何操作一起使用,请从 VARIANT 数据类型中提取这些字段,并使用非VARIANT 数据类型存储这些字段。

若要了解详细信息,请参阅 查询变体数据

新功能和改进

  • 支持对 USE CATALOG with IDENTIFIER 子句进行参数化

IDENTIFIER USE CATALOG 语句支持 。 借助此支持,可以根据字符串变量或参数标记参数化当前目录。

  • 对表和视图的 COMMENT ON COLUMN 支持

COMMENT ON 语句支持对视图和表格的列注释进行更改。

  • 新的 SQL 函数

以下新的内置 SQL 函数可用:

以下函数支持命名参数调用

故障修复

  • 嵌套类型现在正确接受 NULL 约束

此版本修复了一个影响某些 Delta 生成的嵌套类型列的错误,例如,STRUCT。 这些列有时会根据嵌套字段的 NULLNOT NULL 约束错误地拒绝表达式。 此问题已修复。

2025 年 1 月 15 日

以下更新在 2025 年 1 月 15 日这一周发布。

用户界面更新

SQL 编辑器

新的 SQL 编辑器(公共预览版)现在具有以下功能:

  • 下载命名: 下载的输出现在以搜索词命名。
  • 字号调整: 使用适用于 Windows/Linux 的 Alt +Alt -,或者适用于 macOS 的 Opt +Opt -,在 SQL 编辑器中快速调整字体大小。
  • 评论中的 @提及:在评论中使用 提及特定用户。 提及的用户将收到电子邮件通知。
  • 改进选项卡切换:选项卡切换性能提高,已加载选项卡切换速度提升至 80%,未加载选项卡切换速度提升至 62%。
  • 查看仓库详细信息: SQL 仓库大小现在显示在计算选择器中,无需额外单击。
  • 编辑参数值: 使用适用于 Windows/Linux 的 Ctrl + Enter 或 macOS Cmd + Enter,在编辑参数值时运行查询。
  • 在版本历史记录中保留查询结果: 查询结果现在随版本历史记录一起存储。

可视化效果