2025 年发布了以下 Databricks SQL 功能和改进。
2025 年 6 月 11 日
新功能和改进
Databricks SQL Serverless 引擎升级
以下引擎升级现已在全球推出,在未来几周内,可用性扩展到所有区域。
- 较低的延迟:仪表盘、ETL 作业和混合工作负载现在运行得更快,性能提升最高可达 25%。 升级会自动应用于无服务器 SQL 仓库,无需额外付费或配置。
- 预测查询执行(PQE):PQE 实时监视任务,并动态调整查询执行,以帮助避免倾斜、溢出和不必要的工作。
- Photon 矢量化混排:将数据保持紧凑列式格式,在 CPU 的高速缓存中对其进行排序,并使用矢量化指令同时处理多个值。 这可提高 CPU 绑定工作负荷(例如大型联接和宽聚合)的吞吐量。
2025 年 6 月 5 日
用户界面更新
查询见解
- 访问 “查询历史记录 ”页现在会发出该
listHistoryQueries
事件。 现在打开查询配置文件会发出getHistoryQuery
事件。
2025 年 5 月 29 日
指标视图处于公共预览阶段
Unity 目录指标视图提供了一种集中方法,用于定义和管理一致、可重用和治理的核心业务指标。 它们将复杂的业务逻辑抽象化为集中式定义,使组织能够定义关键绩效指标一次,并在仪表板、Genie 空间和警报等报告工具中一致地使用它们。 使用在预览通道(2025.16)上运行的 SQL 仓库或其他运行 Databricks Runtime 16.4 或更高版本的计算资源来处理指标视图。 请参阅 Unity 目录指标视图。
用户界面更新
新建 SQL 编辑器
- Drafts 文件夹中的新查询: 现在,新查询在 Drafts 文件夹中默认创建。 保存或重命名后,这些文件会自动移出草稿箱。
-
查询代码片段支持: 现在,可以创建和重用查询片段-预定义的 SQL 段,例如
JOIN
或CASE
表达式,支持自动完成和动态插入点。 通过选择 “查看>查询代码段”来创建代码片段。 - 审核日志事件: 现在会记录审核日志事件,用于新的 SQL 编辑器中进行的操作。
- 筛选器对可视化效果的影响: 应用于结果表的筛选器现在也会影响可视化效果,无需修改 SQL 查询即可进行交互式浏览。
2025 年 5 月 22 日
用户界面更新
警报
- Beta 版中的新警报版本: 新版本的警报现在处于 Beta 版中。 此版本通过将查询设置、条件、计划和通知目标合并到单个界面,简化了创建和管理警报。 你仍然可以将旧版警报与新版本一起使用。 请参阅 Databricks SQL 警报。
可视化效果
- 图表中的工具提示格式: SQL 编辑器和笔记本图表中的工具提示现在遵循 “数据标签 ”选项卡中定义的数字格式。请参阅 Databricks 笔记本和 SQL 编辑器中的可视化效果。
2025 年 5 月 15 日
Databricks SQL 版本 2025.16 现已在 预览 频道中提供。 查看以下部分,了解新功能、行为更改和 bug 修复。
2025.16 中的更改
新增和更新
IDENTIFIER
Databricks SQL 中现在支持目录操作功能: 现在可以在执行以下目录操作时使用IDENTIFIER
子句:CREATE CATALOG
DROP CATALOG
COMMENT ON CATALOG
ALTER CATALOG
使用此新语法,可以使用为这些作定义的参数动态指定目录名称,从而实现更灵活和可重用的 SQL 工作流。 请考虑
CREATE CATALOG IDENTIFIER(:param)
,其中param
是一个参数,用于指定目录名称。有关更多详细信息,请参阅 IDENTIFIER 子句。
整理表达式现在提供自动生成的临时别名: 自动生成的整理表达式别名现在始终确定性地合并
COLLATE
信息。 自动生成的别名是暂时性的(不稳定的),不应依赖。 相反,最佳做法是一致且显式地使用expression AS alias
。视图中的 UNION/EXCEPT/INTERSECT 现在EXECUTE IMMEDIATE能够返回正确的结果:由于关键字以前被视作别名,对于具有顶级
UNION
/EXCEPT
/INTERSECT
且没有别名的列的临时和持久视图定义,查询返回了错误的结果UNION
/EXCEPT
/INTERSECT
。 现在,这些查询将正确执行整个集合操作。EXECUTE IMMEDIATE ... INTO
由于解析器将这些关键字解释为别名,导致具有顶级UNION
/EXCEPT
/INTERSECT
及非别名列的集合操作错误地将结果写入指定变量。 同样,还允许包含无效尾文本的 SQL 查询。 在这些情况下,设置操作现在可以将正确的结果写入指定的变量,或者在 SQL 文本无效的情况下失败。新
listagg
和string_agg
函数: 现在可以使用listagg
或string_agg
函数来在一个组内聚合STRING
和BINARY
的值。 有关详细信息,请参阅 string_agg。
行为变更
对别名整数文本分组的修复导致某些操作中断: 对于某些操作
MERGE INTO
,别名整数文本的分组表达式以前被破坏。 例如,此表达式将返回GROUP_BY_POS_OUT_OF_RANGE
,因为值 (val
) 将替换为202001:merge into t using (select 202001 as val, count(current_date) as total_count group by val) on 1=1 when not matched then insert (id, name) values (val, total_count)
此问题已修复。 若要缓解现有查询中的问题,请检查所使用的常量是否不等于分组表达式中的列位置。
启用标志以阻止在
MERGE
操作中禁用源对象具体化:以前,用户可以通过在MERGE
中将merge.materializeSource
设置为none
来禁用源对象具体化。 启用新标志后,将禁止此操作并导致错误。 Databricks 计划仅针对以前未使用此配置标志的客户启用标志,因此,客户不应注意到行为的任何更改。
2025 年 4 月 10 日
Databricks SQL 版本 2025.15 现已在 预览 频道中提供。 查看以下部分,了解新功能、行为更改和 bug 修复。
2025.15 中的更改
行为更改
通过使用
ALTER TABLE
: 现在可以在单个ALTER TABLE
语句中修改多个列。 请参阅 ALTER TABLE ... COLUMN 子句。Delta 表协议降级是具有检查点保护的正式版:
DROP FEATURE
已正式发布,用于移除 Delta Lake 表功能并降级表协议。 默认情况下,DROP FEATURE
现在会创建受保护的检查点,以实现更优化和简化的降级体验,无需等待时间或历史记录截断。 请参阅删除 Delta Lake 表功能并降级表协议。基于 ANSI SQL/PSM 编写过程 SQL 脚本(公共预览版): 现在,可以使用基于 ANSI SQL/PSM 的脚本功能通过 SQL 编写过程逻辑,包括条件语句、循环、局部变量和异常处理。 请参阅 SQL 脚本。
表和视图级别默认排序规则: 现在可以为表和视图指定默认排序规则。 这简化了表和视图的创建,其中所有或大多数列共享相同的排序规则。 请参阅排序规则。
新的 H3 函数: 添加了以下 H3 函数:
旧仪表板
- 对旧版仪表板的官方支持已结束。 不能再使用 UI 或 API 创建或克隆旧仪表板。 Databricks 继续解决关键安全问题和服务中断,但建议对所有新开发使用 AI/BI 仪表板。 若要了解有关 AI/BI 仪表板的详细信息,请参阅 仪表板。 有关迁移的帮助,请参阅将旧仪表板克隆到 AI/BI 仪表板,并使用仪表板 API 创建和管理仪表板。
2025 年 4 月 3 日
以下更新在 2025 年 4 月 3 日这一周发布。
用户界面更新
SQL 编辑器
- ** 为所有 SQL 查询自定义自动格式化选项。 请参阅 自定义格式 SQL 语句。
可视化效果
- 修复了只有分类 x 轴的 Databricks SQL Boxplot 可视化效果未正确显示类别和条形图的问题。 可视化效果现在按预期呈现。
SQL 仓库
- “可以查看”权限现在在公共预览版中提供。 此权限允许用户监视 SQL 仓库,包括关联的查询历史记录和查询配置文件。 具有 CAN VIEW 权限的用户无法在未被授予其他权限的情况下对 SQL 仓库运行查询。 请参阅 SQL 仓库 ACL。
2025 年 3 月 27 日
以下更新在 2025 年 3 月 27 日这一周发布。
用户界面更新
查询配置文件
- 查询配置文件已更新,可提高可用性并帮助你快速访问关键见解。 请参阅查询简介。
2025 年 3 月 20 日
以下更新在 2025 年 3 月 20 日这一周发布。
用户界面更新
SQL 仓库
- 现在可以使用 UI 将仓库所有权转移到服务主体。
2025 年 3 月 6 日
以下更新在 2025 年 3 月 6 日这一周发布。
用户界面更新
可视化效果
- 双轴图表现在支持缩放:现在可以通过单击拖动来放大双轴图表。
- 固定表列: 现在可以将表列固定到表显示左侧。 在表上向右滚动时,列仍然显示在视图中。 请参阅 列设置。
- 修复了组合图的问题: 在 x 轴上使用时态字段时,解决了 x 轴标签和条形之间的不对齐问题。
2025 年 2 月 21 日
Databricks SQL 版本 2025.10 现已在 预览 频道中提供。 查看以下部分,了解新功能、行为更改和 bug 修复。
2025.10 中的更改
行为更改
在Delta Sharing中,默认启用表历史记录
使用 SQL 命令创建的共享
ALTER SHARE <share> ADD TABLE <table>
现在默认启用历史记录共享(WITH HISTORY
)。 请参阅 ALTER SHARE。凭据 SQL 语句在凭据类型不匹配时返回错误
在此版本中,如果凭据管理 SQL 语句中指定的凭据类型与凭据参数的类型不匹配,则返回错误,并且该语句未运行。 例如,对于语句
DROP STORAGE CREDENTIAL 'credential-name'
,如果credential-name
不是存储凭据,则语句将失败并出现错误。此更改有助于防止用户错误。 以前,即使传递的凭据与指定的凭据类型不匹配,这些语句也会成功运行。 例如,以下语句将成功删除
storage-credential
:DROP SERVICE CREDENTIAL storage-credential
此更改会影响以下语句:
新功能和改进
在生成的列表达式中使用
timestampdiff
和timestampadd
Delta Lake 生成的列表达式 现在支持 timestampdiff 和 timestampadd 函数。
支持 SQL 管道语法
现在可以编写 SQL 管道。 SQL 管道将标准查询(如
SELECT c2 FROM T WHERE c1 = 5
)构造成分步序列,如以下示例所示:FROM T |> SELECT c2 |> WHERE c1 = 5
若要了解 SQL 管道支持的语法,请参阅 SQL 管道语法。
有关此跨行业扩展的背景信息,请参阅 “SQL 的问题及其解决方法:SQL 中的管道语法”(由 Google Research 出品)。
使用
http_request
函数发出 HTTP 请求现在,可以使用 http_request 函数创建 HTTP 连接,并通过它们发出 HTTP 请求。
更新为
DESCRIBE TABLE
会将元数据作为结构化 JSON 返回现在
DESCRIBE TABLE AS JSON
可以使用该命令将表元数据作为 JSON 文档返回。 JSON 输出的结构比默认的可读报表更结构化,可用于以编程方式解释表的架构。 若要了解详细信息,请参阅 DESCRIBE TABLE AS JSON。忽略尾随空白的排序规则
添加了对忽略尾随空白的排序规则的支持。 例如,这些排序规则将
'Hello'
和'Hello '
视为相等。 若要了解详细信息,请参阅 RTRIM 排序规则。
故障修复
改进了增量克隆处理
此版本包含一个边缘情况的修补程序:增量
CLONE
可能会重新复制已经从源表复制到目标表的文件。 请参阅克隆 Azure Databricks 上的表。
2025 年 2 月 13 日
以下功能和更新是在 2025 年 2 月 13 日这一周发布的。
用户界面更新
数据发现
预览 Unity 目录元数据: 通过将鼠标悬停在架构浏览器中的资产上,预览 Unity 目录资产的元数据。 此功能可在目录资源管理器和其他可在其中使用架构浏览器的接口中使用,例如 AI/BI 仪表板和 SQL 编辑器。
筛选以查找可以查询的数据资产 现在,目录资源管理器的架构浏览器中的筛选器设置包含“可查询”复选框。 选择此选项不包括可以查看但不能查询的对象。
2025 年 1 月 30 日
以下功能和更新在 2025 年 1 月 30 日这一周发布。
用户界面更新
SQL 仓库
已完成的查询计数 图表(公共预览版)现已在 SQL 仓库监视 UI 上提供。 此新图表显示时间范围内完成的查询数,包括已取消和失败的查询。 该图表可以与其他图表和查询历史记录表一起使用,以评估和排查仓库性能问题。 查询在其完成时所属的时间窗口内分配。 每分钟将计数平均一次。 有关详细信息,请参阅监视 SQL 仓库。
SQL 编辑器
- 图表中显示的扩展数据: 在 SQL 编辑器中创建的可视化效果现在最多支持 15,000 行数据。
2025 年 1 月 23 日
以下功能和更新在 2025 年 1 月 23 日这一周发布。
2024.50 中的更改
Databricks SQL 版本 2024.50 包括以下行为更改、新功能和改进。
行为更改
-
VARIANT
数据类型不能再用于涉及比较的运算
不能在包含 VARIANT
数据类型的查询中使用以下子句或运算符:
DISTINCT
INTERSECT
EXCEPT
UNION
DISTRIBUTE BY
这些操作执行比较,以及使用 VARIANT 数据类型的比较会生成未定义的结果,并且 Databricks 中不受支持。 如果在 Azure Databricks 工作负荷或表中使用 VARIANT 类型,Databricks 建议进行以下更改:
- 更新查询或表达式,以将
VARIANT
值显式转换为非VARIANT
数据类型。 - 如果字段必须与上述任何操作一起使用,请从
VARIANT
数据类型中提取这些字段,并使用非VARIANT
数据类型存储这些字段。
若要了解详细信息,请参阅 查询变体数据。
新功能和改进
- 支持对
USE CATALOG with IDENTIFIER
子句进行参数化
IDENTIFIER USE CATALOG 语句支持 。 借助此支持,可以根据字符串变量或参数标记参数化当前目录。
- 对表和视图的
COMMENT ON COLUMN
支持
COMMENT ON 语句支持对视图和表格的列注释进行更改。
- 新的 SQL 函数
以下新的内置 SQL 函数可用:
- dayname(expr) 会返回给定日期的星期几的三个字母英语首字母缩略词。
- uniform(expr1, expr2 [,seed]) 返回在指定数字范围内具有独立且相同分布值的随机值。
-
randstr(length) 返回一个包含
length
个字母数字字符的随机字符串。 - 针对更多函数的命名参数调用
以下函数支持命名参数调用:
- variant_explode
- variant_explode_outer
- 内嵌
- inline_outer
- 保持posexplode原名称以确保技术一致性,但可能需要解释其功能作用。
- posexplode_outer
故障修复
- 嵌套类型现在正确接受 NULL 约束
此版本修复了一个影响某些 Delta 生成的嵌套类型列的错误,例如,STRUCT
。 这些列有时会根据嵌套字段的 NULL
或 NOT NULL
约束错误地拒绝表达式。 此问题已修复。
2025 年 1 月 15 日
以下更新在 2025 年 1 月 15 日这一周发布。
用户界面更新
SQL 编辑器
新的 SQL 编辑器(公共预览版)现在具有以下功能:
- 下载命名: 下载的输出现在以搜索词命名。
-
字号调整: 使用适用于 Windows/Linux 的
Alt +
和Alt -
,或者适用于 macOS 的Opt +
和Opt -
,在 SQL 编辑器中快速调整字体大小。 - 评论中的 @提及:在评论中使用 提及特定用户。 提及的用户将收到电子邮件通知。
- 改进选项卡切换:选项卡切换性能提高,已加载选项卡切换速度提升至 80%,未加载选项卡切换速度提升至 62%。
- 查看仓库详细信息: SQL 仓库大小现在显示在计算选择器中,无需额外单击。
-
编辑参数值: 使用适用于 Windows/Linux 的
Ctrl + Enter
或 macOSCmd + Enter
,在编辑参数值时运行查询。 - 在版本历史记录中保留查询结果: 查询结果现在随版本历史记录一起存储。
可视化效果
- 新图标已正式发布: 性能得到改进、颜色增强且交互性更快的新图标现已正式发布。 请参阅 Databricks 笔记本中的可视化效果以及 SQL 编辑器 和 可视化效果类型。