2024 年 Databricks SQL 发行说明

下面概述了 Databricks SQL 在 2024 年 1 月至 2024 年 12 月的改进和更新。

2024 年 11 月 21 日

SQL 仓库系统表 （公共预览版）

• system.compute.warehouses 表记录 SQL 仓库的创建、编辑和删除时间。 可以使用表监视对仓库设置的更改，包括仓库名称、类型、大小、通道、标记、自动停止和自动缩放设置。 请参阅 仓库系统表参考。

数据发现

• 目录资源管理器中的“世系”选项卡已重新设计，改进了用于实体筛选的用户界面。

2024 年 11 月 13 日

旧版仪表板：

• 解决了模板化工具提示未显示双轴和多字段轴图表的详细内容的问题。

2024 年 11 月 6 日

Databricks SQL 流式处理表和具体化视图的人类可读的计划支持

用户现在可以使用人类可读的语法而非 CRON 计划来启动、创建和更改流式处理表及具体化视图的计划。 请参阅 ALTER MATERIALIZED VIEW、ALTER STREAMING TABLE、CREATE MATERIALIZED VIEW和 CREATE STREAMING TABLE。

流式处理表现在支持“按时间顺序查看”查询

现在可以使用时光回溯功能，根据时间戳或事务日志中记录的表版本来查询以前的表版本。 在使用“按时间顺序查看”查询之前，可能需要刷新流式处理表。 请参阅什么是 Delta Lake 按时间顺序查看？。

具体化视图不支持“按时间顺序查看”查询。

2024 年 10 月 31 日

用户界面更新

新的 SQL 编辑器 （公共预览版）

• 现在可以使用键盘快捷方式 Command（或 Ctrl）+ Shift + Enter运行活动 SQL 查询。
• 当文本在显示窗口外扩展时，参数输入区域现在会显示滚动条。
• 修复了阻止查询配置文件详细信息页完全打开的问题。
• 现在，可以通过在选项卡标题中键入新名称来重命名查询。
• 对于以前从未保存过的查询，现在禁用了“计划”按钮。

2024 年 10 月 24 日

AI/BI 工具发行说明

AI/BI 仪表板和 AI/BI Genie 的发行说明已移至 AI/BI 发行说明。 将来的版本和更新将记录在那里。

2024 年 10 月 17 日

通知目的地现已正式发布

可以创建和配置通知目标，让工作区用户可以将其添加到某些工作流中，例如警报、Lakeflow 作业和 AI/BI 仪表板计划，以便在事件运行时发送电子邮件或 webhooks。 请参阅 “管理通知目标”。

2024 年 10 月 10 日

具体化视图和流式处理表现已在 Databricks SQL 上正式发布

流式处理表支持从云存储和消息队列进行增量引入，而具体化视图是预先计算的视图，这些视图会在新数据到达时自动增量更新。 请参阅在Databricks SQL 中使用具体化视图和在Databricks SQL 中使用流式处理表。

查询见解

• 新列 query_source、executed_as和 executed_as_user_id 已添加到查询历史记录系统表中。 请参阅 查询历史记录系统表参考。

2024 年 10 月 3 日

无服务器 SQL 仓库支持扩展

无服务器 SQL 仓库现已在 swedencentral 区域中提供。 请参阅 具有有限区域可用性的功能。

用户界面更新

本节中列出的功能独立于上述 SQL 仓库计算版本。

目录浏览器

• 现在，目录、架构、卷、模型和函数支持 AI 生成的注释，用户可以使用内联聊天助手来帮助编辑其批注。

SQL AI 函数 该 vector_search() 函数现已在公共预览版中提供。 请参见 vector_search 函数

2024 年 9 月 26 日

无服务器 SQL 仓库支持扩展

无服务器 SQL 仓库现已在 francecentral 区域中提供。 请参阅 具有有限区域可用性的功能。

2024 年 9 月 11 日

用户界面更新

本节中列出的功能独立于上述 SQL Warehouse 计算版本。

SQL 编辑器

现在可以在 SQL 编辑器中使用命名参数标记语法。 命名参数标记语法可用于 SQL 编辑器、笔记本和 AI/BI 仪表板。 请参阅 “使用查询参数”。

查询和旧版仪表板

对于 SQL 查询和旧仪表板，已删除的项目不再显示在列表页中。 在工作区回收站文件夹中查找已删除的项目。 工作区管理员可以查看所有用户的回收站文件夹中已删除的项目。

2024 年 9 月 5 日

2024.40 中的更改

Databricks SQL 版本 2024.40 包括以下行为更改、新功能和改进。

行为变更

• 视图的默认架构绑定模式更改

  视图现在通过使用架构补偿和常规类型转换规则来适应底层查询中的架构更改。 这与之前默认的 BINDING 模式（如果在引用视图时无法执行安全强制转换，该模式会引发错误）不同。

  查看 CREATE VIEW 和 cast 函数。

• !禁止在布尔表达式外部使用未记录的 NOT 语法来代替

  在此版本中，不再允许在布尔表达式外部使用 ! 来代替 NOT。 例如，如下语句：CREATE ... IF ! EXISTS、IS ! NULL、! NULL列或字段属性、! IN和! BETWEEN，必须替换为：CREATE ... IF NOT EXISTS、IS NOT NULL、NOT NULL列或字段属性、NOT IN以及NOT BETWEEN。

  此更改可确保一致性，与 SQL 标准保持一致，并使 SQL 更易于移植。

  布尔前缀运算符!（例如，!is_mgr或!(true AND false)）不受此更改影响。

• 禁止视图中的未记录列定义语法

  Databricks 支持具有命名列和列注释的 CREATE VIEW。 以前，允许指定列类型、NOT NULL 约束或 DEFAULT。 在此版本中，不能再使用此语法。

  此更改可确保一致性，与 SQL 标准保持一致，并支持将来的增强功能。

• 在无效列上添加 CHECK 约束现在会返回 UNRESOLVED_COLUMN.WITH_SUGGESTION 错误类

  若要提供更有用的错误消息，在 Databricks Runtime 15.3 及更高版本中， ALTER TABLE ADD CONSTRAINT 包含 CHECK 引用无效列名称的约束的语句将返回 UNRESOLVED_COLUMN。WITH_SUGGESTION 错误类。 以前会返回 INTERNAL_ERROR。

新功能和改进

• 使用 ALTER TABLE 启用 UniForm Iceberg

  现在可以在现有表上启用 UniForm Iceberg，而无需重写数据文件。 请参阅启用对现有表的 Iceberg 读取。

• UTF-8 验证函数

  此版本引入了以下用于验证 UTF-8 字符串的函数：

  • is_valid_utf8 验证字符串是否为有效的 UTF-8 字符串。
  • make_valid_utf8 使用替换字符将可能无效的 UTF-8 字符串转换为有效的 UTF-8 字符串
  • 如果 输入不是有效的 UTF-8 字符串，validate_utf8将引发错误。
  • 如果输入不是有效的 UTF-8 字符串，NULL。

• to_avro 和 from_avro 函数

  to_avro和from_avro函数允许将 SQL 类型转换为 Avro 二进制数据并返回。

• try_url_decode 函数

  此版本引入了 try_url_decode 函数，该函数对 URL 编码的字符串进行解码。 如果字符串的格式不正确，函数将返回 NULL 而不是引发错误。

• （可选）允许优化器依赖于非强制外键约束

  若要提高查询性能，现在可以在创建或修改表时，在 RELY 约束上指定 FOREIGN KEY 关键字。

• 支持删除 check 约束表功能

  使用 replaceWhere 进行的选择性覆盖现在可以并行运行删除数据和插入新数据的作业，从而提高查询性能和群集利用率。

• 针对选择性覆盖的并行作业运行

  使用 replaceWhere 进行的选择性覆盖现在可以并行运行删除数据和插入新数据的作业，从而提高查询性能和群集利用率。

• 通过选择性覆盖改进了变更数据源的性能

  使用 replaceWhere 对具有更改数据源的表进行选择性覆盖时，不再为插入的数据写入单独的更改数据文件。 这些操作使用基础 Parquet 数据文件中存在的隐藏 _change_type 列，在没有写入放大的情况下记录更改。

• 改进了命令的 COPY INTO 查询延迟

  此版本包含一项更改，可降低 COPY INTO 命令的查询延迟。 此改进是通过使 RocksDB 状态存储的状态加载变为异步来实现的。 进行此更改后，你应会看到具有较大状态的查询（例如，具有大量已引入文件的查询）的启动时间有所改善。

用户界面更新

本节中列出的功能独立于上述 SQL Warehouse 计算版本。

可视 化

• 工具提示总计现在仅适用于堆叠图表。

2024 年 8 月 22 日

可视 化

对于分组和多字段配置，当将鼠标悬停在图表元素上时，工具提示现在会显示总计。

2024 年 8 月 15 日

可视 化

修复了更改页面大小后表可视化中的行号未更新的问题。

数据发现

现在支持在 Unity 目录表中展开和折叠嵌套的复杂列类型。

2024 年 8 月 1 日

可视化效果：

• 现在，由于筛选而更改数据时，会保留表排序。

SQL 编辑器：

• 通过在查询的最后一行和结果输出之间添加额外的填充来提高可读性。

2024 年 7 月 25 日

Databricks REST API：

• 用于管理查询、警报、数据源和权限的 API 已更改。 旧版将继续受支持六个月。 此过渡期旨在提供足够的时间来将应用程序和集成迁移到新版本，然后再逐步淘汰旧版本。请参阅 最新 Databricks SQL API 版本的更新

2024 年 7 月 18 日

用户界面更新

目录资源管理器：

• 现在，新的目录配置向导可用于在创建目录时设置工作区绑定、目录特权和元数据。

SQL 仓库监视：

• “CAN MONITOR”权限现已普遍可用。 它允许特权用户监视 SQL 仓库，包括关联的查询历史记录和查询配置文件。 请参阅 SQL 仓库 ACL。

2024 年 7 月 11 日

Databricks SQL 版本 2024.35 可用

推出日程安排：2024.35 预览版推出：7 月 9 日到 7 月 15 日

2024.35 中的更改

使用删除功能禁用列映射

现在可以使用 DROP FEATURE 禁用 Delta 表上的列映射并降级表协议。 请参阅 “禁用列映射”。

公共预览版中的变体类型语法和函数

现已在 Spark DataFrames 和 SQL 中提供了内置 Apache Spark 支持，使得能够将半结构化数据作为VARIANT类型使用。 请参阅 查询变体数据。

公共预览版中对 Delta Lake 的变体类型支持

现在可以使用 VARIANT 在 Delta Lake 支持的表中存储半结构化数据。 请参阅 Delta Lake 中的变体支持。

支持视图中不同的架构演变模式

CREATE VIEW 和 ALTER VIEW 现在允许设置架构绑定模式，从而增强视图如何处理基础对象中的架构更改。 此功能使视图能够容忍或适应基础对象中的架构更改。 它解决了查询架构中因对对象定义所做的修改而引起的更改。

某些窗口函数的性能改进

此版本包括改进某些 Spark 窗口函数的性能的更改，特别是不包含 ORDER BY 子句或 window_frame 参数的函数。 在这些情况下，系统可以重写查询，以使用聚合函数运行查询。 此更改允许查询使用部分聚合更快地运行，并避免运行窗口函数的开销。 Spark 配置参数 spark.databricks.optimizer.replaceWindowsWithAggregates.enabled 控制此优化，默认情况下设置为 true。 若要关闭此优化，请将 spark.databricks.optimizer.replaceWindowsWithAggregates.enabled 设置为 false。

添加了对 try_mod 函数的支持

此版本添加了对 PySpark try_mod() 函数的支持。 此函数通过除以两个数值支持与 ANSI SQL 兼容的整数余数计算。 如果除数参数为 0，则 try_mod() 函数返回 null，而不是引发异常。 可以使用 try_mod() 函数，而不是 mod 或 %，如果除数参数为 0 且启用了 ANSI SQL，则会引发异常。

用户界面更新

SQL 编辑器：

SQL 编辑器中现在提供了内联助手。 单击编辑器框中的助手图标以切换输入。 用英语键入问题或批注，然后按 Enter（而不是 Shift+Enter，它运行查询），以直接在编辑器中生成具有不同视图的响应。

平台：

通知目标的 API 现已推出。 现在可以以编程方式管理警报和作业运行通知的 Webhook 和电子邮件目标。 请参阅 通知目标。

2024 年 7 月 4 日

Databricks SQL 版本 2024.30 可用

推出计划：2024.30 预览版推出：7 月 9 日到 7 月 15 日

2024.30 中的更改

Lakehouse Federation 已正式发布 (GA)

跨以下数据库类型的 Lakehouse Federation 连接器现已正式发布 (GA)：

• MySQL
• PostgreSQL
• Amazon Redshift
• 雪花
• Microsoft SQL Server
• Azure Synapse （SQL 数据仓库）
• Databricks

此版本还引入了以下改进：

• 支持 Snowflake 和 Microsoft SQL Server 连接器中的单一登录（SSO）身份验证。

• 对无服务器计算环境中 SQL Server 连接器中的 Azure 专用链接支持。 请参阅 步骤 3：创建专用终结点规则。

• 支持其他下推操作（字符串函数、数学函数、杂项函数）。
• 改进了不同查询形状的下推成功率。
• 其他下推调试功能：
  • EXPLAIN FORMATTED 输出显示下推查询文本。
  • 查询配置文件界面显示下推查询文本、联合节点标识符和 JDBC 查询执行时间（在详细模式下）。 请参阅 查看系统生成的联合查询。

DESCRIBE HISTORY 现在会显示使用流动聚类分析的表的聚类分析列

运行 DESCRIBE HISTORY 查询时，operationParameters 列默认显示 clusterBy 和 CREATE OR REPLACE 操作的 OPTIMIZE 字段。 对于使用液体聚类的 Delta 表，clusterBy 字段将填充表的聚类列。 如果表不使用液体聚类分析，则字段为空。

对主键和外键的支持已普遍可用

Databricks Runtime 中的主键和外键支持现已普遍可用。 GA 版本包括对使用主键和外键所需权限的如下更改：

• 若要定义外键，必须对外键所引用的主键所属的表具有 SELECT 权限。 不需要拥有具有主键的表，这在以前是必需的。
• 使用 CASCADE 子句删除主键不需要对定义引用主键的外键的表具有权限。 以前，你需要拥有引用表。
• 现在，删除包含约束的表需要与删除不包含约束的表相同的权限。

若要了解如何对表或视图使用主键和外键，请参阅 CONSTRAINT 子句、 ADD CONSTRAINT 子句和 DROP CONSTRAINT 子句。

液体聚类状态为GA

现已广泛推出对液体聚类功能的支持，适用于 Databricks Runtime 15.2 及更高版本。 请参阅 对表使用液体聚类分析。

类型扩展目前为公共预览版

现在可以在由 Delta Lake 支持的表上启用类型扩展。 启用了类型加宽的表允许在不重写基础数据文件的情况下将列的类型更改为更广泛的数据类型。 请参阅类型拓宽。

在 SQL 合并语法中添加了架构演变子句

现在可以将 WITH SCHEMA EVOLUTION 子句添加到 SQL 合并语句，以便为操作启用架构演变。 请参阅用于合并的架构演变语法。

真空库存支持

现在可以指定在 Delta 表上运行 VACUUM 命令时要考虑的文件清单。 请参阅 OSS Delta 文档。

支持 Zstandard 压缩功能

现在可以使用 zst_compress、 zstd_decompress和 try_zstd_decompress 函数来压缩和解压缩 BINARY 数据。

SQL UI 中的查询计划现在正确显示 PhotonWriteStage

在 SQL UI 中显示时，查询计划中 write 命令错误地显示为运算符 PhotonWriteStage。 在此版本中，UI 已更新，将 PhotonWriteStage 显示为一个阶段。 这只是 UI 更改，不会影响查询的运行方式。

用户界面更新

API 支持：

• 现在可以使用 REST API 管理通知目标。 请参阅 通知目标。

2024 年 6 月 27 日

Databricks SQL 具体化视图和流式处理表中的行筛选器和列掩码目前为公开预览阶段

Databricks SQL 具体化视图和流式处理表中的行筛选器和列掩码为公共预览版。 公共预览版包含以下更改：

• 可以向 Databricks SQL 具体化视图或流式处理表中添加行筛选器和列掩码。

  • 可以在包含行筛选器和列掩码的表上定义 Databricks SQL 物化视图或流式表。

  请参阅 CREATE MATERIALIZED VIEW 和 CREATE STREAMING TABLE。

用户界面更新

可视化效果：

• 改进了将鼠标悬停在具有许多数据点的饼图、散点图和热度地图上时显示工具提示时的交互性。

目录资源管理器：

• 经过改进的目录资源管理器 UI 可以更轻松地从 快速访问 视图中发现和收藏最近的 Unity 目录资产。 导航体验也得到了简化，允许你使用屏幕左上角的 设置 浏览计算、存储、凭据、连接、DBFS 和管理详细信息。 "Delta Sharing、Clean Rooms和外部数据现在都有专用页面。"

2024 年 6 月 6 日

Databricks SQL 具体化视图和流式处理表修补程序

已修复导致 Databricks SQL 具体化视图和流式处理表中的 ALTER SCHEDULE 查询仅在下一个 REFRESH 操作后才生效的问题。 现在，ALTER SCHEDULE 查询会立即应用。 请参阅计划具体化视图刷新。

Databricks SQL 中的物化视图和流式表目前是公共预览版。

Databricks SQL 中的具体化视图和流式处理表是公共预览版，可供所有客户使用。 公共预览版包含以下更改：

• Databricks SQL 中具体化视图和流式处理表的 REFRESH 现在默认是同步的。 请参阅 REFRESH （MATERIALIZED VIEW 或 STREAMING TABLE）。

  • 在 Databricks SQL 物化视图或流式处理表的刷新操作期间发生的错误将在 SQL 编辑器中返回。

  若要了解如何在 Databricks SQL 中使用具体化视图和流式处理表，请参阅 Databricks SQL 中的具体化视图 和使用 Databricks SQL 中的流式处理表。

用户界面更新

仪表板：

• 帐户用户现在可以从已发布的仪表板下载可视化数据
• 现在可以通过位于仪表板顶部附近的“草稿/发布”下拉菜单，发布尚未发布的仪表板。
• 修复了未检测到名称为limit的参数的问题。

可视化效果：

• 改进了深色模式下的框图呈现。

查询见解：

• 对于附加到 SQL 仓库的所有笔记本，可以通过单击包含查询的单元格下方的“查看性能”来访问查询配置文件。 如果单元格包含多个查询，则会为每个语句提供指向其查询配置文件的链接。

2024 年 5 月 30 日

SQL 仓库的新权限级别

“可以监视”权限允许用户监视 SQL 仓库，包括关联的查询历史记录和查询配置文件。 Can monitor 权限现已进入公测阶段。 请参阅 SQL 仓库 ACL。

用户界面更新

仪表板改进：

• 在仪表板小组件中添加了垂直三点菜单，用于下载图像和数据。
• 用户可以将旧版仪表板中基于查询的参数和下拉列表参数迁移到新仪表板。

2024 年 5 月 23 日

用户界面更新

• 现在可以在工作区中选择多个项来移动或删除。 选择多个对象后，将显示一个操作栏，并提供用于移动或删除项的选项。 此外，还可以使用鼠标选择多个项，并将其拖动到新位置。 在批量移动和删除操作期间，对象的现有权限仍适用。
• 现在，可在目录资源管理器和架构浏览器中将 Unity Catalog 资产标记为收藏。 这包括目录、架构、表、模型、卷和函数。 可以轻松从 Azure Databricks 主页访问标记为收藏的 Unity Catalog 资产。

仪表板更新：

• 双轴组合图现在可正确地在右轴上显示条形图例，并相应地显示折线图例。
• 双轴图表现在可以正确地在条形上显示标签。

可视化效果更新：

• 表编辑器的条件格式标签针对 if 和 then 现在支持深色模式。
• 已从表编辑器的格式工具提示中删除冗余的打开链接图标。
• 表格编辑器中的默认字体颜色标签现在会自动对齐。

2024 年 5 月 16 日

推出日程安排

• 2024.25 预览版推出：5 月 1 日完成
• 2024.25 的当前推出时间：5 月 14 日到 5 月 21 日

2024.25 中的更改

数据管理

已弃用凭据直通和 Hive 元存储表访问控制。

凭据直通和 Hive 元存储表访问控制是旧版数据治理模型。 升级到 Unity 目录，通过提供一个中心位置来管理和审核帐户中多个工作区的数据访问，从而简化数据的安全性和治理。 请参阅什么是 Unity 目录？

在即将推出的 DBR 版本中，将取消对凭证透传和 Hive 元数据存储表访问控制的支持。

SQL 语言功能

星号子句现在在 WHERE 子句中受支持。

现在可以在 * 子句中使用星号 (*) 以引用 WHERE 子句中 SELECT 列表中的所有列。 例如，SELECT * FROM VALUES(1, 2) AS T(a1, a2) WHERE 1 IN(T.*)。

自 2024.15 版起，支持 Cloudflare R2 存储以避免跨区域流出量费用

现在，你可以使用 Cloudflare R2 作为云存储来存储 Unity Catalog 中注册的数据。 Cloudflare R2 主要用于下述 Delta Sharing 用例：当数据跨区域传输时，你希望避免云提供商收取数据流出量费用。

Cloudflare R2 存储支持 Azure Data Lake Storage 中支持的所有 Databricks 数据和 AI 资产。

请参阅 使用 Cloudflare R2 副本或将存储迁移到 R2 ，并 创建用于连接到 Cloudflare R2 的存储凭据。

用户界面更新

本节中列出的功能独立于上述 SQL Warehouse 计算版本。

数据发现更新：Hive 元存储值 Unity Catalog 更新向导支持使用通用计算或 SQL 仓库升级 Hive 元存储管理的表。 更新 20 多个表会创建一个新笔记本，其中包含执行转换的 SYNC AND ALTER TABLE 命令。

仪表板更新：

• 双轴功能现在可用于区域、条形图、折线图和散点图类型。
  • 启用双轴图表时，轴标题和范围不再复制到次要轴。
  • 可视化配置中标识的最后一个字段会自动重新定位到右侧 y 轴。

2024 年 5 月 9 日

SQL 编辑器修复：

• 管理员设置结果表剪贴板功能现在适用于 SQL 编辑器新结果表。

仪表板改进：

• 基于查询的参数允许作者定义一个可选择值列表，查看者可以将这些值用作仪表板画布上其他可视化效果的参数。 请参阅 使用基于查询的参数。
• 现在会保留从表小组件下载的文件中的列顺序。
• 表编辑器现在包括显示列名称的鼠标悬停提示。
• 从其他可视化效果类型切换到直方图时，信息编码现在会得到更好的保留。

仪表板修复:

• 修复了单个网格高度筛选器显示不必要的溢出滚动条的问题。
• 修复了在已删除引用数据集列的已发布仪表板上错误呈现可视化效果的问题。

2024 年 5 月 2 日

仪表板更新：

• 现在可以将查询和可视化效果从 SQL 编辑器复制到新的仪表板。 仍可以从 SQL 编辑器将可视化效果添加到旧仪表板。 请参阅 “编辑”、“下载”或“添加到仪表板”。
• 仪表板现在将维护 24 小时的结果缓存，以优化初始加载时间。 请参阅 数据集优化和缓存。
• 现在，具有分类 X 和定量 Y 的条形图在 Databricks 助手的响应中已被排序。
• 更正了旧版直方图 COUNT (*) 的迁移问题，以确保准确迁移。
• 实现了在过滤器中混合数字类型和日期类型。
• 创建图表时，Databricks Assistant 现在会自动在键入时建议相关列。

可视化效果更新：

• 对于表，用户选择的颜色现在会保留在旧图表中的浅色和深色模式中。
• 数据截断逻辑已得到改进，以提高组合图、饼图、热度图和直方图的性能。
• 现在，刻度线始终显示在基本图表的量化轴顶部。

2024 年 4 月 23 日

UI 更新：

• 对于 UI 中的所有“共享”对话框，“All Users”组已重命名为“All Workspace Users”。 新名称更准确地反映组的范围，该范围始终包含分配给工作区的用户。 在此重命名过程中，不会对组成员身份进行更改。

仪表板改进：

• 当仪表板的 SQL 仓库启动时，将显示一个对话框来解释等待时间。
• 在“画布”和“数据”选项卡之间切换时，将保留滚动位置。
• 克隆旧仪表板以创建 Lakeview 仪表板现在支持一些参数转换。 请参阅 “调整旧参数”。
• 日期和日期时间参数现在支持相对日期，例如“今天”、“明天”和“7 天前”。
• 可以将数字范围滑块添加为仪表板上的筛选器。
• 直方图现在可以显示非聚合数据。
• 散点图现在支持大小编码。

仪表板修复:

• 临时颜色编码现在可以正确更改颜色分配。

可视化效果更新：

• 自定义工具顶部格式现在可以正确用于多轴图表。
• 当用户在过去 14 天内未更改切换开关时，将删除 “新建图表 预览”标记。

2024 年 4 月 18 日

Lakeview 仪表板已正式发布

Lakeview 仪表板现在是默认的仪表板工具。 它们已重命名为 UI 中的 仪表板 。 Databricks SQL 仪表板现在称为旧版仪表板。 相关 API 工具的名称未更改。

• 仪表板改进：
  • 审核日志现在可用于 Lakeview 仪表板。 请参阅 AI/BI 仪表板事件。
  • 从仪表板下载的数据遵循应用的参数。
  • Databricks 助手在 “数据 ”选项卡上启用，无需先添加数据集。
  • 具有多个 Y 字段的堆积条形图可以支持基于 Y 轴值之和对 X 轴进行排序。
  • 在可视化轴菜单中的 线性 和 Log（Symmetric） 缩放函数之间切换。
  • 筛选器小组件的默认大小现在更加紧凑。
  • 文本输入筛选器小组件的初始加载时间已减少。
  • 改进了从旧仪表板迁移时的自动图表转换。
• 仪表板修复:
  • 受限的查看设置警告不会显示仪表板是否已与他人共享。
  • “数据”选项卡 SQL 编辑器中的错误消息现在已启用深色模式。

用户界面更新

本节中列出的功能独立于上述 SQL 仓库计算版本。

改进：

• 堆叠图表上的工具提示现在默认显示堆栈值和百分比。
• 多轴图表的工具提示现在会突出显示鼠标悬停的项目。
• Databricks SQL 的表可视化效果现在可在 SQL 编辑器中编辑时，调整新的查询结果的数据类型。
• 目录资源管理器的查询历史记录表显示查询源属性的树状视图。 可以使用它查看哪些实体触发了要运行的查询语句。

2024 年 4 月 11 日

用户界面更新

本节中列出的功能独立于上述 SQL 仓库计算版本。

改进：

• 现在，在 Databricks SQL 和笔记本中创建可视化效果时，可以按百分比分组。
• 对于新图表（公共预览版），可以通过单击并拖入与轴平行的直线来沿单个轴放大。
• Unity Catalog 共享群集“允许列表”UI 现已正式发布。 可以在目录资源管理器的“元存储详细信息”页上访问它。 请参阅 如何将项添加到允许列表。
• 用于创建和编辑外部位置的窗体现在以完整页面的形式打开。 其中包括包含存储凭据的选项。

修复：

• 更正了直方图图表的问题，其中负值错误地标记为正值。

2024 年 4 月 4 日

用户界面更新

本节中列出的功能独立于上述 SQL 仓库计算版本。

改进：

• 对 Lakeview 仪表板上直方图的改进。
  • 添加了对标签的支持。
  • 现在，在不同字段之间切换时会保留 Bin 设置。
• 仪表板列表页上的示例库现在支持创建 Lakeview 仪表板。 请参阅 教程：使用示例仪表板。
• 右键单击 Lakeview 仪表板上小组件的边框可打开上下文菜单。
• 保留了左侧导航栏，供工作区用户查看已发布的 Lakeview 仪表板。
• 在已发布的和草稿 Lakeview 仪表板之间导航时，会保留筛选器选择。
• 在草稿 Lakeview 仪表板的“ 数据 ”选项卡中编辑查询时，现在可以将列名称插入到 SQL 编辑器中。
• 替换 Lakeview 仪表板会保留现有的仪表板名称，并替换其内容。

• 在热度地图和其他图表类型之间切换可视化效果现在可更好地保留相关字段。

修复：

• 具有颜色编码的条形图现在正确地限制添加多个 Y 轴字段。
• 解决了某些可视化效果中缺少“下载为 PNG”按钮的问题。
• 更正了以前缺少数千个分隔符的负大整数的格式。
• 修正了当鼠标悬停在折线图的标签上时，悬停线位置错误的问题。

2024 年 3 月 28 日

Databricks SQL 版本 2024.15 可用

推出时间表

• 2024.15 版本预览推出时间：2 月 14 日至 3 月 4 日
• 2024.15 当前推出时间：3 月 25 日至 4 月 8 日

2024.15 中的更改

Delta 更新

• Delta UniForm 现已正式发布： UniForm 现已正式发布并使用 IcebergCompatV2 表功能。 你现在可以对现有表启用或升级 UniForm。 请参阅 使用 Iceberg 客户端读取 Delta 表。
• 重新计算 Delta 表的数据跳过统计信息：现在可以在更改用于数据跳过的列之后，重新计算存储在 Delta 日志中的统计信息。 请参阅指定增量统计信息列。

SQL 语言更新

• 在 SQL 会话中声明临时变量： 此版本引入了在会话中声明临时变量的功能，该会话可以设置并在查询中引用这些变量。 请参阅 变量。
• 原生 XML 文件格式支持（公共预览版）：原生 XML 文件格式支持现为公共预览版。 XML 文件格式支持启用对 XML 数据的引入、查询和分析，以便进行批处理或流式处理。 它可以自动推断和改进架构和数据类型，支持 SQL 表达式（如 from_xml）并生成 XML 文档。 它不需要外部 JAR 文件，并且可以与自动加载程序、read_files、COPY INTO 和 DLT 无缝配合工作。 请参阅 读取和写入 XML 文件。

Apache Spark SQL 更新

Databricks SQL 2024.15 包括 Apache Spark 3.5.0。 Databricks Runtime 14.3 发行说明中列出了 SQL 的其他 bug 修复和改进。 请参阅 Apache Spark 并查找 [SQL] 标签以获取完整列表。

用户界面更新

本节中列出的功能独立于上述 SQL 仓库计算版本。

• 目录资源管理器的实体页中的新概述选项卡显示重要的元数据，如文件大小、数据源、拥有者、表模式和注释。

• Lakeview 仪表板更新：
  • Lakeview 仪表板现在支持参数。 作者可以从 “数据 ”选项卡向数据集查询添加参数，然后使用单值选择器和日期选取器在画布上设置参数。 请参阅使用仪表板参数。
  • 工作区权限 API 现在支持 Lakeview 仪表板。 请参阅 REST API 参考中的 PATCH /api/workspace/workspace/updatepermissions 。
  • 画布上的“控件”小组件已重命名为“筛选器”小组件。
  • 组合图不再允许 x 轴上的非聚合字段。
  • “共享”对话框中的 “复制链接 ”按钮现在包含 URL 中存储的参数。
  • 已发布仪表板上的小组件在悬停时不再显示边框。
  • 解决了 Databricks 助手和下载 PNG 按钮与图表视觉对象重叠的问题。

• 现在，在热图与其他图表类型之间切换可视化时，可以更好地保留相关字段。
• 具有颜色编码的条形图现在正确地限制添加多个 Y 轴字段。

2024 年 3 月 21 日

• Unity Catalog 模型世系现为公共预览版。

目录资源管理器中的表视图现在具有“ 概述 ”选项卡来描述其主要元数据。

• 适用于笔记本的 SQL 仓库现已正式发布，使你能够在笔记本的丰富协作创作环境中利用 SQL 工作负载的完全托管、即时和可缩放的计算。 请参阅 将笔记本与 SQL 仓库配合使用。

以下修复和改进适用于 Lakeview 仪表板：

• 对 Lakeview 的扩展 API 支持增加了创建、获取、更新和删除仪表板的功能。 请参阅 REST API 参考中的 Lakeview 。
• 在“数据”选项卡上为“目录”浏览器添加了刷新按钮。
• “Lakeview 仪表板”现在显示在工作区边栏的“新建”菜单中的“仪表板”之前。 在仪表板列表页上， Lakeview 仪表板 选项卡显示在 “仪表板 ”选项卡左侧。
• Lakeview 的 Databricks 助手体验已更新，增加了输入框和建议，用于提高可发现性并帮助用户理解其可以提出的提示。
• Lakeview 可视化效果现在支持中值聚合。
• 更新了 Lakeview 仪表板可视化编辑器中的颜色选取器，以便在创建表时获得更简化的用户体验。
• 改进了饼图迁移，以专门支持具有角度或颜色定义的方案。
• 修复了一个阻止按名为“count”的图表进行分组的 bug。 现在可以按名为“count”的字段对图表进行分组。
• 对于条形图，当不适用于用户选择的配置时， 组 和 堆栈 布局控件现在处于隐藏状态。

2024 年 3 月 14 日

对于 Lakeview 仪表板：

• 现在，直方图支持自定义的分类颜色。
  • 热图现在支持定量缩放。
  • 在可视化效果类型（包括组合图）之间切换时，将保留标题和说明。
  • 现在，可以通过右键单击它来打开与草稿仪表板小组件关联的基础数据集。 数据集将在 “数据 ”选项卡中打开。

• 新图表现在对数值列中的 null 值应用别名和自定义颜色。
• 新图表现在呈现刻度线以显示 y 轴顶部。

2024 年 3 月 7 日

• 在目录资源管理器中查看表时，“创建”按钮包括一个用于创建 Lakeview 仪表板而不是 Databricks SQL 仪表板的选项。
• 直方图现在可用于 Lakeview 仪表板。 直方图通常用于可视化数值字段的分布。
• 克隆 Databricks SQL 仪表板以创建 Lakeview 仪表板时，数据集转换问题现在在 Lakeview 仪表板上的新小组件中显示为错误。
• 当 Lakeview 仪表板使用数值字段进行可视化时，可应用颜色渐变效果。
• 指定“按字段着色”时，现在会在 Lakeview 仪表板可视化编辑器中公开颜色渐变。
• 如果查看器在草稿 Lakeview 仪表板上缺少编辑权限，则与可视化效果关联的标题和说明将不再可编辑。

• 修复了在包含超过 100 个系列的图表中，工具提示错误地显示所有系列的问题。 现在，仅显示重点系列。
• 通过性能优化将 SQL 编辑器中的键入延迟减少了 30%。
• 在 SQL 编辑器中管理查询时，将查询移动到回收站会自动关闭选项卡。
• 修复了 SQL 编辑器中调整侧面板宽度时意外选择文本的问题。

2024 年 2 月 29 日

• 目录资源管理器中的架构浏览器现在会显示列主键和外键约束。
• 目录资源管理器的“世系”选项卡中显示的保留时间增加到了一年。
• 笔记本中新图表上的工具提示现在始终呈现在可视化边界内。

• 了解如何使用 REST API 以编程方式管理 Lakeview 仪表板。 请参阅 使用工作区 API 管理仪表板。
• Lakeview 仪表板现在支持直方图。
• 在 Lakeview 仪表板中增强了共享和发布功能：
  • 改进了共享和发布对话框，允许安全轻松地与任何帐户用户共享。
  • 从工作区浏览器打开的仪表板会显示已发布的仪表板（如果存在）。 查看者现在还可以查看最新发布的版本的详细信息，包括发布者、时间和凭据。
  • 对于编辑器，Lakeview 仪表板 UI 中的新下拉开关使你可以在草稿和已发布版本之间快速移动。

2024 年 2 月 22 日

• 改进了目录资源管理器表视图中的“ 示例数据 ”选项卡，可对列进行排序、 将 所选数据复制到剪贴板和查看行号。 现在可以更好地显示特殊值，例如 JSON 对象、日期、数字和 null 值。

• Lakeview 仪表板现在支持向工作区用户和通知目标发送仪表板的定期 PDF 快照。 请参阅 计划和订阅。
• Lakeview 下拉列表选取器中的可视化选项列表现在按字母顺序排序。
• 将 Databricks SQL 仪表板复制到 Lakeview 仪表板时，无法转换的部件现在不会显示错误消息，而是会显示可视化配置选择器。

2024 年 2 月 15 日

• 已删除基于代码的查询筛选器（如 SELECT action AS 'action::filter'）的文档。 Databricks 建议更新查询以删除此模式。

• 对于 Lakeview 仪表板，饼图现在在未指定角度字段时显示相同大小的切片。
• Lakeview 现在支持组合图，它将条形图和折线图组合在一起，以显示同一图表上的两个不同的值。
• 热度地图图表（使用颜色强度显示两个离散变量之间的关联程度）现在在 Lakeview 中可用。

2024 年 2 月 8 日

• 现在，当打开指向您没有权限访问的 Lakeview 仪表板的链接时，您可以请求访问权限。
• Lakeview 仪表板筛选器现在具有显式的全部和无选项。 作者可以选择在单选筛选器中隐藏“全部”选项。
• 现在可以在 Lakeview 仪表板图表上设置轴的最小值和最大值。

2024 年 2 月 1 日

Databricks SQL 版本 2024.10 可用

推出时间表

• 2024.10 预览版推出：2024 年 1 月 30 日至 2024 年 2 月 5 日
• 目前 2024.10 的推出时间：2023 年 2 月 13 日至 2024 年 2 月 20 日

2024.10 中的更改

• 修复了 DML 命令中损坏的文件处理： DML 命令 DELETE、UPDATE 和 MERGE INTO 不再支持读取选项 ignoreCorruptFiles 和 ignoreMissingFiles。 在表中遇到不可读的文件时，即使指定了这些选项，这些命令现在也会失败。
• 行级并发已正式发布，默认情况下处于打开状态： 行级并发通过检测行级别的更改来减少并发写入作之间的冲突。 行级并发仅支持在不分区的表上，包括具有液体集群的表。 默认情况下，在启用了删除向量的 Delta 表上启用行级并发。 请参阅行级并发的写入冲突。
• Unity 目录外部表的浅表克隆（公共预览版）： 现在，可以将浅表克隆与 Unity 目录外部表配合使用。 请参阅 Unity Catalog 表的浅表克隆。
• 更快地收集多线程统计信息：当运行 CONVERT TO DELTA 或从 Iceberg 和 Parquet 表克隆时，小型群集上的统计信息收集速度最高可提高 10 倍。 请参阅 “转换为 Delta Lake ”并将 Parquet 和 Apache Iceberg 表增量克隆到 Delta Lake。
• Delta 文件的 DeltaSource 中的下推筛选器：为了获得更高的利用率，Delta 表流式处理查询上的分区筛选器现在会向下推送到 Delta，然后再进行速率限制。

用户界面更新

本节中列出的功能独立于上述 SQL Warehouse 计算版本。

• Databricks SQL 对象（查询、仪表板和警报）列表页上的 “管理员视图 ”选项卡已被删除。 工作区管理员用户可以从各自的列表页查看所有对象。 请参阅 访问并管理保存的查询、旧仪表板和 Databricks SQL 警报。
• 默认情况下，查询历史记录页显示过去 24 小时内的查询。 请参阅 查询历史记录。

• 在 Databricks SQL 仪表板 UI 中添加了一个菜单选项：“克隆到 Lakeview 仪表板”。 可以使用此工具创建新的 Lakeview 仪表板，其中包含现有 Databricks SQL 仪表板中的相同查询和可视化效果。 请参阅将旧版仪表板克隆到 AI/BI 仪表板。
• Lakeview 仪表板中的条形图支持堆叠条形图标准化为 100%。
• 修复了以下问题：在已发布的 Lakeview 仪表板上执行放大操作导致专注于不正确的缩放间隔。

2024 年 1 月 24 日

• Lakeview 仪表板画布可自动调整小组件位置，以尽可能移除行之间的垂直空白。
• 减少了 Lakeview 仪表板可视化效果中标题和说明文本之间的空白。

2024 年 1 月 18 日

• 修复了一个可视化效果的呈现问题：条形图在 x 轴上显示单个日期，导致条形图非常细。 新的图表可视化效果按预期呈现。

• 默认情况下，Lakeview 仪表板列表页显示您的仪表板。 可以使用该页面上的筛选器来访问其他工作区用户拥有的 Lakeview 仪表板。

2024 年 1 月 11 日

• Databricks SQL 查询和仪表板 API 支持程序化更改“运行身份”角色设置。

• Lakeview 支持将仪表板导出和导入为文件，以便跨工作区重现草稿仪表板。 请参阅 导出、导入或替换仪表板

2024 年 1 月 4 日

• 在目录资源管理器中引入了主键和外键实体关系图。 请参阅 “查看实体关系图”。