通过

Databricks SQL 2022年发行说明

下面概述了 Databricks SQL 在 2022 年 1 月至 2022 年 12 月的改进和更新。

2022 年 12 月 8 日

  • Azure Databricks SQL 警报现在支持查询结果列（如 SUM、COUNT 和 AVG）的聚合警报。
  • 在仪表板上创建新的小组件时，默认可视化效果标题现在为“VisualizationName - QueryName”。

2022 年 11 月 17 日

警报：

  • Chatworks、Mattermost 和 Google Hangouts Chat 不再是通知目标。

改进：

  • 检查百分比值时，y 轴现在将数字显示为百分比。
  • 用于在管理界面中禁用上传数据界面的选项现在也适用于新的上传数据界面。 此设置适用于数据科学与工程、Databricks Mosaic AI 和 Databricks SQL 角色。

修复：

  • 修复了 Databricks SQL 警报中的一个问题：与 null 值比较时评估不正确。
  • 修复了数据透视表上的滚动条消失的问题。
  • 修复了架构浏览器无法调整溢出选项卡大小的问题。

2022 年 11 月 10 日

改进：

  • 现在可以创建同时处理多个查询的仪表板筛选器。 在“编辑仪表板”模式下，依次选择“添加”、“筛选器”、“新建仪表板筛选器”。
  • 自动补全现在支持 CREATE MATERIALIZED VIEW。

修复：

  • 修复了滚动到一组仪表板分页结果的末尾时发送错误的问题。
  • 修复了从堆叠条形图切换到折线图时保留堆叠属性的问题。
  • 修复了重复的提取调用。

2022 年 11 月 3 日

改进：

  • 在 Databricks SQL 中请求访问权限时，默认权限现在为“可以运行”。

修复：

  • 修复了使用查询和仪表板 API 按 created_at 排序时不返回正确排序顺序的问题。
  • 修复了包含 HTML 格式 URL 的列的列宽过大问题。
  • 修复了不突出显示 WHERE 关键字的问题。

2022 年 10 月 27 日

改进：

  • 将查询结果下载到 Excel 的行限制已从 64,000 行增加到 100,000 行。 CSV 和 TSV 下载限制保持不变（大约 1 GB 数据）。
  • 自动完成现在支持 LIST 语法、URL 和凭证信息。
  • 合并并升级了 Fix-me 建议面板。
  • 为 Databricks SQL 引入了新的仓库类型 Databricks SQL Pro。 此仓库类型使 Databricks SQL 仓库能够使用作业集成、查询联合、地理空间功能和预测性 IO。

修复：

  • 修复了编辑器中的警告横幅与全高度可视化效果重叠的问题。
  • 修复了移动表列时不保留表列宽的问题。
  • 修复了以下问题：如果从 SQL 编辑器添加可视化效果，则弹出通知中指向仪表板的链接会损坏。

2022 年 10 月 20 日

改进：

  • 现在可以在页脚中看到查询进度条，并在串形菜单中看到用于编辑可视化效果的操作。
  • 自动补全现在支持 Delta 按时间顺序查看，并在定义外键时提供列自动补全。

修复：

  • 修复了在仪表板中快速连续添加多个可视化效果时，导致这些可视化效果未显示在仪表板上的问题。

2022 年 10 月 13 日

改进：

  • 现在，可以删除报告的错误消息。
  • 编辑器现在支持 COMMENT ON 指令。
  • 现在可以使用 Cmd+P 或 Ctr+P（适用于电脑）作为“热门搜索”的快捷方式。 使用 Cmd+I 或 Ctr+I（适用于电脑）作为“添加参数”的快捷方式。

2022 年 10 月 11 日

改进：

2022 年 10 月 6 日

改进：

  • EXTERNAL 现在是保留的表属性。 如果在属性中指定 CREATE TABLE ... TBLPROPERTIES，则命令 ALTER TABLE ... SET TBLPROPERTIES 和 EXTERNAL 将失败。
  • strfmt 和 format_string(strfmt, obj, ...) 中的 printf(strfmt, obj, ...) 不再支持使用 0$ 作为第一个参数。 使用参数索引指示参数在参数列表中的位置时，第一个参数应由 1$ 引用。
  • 饼图的各个部分现在有一个薄边框，用于区分不同的部分。
  • 现在，可以使用 Cmd+I（适用于 Mac）或 Ctr+I（适用于电脑）作为“添加参数”的快捷方式。 使用 Cmd+P 或 Ctr+P（适用于电脑）作为“全局搜索”的快捷方式。
  • 针对正确或错误的查询错误消息，可以使用反馈按钮。
  • “修复我”建议现在以“快速修复”形式提供。

修复：

  • lpad 和 rpad 函数现在可以正常使用 BINARY 字符串输入。 用于 lpad 字符串输入的 rpad 和 BINARY 现在输出为 BINARY 字符串。
  • 修复了手动警报刷新无法正常运行的问题。
  • 撤回了关于自动计数器大小调整的更改，以解决格式问题。

2022 年 9 月 29 日

改进：

  • 现在，可以向这些资产的所有者请求对 Databricks SQL 查询、警报和仪表板的访问权限。
  • 现在，可以在“查询历史记录”页面上按查询持续时间和语句类型进行筛选。
    • 若要使用查询持续时间筛选器，请输入时间量并选择时间单位。 历史记录结果返回运行时间超过指定时间的查询。
    • 若要使用语句类型筛选器，请从下拉列表中选择语句类型。 历史记录结果返回包含该语句的查询。

修复：

  • 修复了并非所有受支持的 HTML 标记都在自定义警报模板中正常运行的问题。 所有标记均按文档说明提供。
  • 修复了“可视化效果”通知提示的问题。 例如，双击缩小可视化效果之前没有作用。
  • 修复了图表名称中未反映交换图表中的轴的效果。

2022 年 9 月 22 日

改进：

  • 仪表板上显示多个计数器小组件时，相同大小的计数器小组件将具有相同的字体大小。
  • 更新了组合图表，确保使用双轴时只能在同一轴上使用相同的图表类型（例如折线图、条形图）。 序列别名也应用于轴。
  • 添加了对代理键和 LIST 操作的自动完成支持。

修复：

  • 修复了文本参数不接受 Null 作为有效值的问题。

2022 年 9 月 15 日

修复：

  • 修复了从 SQL 仓库列表页查看查询历史记录不起作用的问题。

2022 年 9 月 8 日

改进：

  • 在 DSE/SQL 主页中引入新的“开源集成”卡，其中显示了开源集成选项，例如 Lakeflow 声明性管道和 dbt 核心。

修复：

  • 修复了参数下拉菜单被可视化效果选项卡遮挡的问题。

2022 年 9 月 1 日

改进：

  • 引入新的简化 UI 以添加参数和筛选器。 选择 <按钮>+</按钮> ，然后选择添加筛选器或参数。
  • 现在可以自动补全 SQL 标记中的括号，例如“OVER()”。

修复：

  • 修复了在全屏模式下查看仪表板时忽略调色板的问题。
  • 修复了一个问题，即快速键入后使用运行快捷方式时运行的是上一条查询文本，而不是新键入的查询文本。
  • 修复了使用键盘命令 ctrl+enter 运行查询会提交重复查询的问题。

2022 年 8 月 25 日

修复：

  • 修复了查询参数更改时仪表板筛选器未更新的问题。

2022 年 8 月 18 日

  • 对于 Databricks SQL，Unity Catalog（公共预览版）在预览通道中可用。 有关详细信息，请参阅什么是 Unity Catalog？。
  • 文档：警报 API 文档已发布。
  • 可视化效果：用户现在可以设置日期筛选器的默认值。 每当在查询或仪表板上刷新筛选器时，都将应用默认值。
  • 修复：
    • 修复了当仪表板仍在重新加载时应用更改不起作用的问题。
    • 修复了查询未返回结果时列过窄的问题。

2022 年 8 月 11 日

改进：

  • 当用户刷新失败时，他们将收到电子邮件。 若要启用此类通知，请导航到管理控制台的“SQL 设置”选项卡。 在“失败电子邮件”下，选择想要接收失败通知的对象类型（查询、仪表板或警报）。 故障报告每小时发送一次。
  • 可视化效果
    • 介绍用于可视化效果和仪表板的现代配色方案。 要将仪表板更改为新的调色板，请转到仪表板，单击 <button>“编辑”</button> -><button>“颜色”</button> -><button>“导入”</button>，然后选择“Databricks 调色板”。 SQL 管理员还可以转到 <button>设置</button> -><button>SQL 管理员控制台</button> -><button>工作区颜色</button> -><button>导入</button> 并选择新调色板，以将新调色板设置为工作区的默认选项。

修复：

  • 修复了在查询已在执行时之前选择 <button>应用更改</button> 来应用筛选器不起作用的问题。

2022 年 8 月 4 日

改进：

  • 现在在克隆仪表板时，有一个选项用于选择是否还应克隆查询。
  • 选项卡内容在浏览器选项卡之间同步。 查询的状态现在将在所有浏览器选项卡中同步。 这意味着，如果你在浏览器标签页 1 中处理 query1，然后切换到浏览器标签页 2，则当你回到原始浏览器标签页时，会看到 query1 处于你退出时的状态。

修复：

  • 饼图中空字符串的标签现在显示字符串为空，而不是值的索引。

2022 年 7 月 28 日

  • 警报
    • 自定义的警报电子邮件模板已更新，禁止某些可能带来安全风险的 HTML 标记。 不允许的 HTML 标记和属性会被自动清理。 例如， <按钮> 是不允许的 HTML 标记，因此不会呈现按钮，而是显示文本“button”。 有关允许的 HTML 标记和属性列表，请参阅警报。
    • 用户现在可以为其他用户订阅警报，而无需创建通知目标，这需要管理员权限。
  • 下载：用户现在可以从 Databricks SQL 以 CSV 和 TSV 格式下载最多 1GB 的结果数据，而以前最多可以下载 64,000 行。
  • 可视化效果
    • 现在可以直接在仪表板上编辑可视化效果。 在编辑模式下，单击 kebab 菜单，然后选择“编辑可视化效果”，开始编辑可视化效果。
    • 下载与聚合可视化相关的结果时，下载的结果也会被聚合。 下载选项从底部串形菜单移动到与选项卡关联的串形菜单。下载的结果来自创建可视化效果的查询的最新执行。
  • SQL 编辑器：当浏览器内表显示的数据被限制为 64,000 行时，结果表会显示一条消息。 TSV 和 CSV 下载仍最多为 1GB 的数据。
  • 查询筛选器：
    • 查询筛选器已更新为在客户端或服务器端动态运行以优化性能。 以前的查询筛选器（现为旧版）仅在客户端运行。 如果需要，用户仍可以使用带有 :: 语法的旧筛选器。
    • 更新后的筛选器更简单：用户只需单击“+添加筛选器”按钮，然后从下拉列表中选择一列。 以前，用户必须直接修改查询文本。
    • 突出显示相关值，以便更轻松地查看筛选器中的哪些选择将返回给定其他筛选器选择的结果。
  • 查询历史记录：查询历史记录中的查询详细信息现在会显示查询源，它是执行查询的源。

2022 年 7 月 21 日

  • 共享通知：每当与用户共享仪表板、查询或警报时，用户现在都会收到电子邮件通知。
  • 通过新的嵌入式编辑器工具包增强 SQL 编辑器体验
    • 实时语法错误突出显示（例如，错误的关键字、表不存在以及修复错误的建议）
    • 在上下文帮助中：光标悬停时（例如，完整表名、详细功能面板）和内联执行错误消息（例如，执行后突出显示出错的行）
    • 建议智能排序（例如参数自动补全、排序公式和低干扰匹配）

2022 年 7 月 14 日

  • 除 CSV 文件外，现在还可使用 Create Table UI 上传 TSV 文件。
  • 每当与用户共享仪表板、查询或警报时，Databricks SQL 现在都会提供通过电子邮件通知用户的选项。
  • 可视化表格现在可以选择性地包含在结果旁边显示的行号。
  • 选择一个地理区域作为分级着色可视化效果时，现在会收到关于已接受的值的内联提示。

2022 年 6 月 23 日

  • SQL 终结点名称更改：Databricks 将 SQL 终结点更名为 SQL 仓库，因为它不仅仅是运行 SQL 命令的 API 入口点。 SQL 仓库是满足所有数据仓库需求的计算资源，是 Databricks 平台不可分割的一部分。 计算资源是在云中提供处理功能的基础结构资源。
  • 对于分级着色可视化效果，可视化编辑器中的键列和目标字段选择已重命名为地理列和地理类型。 为便于理解而进行的重命名不会导致新的或现有的 Choropleth 出现任何行为更改。
  • 限制 1000 个查询这一选项已从 SQL 查询编辑器中的复选框移动到运行按钮中的复选框。
  • 查询历史记录表中的缓存查询现使用“缓存”标记进行标记。
  • 手动刷新仪表板会使用仪表板的仓库（如果可用），而不是每个查询的仓库。
  • 无论“以查看者/所有者身份运行”设置为何，刷新警报时始终使用该警报所属的仓库。

2022 年 6 月 9 日

  • 将鼠标悬停在终结点选择器中时，完整的终结点名称将显示为工具提示。
  • 在 SQL 编辑器架构浏览器中进行筛选时，搜索结果中现在突出显示了搜索词。
  • SQL 编辑器中的“关闭所有”对话框现在显示未保存的查询列表。
  • 若要在 SQL 编辑器中重新打开最后一个关闭选项卡，请使用以下新的键盘快捷方式：<Cmd> + <Shift> + <Option> + T
  • 现在可以向组合图表添加数据标签。
  • 可视化聚合操作的列表现在包括方差和标准偏差。

2022 年 5 月 26 日

创作改进：

  • 现在可以在创作可视化效果时绕过聚合。 在查询已包含聚合时，此功能特别有用。 例如，如果查询是 SELECT AVG(price_per_sqft), isStudio, ___location GROUP BY ___location, isStudio，则图表编辑器以前需要明确指定另一个聚合层。
  • 创建仪表板时，您现在可以：
    • 重复文本框小组件
    • 扩大编辑文本框面板的大小
  • 创作可视化效果时，错误列的默认聚合是标准偏差。

修复：

  • 可视化效果的编辑操作仅在仪表板处于编辑模式时可用。 编辑操作不再可用作视图模式操作。
  • 创建新查询时，该查询将在焦点选项卡右侧的选项卡中打开，而不是在列表末尾打开。
  • 打开查询模式显示哪个查询已打开，并提供将焦点切换到该查询选项卡的选项。
  • Sankey 和 Sunburst 图表不再将 0 视为 null。

2022 年 5 月 19 日

  • 已修复问题：当你在特定可视化效果选项卡上打开 SQL 编辑器的焦点并将链接共享给其他用户后，该用户在单击共享链接时将在 SQL 编辑器中具有相同的焦点。
  • 改进：
    • Microsoft Teams 现在是受支持的通知目标。
    • 日期范围、日期和时间范围以及日期和时间范围（以秒为单位）参数现在支持用于指定一周开始日期的选项（默认为星期日）。

2022 年 5 月 12 日

  • 可视化效果现在支持直接在 UI 中进行时间分箱。 现在，您只需通过更改下拉列表的值，而不用直接在查询文本中添加和修改 date_trunc() 函数，即可轻松在每年、每月、每日或每小时的数据分段之间切换。
  • 现在，默认情况下仪表板具有颜色一致性。 如果跨多个图表具有相同的系列，则系列在所有图表中始终使用相同的颜色 - 无需任何手动配置。

2022 年 5 月 3 日

  • 与用户或组共享仪表板时，我们现在还提供共享可视化和参数所用的所有上游查询的功能。
    • 如果无权共享一个或多个上游查询，将会收到一条警告消息，指出并非所有查询都可以共享。
    • 共享仪表板时授予的权限不会替代、否定或扩展上游查询上的现有权限。 例如，如果用户或组在共享仪表板上具有“可以所有者身份运行”权限，但仅对上游查询具有“以查看者身份运行”权限，则对上游查询的有效权限将为“以查看者身份运行”。

2022 年 4 月 27 日

  • 现在，当按需导出为 PDF 以及生成定期订阅电子邮件时，仪表板布局将会保留。

2022 年 3 月 17 日

  • 图表包括新的组合可视化选项。 这样就可以创建包含条形和线的图表。

2022 年 3 月 10 日

  • Unity Catalog（预览版）允许你在帐户级别管理治理和访问数据。 可以集中管理元存储和数据权限，并且可以将元存储分配给帐户中的多个工作区。 你可以使用 Databricks SQL 目录资源管理器或 SQL 编辑器来管理 Unity Catalog 数据和对象并与之交互，并且可以在仪表板和可视化对象中使用 Unity Catalog 数据。 请参阅什么是 Unity Catalog？。

注释

Unity 目录要求 SQL 终结点使用版本 2022.11，该版本位于预览频道中。

  • Delta Sharing（预览版）允许你与组织外部的收件人共享只读数据。 Databricks SQL 支持查询 Delta Sharing 数据并将其用于可视化和仪表板。

  • 每次手动或按计划刷新仪表板时，都会刷新仪表板和上游中的所有查询（包括参数使用的查询）。 刷新单个可视化效果时，将刷新所有上游查询（包括参数使用的查询）。

2022 年 3 月 3 日

  • 组群可视化已更新，使得组群根据最小值和最大值进行插值，而不是从 0 和 100 开始插值。 现在，可以很轻松地在实际可用数据范围内区分组群。 以前，如果所有数字都比较接近，则它们使用相同的颜色。 现在，接近的数字更可能使用不同的颜色，因为数据组是按从最大到最小的范围划分来形成每个序列的。
  • 可以更轻松地查看仪表板订阅计划是处于活动状态还是已暂停状态。 单击“订阅”时，如果仪表板订阅计划已暂停，则会显示消息“此计划已暂停”。 仪表板订阅计划暂停后，可以订阅或取消订阅仪表板，但不会发送计划的快照，也不会更新仪表板的可视化效果。
  • 查看“查询历史记录”时，现在可以按持续时间对列表进行排序。 默认情况下，查询按开始时间排序。

2022 年 2 月 24 日

  • 在目录资源管理器中，现在可以查看用户或组对表、视图、架构或目录拥有的权限。 单击对象，然后单击“权限”并使用新的筛选器框。

2022 年 2 月 17 日

  • 可视化效果变得更加智能！ 当查询产生一列或两列时，系统将自动选择建议的可视化类型。
  • 现在，你可以创建直方图，以可视化数据集中每个值出现的频率，并了解数据集的值是围绕少量范围聚类还是更分散。
  • 在查询历史和查询概要中，现在可以将查询字符串和失败查询的错误消息展开到全宽。 这样可以更轻松地分析查询计划并对失败的查询进行故障排除。
  • 在条形图、线图、面积图、饼图和热图可视化效果中，现在可以直接在可视化效果配置 UI 中执行聚合，无需修改查询本身。 利用这些新功能时，聚合将在整个数据集上执行，而不是仅限于前 64000 行。 编辑在此版本之前创建的可视化效果时，你将看到一条消息“This visualization uses an old configuration. New visualizations support aggregating data directly within the editor.”，如果要利用新功能，则必须重新创建可视化效果。 请参阅在可视化效果中启用聚合。

2022 年 2 月 10 日

  • 现在，你可以为仪表板设置自定义调色板。 该仪表板中显示的所有可视化效果都将使用指定的调色板。 设置自定义选项板不会影响可视化效果在其他仪表板或 SQL 编辑器中的显示方式。

    你可以为调色板指定十六进制值或从另一个调色板导入颜色，无论是由 Databricks 提供还是由工作区管理员创建。

    将调色板应用于仪表板时，默认情况下，该仪表板中显示的所有可视化效果都将使用选定的调色板，即使你在创建可视化效果时配置了自定义颜色也是如此。 若要替代此行为，请参阅 自定义调色板。

  • 工作区管理员现在可以使用管理控制台创建自定义调色板。 创建自定义调色板后，可在新仪表板和现有仪表板中使用自定义调色板。 若要对仪表板使用自定义调色板或对其进行自定义，可以编辑仪表板设置。

  • 从 SQL Kebab 菜单图标 向仪表板添加使用参数的可视化效果时，该可视化效果现在默认使用仪表板级参数。 这与你在仪表板中使用“添加可视化”按钮添加组件时的表现一致。

  • 查看查询历史并按参数组合筛选列表时，现在会显示匹配查询的数量。

  • 在可视化效果中，修复了无法将 Y 轴范围调整为特定值的问题。

2022 年 2 月 3 日

  • 标签式 SQL 编辑器现在默认为所有用户启用。 有关更多信息或禁用标签式编辑器，请参阅编辑多个查询。
  • 仪表板电子邮件订阅者现在会收到一张内嵌图片，显示仪表板快照图，而不是附件。 快照的 PDF 将附加到电子邮件中。
  • 现在，你可以通过为 SQL 终节点配置现成虚拟机实例策略来平衡可靠性和成本。 现成实例策略确定工作器是仅使用按需实例，还是使用按需实例和现成实例的组合。 “成本优化”（默认）主要使用现成虚拟机实例和一个按需实例。 “可靠性优化”仅使用按需实例。 以前，按需实例始终用于 SQL 终结点。 要保留此行为，请将现成虚拟机实例策略设置为“可靠性优化”。 请参阅配置现成实例策略。

2022 年 1 月 27 日

  • 查询概要的查看、共享和导入方式得到改进。 请参阅查询简介。

  • “详细信息”可视化效果现在允许你重命名列，就像“表”可视化效果一样。

  • 现在可以通过中键单击 SQL 编辑器中的标签页来关闭标签页。

  • 以下键盘快捷键已添加到标签式 SQL 编辑器中：

    • 关闭所有标签页：Cmd+Option+Shift+A (macOS) / Ctrl+Option+Shift+A (Windows)
    • 关闭其他标签页：Cmd+Option+Shift+W (macOS) / Ctrl+Option+Shift+W (Windows)

    这些键盘快捷键提供了右键单击选项卡以访问相同操作的替代方法。 若要查看所有键盘快捷方式，请在选项卡式 SQL 编辑器中单击 键盘图标“键盘”图标。

2022 年 1 月 20 日

  • 表中整数和浮点型数据类型的默认格式已更新为不包含逗号。 这意味着默认情况下，10002343 等值将不再有逗号。 若要设置这些类型的格式以使用逗号显示，请单击“编辑可视化效果”，展开列的区域，然后修改格式以包含逗号。
  • 为了更好地与浏览器呈现限制保持一致，可视化效果现在最多显示 10000 个数据点。 例如，散点图最多显示 10000 个数据点。 如果数据点的数量受到限制，则会显示警告。

2022 年 1 月 13 日

  • 修复了 SQL 编辑器中的“保存”按钮有时被禁用的问题。 “保存”按钮现在始终处于启用状态，并且在检测到未保存的更改时会包含一个星号 ()。*