通过

Databricks SQL 发行说明 2021

下面概述了 Databricks SQL 在 2021 年 1 月至 2021 年 12 月的改进和更新。

2021 年 12 月 15 日

  • Databricks SQL 现已正式发布。 这标志着一个重要的里程碑：提供给您第一个将数据、AI 和 BI 工作负载统一在一个地方的 Lakehouse 平台。 借助 GA，Databricks 将能够为任务关键型工作负载提供最高级别的稳定性、支持和企业就绪性。 请阅读 GA 公告博客以了解更多信息。
  • 警报现在独立于查询进行计划。 创建新警报并创建查询时，系统还会提示你为警报创建计划。 如果你有现有警报，则我们已从原始查询复制了计划。 此更改还允许你为“以所有者身份运行”和“以查看者身份运行”查询设置警报。 “以所有者身份运行”查询使用查询所有者的凭据按指定的警报计划运行。 “以查看者身份运行”查询使用警报创建者的凭据在指定的警报计划上运行。 请参阅 Databricks SQL 警报 和 计划查询。
  • 现在，你可以在 SQL 编辑器和仪表板中对参数重新排序。
  • 有关创建热图可视化效果的文档已扩展。 请参阅热度地图选项。

2021 年 12 月 9 日

  • 创建表可视化效果时，现在可以将列的字体颜色设置为静态值或基于列的字段值的值范围。 字面值将与阈值进行比较。 例如，要对值超过 500000 的结果进行着色，请创建阈值 > 500000，而不是 > 500,000。 请参阅有条件地设置列颜色的格式。
  • 在标签式 SQL 编辑器的模式浏览器中，图标现在可以帮助区分表和视图。

2021 年 12 月 1 日

  • 现在可以在工作区级别应用 SQL 配置参数。 这些参数会自动应用于工作区中的所有现有和新的 SQL 终结点。 请参阅配置 SQL 参数。

2021 年 11 月 18 日

  • 查看查询的历史记录时，现在可以在运行查询的服务主体上筛选查询。 请参阅查看查询历史记录。
  • 你现在可以使用侧边栏快捷方式打开 SQL 编辑器。 若要打开 SQL 编辑器，请单击“SQL 编辑器”。
  • 如果您有权限创建数据科学和工程群集，现在可以通过单击侧边栏中的创建，然后单击SQL 终结点来创建 SQL 终结点。
  • 管理员现在可以通过 UI 将查询、仪表板或警报的所有权转让给其他用户。 请参阅：
  • 转让查询的所有权
  • 转让旧仪表板的所有权
  • 转让警报的所有权

2021 年 11 月 4 日

  • 在地图 (Chloropleth) 可视化可视化效果中，图例中颜色的最大梯度步数已从 11 增加到 20。 默认值为 5 个梯度步，包括“最小颜色”和“最大颜色”。
  • 选项卡式 SQL 编辑器现在支持批量选项卡管理。 如果右键单击某个选项卡，将看到“关闭其他”、“关闭左侧”、“关闭右侧”和“关闭所有”选项。 请注意，如果右键单击第一个或最后一个选项卡，则不会看到“关闭左侧”或“关闭右侧”选项。

2021 年 10 月 28 日

  • 在目录资源管理器中查看表时，有两个选项来简化与表的交互：
  • 单击 创建> 查询 创建一个查询，该查询选择所有列并返回前 1000 行。
  • 单击创建>快速仪表板，打开一个配置页面，可在其中选择感兴趣的列，创建仪表板和支持查询。这些查询使用所选列提供基本信息，并展示仪表板级参数和其他功能。

2021 年 10 月 19 日

  • 现在，选项卡式编辑器中提供了新的键盘快捷方式：
  • 打开新选项卡：
    • Windows： Cmd+Alt+T
    • Mac：Cmd+Option+T
  • 关闭当前选项卡
    • Windows： Cmd+Alt+W
    • Mac：Cmd+Option+W
  • 打开查询对话框
    • Windows： Cmd+Alt+O
    • Mac：Cmd+Option+O

2021 年 9 月 23 日

  • 你现在可以通过克隆现有仪表板来创建新仪表板，前提是对仪表板及所有上游查询具有“可运行”、“可编辑”和“可管理”权限。 请参阅克隆旧版仪表板。
  • 现在可以在包含多个 Y 轴列的可视化效果中使用 GROUP BY。 请参阅散点图。
  • 现在可以使用 {{ @@yPercent}} 在非规范化堆积条形图中设置数据标签的格式。 请参阅条形图。
  • 如果使用 SAML 身份验证并且 SAML 凭据将在几分钟内过期，则现在在执行查询或刷新仪表板之前，系统会主动提示重新登录。 这有助于防止操作因凭据在查询执行期间过期而中断。

2021 年 9 月 20 日

  • 现在，您可以通过权限 REST API 来转移仪表板、查询和警报的所有权。 请参阅查询 ACL。

2021 年 9 月 16 日

  • 在查询结果中，BIGINT 结果大于 9007199254740991 时，现在会被串行化为字符串。 这修复了 BIGINT 结果在查询结果中可能被截断的问题。 其他整数结果仍序列化为数字。 轴标签和工具提示上的数字格式设置不适用于序列化为字符串的 BIGINT 结果。 有关 Databricks SQL 中的数据类型的详细信息，请参阅 BIGINT 类型。

2021 年 9 月 7 日

Databricks 将在一周的时间内推出后续更改。 直到 9 月 7 日之后，你的工作区才可能启用这些更改。

  • Databricks SQL 现提供公共预览版，并对新工作区中的所有用户启用。

注释

如果你的工作区在公共预览版期间（即 2021 年 9 月 7 日开始的一周之前）启用了 Databricks SQL，用户将保留在该日期之前分配的权利，除非你对其进行更改。 换句话说，如果用户在公共预览版期间没有访问 Databricks SQL 的权限，那么除非管理员授予他们权限，否则他们现在不会拥有权限。

  • 管理员可通过向用户或组分配“Databricks SQL 访问权限”权利（API 中的 databricks-sql-access）来管理哪些用户有权访问 Databricks SQL。 新用户默认具有此权利。

管理员可限制用户或组仅访问 Databricks SQL，并且可通过从用户或组中删除“工作区访问权限”权利（API 中的 workspace-access）来防止他们访问数据科学与工程或 Databricks Mosaic AI。 新用户默认具有此权利。

重要

若要登录并访问 Azure Databricks，用户必须具有“Databricks SQL 访问权限”或“工作区访问权限”，或两者兼有。

  • 一个名为 Starter Endpoint 的小型经典 SQL 端点已在所有工作区预配，使你可以立即开始创建仪表板、可视化效果和查询。 为了处理更复杂的工作负载，可轻松地增大其大小（以减少延迟）或增加底层群集的数量（以处理更多并发用户）。 为了管理成本，Starter Endpoint 被配置为在空闲 120 分钟后终止。

2021 年 9 月 2 日

  • 对仪表板具有“可编辑”权限的用户现在可管理仪表板的刷新计划和订阅列表。 之前，需要具备“可管理”权限。 有关详细信息，请参阅自动刷新仪表板。
  • 默认情况下，可视化效果不再根据返回的结果数动态重设大小，而是无论结果数如何，都维持相同的高度。 若要返回到之前的行为并配置可视化效果来动态重设大小，请在仪表板的可视化效果设置中启用“动态调整面板高度”。 有关详细信息，请参阅表选项。
  • 如果你有权访问同一帐户中的多个工作区，则可在 Databricks SQL 中切换工作区。 在你的 Azure Databricks 工作区的左下角，单击 帐户图标，然后选择一个工作区以切换到该工作区。

2021 年 7 月 1 日

  • 借助新的目录资源管理器，可以轻松浏览和管理对数据库和表的权限。 用户可以查看架构详细信息，预览示例数据，还可查看表详细信息和属性。 管理员可以查看和更改数据对象所有者，数据对象所有者可以授予和撤销权限。 有关详细信息，请参阅什么是目录资源管理器？。
  • 水平图表中的 Y 轴已更新，以反映与表中相同的顺序。 如果此前选择了反向排序，可以使用 Y 轴上选项卡的“反转顺序”开关来反转新排序。

2021 年 6 月 23 日

  • 轻松配置具有服务主体的 SQL 终结点。 现有一个控件可帮助你在全局 SQL 终结点设置中配置服务主体。 请参阅配置服务主体。
  • 现在支持临时视图。

2021 年 6 月 17 日

  • Photon，Databricks 的新矢量化执行引擎，现在默认启用，用于新创建的 SQL 终结点（包括 UI 和 REST API）。 Photon 透明化加速以下操作
    • 对 Parquet 和 Delta 表的写入。
    • 许多 SQL 查询。 请参阅限制。
  • 使用 CREATE GROUP、DROP GROUP、ALTER GROUP、SHOW GROUPS 和 SHOW USERS 命令轻松管理用户和组。 有关详细信息，请参阅 安全语句和 显示语句。
  • 对于具有超过 100 个表的架构，查询编辑器架构浏览器更贴合，也更快捷。 在此类架构上，架构浏览器不会自动加载所有列；仍照常显示表列表，但仅在单击表时加载列。 此更改会影响查询编辑器中的查询自动完成，因为它依赖于此信息来显示建议。 在展开表并加载其列之前，这些建议不可用。

2021 年 6 月 3 日

  • 新启用的 Azure Databricks 工作区的管理员现在默认接收 Databricks SQL 权利，不再需要使用管理控制台向其自己授予 Databricks SQL 访问权限。
  • Photon 现在以公共预览版提供，默认为新的 SQL 终结点启用。
  • 多群集负载均衡现已公开预览。
  • 现在，可以使用“可编辑”权限实现与组织的其他成员协作处理仪表板和查询。 请参阅访问控制列表。

2021 年 5 月 26 日

  • SQL 分析已重命名为 Databricks SQL。 此更改具有以下面向客户的影响：

    • Web UI 中的引用已更新。

    • 授予访问 Databricks SQL 权限的资格已被重命名。

      • UI：Databricks SQL 访问权限（以前称为 SQL Analytics 访问权限）
      • SCIM API：databricks-sql-access（以前称为 sql-analytics-access）

      具有旧权利的用户、组和服务主体已迁移到新权利。

    • 与 Databricks SQL 相关的审核日志事件标记已更改：

      • Databricks 事件SQL前缀现为 databrickssql。
      • changeSqlAnalyticsAcl 现为 changeDatabricksSqlAcl。

  • 仪表板更新

    • 仪表板导出文件名已更新为仪表板的名称 + 时间戳，而不是 UUID。
    • 导出记录限制已从 22k 提升至 64k。

2021 年 5 月 13 日

  • Databricks SQL 不再尝试猜测列类型。 以前，即使采用 xxxx-yy-dd 格式的列是标识代码，系统也将它当做日期处理。 而现在，系统不再将此列自动看做是日期。 如果需要，必须在查询中指定它。 此更改可能导致某些依赖先前行为的可视化效果失效。 在此版本中，可通过更改“设置”用户设置图标>>“向后兼容性”选项，返回到之前的行为。 在未来版本中，我们将删除此功能。

  • 查询编辑器现在有一个查询进度指示器。 状态更改现显示在不断更新的进度栏中。

    进度栏

修复的问题

  • SQL 编辑器。 在查询选项卡之间切换时，SQL 编辑器现在将保留所选文本和滚动位置。
  • SQL 编辑器。 如果在 SQL 编辑器中针对某个查询单击“运行”，然后导航到另一个页面并在查询仍在执行时返回，则编辑器将显示正确的查询状态。 如果查询在你位于另一个页面时完成，则在返回到 SQL 编辑器页面时，查询结果将可用。
  • 现在可以使用 MySQL 8.0 作为外部元存储。
  • Delta 表上的 DESCRIBE DETAIL 命令不再失败并产生 java.lang.ClassCastException: java.sql.Timestamp cannot be cast to java.time.Instant.
  • 读取具有 INT96 时间戳的 Parquet 文件不再失败。
  • 用户具有针对查询的“可运行”权限并运行该查询时，如果该查询是由另一个用户创建的，则查询历史记录会将该查询的运行者显示为用户。
  • 呈现图表时，现在忽略 Null 值，从而提高图表的可用性。 例如，以前，存在 null 值时，条形图中的条形看起来非常小。 现在，轴仅基于非 null 值进行设置。