通过

Lakeflow 声明性管道发行说明和发布升级过程

本文介绍 Lakeflow 声明性管道发布过程、如何管理 Lakeflow 声明性管道运行时，并提供每个 Lakeflow 声明性管道版本的发行说明的链接。

Lakeflow 声明式 Pipelines 运行时通道

注释

若要查看用于 Lakeflow 声明性管道版本的 Databricks Runtime 版本，请参阅该版本的 发行说明 。

Lakeflow Declarative Pipelines 集群使用基于Databricks Runtime发行说明版本及兼容性的运行时。 Databricks 自动升级 Lakeflow 声明式流水线运行时，以支持平台的改进和升级。 可以在 Lakeflow 声明性管道设置中使用 channel 字段来控制管道的 Lakeflow 声明性管道运行时版本。 支持的值包括：

  • current，使用当前运行时版本。
  • preview：使用即将对运行时版本进行的更改来测试管道。

默认情况下，管道使用 current 运行时版本运行。 Databricks 建议将 current 运行时用于生产工作负载。 若要了解如何使用 preview 设置以通过下一个运行时版本测试你的管道，请参阅使用下一个运行时版本自动测试你的管道。

重要

标记为正式版或公共预览版的功能可在 current 渠道中使用。

有关 Lakeflow 声明式管道通道的详细信息，请参阅 Lakeflow 声明式管道的 channel 中的 字段。

若要了解 Lakeflow 声明性管道如何管理每个版本的升级过程，请参阅 Lakeflow 声明性管道升级的工作原理？。

如何查找管道更新的 Databricks Runtime 版本？

可以查询 Lakeflow 声明性管道事件日志来查找用于管道更新的 Databricks Runtime 版本。 请参阅 运行时信息。

Lakeflow 声明性管道发布说明

Lakeflow 声明性管道发行说明按年份和周数组织。 由于 Lakeflow 声明性管道 是无版本性的，因此工作区和运行时更改都会自动发生。 以下发行说明概述了每个版本中的更改和 bug 修复：

Lakeflow 声明式管道的升级是如何进行的？

Lakeflow 声明性管道被视为 无版本 产品，这意味着 Databricks 会自动升级 Lakeflow 声明性管道运行时以支持增强功能和升级到平台。 Databricks 建议限制 Lakeflow 声明性管道的外部依赖项。

Databricks 采取主动措施来防止自动升级将错误或问题引入生产的 Lakeflow 声明性管道。 请参阅 Lakeflow 声明性管道升级过程。

尤其是对于使用外部依赖项部署 Lakeflow 声明性管道的用户，Databricks 建议通过其 preview 通道主动测试管道。 请参阅使用下一个运行时版本自动测试管道。

Lakeflow 声明式管道升级过程

Databricks 管理 Lakeflow 声明式管道计算资源使用的 Databricks Runtime。 Lakeflow 声明性管道会自动升级 Azure Databricks 工作区中的运行时，并在升级后监视管道的运行状况。

如果 Lakeflow 声明性管道检测到管道由于升级而无法启动，则管道的运行时版本将还原为已知稳定版本，并且会自动触发以下步骤：

  • 管道的 Lakeflow 声明性管道运行时被锁定到之前的已知良好版本。
  • Databricks 技术支持团队收到问题通知。
    • 如果问题与运行时中的回归有关，Databricks 会解决此问题。
    • 如果问题是由管道使用的自定义库或包引起的，Databricks 会联系你解决问题。
  • 解决问题后，Databricks 会再次启动升级。

重要

Lakeflow 声明性管道仅还原在生产模式下运行的管道，并将通道设置为 < a0 />。

使用下一个运行时版本自动测试管道

若要确保下一个 Lakeflow 声明性管道运行时版本中的更改不会影响管道，请使用 Lakeflow 声明性管道通道功能：

  1. 创建暂存管道并将通道设置为 preview。
  2. 在 Lakeflow 声明性管道 UI 中，创建计划以每周运行管道，并启用警报来接收管道故障的电子邮件通知。 Databricks 建议每周安排一次管道测试运行，尤其是在你使用自定义管道依赖项的情况下。
  3. 如果收到故障通知并且无法解决故障，请使用 Databricks 开具支持票证。

管道依赖项

Lakeflow 声明性管道支持管道中的外部依赖项;例如，可以使用命令安装任何 Python 包 %pip install 。 Lakeflow 声明性管道还支持使用全局和群集范围的 初始化脚本。 但是，这些外部依赖项（尤其是 init 脚本）会增加运行时升级问题的风险。 若要缓解这些风险，请尽量减少在管道中使用 init 脚本。 如果处理需要 init 脚本，请自动测试管道以提前检测问题；请参阅使用下一个运行时版本自动测试管道。 如果使用 init 脚本，Databricks 建议增加测试频率。