通过

具有 CI/CD 和 Git 集成支持的数据流 Gen2

数据流 Gen2 现在支持持续集成/持续部署 (CI/CD) 和 Git 集成。 使用此功能可在连接到构造工作区的 Git 存储库中创建、编辑和管理数据流。 此外，还可以使用部署管道功能自动将数据流从自己的工作区部署到其他工作区。 本文更深入地介绍了如何在 Fabric 数据工厂中将 Dataflow Gen2 与 CI/CD 和 Git 集成结合使用。

新增功能

使用数据流 Gen2（CI/CD），现在可以：

  • 为 Dataflow Gen2 使用 Git 集成支持。
  • 使用部署管道功能自动将数据流从自己的工作区部署到其他工作区。
  • 使用 Fabric 设置和计划程序刷新和编辑数据流 Gen2 的设置。
  • 直接将 Dataflow Gen2 创建到工作区文件夹中。
  • 使用公共 API（预览版）通过 CI/CD 和 Git 集成创建和管理数据流 Gen2。

先决条件

如果要开始，必须满足以下先决条件：

  • 拥有含有效订阅的 Microsoft Fabric 租户帐户。 免费创建帐户。
  • 确保拥有已启用 Microsoft Fabric 的工作区。
  • 若要利用 Git 集成，请确保为工作区启用它。 如需详细了解如何启用 Git 集成，请转到 Git 集成入门。

创建含 CI/CD 和 Git 支持的数据流 Gen2

要创建含 CI/CD 和 Git 支持的数据流 Gen2，请执行以下步骤：

  1. 在 Fabric 工作区中，选择“新建项”，然后选择“数据流 Gen2”。

    “新建项”窗口的屏幕截图，其中突出显示了“数据流 Gen2”项。

  2. 为数据流命名并启用 Git 集成。 然后选择“创建”。

    “新建 Dataflow Gen2”窗口的屏幕截图，其中显示已为数据流命名并突出显示和选中了 Git 集成。

    数据流已创建，并重定向到数据流创作画布。 现在可以开始创作数据流了。

  3. 完成数据流开发后，选择“ 保存并运行”。

  4. 数据流发布后，状态为未提交。

    保存后的数据流 Gen2 的屏幕截图，其中显示状态为未提交。

  5. 要将数据流提交到 Git 存储库，选择工作区视图右上角的源代码管理图标。

    “源代码管理”按钮的屏幕截图。

  6. 选择要提交的所有更改，然后选择“提交”。

    “源代码管理”窗口的屏幕截图，其中显示选中了数据流并突出显示了“提交”按钮。

现在你已拥有支持 CI/CD 和 Git 的数据流 Gen2。 建议在 Fabric 中使用 CI/CD 和 Git 集成时遵循方案 2 - 使用另一个工作区进行开发教程中的最佳做法。

刷新数据流 Gen2 或计划一次刷新

可以通过两种方式（手动或计划刷新）刷新支持 CI/CD 和 Git 的数据流 Gen2。 以下部分介绍如何刷新支持 CI/CD 和 Git 的 Dataflow Gen2。

立即刷新

  1. 在 Fabric 工作区中，在要刷新的数据流旁边选择表示更多选项的省略号图标。

  2. 选择“立即刷新”。

    更多选项下拉菜单的屏幕截图，其中突出显示了“立即刷新”选项。

计划一次刷新

如果需要定期刷新数据流，可以使用 Fabric 计划程序计划刷新。

  1. 在 Fabric 工作区中，在要刷新的数据流旁边选择表示更多选项的省略号图标。

  2. 选择“计划”。

    “更多选项”下拉菜单的屏幕截图，其中突出显示了“计划”选项。

  3. 在计划页上，可以设置刷新频率、开始时间和结束时间，之后可以更改。

    数据流设置屏幕的屏幕截图，其中显示选中了“计划”选项卡并突出显示了“刷新”按钮。

  4. 要立即开始刷新，选择“刷新”按钮。

刷新历史记录和设置

若要查看数据流的刷新历史记录，可以选择下拉菜单中的最近运行选项卡，或进入监视中心，然后选择要查看刷新历史记录的数据流。

支持 CI/CD 的数据流 Gen2 设置

访问支持 CI/CD 和 Git 的新数据流 Gen2 的设置与访问任何其他 Fabric 项相似。 可以通过选择数据流旁边的更多选项省略号图标并选择相应设置进行访问。

保存将替换发布操作

借助具有 CI/CD 和 Git 支持的数据流 Gen2，保存操作将取代发布操作。 此更改意味着保存数据流时，它会自动“发布”数据流的更改。

保存操作会直接覆盖工作区中的数据流。 如果要放弃更改，可以通过在关闭编辑器时选择 “放弃更改 ”来执行此作。

验证

在保存作期间，我们还检查数据流是否处于有效状态。 如果数据流未处于有效状态，工作区视图中的下拉菜单中会显示一条错误消息。 我们通过对数据流中的所有查询运行“零行”评估来确定数据流的有效性。

此评估意味着，我们以仅请求查询结果架构的方式运行数据流中的所有查询，而不返回任何行。 如果查询评估失败或在 10 分钟内无法确定查询的架构，我们将验证失败，并使用以前保存的数据流版本进行刷新。

限制和已知问题

尽管支持 CI/CD 和 Git 的 Dataflow Gen2 提供了一组强大的功能以适合企业的协作，但这需要我们重新构建后端以适应构造体系结构。 这意味着某些功能尚不可用或存在限制。 我们正在积极努力改进体验，并将在添加新功能时更新本文。

  • 使用 CI/CD 和 Git 支持删除最后一个数据流 Gen2 时，暂存工件会在工作区中变为可见，并可以由用户安全地删除。
  • 工作区视图不显示数据流是否有正在进行的刷新。
  • 创建分支并切换到另一个工作区时，Dataflow Gen2 刷新可能会失败，并显示一条消息，指出无法找到暂存的湖屋。 发生这种情况时，请在工作区中新建支持 CI/CD 和 Git 的 Dataflow Gen2，以触发暂存湖屋的创建。 之后，工作区中的所有其他数据流都应重新开始运行。
  • 将 GIT 中的更改同步到工作区或使用部署管道时，需要打开新的或更新的数据流，并使用编辑器手动保存更改。 这会在后台触发发布操作，从而允许在刷新数据流期间使用更改。 还可以使用 按需数据流发布作业 API 接口调用 来自动执行发布操作。
  • 用于数据流的 Power Automate 连接器不适用于具有 CI/CD 和 Git 支持的新数据流 Gen2。