暂停和继续数据流(预览版)

注意

现在创建事件流时,默认情况下会启用增强功能。 如果你有使用标准功能创建的事件流,这些事件流将继续工作。 你仍然可以像往常一样编辑和使用它们。 建议创建新的事件流来替换标准事件流,以便可以利用增强的事件流的其他功能和优势。

Eventstream 中的“暂停”和“恢复”(即“停用”和“激活”)功能可让你完全控制数据流,使你能够暂停来自 Eventstream 中不同源和目标的数据流。 然后可以无缝从暂停时间或自定义时间恢复数据流,确保不会丢失任何数据。

  • 激活/停用全部:使用菜单栏上的“激活全部”和“停用全部”选项快速暂停和继续传入和传出 Eventstream 的所有数据流量。
  • 激活/停用切换开关按钮:每个节点都有一个切换开关按钮,可用于激活(即恢复)或停用(即暂停)在所选源和目标之间进行流式传输的数据。

下表概述了不同节点状态的说明:

节点状态 说明
活动 数据源当前处于活动状态,且数据正在流入或流出 Eventstream。
未激活 数据源当前处于非活动状态,且没有数据流入或流出 Eventstream。
加载 数据源正在打开或关闭。
错误 数据源目前因错误而暂停。
警告 数据源正常运行,但存在一些问题。尽管如此,数据流量仍在传输。

使用开关切换来激活或停用节点

对于支持暂停和继续功能的节点,可以使用切换开关轻松管理其数据流。 找到所需的节点并打开或关闭开关以激活(即恢复)或停用(即暂停)数据流量。 当前不支持暂停和恢复功能的节点没有切换开关。

下表描述了可用的简历选项:

恢复选项 说明
上次停止流式处理时 从上次停止流式处理的位置恢复
现在 从当前时间恢复
自定义时间 从自定义时间恢复

屏幕截图显示了节点上的开关切换和详细信息。

注意

配置 Eventstream 时,源、转换逻辑和目标通常一起添加。 默认情况下,发布 Eventstream 时,用于数据引入和数据路由的后端服务分别以 Now 开头。 但是,数据引入可能比数据路由更快地开始,导致某些数据在完全初始化路由之前引入到 Eventstream 中。 因此,此数据可能不会路由到目标。

常见示例是数据库 CDC 源,其中某些初始快照数据可能保留在 Eventstream 中,而不会路由到目标。

若要缓解此问题,请执行以下步骤:

  1. 配置 Eventhouse(引入前的事件处理)或 Lakehouse 目标时,在添加数据源后取消选中 “激活引入”。

    添加数据源后不选中“激活引入”的 KQL 数据库的屏幕截图。

  2. 在发布 Eventstream 后手动激活引入。

  3. 使用 自定义时间 选项选择较早的时间戳,确保正确处理和路由初始数据。

    恢复 KQL 数据库的屏幕截图。

下面是支持暂停和恢复功能的节点以及可用恢复选项的详细表:

节点 类型 支持暂停和恢复 恢复选项
Azure 事件中心 来源 - 上次停止流式处理时
- 现在
- 自定义时间
Azure 服务总线 来源 - 上次停止流式处理时
Azure IoT 中心 - 上次停止流式处理时
- 现在
- 自定义时间
示例数据 - 现在
Azure SQL 数据库 CDC 来源 - 上次停止流式处理时
PostgreSQL 数据库 CDC - 上次停止流式处理时
MySQL 数据库 CDC - 上次停止流式处理时
Azure Cosmos DB CDC 来源 - 上次停止流式处理时
VM DB CDC 上的 SQL Server - 上次停止流式处理时
Azure SQL 托管实例 CDC - 上次停止流式处理时
Google Cloud Pub/Sub 来源 - 上次停止流式处理时
Amazon Kinesis 数据流 - 上次停止流式处理时
Confluent Kafka - 上次停止流式处理时
Apache Kafka - 上次停止流式处理时
Amazon MSK Kafka 来源 - 上次停止流式处理时
自定义应用 来源
Fabric 工作区事件源
Fabric OneLake 活动
Fabric 作业事件 来源
Azure Blob 存储
Lakehouse 目标 - 上次停止流式处理时
- 现在
- 自定义时间
Eventhouse(引入前处理事件) 目标 - 上次停止流式处理时
- 现在
- 自定义时间
自定义应用 目标
Eventhouse(直接引入) 目标
织物激活剂 目标 - 上次停止流式处理时
- 现在
- 自定义时间
派生流 目标
节点 类型 支持暂停和恢复 恢复选项
示例数据 来源 - 现在
Azure 事件中心 来源 - 上次停止流式处理时
- 现在
- 自定义时间
Azure IoT 中心 - 上次停止流式处理时
- 现在
- 自定义时间
自定义应用 来源
自定义应用 目标
Lakehouse 目标 - 上次停止流式处理时
- 现在
- 自定义时间
KQL 数据库(直接引入) 目标
KQL 数据库(引入前的事件处理) 目标 - 上次停止流式处理时
- 现在
- 自定义时间
织物活化剂 目标 - 上次停止流式处理时
- 现在
- 自定义时间

激活或停用所有节点

可以通过从菜单栏中选择“激活全部”或“停用所有”选项,轻松暂停或继续 Eventstream 中的所有数据流量。 选择“全部激活”时,请注意,可用的恢复选项可能会因 Eventstream 中配置的源和目标而异。 有关每个节点的具体简历选项,请参阅上一部分中的详细表格。 此操作将继续或暂停流入或流出 Eventstream 的所有数据流量。 它仅适用于支持暂停和恢复功能的节点。 对于当前不支持此功能的节点,无法暂停数据流量。

屏幕截图显示了如何同时激活或停用所有节点。