数据收集规则(DCR)是 提取、转换和加载(ETL)类数据收集过程的一部分,可改进 Azure Monitor 的旧数据收集方法。 此过程对所有数据源使用通用数据引入管道,以及比之前的收集方法更易于管理和可缩放的标准配置方法。
基于 DCR 的数据收集的具体优势包括:
- 对不同的数据源配置使用一致的方法。
- 能够在传入数据发送到目标之前应用转换来进行筛选或修改。
- 支持基础结构即代码和 DevOps 进程的可缩放配置选项。
- 在你自己的环境中选择边缘管道,以提供高端可伸缩性、分层网络配置和定期连接。
查看 DCR
数据收集规则 (DCR) 存储在 Azure 中,因此可以像任何其他 Azure 资源一样集中部署和管理它们。 它们提供一致且集中的方式来定义和自定义不同的数据收集方案。
通过 Azure 门户中的“监视”菜单,在“数据收集规则”选项中查看订阅中的所有 DCR。 无论用于创建 DCR 的方法和 DCR 本身的详细信息如何,订阅中的所有 DCR 都会在此屏幕中列出。
被替换的旧数据收集方法
DCR 收集过程已替换或正在替换 Azure Monitor 中的其他数据收集方法。 下表列出了旧方法及其基于 DCR 的替换项。 Azure Monitor 中的其他数据收集方法预计会在未来替换为 DCR。
旧方法 | DCR 方法 | DESCRIPTION |
---|---|---|
Log Analytics 代理 | Azure Monitor 代理 | Azure Monitor 代理现在用于监视支持 VM 见解 和 容器见解的虚拟机(VM)和 Kubernetes 群集。 |
诊断设置 (仅限指标) |
指标导出 | 诊断设置当前仍用于从 Azure 资源收集资源日志。 现在可以使用指标导出功能来收集平台指标。 |
数据收集器 API | 日志引入 API | 日志引入 API 用于从任何 REST 客户端将数据发送到 Log Analytics 工作区。 它替换了安全性更低、功能更少的数据收集器 API。 |
Azure Monitor 管道
DCR 支持的数据收集过程基于 Azure Monitor 管道,该管道为传入数据提供常见的处理路径。 云管道是 Azure Monitor 平台中一个组成部分(另一个组成部分请参阅 Edge 管道),在您的 Azure 订阅中自动提供。 它不需要任何配置,也不会显示在 Azure 门户中。
使用 Azure Monitor 管道的每个数据收集方案都在 DCR 中定义。 DCR 提供有关云管道如何处理其接收数据的说明。 根据方案,DCR 指定以下所有或部分:
- 要收集和发送到管道的数据。
- 传入数据的架构。
- 在存储之前需对数据进行转换。
- 应将数据发送到的目标。
使用 DCR
在以下部分所述的特定数据收集场景中,DCR 可以通过两种基本方式来指定。 每个方案都支持其中一种方法,但不支持这两种方法。
注释
创建后,工作区转换 DCR 即开始生效。 它们不使用本部分中所述的任何一种方法。
数据收集规则关联(DCRA)
数据收集规则关联 (DCRA) 用于将 DCR 与受监视的资源相关联。 这是一种多对多关系,其中:
- 单个 DCR 可以与多个资源相关联。
- 单个资源可以与多个 DCR 相关联。
这样,便可以制定一种策略来根据不同要求维护对资源集的监视。
例如,下图演示了在虚拟机上运行的 Azure Monitor 代理(AMA) 的数据收集。 安装代理后,它会连接到 Azure Monitor 以检索与之关联的任何 DCR。 在此方案中,DCR 指定要收集的事件和性能数据。 代理使用该信息来确定从计算机收集哪些数据并发送到 Azure Monitor。 传递数据后,云管道将运行 DCR 中指定的任何 转换 来筛选和修改数据,然后将数据发送到指定的工作区和表。
直接引入
通过直接引入,指定特定的 DCR 来处理传入数据。 例如,下图演示了使用 日志引入 API 的自定义应用程序中的数据。 每个 API 调用指定处理其数据的 DCR。 DCR 了解传入数据的结构,包括一个 转换 ,确保数据采用目标表的格式,并指定用于发送转换数据的工作区和表。
转换
转换 是 DCR 中包含的 KQL 查询 ,该查询针对发送到云管道的每个记录运行。 它们让你能够在传入数据存储在 Azure Monitor 中或发送到另一个目标之前对其进行修改。 可以筛选不需要的数据以降低引入成本、删除不应保留在 Log Analytics 工作区中的敏感数据,或设置数据格式,以确保其与目标架构匹配。 转换还支持高级方案,例如将数据发送到多个目标或使用其他信息扩充数据。
边缘管道
边缘管道将 Azure Monitor 管道扩展到自己的数据中心。 它支持大规模收集,并可在将遥测数据发送到云管道之前对其进行路由。 与云管道不同,边缘管道是可选的,需要配置。
Azure Monitor 边缘管道的特定用例包括:
- 可伸缩性。 边缘管道可以处理受监视资源中的大量数据,这些资源可能受其他收集方法(例如 Azure Monitor 代理)的限制。
- 定期连接。 某些环境可能与云具有不可靠的连接,或者出现长时间意外的无连接期。 边缘管道可以在本地缓存数据,并在还原连接时与云同步。
- 分层网络。 在某些环境中,网络已分段,数据无法直接发送到云。 边缘管道可用于从受监视的资源收集数据,而无需云访问和管理与云中的 Azure Monitor 的连接。
DCR 区域
数据收集规则可在支持 Log Analytics 工作区以及 Azure 政府和中国云的所有公共区域中使用。 目前尚不支持气隙云。 DCR 将创建并存储在特定区域中,并备份到同一地理位置中的 配对区域 。 该服务部署到该区域中的所有三个 可用性区域 。 因此,它是一项区域冗余服务,可进一步提高可用性。
“单一区域数据驻留”是允许在单一区域存储客户数据的预览功能,目前仅在亚太地区的东南亚区域(新加坡)和巴西地区的巴西南部(圣保罗州)区域提供。 “单一区域驻留”在这些区域默认启用。
后续步骤
有关如何使用 DCR 的详细信息,请参阅:
- 用于描述 DCR 的 JSON 结构以及用于不同工作流的不同元素的数据收集规则结构。
- 不同数据收集方案下示例 DCR 的示例数据收集规则 (DCR)。
- 在 Azure Monitor 中为不同的方法创建和编辑数据收集规则(DCR), 以便为不同的数据收集方案创建 DCR。
- Azure Monitor 服务限制适用于每个 DCR 的限制。