使用 azdata 和 Grafana 仪表板监视大数据群集

重要

Microsoft SQL Server 2019 大数据群集附加产品将停用。 对 SQL Server 2019 大数据群集的支持将于 2025 年 2 月 28 日结束。 具有软件保障的 SQL Server 2019 的所有现有用户都将在平台上获得完全支持,在此之前,该软件将继续通过 SQL Server 累积更新进行维护。 有关详细信息,请参阅公告博客文章Microsoft SQL Server 平台上的大数据选项

本文介绍如何监视 SQL Server 大数据群集中的应用程序。 SQL Server 2019 大数据群集提供 Grafana 仪表板用于监控,其中的指标存储在 influxDB 中。 这些指标分为以下两种:

  • Telegraf 是用于收集、处理、聚合和写入指标的代理,它收集 Kubernetes 主机相关指标。
  • 与工作负荷相关的指标:与 SQL Server、Spark 和 HDFS 相关的指标由 CollectD 收集,包括 SQL Server DMV 指标和 SQL Server 扩展事件(XEvents)等。

重要

Internet Explorer 浏览器和较旧的 Microsoft Edge 浏览器与 Grafana 不兼容。 在 Grafana 中,在使用不支持的浏览器时,会看到一个出现错误的黑色页面。 考虑 基于 Chromium 的 Microsoft Edge,或查看 Grafana 支持的浏览器

可用指标

SQL Server 大数据群集中提供了以下指标:

类别 DESCRIPTION 指标
托管节点指标 与 Kubernetes 主机相关的指标 CPU、RAM 使用率、磁盘 IOPS、负载平均值等。
Pod 和容器指标 Grafana 允许按 Pod 甚至特定容器筛选这些指标,这些指标与 Kubernetes Pod 和容器相关。 CPU、RAM、磁盘和网络使用情况。
SQL Server 指标 与 SQL Server 相关的指标 Transaction/sec、Batch Requests/sec、Database Activity、SQL Server Activity 等,特别是启用 ContainerAG 时,还可以从此处监视 alwaysOn。
Spark 指标 与 Spark 应用相关的指标。 执行器 hdfs 写入、JVM GC 时间、JVM 堆使用量等。
应用指标 与 SQL Server 大数据群集上 部署的应用 相关的指标,Grafana 允许按特定应用和应用版本筛选这些指标。 CPU、RAM 和 HTTP 请求状态。

先决条件

能力

在 SQL Server 2019 中,可以创建、删除、描述、初始化、列出、运行和更新应用程序。 下表介绍了可以与 azdata 一起使用的应用程序部署命令。

指令 DESCRIPTION
azdata bdc endpoint list 列出大数据群集的终结点。

可以使用以下示例列出 Grafana 仪表板的终结点:

azdata bdc endpoint list --endpoint-name metricsui 

输出将提供终结点,可以使用群集用户名和密码登录。

Grafana 仪表板终结点的屏幕截图。

这些 nodeMetricsUrl 指标和 sqlMetricsUrl 值链接到 Grafana 仪表板,用于监视 Kubernetes 节点指标和大数据群集服务指标:

Grafana 仪表板的屏幕截图,其中显示了主机节点指标。

Grafana 的屏幕截图,其中显示了 SQL Server 指标。