在适用于 Prometheus 的 Azure Monitor 托管服务中自定义 Prometheus 指标的抓取

使用 Pod 和服务监视器模板并遵循 API 规范来创建自定义资源（Pod 监视器和服务监视器）。 注意，要让托管的 Prometheus 选取现有的 OSS CR，只需对 API 组 - azmonitoring.coreos.com/v1进行更改。 请参阅此文了解详细信息

配置格式与 Prometheus 配置文件相同。 目前支持以下部分：

global:
  scrape_interval: <duration>
  scrape_timeout: <duration>
  external_labels:
    <labelname1>: <labelvalue>
    <labelname2>: <labelvalue>
scrape_configs:
  - <job-x>
  - <job-y>

在将其作为 configmap 应用之前，必须先从配置中删除任何其他不支持的部分。 否则，自定义配置无法通过验证，并且不会应用。

要根据 Prometheus 配置创建 configmap，请参阅应用配置文件部分。

目前，自定义资源支持的目标发现方法是 Pod 和服务监视器

Pod 和服务监视器

使用 Pod 和服务监视器发现的目标具有不同的 __meta_* 标签，具体取决于使用的监视器。 可以使用 relabelings 部分的标签来筛选目标或替换目标的标签。

请参阅 Pod 和服务监视器示例了解 Pod 和服务监视器。

重复标签

relabelings 部分在发现目标时被使用，并适用于该作业的所有目标。 以下示例演示了如何使用 relabelings。

添加标签

向作业的每个指标添加一个名为 example_label、值为 example_value 的新标签。 仅使用 __address__ 作为源标签，因为该标签始终存在，并为作业的每个目标添加标签。

relabelings:
- sourceLabels: [__address__]
  targetLabel: example_label
  replacement: 'example_value'

使用 Pod 或服务监视器标签

使用 Pod 和服务监视器发现的目标具有不同的 __meta_* 标签，具体取决于使用的监视器。 发现目标后，会删除 __* 标签。 若要在指标级别使用它们进行筛选，请先通过使用 relabelings 并分配标签名称来保留它们， 然后使用 metricRelabelings 进行筛选。

# Use the kubernetes namespace as a label called 'kubernetes_namespace'
relabelings:
- sourceLabels: [__meta_kubernetes_namespace]
  action: replace
  targetLabel: kubernetes_namespace

# Keep only metrics with the kubernetes namespace 'default'
metricRelabelings:
- sourceLabels: [kubernetes_namespace]
  action: keep
  regex: 'default'

作业和实例重新标记

可以根据源标签更改 job 和 instance 标签值，就像任何其他标签一样。

# Replace the job name with the pod label 'k8s app'
relabelings:
- sourceLabels: [__meta_kubernetes_pod_label_k8s_app]
  targetLabel: job

# Replace the instance name with the node name. This is helpful to replace a node IP
# and port with a value that is more readable
relabelings:
- sourceLabels: [__meta_kubernetes_node_name]]
  targetLabel: instance

指标重新标记

指标重新标记在抓取之后、引入之前应用。 使用 metricRelabelings 部分在抓取之后筛选指标。 以下示例演示了具体做法。

按名称删除指标

# Drop the metric named 'example_metric_name'
metricRelabelings:
- sourceLabels: [__name__]
  action: drop
  regex: 'example_metric_name'

按名称仅保留某些指标

# Keep only the metric named 'example_metric_name'
metricRelabelings:
- sourceLabels: [__name__]
  action: keep
  regex: 'example_metric_name'

# Keep only metrics that start with 'example_'
metricRelabelings:
- sourceLabels: [__name__]
  action: keep
  regex: '(example_.*)'

重命名指标

不支持指标重命名。

按标签筛选指标

# Keep metrics only where example_label = 'example'
metricRelabelings:
- sourceLabels: [example_label]
  action: keep
  regex: 'example'

# Keep metrics only if `example_label` equals `value_1` or `value_2`
metricRelabelings:
- sourceLabels: [example_label]
  action: keep
  regex: '(value_1|value_2)'

# Keep metrics only if `example_label_1 = value_1` and `example_label_2 = value_2`
metricRelabelings:
- sourceLabels: [example_label_1, example_label_2]
  separator: ';'
  action: keep
  regex: 'value_1;value_2'

# Keep metrics only if `example_label` exists as a label
metricRelabelings:
- sourceLabels: [example_label_1]
  action: keep
  regex: '.+'

目前，抓取配置支持的目标发现方法是 static_configs 或 kubernetes_sd_configs，用于指定或发现目标。

静态配置

静态配置包含静态目标列表，以及要添加到其中的任何额外标签。

scrape_configs:
  - job_name: example
    - targets: [ '10.10.10.1:9090', '10.10.10.2:9090', '10.10.10.3:9090' ... ]
    - labels: [ label1: value1, label1: value2, ... ]

Kubernetes 服务发现配置

使用 kubernetes_sd_configs 发现的目标将具有不同的 __meta_* 标签，具体取决于指定的角色。 可以使用 relabel_configs 部分的标签来筛选目标或替换目标的标签。

请参阅 Kubernetes 群集抓取配置的 Prometheus 示例。

重新标记配置

在目标发现时，relabel_configs 部分被应用，并适用于作业的每个目标。 以下示例演示了如何使用 relabel_configs。

添加标签

向作业的每个指标添加一个名为 example_label、值为 example_value 的新标签。 仅使用 __address__ 作为源标签，因为该标签始终存在，并为作业的每个目标添加标签。

relabel_configs:
- source_labels: [__address__]
  target_label: example_label
  replacement: 'example_value'

使用 Kubernetes 服务发现标签

如果作业使用 kubernetes_sd_configs 来发现目标，则每个角色都有指标的相关 __meta_* 标签。 发现目标后，会删除 __* 标签。 若要在指标级别使用它们进行筛选，请先通过使用 relabel_configs 并分配标签名称来保留它们， 然后使用 metric_relabel_configs 进行筛选。

# Use the kubernetes namespace as a label called 'kubernetes_namespace'
relabel_configs:
- source_labels: [__meta_kubernetes_namespace]
  action: replace
  target_label: kubernetes_namespace

# Keep only metrics with the kubernetes namespace 'default'
metric_relabel_configs:
- source_labels: [kubernetes_namespace]
  action: keep
  regex: 'default'

作业和实例重新标记

可以根据源标签更改 job 和 instance 标签值，就像任何其他标签一样。

# Replace the job name with the pod label 'k8s app'
relabel_configs:
- source_labels: [__meta_kubernetes_pod_label_k8s_app]
  target_label: job

# Replace the instance name with the node name. This is helpful to replace a node IP
# and port with a value that is more readable
relabel_configs:
- source_labels: [__meta_kubernetes_node_name]]
  target_label: instance

指标重新标记配置

指标重新标记配置在抓取之后、引入之前应用。 使用 metric_relabel_configs 部分在抓取之后筛选指标。 以下示例演示了具体做法。

按名称删除指标

# Drop the metric named 'example_metric_name'
metric_relabel_configs:
- source_labels: [__name__]
  action: drop
  regex: 'example_metric_name'

按名称仅保留某些指标

# Keep only the metric named 'example_metric_name'
metric_relabel_configs:
- source_labels: [__name__]
  action: keep
  regex: 'example_metric_name'

# Keep only metrics that start with 'example_'
metric_relabel_configs:
- source_labels: [__name__]
  action: keep
  regex: '(example_.*)'

重命名指标

不支持指标重命名。

按标签筛选指标

# Keep metrics only where example_label = 'example'
metric_relabel_configs:
- source_labels: [example_label]
  action: keep
  regex: 'example'

# Keep metrics only if `example_label` equals `value_1` or `value_2`
metric_relabel_configs:
- source_labels: [example_label]
  action: keep
  regex: '(value_1|value_2)'

# Keep metrics only if `example_label_1 = value_1` and `example_label_2 = value_2`
metric_relabel_configs:
- source_labels: [example_label_1, example_label_2]
  separator: ';'
  action: keep
  regex: 'value_1;value_2'

# Keep metrics only if `example_label` exists as a label
metric_relabel_configs:
- source_labels: [example_label_1]
  action: keep
  regex: '.+'

relabel_configs:
- source_labels: [__address__]
  target_label: example_label
  replacement: 'example_value'

若要在 prometheus 配置中使用 basic_auth 或 bearer_token 设置，请执行以下步骤：

1. 在名为 kube-system 的 ama-metrics-mtls-secret 命名空间中创建机密。

   密钥 password1 的名称可以是任何内容，只要与下一步在 Prometheus 抓取配置中提供的 password_file 文件路径中的文件名匹配即可。 该密钥的值需要经过 base64 编码。

   apiVersion: v1
   kind: Secret
   metadata:
     name: ama-metrics-mtls-secret
     namespace: kube-system
   type: Opaque
   data:
     password1: <base64-encoded-string>
   

   ama-metrics-mtls-secret 机密会挂载到 ama-metrics Pod 上的路径 /etc/prometheus/certs/ 处，并可供 Prometheus 抓取器使用。 该密钥（在上述示例中为 password1）将为文件名。 该值经过 base64 解码，并作为容器中文件的内容添加。

2. 然后，在 ConfigMap 中的自定义抓取配置中，提供文件路径：

   基本身份验证

   username 字段应包含实际的用户名字符串。 password_file 字段应包括其中包含密码的文件的路径。

   # Sets the `Authorization` header on every scrape request with the
   # configured username and password.
   basic_auth:
     username: <username string>
     password_file: /etc/prometheus/certs/password1
   

   持有者令牌

   bearer_token_file 字段应包括其中包含令牌的文件的路径。

   # Sets the `Authorization` header on every scrape request with the bearer token
   # read from the configured file. It is mutually exclusive with `bearer_token`.
   bearer_token_file: /etc/prometheus/certs/password1
   

有关这些设置的详细信息，请参阅 Prometheus scrape_config 文档。

目前，使用 PodMonitors 或 ServiceMonitors 不支持使用基本身份验证或持有者令牌来抓取目标。 即将发布的版本中将添加对此操作的支持。 目前，应将 Pod 或服务监视器转换为 Prometheus 抓取配置，并放入自定义抓取配置 configmap 中。 然后，即可支持基本身份验证和持有者令牌。

• 若要在 ConfigMap 中提供 TLS 配置设置，请遵循以下示例：

tls_config:
   # CA certificate to validate API server certificate with.
   ca_file: /etc/prometheus/certs/<certfile>

   # Certificate and key files for client cert authentication to the server.
   cert_file: /etc/prometheus/certs/<certfile>
   key_file: /etc/prometheus/certs/<keyfile>

   # Disable validation of the server certificate.
   insecure_skip_verify: false

• 若要为 PodMonitor 或 ServiceMonitor 提供 TLS 配置设置，请遵循以下示例：

 tlsConfig:
   ca:
     secret:
       key: "<certfile>"
       name: "ama-metrics-mtls-secret"
   cert:
     secret:
       key: "<certfile>"
       name: "ama-metrics-mtls-secret"
   keySecret:
       key: "<keyfile>"
       name: "ama-metrics-mtls-secret"
   insecureSkipVerify: false