https://github.com/seglo/kafka-lag-exporter exporter在github上目前有500多颗星,一直在维护,有星就说明这个还行。 二、Kafka-log-exporter具有的监控指标 2.1 标签描述 cluster_name:静态定义的Kafka群集名称 topic:Kafka主题 partition:Kafka分区 group:Kafka消费者组 member_host:运行分配给此分区的使用者组成员的...
kafka jmx exporter 消费者组 lag kafka的消费者组怎么创建的,Kafka简介Kafka是一款流行分布式消息分布订阅系统,除Kafka之外还有MQ、Redis等。我们可以把消息队列视为一个管道,管道的两端分别是消息生产者(producer)和消息消费者(consumer),消息生产者产生日志等消息后
Monitor Kafka Consumer Group Latency with Kafka Lag Exporter - kafka-lag-exporter/grafana/Kafka_Lag_Exporter_Dashboard.json at master · seglo/kafka-lag-exporter
Monitor Kafka Consumer Group Latency with Kafka Lag Exporter Overview Kafka Lag Exporter makes it easy to view the offset lag and calculate an estimate of latency (residence time) of yourApache Kafkaconsumer groups. It can run anywhere, but it provides features to run easily onKubernetesclusters ...
Exporter 名称:当前 Kafka 监控唯一命名。 Kafka地址:填写 Kafka Broker 的连接地址。多个 Broker 地址之间使用逗号或分号来分隔。 容器服务内,则可以使用 Kafka Broker 的 IP 或 Service 地址。 ECS 环境内,则可以使用 Kafka Broker 的 IP 或 DNS 地址。
Kafka Exporter 公开了 lag 信息,作为 Grafana 中演示的 Prometheus 指标。 Kafka Exporter 会公开代理、主题和消费者组的指标数据。 表16.1. 代理指标输出 Name信息 kafka_brokers Kafka 集群中的代理数 表16.2. 主题指标输出 Name信息 kafka_topic_partitions 主题的分区数 kafka_topic...
-kafka_consumer_lag:每个消费者组的消费滞后量 -kafka_consumer_offset_latest:每个消费者组的最新消费偏移量 -kafka_consumer_offset_oldest:每个消费者组的最早消费偏移量 三、使用kafka_exporter进行监控 以下是使用kafka_exporter进行监控的步骤: 1.安装kafka_exporter:根据官方文档下载和安装kafka_exporter工具。 2...
Kafka Exporter是由Confluent维护的一个开源项目,旨在为Prometheus提供Kafka集群的监控指标。它使用Kafka的JMX接口来收集各种有关Kafka集群健康状况、消息流量、消费者组和分区等相关指标,并将其转换为Prometheus指标格式,以供Prometheus进行监控和报警。 二、Kafka Exporter 指标说明 以下是Kafka Exporter所提供的一些重要指标...
expr: sum(kafka_consumergroup_lag_sum{job="kafka-exporter"}) by (name,consumergroup, topic)>5000 for: 2m labels: severity: critical annotations: description: "【环境】{{ $labels.name }}\n【消费组】{{ $labels.consumergroup }}\n【topic】{{ $labels.topic }}【积压】:{{ $value | print...
- 告警规则:kafka_consumer_group_lag{consumer_group="consumer_group_name"} > threshold -规则描述:当消费者组的消费落后于生产者的消息数量超过阈值时,发出告警。 4.生产者告警规则: - 告警规则:kafka_producer_request_errors_total{error_type="any"} > threshold -规则描述:当生产者的请求错误数量超过阈值...