/opt/agent/jmx_prometheus_javaagent-0.16.1.jar 1. 修改kafka启动脚本: bin/kafka-server-start.sh,增加java agent配置如下: 代码解读 JMX_EXPORTER_OPTS="-javaagent:/opt/agent/jmx_prometheus_javaagent-0.16.1.jar=9095:/opt/agent/kafka_broker.yml"exportKAFKA_JMX_OPTS="$KAFKA_JMX_OPTS$JMX_EXPORTER...
Jmx exporter中包含了kafka各个组件的指标,如server metrics、producer metrics、consumer metrics等,但这些指标并不是prometheus格式的,因此需要通过重命名方式转变为prometheus格式,重命名规则配置在kafka-2_0_0.yml中。 wget https://repo1.maven.org/maven2/io/prometheus/jmx/jmx_prometheus_javaagent/0.12.0/jmx_...
JMX-Exporter GitHub地址为:https://github.com/prometheus/jmx_exporter 因为JMX-Exporter 是个 jar 包,所以安装非常简单,只需要把 jar 包下载到服务器上就可以了。JMX-Exporter 的下载地址是 https://repo1.maven.org/maven2/io/prometheus/jmx/jmx_prometheus_javaagent/,...
Jmx exporter中包含了kafka各个组件的指标,如server metrics、producer metrics、consumer metrics等,但这些指标并不是prometheus格式的,因此需要通过重命名方式转变为prometheus格式,重命名规则配置在kafka-2_0_0.yml中。 wget https://repo1.maven.org/maven2/io/prometheus/jmx/jmx_prometheus_javaagent/0.12.0/jmx_...
官方给出了Jmx exporter的其他例子。 注:由于不同的配置Jmx exporter生成的kafka指标名称是不一样的,因此并没有统一的kafkagrafanadashboard,最好还是自己绘制。
2.4 Grafana Dashboard JSON 在与Prometheus的合作中,网络上很多的exporter其数据都来源于zookeeper,自kafka升级到版本2以后,数据不往zookeeper中写入了。 版本2以后的kafka,我使用了kafka-offset-exporter来作为kafka的exporter与Prometheus配合。 kafka本身就已经自带了监控,通过Yammer Metrics进行指标暴露与注册,可通过JMX进...
配置Grafana模版 通过上面配置后，可以在grafan中找到对应的面板直接来用。展示模板通过 ID 进行导入，可用 ID 有：18276、7589、10466、11963等等 https://github.com/xxd763795151/kafka-exporter/blob/main/grafana.json https://grafana.com/grafana/dashboards/18276-kafka-dashboard/ 效果如下：Grafana仪表盘参考...
内存使用情况等等,无意中发现了jmxtrans,jmxtrans它是一个通过jmx采集java应用的数据采集器,他的输出可以是Graphite、StatsD、Ganglia、InfluxDb等等,刚好我们现有的监控是通过InfluxDb做数据存储的,通过Grafana做展示,下面就给大家介绍一下jmxtrans+InfluxDb+Grafana监控kafka的整体解决方案,并且不需要任何额外的开发工作,...
jmx-exporter 指标收集 prometheus 提供了 jmx_exporter 来收集 kafka 指标 Github:https://github.com/prometheus/jmx_exporter 配置文件:https://github.com/prometheus/jmx_exporter/blob/master/example_configs/kafka-2_0_0.yml 配合kafka启动脚本,修改bin/kafka_server_start.sh,添加常量,只需要在一个实例中添...
Grafana Grafana 提供丰富的可视化和仪表板,提供对Kafka运行状态的实时洞察。它依赖于Prometheus,这是一个强大的监控系统和时间序列数据库,非常适合从Apache Kafka收集指标。它通过连接到Kafka代理和Kafka客户端的JMX Exporter收集它们,使JMX数据以Prometheus格式提供。