drfish@kafka:~/kafka_2.11-0.9.0.0$ bin/kfka-run-class.sh kafka.tools.ConsumerOffsetChecker --zookeeper localhost:2181 --group=group-1 1. 需要注意的是,当通过调用类来使用工具时,需要使用完整的类名,而且有些类名使用了缩写,如kafka.tools.ImportZkOffsets。 Java代码 同样我们可以用Java代码直接通过...
KafkaConsumer<String, String> consumer = new KafkaConsumer<>(props); consumer.subscribe(Arrays.asList("foo", "bar")); while (true) { ConsumerRecords<String, String> records = consumer.poll(100); for (ConsumerRecord<String, String> record : records) System.out.printf("offset = %d, key =...
1.kafka的消费者组的消费偏移存储,kafka支持两个版本? 2.ConsumerOffsetChecker类的作用是什么? 3.Kafka如何通过源码实现监控?一,基本思路介绍Kafka作为一个好用的且应用很广泛的消息队列,在大数据处理系统中基本是必不可少的。当然,作为缓存消息的消息队列,我们对其进行流量监控及消费滞后告警就显得异常重要了。
topicDirs.consumerOffsetDir))offsetMap.put(topicAndPartition,-1)elsethrowz}}elseif(offsetAndMetadata.error==ErrorMapping.NoError)offsetMap.put(topicAndPartition,offsetAndMetadata.offset)else{println("Could not fetch offset for %s due to %s.".format(topicAndPartition,ErrorMapping.exception...
Consumer Offset Checker主要是运行kafka.tools.ConsumerOffsetChecker类,对应的脚本是kafka-consumer-offset-checker.sh,会显示出Consumer的Group、Topic、分区ID、分区对应已经消费的Offset、logSize大小,Lag以及Owner等信息。 如果运行kafka-consumer-offset-checker.sh脚本的时候什么信息都不输入,那么会显示以下信息: ...
kafka_2.10-0.8.2.2-sources.jar!/kafka/tools/ConsumerOffsetChecker.scala object ConsumerOffsetCheckerextendsLogging{privateval consumerMap:mutable.Map[Int,Option[SimpleConsumer]]=mutable.Map()privateval offsetMap:mutable.Map[TopicAndPartition,Long]=mutable.Map()privatevartopicPidMap:immutable.Map[String,Seq...
这个是利用kafka本身写入的JMX的数据,就不用额外在去像ConsumerOffsetChecker去自己连接再去获取。比如ObjectName oName = new ObjectName("kafka.producer:*"); Set<ObjectName> metricsBeans = mBeanServer.queryNames(oName, null); for (ObjectName mBeanName : metricsBeans) { MBeanInfo metricsBean = m...
1．ConsumerOffsetChecker用法 ConsumerOffsetChecker底层调用的是SimpleConsumer来获取相关的消费信息。首先执行以下命令，启动一个新版本的消费者，该消费者消费主题kafka-action的消息，同时该消费者隶属于消费组consumer-offset-test。kafka-console-consumer.sh --bootstrap-server server-1:9092,server-2:9092,server-3:...
三.kafka-consumer-offset-checker.sh脚本常用命令,用于检查 OffSet 相关信息。(注意:该脚本在 0.9 以后可以使用 kafka-consumer-groups.sh 脚本代替,官方已经标注为 deprecated 了) 查看指定 group 的 OffSet 信息、所有者等信息 $ bin/kafka-consumer-offset-checker.sh --zookeeper localhost:2181 --topic mytopic...
5.consumer仍然不稳定,bug较多. 6.kafka-topics.sh脚本弃用,推荐使用kafka-configs.sh 7.kafka-consumer-offset-checker.sh弃用,推荐kafka-consumer-groups.sh 8.不再支持java1.6和scala2.9 9.增加配额限制,既多租户控制. 0.10.0.x: 1.引入 Kafka Streams,正式升级成分布式流处理平台,但此时该功能尚不能线上使...