对client.id = producer_test_id的客户端实例进行限流,执行Kafka/bin目录下的脚本 sh kafka-configs.sh --zookeeper 172.18.55.21:2181,172.18.55.21:2182 --alter --add-config 'producer_byte_rate=1024,consumer_byte_rate=2048' --entity-type clients --entity-name producer_test_id 1. kafka-configs.sh...
znode:${kafka_rootdir}/config/clients/clientB';value:{“version”:1,”config”:{“producer_byte_rate”:”2097152”,”consumer_byte_rate”:”2097152”}}znode:${kafka_rootdir}/config/clients/; value:{“version”:1,”config”:{“producer_byte_rate”:”1048576”,”consumer_byte_rate”:”10485...
方法2:设置动态参数consumer_byte_rate 与producer_byte_rate完全对等的参数,只是适用于consumer端的,不再赘述 四、配额算法 简单来说,我们假设当前实际值是O,T是我们设置的阈值,而W表示某一段时间范围,我们希望在W时间内O能够下降到T以下(如果O本来就比T小,则什么都不用做),那么broker端就需要延缓等待一段时间。
bin/kafka-configs.sh --bootstrap-server localhost:9092 --alter --add-config 'producer_byte_rate=51200,consumer_byte_rate=51200' --entity-type clients --entity-name clientA 1. 对clientId=clientA的客户端添加限流设置。producer_byte_rate表示每秒最多能写入到消息量,单位为byte/sec。consumer_byte_...
kafka-configs --zookeeper 127.0.0.1:2181/kafka --alter --add-config 'producer_byte_rate=1024,consumer_byte_rate=1024' --entity-type clients --entity-name test 六、查看broker上磁盘的使用情况 在0.11版本中,新增一个命令kafka-log-dirs可以查看broker的磁盘使用情况。
限制consumer端的速率 对consumer限速与producer类似,只不过参数名不一样。 为指定的topic进行限速,以下为所有consumer程序设置topic速率不超过1MB/s,即1048576/s。命令如下: 代码语言:javascript 复制 bin/kafka-configs.sh--zookeeper node1:2181--alter--add-config'consumer_byte_rate=1048576'--entity-type clients...
--consumer.config consumer.properties --producer.config producer.properties --whitelist my-topic 需要注意,我们必须使用--whitelist参数指定topic,该参数支持java的正则表达式结构,比如--whitelist 'A|B',或者--whitelist '*'. 通常在使用kafka-mirror-maker时,建议配合auto.create.topics.enable=true使用,可以大批...
consumer_byte_rate 针对消费者user进行限流 producer_byte_rate 针对生产者进行限流 request_percentage 请求百分比 clients相关可选配置 key value 示例 consumer_byte_rate producer_byte_rate request_percentage 以上大部分运维操作,都可以使用 LogI-Kafka-Manager 在平台上可视化操作; 原创声明:本文系作者授权腾...
{kafka_rootdir}/config/users/user1/clients/clientid;value:{"version":1,"config":{"producer_byte_rate":"10485760","consumer_byte_rate":"10485760"}}znode:{kafka_rootdir}/config/users/user1/clients/<default>;value:{"version":1,"config":{"producer_byte_rate":"5242880","consumer_byte_rate...
消费每次消费的字节- 取消限制```shellbin/kafka-configs.sh --zookeeper node1.itcast.cn:2181 --alter --delete-config 'producer_byte_rate' --entity-type clients --entity-defaultbin/kafka-configs.sh --zookeeper node1.itcast.cn:2181 --alter --delete-config 'consumer_byte_rate' --entity-type...