group_id: 这是消费者组的ID。如果你有多个Logstash实例读取同一个Kafka主题,并且你想将它们作为一个消费者组来处理,那么你需要使用这个参数。auto_offset_reset: 这个参数决定了当Logstash无法找到其之前读取的偏移量时应该怎么做。设置为"latest"意味着从最新的记录开始读取。consumer_threads: 这是用于消费Kafka...
可向事件添加Kafka元数据,比如主题、消息大小的选项,这将向logstash事件中添加一个名为kafka的字段,其中包含以下属性:topic:此消息关联的主题、consumer_group:这个事件中用来读取的消费者组、partition:此消息关联的分区、offset:此消息关联的分区的偏移量、key:包含消息key的ByteBuffer。 topics topics 值类型为array ...
以上是相对重要参数的使用示例,更多参数可以选项可以跟据https://github.com/joekiller/logstash-kafka/blob/master/README.md查看 input 默认参数。 注意 topic的话,那么需要把两个或是多个 logstash 消费端配置成相同的group_id和topic_id, 但是前提是要把 相应的 topic 分多个 partitions (区) partitions(区)...
group_id =>"groupA"codec =>"json"} } 以上为logstash消费kafka集群的配置,其中加入了group_id参数,group_id是一个的字符串,唯一标识一个group,具有相同group_id的consumer构成了一个consumer group,这样启动多个logstash进程,只需要保证group_id一致就能达到logstash高可用的目的,一个logstash挂掉同一Group内的lo...
input-kafka bootstrap_servers:kafka服务端地址列表 client_id: 客户端ID group_id: 消费组ID consumer_threads: 消费线程数量,最好保持该参数*Logstash实例节点的数量=topic的partitions数量 topics: topic列表 auto_offset_reset: 当kafka中topic没有初始的offset时,如何重置offset,常用可选值为earliest(最早)、late...
input{ kafka{ bootstrap_servers=>"xx.xx.xx.xx:xxxx"// ckafka 实例接入地址 group_id=>"logstash_group"// ckafka groupid 名称 topics=>["logstash_test"]// ckafka topic 名称 consumer_threads=>3// 消费线程数,一般与 ckafka 分区数一致 ...
input{stdin{}}output{kafka{topic_id=>"hello"bootstrap_servers=>"192.168.0.4:9092"# kafka的地址batch_size=>5}stdout{codec=>rubydebug}} 读取测试 logstash配置文件: 代码语言:javascript 复制 input{kafka{codec=>"plain"group_id=>"logstash1"auto_offset_reset=>"smallest"reset_beginning=>truetopic_...
kafka input插件 支持Logstash从kafka消息队列中的topic读取数据。 例子 input{# 配置kafka数据源kafka{# kafka服务器地址,多个地址使用逗号分隔bootstrap_servers=>"localhost:9092"# 订阅的主题,支持订阅多个主题topics=>["logstash","tizi365"]# 消费者线程数consumer_threads=>5# 消费组Idgroup_id=>"logstash...
group_id=>"logstash_kafka_test" } } output{ elasticsearch{ hosts=>["192.168.0.8:9200"] } } 其中定义了一个kafka的input和一个elasticsearch的output 对于Kafka input插件上述三个参数为必填参数,除此之外还有一些对插件行为进行调整的一些参数如: ...
group_id => "logstash" } } output { elasticsearch { hosts => ["http://localhost:9200"] index => "tizi365" } } kafka Input插件参数 Logstash RabbitMQ input插件 RabbitMQ input插件,支持Logstash通过RabbitMQ消息队列读取数据。 例子: