第二步:配置logstash,将kafka中的数据加载到es集群中 编写的logstash.conf配置如下; input{ kafka{ bootstrap_servers => "192.168.85.109:9092" client_id => "consumer_id" group_id => "consumer_group" auto_offset_reset => "latest" consumer_threads => 1 decorate_events => true topics => ["...
kafka{ bootstrap_servers => "xxx:9092" topics_pattern => "log_.*" auto_offset_reset => "latest" group_id => "log-es-find" consumer_threads => 1 client_id => "node123" partition_assignment_strategy => "org.apache.kafka.clients.consumer.RoundRobinAssignor" max_poll_interval_ms => ...
bootstrap_servers: 这是Kafka服务器的地址和端口。你需要提供Kafka集群中至少一个服务器的地址。client_id: 这是客户端的唯一标识符,用于标识连接到Kafka集群的客户端。group_id: 这是消费者组的ID。如果你有多个Logstash实例读取同一个Kafka主题,并且你想将它们作为一个消费者组来处理,那么你需要使用这个参数。
可向事件添加Kafka元数据,比如主题、消息大小的选项,这将向logstash事件中添加一个名为kafka的字段,其中包含以下属性:topic:此消息关联的主题、consumer_group:这个事件中用来读取的消费者组、partition:此消息关联的分区、offset:此消息关联的分区的偏移量、key:包含消息key的ByteBuffer。 enable_auto_commit 值类型为st...
client_id: 客户端ID group_id: 消费组ID consumer_threads: 消费线程数量,最好保持该参数*Logstash实例节点的数量=topic的partitions数量 topics: topic列表 auto_offset_reset: 当kafka中topic没有初始的offset时,如何重置offset,常用可选值为earliest(最早)、latest(最新) ...
"kafka":{"consumer_group":"test","partition":0,"offset":10430232,"topic":"logq","key":null} 另外一个input里面可设置多个kafka, input{ kafka{ bootstrap_servers => ["192.168.110.31:9092,192.168.110.31:9093,192.168.110.31:9094"] client_id => "test1" group_id => "test1" auto_offset_...
Kafka输入配置选项 这个插件支持以下配置选项以及后面描述的通用选项。 设置输入类型要求 auto_commit_interval_msstringNo auto_offset_resetstringNo bootstrap_serversstringNo check_crcsstringNo client_idstringNo connections_max_idle_msstringNo consumer_threadsnumberNo ...
KafkaClient { org.apache.kafka.common.security.plain.PlainLoginModule required username="XXX" password="XXX"; }; 按Esc键回到命令行模式。 按:键进入底行模式,输入wq,然后按回车键保存文件并退出。 创建output.conf配置文件。 执行命令vim output.conf创建空的配置文件。
KafkaClient { org.apache.kafka.common.security.plain.PlainLoginModule required username="XXX" password="XXX"; }; 按Esc键回到命令行模式。 按:键进入底行模式,输入wq,然后按回车键保存文件并退出。 创建output.conf配置文件。 执行命令vim output.conf创建空的配置文件。
一、安装kafka 请参考:kafka安装 二、安装logstash 请参考:logstash安装 三、kafka写入logstash 3.1 注意 请注意kafka版本必须为 kafka_2.10-0.10.0.1 kafka、kafka-client、logstash具体对应关系可以参考:https://www.elastic.co/guide/en/logstash/current/plugins-inputs-kafka.html 3.2 相关主机配置上hosts文...