max_retries: 3 #单个kafka请求里面的最大事件数,默认2048 bulk_max_size: 2048 #等待kafka broker响应的时间,默认30s timeout: 30s #kafka broker等待请求的最大时长,默认10s broker_timeout: 10s #每个kafka broker在输出管道中的消息缓存数,默认256 channel_buffer_size: 256 #网络连接的保活时间,默认为0,...
#单个kafka请求里面的最大事件数,默认2048bulk_max_size:2048 #等待kafka broker响应的时间,默认30stimeout: 30s #kafka broker等待请求的最大时长,默认10sbroker_timeout: 10s #每个kafka broker在输出管道中的消息缓存数,默认256channel_buffer_size:256 #网络连接的保活时间,默认为0,不开启保活机制keep_alive:6...
index.merge.scheduler.max_thread_count: 1 index.merge.policy.max_merged_segment: 15gb index.refresh_interval: -1 index.translog.flush_threshold_ops: 100000 #tranlog达到多少条进行数据平衡,默认为5000 index.translog.flush_threshold_size: 512m threadpool.bulk.type: fixed threadpool.bulk.size: 12 ...
max_bytes: 10485760 tail_files: true output.kafka: enabled: true hosts: ["www.wenbronk.com:9092"] topic: elk-%{[type]} worker: 2 max_retries: 3 bulk_max_size: 2048 timeout: 30s broker_timeout: 10s channel_buffer_size: 256 keep_alive: 60 compression: gzip max_message_bytes: 100000...
bulk_max_size: 1024 shipper: logging: files: rotateeverybytes: 10485760 # = 10MB # /etc/init.d/filebeat start # ps aux |grep filebeat root 11033 0.0 0.2 285796 9220 ? Ssl 13:14 0:04 /usr/bin/filebeat -c /etc/filebeat/filebeat.yml ...
bulk_max_size: 2048 #等待kafka broker响应的时间,默认30s timeout: 30s #kafka broker等待请求的最大时长,默认10s broker_timeout: 10s #每个kafka broker在输出管道中的消息缓存数,默认256 channel_buffer_size: 256 #网络连接的保活时间,默认为0,不开启保活机制 ...
max_open_files 它指定 Logstash 在任何时候输入文件的最大数量。 path 指定文件的路径,它可以包含文件名的模式。 start_position “end” 如果需要,您可以更改为“开始”;最初 Logstash 应该从头开始读取文件,而不仅仅是新的日志事件。 start_interval 1 它以秒为单位指定时间间隔,之后 Logstash 检查修改的文件...
{"took" : 37,"timed_out" : false,"_shards" : {"total" : 5,"successful" : 5,"skipped" : 0,"failed" : 0},"hits" : {"total" : 2,"max_score" : 2.6855774,"hits" : [{"_index" : "logstash-2018.08.11","_type" : "doc","_id" : "DvJhKGUBOuOlYJNtDPw7","_score" : ...
pipeline.batch.size:设置单个工作线程在执行过滤器和输出之前收集的最大事件数,较大的批量大小通常更高效,但会增加内存开销。输出插件会将每个批处理作为一个输出单元。;例如,ES 输出会为收到的每个批次发出批量请求;调整pipeline.batch.size可调整发送到 ES 的批量请求(Bulk)的大小; ...
Logstash是一个开源数据收集引擎,具有实时管道功能。Logstash可以动态地将来自不同数据源的数据统一起来,并将数据标准化到你所选择的目的地。