用于将Event写入Redis中进行缓存,通常情况下Logstash的Filter处理比较吃系统资源,复杂的Filter处理会非常耗时,如果Event产生速度比较快,可以使用Redis作为buffer使用 6.2.2 配置示例 output { redis { host => "127.0.0.1" port => 6379 data_type => "list" key => "logstash-list" } } 1. 2. 3. 4. ...
["topic2"] type => "type2" auto_offset_reset => "latest" } } filter { if [type] == "type1" { mutate { add_tag => ["type1"] } } if [type] == "type2" { mutate { add_tag => ["type2"] } } } output { if "type1" in [tags] { elasticsearch { ...
output中[fields][log_type] =~ "bituan-*"使用了正则,所以其同一类型的日志就不要再单独写一个output输出了,比如在前面又写了一个if [fields][log_type] == "bituan-sms-gateway" { elasticsearch { } },这样的话sms-gateway的日志就会重复记录,分别输出到不同的索引(在logstash 6.2版本中测试是这样),...
} filter { grok { match => { "message" => "%{COMBINEDAPACHELOG}"} } geoip { source => "clientip" } } output { stdout { codec => rubydebug } file { path => "E:\test.txt" } } 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. 13. 14. 15. 16. 17. 18. 19. 20....