启动flume的命令:bin/flume-ng agent --name Agent --conf ./conf/ --conf-file ./conf/exec-file-hdfs.conf.p -Dflume.root.logger=INFO,console 然后我是写了个shell脚本循环往sink.log里面插入数据: #!/bin/sh i=0 while((i<10000)) do echo "aalaansdlkanslabclkanslnclaksnuabcasjcbalsck" >...
[hadoop@hadoop1 ~]$flume-ng agent --conf conf --conf-file ~/apps/flume/examples/case_avro.properties --name a1 -Dflume.root.logger=DEBUG,console -Dorg.apache.flume.log.printconfig=true -Dorg.apache.flume.log.rawdata=true #再启动Avro的Sink flume-ng agent --conf conf --conf-file ~/...
a1.sources.r1.command = tail -F /var/log/flume-test.log # 设置要执行的命令,这里使用tail命令实时读取日志文件 # 配置sink a1.sinks.k1.type = hdfs # 设置sink类型为hdfs,用于将数据写入Hadoop分布式文件系统 a1.sinks.k1.hdfs.path = hdfs://localhost:9000/flume/logs/ # 设置HDFS的目标路径,数...
在Flume配置文件中,需要指定HDFS Sink的相关参数,如HDFS的URL、文件路径、文件格式等。配置完成后,Flume将按照指定的规则将数据写入HDFS。 二、配置HDFS Sink的步骤 在Flume配置文件中定义HDFS Sink。Flume配置文件通常采用.conf或.properties格式。 设置HDFS Sink的必要参数,如HDFS的URL、文件路径、文件前缀、文件后缀等...
1>.编写自定义sink 1/*2@author :yinzhengjie3Blog:http://www.cnblogs.com/yinzhengjie/tag/Hadoop%E7%94%9F%E6%80%81%E5%9C%88/4EMAIL:y1053419035@qq.com5*/6packagecn.org.yinzhengjie.sink;78importorg.apache.flume.*;9importorg.apache.flume.conf.Configurable;10importorg.apache.flume.sink.Abst...
a1.sources.r1.bind=localhost a1.sources.r1.port= 44444# Describe the sink #a1.sinks.k1.type=logger a1.sinks.k1.type=hdfs a1.sinks.k1.hdfs.path= /flume/events/%y-%m-%d/%H%M/%S #官方缺少一个配置a1.sinks.k1.hdfs.useLocalTimeStamp= truea1.sinks.k1.hdfs.filePrefix= events-a1.si...
三、sink组件 1、HDFS 作用:把events写进Hadoop分布式文件系统(HDFS)。它目前支持创建文本和序列文件。它支持在两种文件类型压缩。文件可以基于数据的经过时间或者大小或者事件的数量周期性地滚动。它还通过属性(如时间戳或发生事件的机器)把数据划分为桶或区。 使用方法及例子参考Source-spooldir 类型中的例子描述 2、...
使用这个sink 要求hadoop必须已经安装好,以便Flume可以通过hadoop提供的jar包与HDFS进行通信。 HDFS Sink 配置 # a1 代表一个flume 给每个组件匿名a1.sources=r1 a1.channels=c1 a1.sinks=s1# 指定source 的数据来源以及对外开放的端口a1.sources.r1.type=avro ...
使用这个Sink要求haddop必须已经安装好,以便Flume可以通过hadoop提供的jar包与HDFS进行通信 可配置选项说明 示例 在配置文件中添加 #配置Agent a1 的组件 a1.sources=r1 a1.sinks=s1 a1.channels=c1 #描述/配置a1的source1 a1.sources.r1.type=netcat ...
6) 生成conf路径下的/flume-conf.properties 配置文件,执行拷贝命令 7)编辑flume-env.sh文件,在文件末尾加入agent1、source1、channel1、sink1配置 8)启动服务,命令行上执行以下命令: flume-ng agent -n agent1 -c conf -f/hadoop/apache-flume-1.8.0-bin/conf/flume-conf.properties -Dflume.root.logger=...