[root@kafka1 ~]# curl http://kafka1:8083/connector-plugins -s | jq[{"class":"org.apache.kafka.connect.file.FileStreamSinkConnector","type":"sink","version":"2.7.0"},{"class":"org.apache.kafka.connect.file.FileStreamSourceConnector","type":"source","version":"2.7.0"},{"class":"...
[root@kafka1 kafka]# connect-standalone.sh config/connect-standalone.properties config/connect-file-source.properties 1. 启动消费者程序查看导入到 connect_test 主题中的数据: [root@kafka1 ~]# kafka-console-consumer.sh --bootstrap-server kafka1:9092 --topic connect_test -from-beginning {"schema...
INFO WorkerSourceTask{id=local-file-source-0} Finished commitOffsets successfully in 1 ms (org.apache.kafka.connect.runtime.WorkerSourceTask:515) ... 然后可以看到主题中多了3条数据 启动带 FileSource 和 FileSink 的 Connect connect-file-sink.properties是一个 source connect 的模板...
base_dir=$(dirname$0)if["x$KAFKA_LOG4J_OPTS"="x"];thenexport KAFKA_LOG4J_OPTS="-Dlog4j.configuration=file:$base_dir/../config/connect-log4j.properties"fiif[ -z"$KAFKA_HEAP_OPTS"];thenexport KAFKA_JMX_OPTS="-Dcom.sun.management.jmxremote -Dcom.sun.management.jmxremote.authenticate=false ...
connect-file-source.properties: file source connector 配置文件 connect-file-sink.properties: file sink connector 配置文件 connect-standalone. properties 我们首先来编辑 connect-standalone. properties 文件。实际上, Kafka 己经在 config 目录下为
connect-file-sink.properties配置文件内容如下: 结果展示,在test.sink.txt输出内容 使用消费者命令消费connect-test得到的数据 只启动connect-file-source,好像是启动了一个监控文件并且是kafka sink的flume。 3Distributed模式 首先是启动 bin/connect-distributed.sh config/connect-distributed.properties ...
启动Kafka系统的连接器可以通过两种方式来进行启动,一种方式是单机模式,另外一种的方式是分布式模式,这里主要是以单机模式来启动Kafka的连接器。在kafka/config的目录下配置连接器的信息,它的配置文件名称为:connect-file-source.properties,配置的内容为: 代码语言:javascript ...
首先设置connect-standalone.properties key.converter.schemas.enable=falsevalue.converter.schemas.enable=false 1. 2. 设置connect-file-source.properties name=local-file-source connector.class=FileStreamSource tasks.max=1file=test.txt topic=connect-test ...
Kafka Connect 提供了丰富的扩展点,使用户能够定制化系统以满足不同的需求。以下是如何编写自定义转换器和连接器的示例代码: // 示例代码:自定义 Avro 转换器publicclassCustomAvroConverterimplementsConverter{// 实现 Avro 转换逻辑}// 示例代码:自定义文件连接器publicclassCustomFileSourceConnectorextendsSourceConnector...
name=local-file-source # 连接器类 connector.class=FileStreamSource # 任务并行度 tasks.max=1 # 读取的文件 file=/data/kafka-connector/source/source.txt # 存储文件数据的主题 topic=connect-test 目标系统配置 目标系统也使用文件系统,配置文件地址为${KAFKA_HOME}/config/connect-file-source.properties,配...