at org.apache.kafka.connect.runtime.WorkerSinkTask.poll(WorkerSinkTask.java:325) at org.apache.kafka.connect.runtime.WorkerSinkTask.iteration(WorkerSinkTask.java:229) at org.apache.kafka.connect.runtime.WorkerSinkTask.execute(WorkerSinkTask.java:201) at org.apache.kafka.connect.runtime.Worker...
"connector.class":"io.confluent.connect.jdbc.JdbcSinkConnector", "table.name.format":"ljh.Test_TimeFormat_Order", "connection.password":"QAZ123", "tasks.max":"1", "topics":"connector_topic_Test_TimeFormat_Order", "delete.enabled":"false", "auto.evolve":"true", "connection.user":"pos...
"connection.password":"QAZ123","tasks.max":"1","topics":"connector_topic_Test_TimeFormat_Order","delete.enabled":"false","auto.evolve":"true","connection.user":"postgres","name":"sink_connector_Test_TimeFormat_Order","auto.create":"true","connection.url":...
最后,在 JDBC 接收器连接器的帮助下,我们会将丰富的订单表推送到 PostgreSQL 数据库中。 CREATE SINK CONNECTOR `postgres-sink` WITH( "connector.class"= 'io.confluent.connect.jdbc.JdbcSinkConnector', "tasks.max"= '1', "dialect.name"= 'PostgreSqlDatabaseDialect', "table.name.format"= 'ENRICHED_O...
总结:kafka connector 是kafka内置的数据传输工具,上文我们创建了一个postgresql connector(依赖debezium的PostgresConnector)其实就是等价于我们在kafka的config目录中添加了一个connect-file-source.properties配置文件(source代表数据来源);这里我们创建的 es sink connector 等价于在config目录添加了一个connect-file-sink....
转换器与连接器本身分离,以允许自然地在连接器之间重用转换器。 例如,使用相同的 Avro 转换器,JDBC Source Connector 可以将 Avro 数据写入 Kafka,而 HDFS Sink Connector 可以从 Kafka 读取 Avro 数据。 这意味着可以使用相同的转换器,例如,JDBC 源返回一个最终作为 parquet 文件写入 HDFS 的 ResultSet。
首先使用API 创建 source connector 地址 http://{ip}:8083/connectors 1. 参数 { "name":"test-upload-mysql", "config":{ "connector.class":"io.confluent.connect.jdbc.JdbcSourceConnector", "connection.url":"jdbc:postgresql://124.71.155.137:5432/db2021?user=postgres&password=postgres", ...
如图所示,部署了用于MySQL和PostgresSQL的Debezium连接器来捕获对这两种数据库的更改。每个Debezium连接器建立一个到其源数据库的连接: MySQL连接器使用一个客户端库来访问binlog。 PostgreSQL连接器从逻辑复制流中读取数据。 Kafka Connect作为Kafka代理之外的一个独立服务运行。 默认情况下,一个数据库表的更改被写入Kafk...
转换器与连接器本身分离,以允许自然地在连接器之间重用转换器。 例如,使用相同的 Avro 转换器,JDBC Source Connector 可以将 Avro 数据写入 Kafka,而 HDFS Sink Connector 可以从 Kafka 读取 Avro 数据。 这意味着可以使用相同的转换器,例如,JDBC 源返回一个最终作为 parquet 文件写入 HDFS 的 ResultSet。
接下来是自定义topic的kafka sink,这里根据flink-connector-kafka-0.11_2.12,实现kafka的scala版本不同,有不同的API。 一、0.11版本需implementsSerializationSchema<Object>,KafkaContextAware<Object> public CustomProducerSchema(String topic, int[] partitions) {super();this.topic = topic;this.partitions = partit...