问题呈现 FAIled to getMetadata for topics [flink]. at org.apache.flink.connector.kafka.source.enumerator.subscrIBer.KafkaSubscriberUtils.getTopicMetadata(KafkaSubscriberUtils.java:47) at org.apache.flink.connector.kafka.source.enumerator.subscriber.TopicListSubscriber.getSubscribedTopicPartitions(TopicListSubsc...
Caused by: java.lang.RuntimeException: Failed to get metadata for topics [board_quote_topic]. at org.apache.flink.connector.kafka.source.enumerator.subscriber.KafkaSubscriberUtils.getTopicMetadata(KafkaSubscriberUtils.java:47) at org.apache.flink.connector.kafka.source.enumerator.subscriber.TopicListSubs...
/*SimpleStringSchema可以获取到kafka消息,JSONKeyValueDeserializationSchema可以获取都消息的key,value,metadata:topic,partition,offset等信息*/ FlinkKafkaConsumer011<ObjectNode> kafkaConsumer011 =new FlinkKafkaConsumer011<>(topic_ExactlyOnce,new JSONKeyValueDeserializationSchema(true), props); //加入kafka数据源 ...
在使用 Apache Flink 消费 Kafka 时，遇到无法获取 topic 列表的问题，报错信息为 Failed to list ...
[logtime, url, sign, scene, channel]) (1/8)] [WARN] - org.apache.kafka.clients.NetworkClient$DefaultMetadataUpdater.handleServerDisconnect(NetworkClient.java:1024) - [Consumer clientId=consumer-test_20201101-8, groupId=test_20201101] Bootstrap broker *** (id: -1 rack: null) disconnected...
例如,当WITH参数中定义了多个topic时,如果在Kafka源表中定义了元信息列,那么Flink读取到的数据就会被标识是从哪个topic中读取的数据。元信息列的使用示例如下。 CREATE TABLE kafka_source ( --读取消息所属的topic作为`record_topic`字段 `record_topic` STRING NOT NULL METADATA FROM 'topic' VIRTUAL, --读取...
Kafka连接器可以在SQL作业中使用,作为源表或者结果表。 语法结构 CREATE TABLE KafkaTable ( `user_id` BIGINT, `item_id` BIGINT, `behavior` STRING, `ts` TIMESTAMP_LTZ(3) METADATA FROM 'timestamp' VIRTUAL ) WITH ( 'connector' = 'kafka', 'topic' = 'user_behavior', 'properties.bootstrap....
作者:闻乃松 使用Flink实时消费kafka数据时候,涉及到offset的状态维护,为了保证Flink作业重启或者运行时的Operator级别的失败重试,如果要做到“断点续跑”,需要Flink的Checkpoint的支持。问题是,如果简单的…
Kafka连接器 这里定义了 Kafka 连接器对应的主题(topic),Kafka 服务器,消费者组 ID,消费者起始模式以及表格式。需要特别说明的是,在 KafkaTable 的字段中有一个 ts,它的声明中用到了METADATA FROM,这是表示一个“元数据列”(metadata column),它是由 Kafka 连接器的元数据“timestamp”生成的。这里的 timestam...
Kafka連接器可以在SQL作業中使用,作為源表或者結果表。 文法結構 CREATE TABLE KafkaTable ( `user_id` BIGINT, `item_id` BIGINT, `behavior` STRING, `ts` TIMESTAMP_LTZ(3) METADATA FROM 'timestamp' VIRTUAL ) WITH ( 'connector' = 'kafka', 'topic' = 'user_behavior', 'properties.bootstrap....