除了上述属性之外,您还可以使用 setProperties(Properties) 和 setProperty(String, String) 为 Kafka Source 和 Kafka Consumer 设置任意属性。KafkaSource 有以下配置项: client.id.prefix,指定用于 Kafka Consumer 的客户端 ID 前缀 partition.discovery.interval.ms,定义 Kafka Source 检查新分区的时间间隔。 请参阅...
Apache Flink 集成了通用的 Kafka 连接器,它会尽力与 Kafka client 的最新版本保持同步。 该连接器使用的 Kafka client 版本可能会在 Flink 版本之间发生变化。 当前 Kafka client 向后兼容 0.10.0 或更高版本的 Kafka broker。 有关 Kafka 兼容性的更多细节,请参考 Kafka 官方文档。 <dependency> <groupId>org...
client.id.prefix定义用于 Kafka 消费者的客户端 ID 的前缀 partition.discovery.interval.ms定义 Kafka 源发现新分区的时间间隔 im 毫秒。有关更多详细信息,请参阅下面的 动态分区发现。 register.consumer.metrics指定是否在 Flink 指标组中注册 KafkaConsumer 的指标 commit.offsets.on.checkpoint指定是否在检查点向 ...
Kafka訊息key部分對應的源表或結果表欄位。 String 否 無 多個欄位名以分號(;)分隔。例如field1;field2 key.fields-prefix 為所有Kafka訊息key部分指定自訂首碼,以避免與訊息value部分格式欄位重名。 String 否 無 該配置項僅用於源表和結果表的列名區分,解析和產生Kafka訊息key部分時,該首碼會被移除。 說明 使...
key.fields-prefix 为所有Kafka消息key部分指定自定义前缀,以避免与消息value部分格式字段重名。 String 否 无 该配置项仅用于源表和结果表的列名区分,解析和生成Kafka消息key部分时,该前缀会被移除。 说明 使用该配置时,value.fields-include必须配置为EXCEPT_KEY。 value.format 读取或写入Kafka消息value部分时使用的...
key.fields-prefix 为所有Kafka消息key部分指定自定义前缀,以避免与消息value部分格式字段重名。 String 否 无 该配置项仅用于源表和结果表的列名区分,解析和生成Kafka消息key部分时,该前缀会被移除。 说明 使用该配置时,value.fields-include必须配置为EXCEPT_KEY。 value.format 读取或写入Kafka消息value部分时使用的...
key.fields-prefix 为所有Kafka消息key部分指定自定义前缀,以避免与消息value部分格式字段重名。 String 否 无 该配置项仅用于源表和结果表的列名区分,解析和生成Kafka消息key部分时,该前缀会被移除。 说明 使用该配置时,value.fields-include必须配置为EXCEPT_KEY。 value.format 读取或写入Kafka消息value部分时使用的...
FlinkKafkaConsumer 的 clientId 是从 Flink 1.12 开始引入的,如果您使用的是 Flink 1.11 版本,则不支持使用该属性。在不升级 Flink 版本的情况下,您可以尝试以下两种方法来指定消费者 clientId: 通过传递 Properties 对象来设置 clientId:FlinkKafkaConsumer 的构造函数允许您传递一个 Properties 对象。您可以通过设置...
(与Kafka整合,一定要设置Checkpoint模式为Exactly_Once)//env.getCheckpointConfig().setCheckpointingMode(CheckpointingMode.EXACTLY_ONCE);env.setStreamTimeCharacteristic(TimeCharacteristic.EventTime);//每隔20分钟进行启动一个检查点env.enableCheckpointing(20 * 60 * 1000, CheckpointingMode.AT_LEAST_ONCE);//...
Flink样例工程的数据存储在Kafka组件中。向Kafka组件发送数据(需要有Kafka权限用户),并从Kafka组件接收数据。用户使用Linux命令行创建topic,执行命令前需要使用kinit命令进行人机认证,如kinit flinkuser。flinkuser需要用户自己创建,并拥有创建Kafka的topic权限。具体