properties.setProperty(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG, kafkaAddr) properties.setProperty(ProducerConfig.TRANSACTION_TIMEOUT_CONFIG,6000 * 6 + "")//设置了retries参数,可以在Kafka的Partition发生leader切换时,Flink不重启,而是做5次尝试:properties.setProperty(ProducerConfig.RETRIES_CONFIG, "5") propertie...
生产者获取PID的操作是通过InitProducerIdRequest请求来实现的,InitProducerIdRequest请求体结构如下图示,其中 transactional_id表示事务的 transactionalId,transaction_timeout_ms表示TransactionCoordinaor等待事务状态更新的超时时间,通过生产者客户端参数transaction.timeout.ms配置,默认值为60000。 保存PID 生产者的InitProduce...
如果设置了不兼容的值,将抛出ConfigException。 2.33: transaction.timeout.ms: 默认值:60000 事务协调器在主动中止正在进行的事务之前等待生产者更新事务状态的最长时间(毫秒)。如果此值大于代理中的transaction.max.timeout.ms设置,求将失败,并出现InvalidTransactionTimeout错误。 2.34:transactional.id: 默认值:无 用...
transaction.abort.timed.out.transaction.cleanup.interval.ms = 60000 transaction.max.timeout.ms = 900000 transaction.remove.expired.transaction.cleanup.interval.ms = 3600000 transaction.state.log.load.buffer.size = 5242880 transaction.state.log.min.isr = 1 transaction.state.log.num.partitions = 50 tr...
sasl.jaas.config JAAS配置文件使用的格式的SASL连接的JAAS登录上下文参数。说明了JAAS配置文件格式这里.值的格式为:登录模块类控制标志(选项名称=选项值)*;。对于代理,配置必须以监听器前缀和SASL机制名称为小写前缀。例如,listener.name.sasl_ssl.scram-sha-256.sasl.jaas.config=com.example.ScramLoginModule; ...
Caused by: org.apache.kafka.common.KafkaException: Unexpected error in InitProducerIdResponse; The transaction timeout is larger than the maximum value allowed by the broker (as configured by transaction.max.timeout.ms),需要设置 transaction.timeout.ms 小于15分钟,后续会专门出一篇关于这个传递保证的...
Kafka Broker默认的transaction.max.timeout.ms设置为15分钟,Producer设置的事务超时不能超过Broker指定的时间。Flink Kafka Sink默认会将Kafka Producer配置中的transaction.timeout.ms属性设置为1小时,因此在使用DeliveryGuarantee.EXACTLY_ONCE模式前,需要增加Broker端的transaction.max.timeout.ms值。 DeliveryGuarantee.EXAC...
("KAFKA_TRANSACTION_STATE_LOG_REPLICATION_FACTOR", "1"); kafka.addEnv("KAFKA_TRANSACTION_STATE_LOG_MIN_ISR", "1"); kafka.start(); } @Test public void testIt() { Properties props = new Properties(); props.put(BOOTSTRAP_SERVERS_CONFIG, kafka.getBootstrapServers()); props.put(KEY_...
31.default.api.timeout.ms 设置消费者api超时时间,默认60000ms 32.interceptor.classes 自定义拦截器 33.exclude.internal.topics 内部的主题:一consumer_offsets 和一transaction_state。该参数用来指定 Kafka 中的内部主题是否可以向消费者公开,默认值为 true。如果设置为 true,那么只能使用 subscribe(Collection)的方...
例如:设置请求的超时时间 --command-config config/producer.proterties; 然后在文件中配置 request.timeout.ms=300000 1.2.删除Topic bin/kafka-topics.sh --bootstrap-server localhost:9092 --delete --topic test 支持正则表达式匹配Topic来进行删除,只需要将topic 用双引号包裹起来 例如: 删除以create_topic_by...