confluent-kafka-python:这个库是基于高性能的 C 库 librdkafka 实现的。它支持Kafka 0.9及更高版本,并提供了生产者、消费者和管理 Kafka 集群的 API。这个库性能更好,但可能需要安装额外的依赖。 安装方法:pip install confluent-kafka aiokafka:这是一个基于 kafka-python 的异步 Kafka 客户端,使用 asyn...
producer=KafkaProducer( bootstrap_servers=['xx.xx.xx.xx:port'],#地址 api_version=(1,1), security_protocol="SASL_PLAINTEXT", sasl_mechanism="PLAIN", sasl_plain_username="username",#用户名 sasl_plain_password="password",#密码 ) ...
kafka_obj = Producer() print(kafka_obj.broker) kafka_obj.send("自动生成".encode()) 发送的消息,主要是普通的字符串消息,和字典形式的消息,方便对接; 2. python 使用 kafka 消费者 由于kafka 消费者的特性,阻塞循环是一个必然的过程,可以使用 python 中的生成器进行优化,但是循环阻塞是无可避免的; ...
kafka_hosts= ["192.168.3.145:49154"] kafka_topic="topic1"consumer= KafkaConsumer(kafka_topic, group_id="test_aaa", bootstrap_servers=kafka_hosts, ssl_check_hostname=False, api_version=(0, 9))#要设置api_version否则可能会报错,如果没有使用ssl认证设置为False#方式一:print("t1", time.time(...
<version>0.11.0.0</version> </dependency> 1. 2. 3. 4. 5. API生产者(注意:topic 要先创建: 本案例topic 为 two) package com.kpwong.producer; import org.apache.kafka.clients.producer.KafkaProducer; import org.apache.kafka.clients.producer.ProducerRecord; ...
api_version (tuple) 3.3.2 KafkaConsumer的函数 assign(partitions):手动为该消费者分配一个topic分区列表。 assignment():获取当前分配给该消费者的topic分区。 beginning_offsets(partitions):获取给定分区的第一个偏移量。 close(autocommit=True):关闭消费者 commit(offsets=None):提交偏移量,直到成功或错误为止...
producer = KafkaProducer(bootstrap_servers='localhost:9092', api_version=(0, 10, 2)) my_topic = "python_test" for i in range(100): data = {'num': i, 'data': datetime.datetime.now().strftime('%Y-%m-%d %H:%M:%S')} producer.send(my_topic, json.dumps(data).encode('utf-8')...
用confluent-kafka替换kafka-python非常简单。confluent-kafka使用poll方法，它类似于上面提到的访问kafka-python的变通方案。kafka_consumer = Consumer({ "api.version.request": True,"enable.auto.commit": True,"group.id": group_id,"bootstrap.servers": config.kafka.host,"security.protocol": "...
Description I want to see result of describe_configs() method. my code is: A1 = AdminClient({'bootstrap.servers': ip, 'api.version.request':True}) A2 = [ConfigResource('ANY', groupId)] A3 = A1.describe_configs(A2) for B1, B2 in A3.items(...
>>> pip install kafka-python KafkaConsumerKafkaConsumer是一个high-level消息使用者,旨在尽可能类似于官方java客户机的操作。对协调消费群体的全面支持需要使用支持群组api的kafka代理:kafka v0.9+。看到了吗<https://kafka-python.readthedocs.io/en/master/apidoc/KafkaConsumer.html>API和配置详细信息。