kafka_obj = Producer() print(kafka_obj.broker) kafka_obj.send("自动生成".encode()) 发送的消息,主要是普通的字符串消息,和字典形式的消息,方便对接; 2. python 使用 kafka 消费者 由于kafka 消费者的特性,阻塞循环是一个必然的过程,可以使用 python 中的生成器进行优化,但是循环阻塞是无可避免的; ...
client_id='kafka-python-{version}',#客户端Id,默认是kafka-python-{version} api_version=None,#指定要使用的 Kafka API 版本。如果设置为 None,客户端将尝试通过API请求来启动不同版本的功能 enable_auto_commit=True,# 是否自动提交消费位置,默认为True auto_commit_interval_ms=5000,# 自动提交消费位置的间...
kafka-python的API官方文档介绍的很清楚,可以查看:https://kafka-python.readthedocs.io/en/master/apidoc/KafkaConsumer.html >>>from kafka import KafkaConsumer>>> consumer = KafkaConsumer("kafkatest", group_id="test1", bootstrap_servers=["10.0.102.204:9092"]) >>>consumer.topics()#获取主主题列表,...
{'bootstrap_servers': ['10.0.102.204:9092'], 'client_id': 'kafka-python-producer-1', 'key_serializer': None, 'value_serializer': None, 'acks': 1, 'compression_type': None, 'retries': 0, 'batch_size': 16384, 'linger_ms': 0, 'partitioner': <kafka.partitioner.default.DefaultPartit...
producer=KafkaProducer( bootstrap_servers=['xx.xx.xx.xx:port'],#地址 api_version=(1,1), security_protocol="SASL_PLAINTEXT", sasl_mechanism="PLAIN", sasl_plain_username="username",#用户名 sasl_plain_password="password",#密码 ) ...
api_version (tuple) 3.3.2 KafkaConsumer的函数 assign(partitions):手动为该消费者分配一个topic分区列表。 assignment():获取当前分配给该消费者的topic分区。 beginning_offsets(partitions):获取给定分区的第一个偏移量。 close(autocommit=True):关闭消费者 commit(offsets=None):提交偏移量,直到成功或错误为止...
在上一篇文章中说明了kafka-python的API使用的理论概念,这篇文章来说明API的实际使用。 对于生成者我们着重于介绍一个send方法,其余的方法提到的时候会说明,在官方文档中有许多可配置参数可以查看,也可以查看上一篇博文中的参数。 #send方法的详细说明,send用于向主题发送信息 ...
python2.7 版本使用以下代码向 Kafka 发送数据时正常,但是在 python3.7 版本使用 Kafka 报错:return '' % self.async;原因是 async 是 python3.7 版本的关键字引起的,通过命令执行 pip install kafka-python 就可以解决这个问题。 #该代码在2.7版本运行正常,但是3.7版本运行报错:return '<SimpleProducer batch=%s>'...
%3|1537702472.744|PROTOERR|rdkafka#producer-2| [thrd:main]: mohammad:9092/0: Protocol parse failure at 81/81 (rd_kafka_DescribeConfigsResponse_parse:2644) (incorrect broker.version.fallback?) %3|1537702472.744|PROTOERR|rdkafka#producer-2| [thrd:main]: mohammad:9092/0: Broker returned Config...
client_id (str) – 客户端名称,默认值: ‘kafka-python-{version}’ request_timeout_ms (int) – 客户端请求超时时间,单位毫秒。默认值: 30000. 参考API: https://kafka-python.readthedocs.io/en/master/apidoc/KafkaClient.html brokers() 获取所有broker元数据 available_partitions_for_topic(topic) 返回...