(一)安装docker-compose (二)拉取镜像 一、kafka简介 kafka是分布式的、基于发布/订阅模式的消息队列。 a系统获取b系统的数据,不是直接获取,而是通过消息队列获取。 作用:解耦,削峰填谷 如果公司用spark作为数据分析框架,那么90%的概率使用kafka 二、docker 安装kafka集群 (一)安装docker-compose 下载最新版的docker...
docker run -d --name kafka -p 9092:9092 -e KAFKA_BROKER_ID=0 -e KAFKA_ZOOKEEPER_CONNECT=<宿主机ip>:2181 -e KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://<宿主机ip>:9092 -e KAFKA_LISTENERS=PLAINTEXT://0.0.0.0:9092 -t wurstmeister/kafka docker run -d --name kafka1 -p 9093:9093 -e KAFK...
一是通过docker来搭建,每台kafka broker用不同的端口来启动,即可组成集群; 二是通过虚拟机来搭建,即用VMware在服务器或本机上启动多台虚拟机,每台虚拟机都安装一个kafka broker。笔者采用的是第一种方式。 1、环境说明及架构说明 Linux系统:centos 8 Zookeeper:wurstmeister/zookeeper Kafka:wurstmeister/kafka 准备搭...
docker run -d -p 9000:9000 -e ZK_HOSTS="192.168.79.50:2181,192.168.79.51:2181,192.168.79.52:2181" --restart always --name=kafka-manager kafkamanager/kafka-manager:3.0.0.4 1. 2. 3. 4. 5. 6、访问kafka管理端 http://192.168.79.52:9000/ 添加zk集群: 查看集群的Brokers,可以看到kafka的集群...
1. 新建文件kafka-docker-compose.yml 代码语言:javascript 复制 version:'2'services:kafka1:image:docker.io/wurstmeister/kafkarestart:alwayshostname:kafka1container_name:kafka1ports:-9093:9093-9193:9193environment:KAFKA_BROKER_ID:1KAFKA_LISTENERS:INSIDE://:9093,OUTSIDE://:9193#KAFKA_ADVERTISED_LISTENERS...
Kafka的运行依赖Zookeeper,本文介绍如何在docker顺利搭建一个三个broker构成的kafka集群。将通过以下步骤详细展开: 拉取镜像 bitnami/kafka and bitnami/zookeeper 创建network使集群在同一子网下 knet 创建三个节点的配置文件以供挂载 创建hosts文件以供挂载 运行镜像 ...
一是通过docker来搭建,每台kafka broker用不同的端口来启动,即可组成集群; 二是通过虚拟机来搭建,即用VMware在服务器或本机上启动多台虚拟机,每台虚拟机都安装一个kafka broker。笔者采用的是第一种方式。 1、环境说明及架构说明 Linux系统:centos 8
sudo docker run -d --name zk --network kafka-net --network-alias zk bin/zookeeper:3.5.7 可以启动zookeeper集群,这里为了简单,只使用了单机的zookeeper。 下载kafka_2.12-2.3.1.tgz,并构建bin/kafka:2.3.1,Dockerfile如下 FROM bin/jdk:8u221 ...
/bitnami/kafka networks: - kafka-bitnami-network kafka-1: image: docker.io/bitnami/kafka:3.7 ports: - 9195:9195 environment: # KRaft settings - KAFKA_CFG_NODE_ID=1 - KAFKA_CFG_PROCESS_ROLES=controller,broker - KAFKA_CFG_CONTROLLER_QUORUM_VOTERS=0@kafka-0:9093,1@kafka-1:9093,2@kafka-2...
2、安装ZK,参考搭建ZooKeeper3.7.0集群(传统方式&Docker方式) 3、解压文件 [root@localhost ~]# tar -zxvf kafka_2.13-3.0.0.tgz 4、移动到/usr/local/kafka [root@localhost ~]# mv kafka_2.13-3.0.0 /usr/local/kafka 5、修改kafka配置文件 [root@localhost config]# vim server.properties broker1 brok...