Apache Kafka是一个分布式流处理平台,能够处理高吞吐量的数据。在Docker中部署Kafka,通常涉及多个组件,包括Kafka broker、Zookeeper(用于管理Kafka集群的元数据)等。 3. 编写docker-compose.yml文件以定义kafka服务 以下是一个简单的docker-compose.yml文件示例,用于在单机上部署Kafka和Zookeeper: yaml version: '3.8' se...
一、单机模式的 Kafka 在开始之前,我们先展示如何使用 Docker Compose 启动一个单机 Kafka 实例。以下是基本的 Docker Compose 配置文件docker-compose.yml: version:'3'services:zookeeper:image:wurstmeister/zookeeper:3.4.6ports:-"2181:2181"kafka:image:wurstmeister/kafka:latestports:-"9092:9092"environment:KAFK...
step-1: 创建文件夹 kafka,ui-kafka cd /homemkdirkafka ui-kafka chmod -R 777 kafka ui-kafka step-2:在 刚创建 kafka 目录下 创建 docker-compose.yml,注意:下面的 192.168.1.42 替换成你自己 kafka 替换成你自己的IP. cd kafka vim docker-compose.yml // 使用vim 直接创建docker-compose.yml,粘贴如...
wget https://mirror.bit.edu.cn/apache/kafka/2.4.1/kafka_2.11-2.4.1.tgz tar -xzf kafka_2.11-2.4.1.tgz cd kafka_2.11-2.4.1 1. 2. 3. 修改配置 配置目录:config/server.properties #在kafka集群中id必须唯一 broker.id=0 #kafka内网通讯地址--可以配置机器内网地址 listeners=PLAINTEXT://39.xxx...
更进一步,我们不希望程序的默认端口暴露在公网中,因此在 Docker Compose 中配置一层端口映射 ports: - "39092:9092" - "39094:9094" 可以通过docker ps -a查看 我们返回来分析一下, Client 访问的完整流程 当外网 Client 访问时 Client → 外网ip:外网端口(39094)→kafka 监听端口(9094)→返回 ADVERTISED_LISTE...
通过docker-compose部署kafka首先创建一个docker-compose.yml文件version: '3.7' services: zookeeper: image: wurstmeister/zookeeper volumes: - ./data:/data ports: - 2182:2181 kafka9094: image: wurstmeister/kafka ports: - 9092:9092 environment: KAFKA_BROKER_ID: 0 KAFKA_ADVERTISED_LISTENERS: PLAINTEXT:...
可以看出我部署的kafka的版本号为2.8.1【前面为scala版本，后面为kafka版本】。2、集群zookeeper和kafka（单服务器）编写docker-compose.yml文件，内容如下（内容较多）：使用docker-compose up -d 启动容器，启动之后查看结构如下【文件夹不需要手动创建，系统会自动创建】：在zk1、zk2、zk3这三个文件目录的conf目录...
docker-compose 其中docker-compose不是必须的,单单使用docker也是可以的,这里主要介绍docker和docker-compose两种方式 docker部署 docker部署kafka非常简单,只需要两条命令即可完成kafka服务器的部署。 docker run -d --name zookeeper -p 2181:2181 wurstmeister/zookeeper ...
源码地址:FISHStack/kafka-demo 通过docker-compose部署kafka 首先创建一个docker-compose.yml文件 version:'3.7'services:zookeeper:image:wurstmeister/zookeeper volumes:-./data:/dataports:-2182:2181kafka9094:image:wurstmeister/kafka ports:-9092:9092environment:KAFKA_BROKER_ID:0...
使用Docker Compose 搭建单机 Kafka 环境 引言 Apache Kafka 是一个分布式事件流平台,广泛应用于实时数据处理和传输场景。本文将指导你如何使用 Docker Compose 在本地单机环境搭建 Kafka,这对于开发和测试非常方便。 环境准备 在安装 Kafka 之前,首先需要安装 [Docker]( 和 [Docker Compose]( Kafka 环境了。