Kafka 集群的安装

Kafka 需要依赖于 Zookeeper 协调服务器工作，所以在安装 Kafka 之前需要安装好 Zookeeper，此处不详述 Zookeeper 的安装过程。

第一步：解压安装包

tar -zxvf kafka_2.11-0.11.0.0.tgz -C /usr/local/kafka_home

第二步：创建 logs 文件夹

mkdir /usr/local/kafka_home/logs

第三步：修改配置文件

主要修改下面几项：

• broker.id ：broker 的全局唯一编号，不同节点的 id 不能相同
• delete.topic.enable：开启删除 topic 功能
• log.dirs：日志文件地址
• zookeeper.connect：Zookeeper 集群地址

#broker 的全局唯一编号，不能重复
broker.id=0
#删除 topic 功能使能
delete.topic.enable=true
#处理网络请求的线程数量
num.network.threads=3
#用来处理磁盘 IO 的现成数量
num.io.threads=8
#发送套接字的缓冲区大小
socket.send.buffer.bytes=102400
#接收套接字的缓冲区大小
socket.receive.buffer.bytes=102400
#请求套接字的缓冲区大小
socket.request.max.bytes=104857600
#kafka 运行日志存放的路径	
log.dirs=/opt/module/kafka/logs
#topic 在当前 broker 上的分区个数
num.partitions=1
#用来恢复和清理 data 下数据的线程数量
num.recovery.threads.per.data.dir=1
#segment 文件保留的最长时间，超时将被删除
log.retention.hours=168
#配置连接 Zookeeper 集群地址，形式：hostname:port/path，/path 是可选配置，用于指定 Kafka 依赖 Zookeeper 的根节点
zookeeper.connect=hadoop102:2181,hadoop103:2181,hadoop104:2181

第四步：启动节点

./bin/kafka-server-start.sh -daemon config/server.properties

关闭节点：

./bin/kafka-server-stop.sh stop