2.1、Linux下Kafka环境搭建及基本使用
< 返回列表时间: 2018-11-26来源:OSCHINA
【围观】麒麟芯片遭打压成绝版,华为亿元投入又砸向了哪里?>>>
一、kafka单节点单broker环境搭建
系统环境:centos 64位 mini
虚拟机:Virtual Box
如果你不熟悉virtual box的使用,不知道如何安装centos系统,可以参考之前发布的文章:
快速掌握基于Virtualbox最小化安装centos6及远程工具xshell使用
快速掌握virtualbox虚拟机搭建centos系统集群
如果你不想用virtual box,也可以使用docker,之前发布的文章也有介绍,请进入头条号查看
1、Windows下搭建单节点kafka环境
请参考之前发布在头条号上的文章,已经详细介绍了
1)JDK环境搭建
快速搭建Java(JDK)Tomcat基础开发环境
2)zookeeper环境搭建
Windows下安装zookeeper
3)kafka环境搭建
Windows下安装Kafka及简单使用
2、Linux下搭建
1)JDK环境搭建
下载: http://download.oracle.com/otn-pub/java/jdk/8u181-b13/96a7b8442fe848ef90c96a2fad6ed6d1/jdk-8u181-linux-x64.tar.gz
解压:
cd /usr/local/src tar -zxvf jdk-8u181-linux-x64.tar.gz mv jdk1.8.0_181 ../
配置:
cd /usr/local/jdk1.8.0_181 vim /etc/profile
export JAVA_HOME=/usr/local/jdk1.8.0_181 export PATH=$JAVA_HOME/bin:$PATH
source /etc/profile
验证: java -version
2)zookeeper环境搭建 下载
wget https://mirrors.tuna.tsinghua.edu.cn/apache/zookeeper/stable/zookeeper-3.4.12.tar.gz 解压
cd /usr/local/src tar -zxvf zookeeper-3.4.12.tar.gz mv zookeeper-3.4.12 ../ 配置环境变量
cd /usr/local/zookeeper-3.4.12 mkdir data mkdir logs vim /etc/profile
export ZK_HOME=/usr/local/zookeeper-3.4.12 export PATH=$ZK_HOME/bin:$PATH
source /etc/profile 修改zoo.cfg
cp conf/zoo_sample.cfg conf/zoo.cfg vim conf/zoo.cfg dataDir=/usr/local/zookeeper-3.4.12/data dataLogDir=/usr/local/zookeeper-3.4.12/logs 启动测试
zkServer.sh start
[root@jikeh zookeeper-3.4.12]# zkServer.sh start ZooKeeper JMX enabled by default Using config: /usr/local/zookeeper-3.4.12/bin/../conf/zoo.cfg Starting zookeeper ... STARTED 查看启动进程信息
[root@jikeh local]# jps 3829 QuorumPeerMain 3848 Jps ​ [root@jikeh local]# jps -m 3858 Jps -m 3829 QuorumPeerMain /usr/local/zookeeper-3.4.12/bin/../conf/zoo.cfg
注释:zookeeper启动后,会多一个进程QuorumPeerMain
3)kafka环境搭建 下载:
cd /usr/local/src wget https://archive.apache.org/dist/kafka/0.9.0.1/kafka_2.11-0.9.0.1.tgz
注释:我们使用的版本是0.9.0.1 解压:
tar -zxvf kafka_2.11-0.9.0.1.tgz mv kafka_2.11-0.9.0.1 ../ 配置环境变量:
vim /etc/profile
export KAFKA_HOME=/usr/local/kafka_2.11-0.9.0.1 export PATH=$KAFKA_HOME/bin:$PATH
使得环境变量立即生效:source /etc/profile 配置server.properties
cd /usr/local/kafka_2.11-0.9.0.1 vim conf/server.properties
server.properties重要参数说明:
broker.id=0//This must be set to a unique integer for each broker advertised.listeners=PLAINTEXT://192.168.0.108:9092:远程连接需要配置下(0.9.0.1版本没有这个问题) log.dirs=/usr/local/kafka_2.11-0.9.0.1/kafka-logs//默认的是不会持久化存储的,这里必须更改下 zookeeper.connect=//zookeeper的连接地址:根据实际进行配置
3)启动测试
配置你的hosts:
127.0.0.1 jikeh
启动zookeeper:
Kafka 使用 ZooKeeper 如果你还没有ZooKeeper服务器,你需要先启动一个ZooKeeper服务器。 您可以通过与kafka打包在一起的便捷脚本来快速简单地创建一个单节点ZooKeeper实例。
cd /usr/local/kafka_2.11-0.9.0.1 bin/zookeeper-server-start.sh config/zookeeper.properties
启动kafka: bin/kafka-server-start.sh config/server.properties
后台启动: bin/kafka-server-start.sh -daemon config/server-1.properties &
注释:一个server.properties其实,就可以当做一个broker
jps:查看当前运行的进程
jps -m:查看当前运行进程的详细信息
二、kafka基本使用
1、创建Topic
1)新建topic
查看命令的帮助信息:直接输入bin/kafka-topics.sh,然后enter,就可以查看所有的参数信息 bin/kafka-topics.sh --create --zookeeper 192.168.0.108:2181 --replication-factor 1 --partitions 1 --topic test
注释:参数说明 replication-factor:设置副本数 partitions:设置分区数
2)查看当前所有的topic列表 bin/kafka-topics.sh --list --zookeeper 192.168.0.108:2181
3)看下topic的详情信息
查看所有topic: bin/kafka-topics.sh --describe --zookeeper 192.168.0.108:2181
查看指定topic: bin/kafka-topics.sh --describe --zookeeper 192.168.0.108:2181 --topic test
2、发送消息 bin/kafka-console-producer.sh --broker-list 192.168.0.108:9092 --topic test
3、消费消息 bin/kafka-console-consumer.sh --zookeeper 192.168.0.108:2181 --topic test --from-beginning
[root@jikeh kafka_2.11-0.9.0.1]# bin/kafka-console-consumer.sh --zookeeper localhost:2181 --from-beginning --topic my-replicated-topic Using the ConsoleConsumer with old consumer is deprecated and will be removed in a future major release. Consider using the new consumer by passing [bootstrap-server] instead of [zookeeper].
上面的警告信息,表示:这是个废弃的用法,建议使用新的用法[bootstrap-server] bin/kafka-console-consumer.sh --bootstrap-server 192.168.0.108:9092 --topic test
注释: --from-beginning 参数的作用:重新开始消费消息,不管是否已经被消费了 对于低版本的kafka需要这样连接: bin/kafka-console-consumer.sh --zookeeper 192.168.0.108:2181 --topic test --from-beginning
4、疑惑点
通过以上命令,很多人就有疑问了,到底什么时候跟zookeeper打交道,什么时候跟broker打交道呢,这很容易让人糊涂
创建topic我是跟zookeeper打交道,而生产、消费消息却与broker打交道,但是低版本的kafka,消费者还是与zookeeper进行打交道的
注意:
低版本的kafka:需要这样消费 bin/kafka-console-consumer.sh --zookeeper 192.168.0.108:2181 --topic test --from-beginning
高版本的kafka: bin/kafka-console-consumer.sh --bootstrap-server 192.168.0.108:9092 --topic test --from-beginning
注释:官网上的文档,其实是按高版本的kafka来更新文档的
为什么会有这种区别呢?
Kafka consumers在早先的版本中,offset默认存储在ZooKeeper中。
三、kafka客户端远程连接测试

如果你理解上有困难,欢迎留言,或者参考视频教程:
带你看官网学习Kafka,掌握Linux下Kafka环境搭建及基本使用
参考 Kafka bootstrap-servers vs zookeeper in kafka-console-consumer 中说建议使用新版(新版本指的是kafka 0.8.0之后的版本)的 --bootstrap-server
热门排行