【围观】麒麟芯片遭打压成绝版，华为亿元投入又砸向了哪里？>>>
一、kafka单节点单broker环境搭建
系统环境：centos 64位 mini
虚拟机：Virtual Box
如果你不熟悉virtual box的使用，不知道如何安装centos系统，可以参考之前发布的文章：
快速掌握基于Virtualbox最小化安装centos6及远程工具xshell使用
快速掌握virtualbox虚拟机搭建centos系统集群
如果你不想用virtual box，也可以使用docker，之前发布的文章也有介绍，请进入头条号查看
1、Windows下搭建单节点kafka环境
请参考之前发布在头条号上的文章，已经详细介绍了
1）JDK环境搭建
快速搭建Java（JDK）Tomcat基础开发环境
2）zookeeper环境搭建
Windows下安装zookeeper
3）kafka环境搭建
Windows下安装Kafka及简单使用
2、Linux下搭建
1）JDK环境搭建
下载： http://download.oracle.com/otn-pub/java/jdk/8u181-b13/96a7b8442fe848ef90c96a2fad6ed6d1/jdk-8u181-linux-x64.tar.gz
解压：
cd /usr/local/src tar -zxvf jdk-8u181-linux-x64.tar.gz mv jdk1.8.0_181 ../
配置：
cd /usr/local/jdk1.8.0_181 vim /etc/profile
export JAVA_HOME=/usr/local/jdk1.8.0_181 export PATH=$JAVA_HOME/bin:$PATH
source /etc/profile
验证： java -version
2）zookeeper环境搭建 下载
wget https://mirrors.tuna.tsinghua.edu.cn/apache/zookeeper/stable/zookeeper-3.4.12.tar.gz 解压
cd /usr/local/src tar -zxvf zookeeper-3.4.12.tar.gz mv zookeeper-3.4.12 ../ 配置环境变量
cd /usr/local/zookeeper-3.4.12 mkdir data mkdir logs vim /etc/profile
export ZK_HOME=/usr/local/zookeeper-3.4.12 export PATH=$ZK_HOME/bin:$PATH
source /etc/profile 修改zoo.cfg
cp conf/zoo_sample.cfg conf/zoo.cfg vim conf/zoo.cfg dataDir=/usr/local/zookeeper-3.4.12/data dataLogDir=/usr/local/zookeeper-3.4.12/logs 启动测试
zkServer.sh start
[root@jikeh zookeeper-3.4.12]# zkServer.sh start ZooKeeper JMX enabled by default Using config: /usr/local/zookeeper-3.4.12/bin/../conf/zoo.cfg Starting zookeeper ... STARTED 查看启动进程信息
[root@jikeh local]# jps 3829 QuorumPeerMain 3848 Jps ​ [root@jikeh local]# jps -m 3858 Jps -m 3829 QuorumPeerMain /usr/local/zookeeper-3.4.12/bin/../conf/zoo.cfg
注释：zookeeper启动后，会多一个进程QuorumPeerMain
3）kafka环境搭建 下载：
cd /usr/local/src wget https://archive.apache.org/dist/kafka/0.9.0.1/kafka_2.11-0.9.0.1.tgz
注释：我们使用的版本是0.9.0.1 解压：
tar -zxvf kafka_2.11-0.9.0.1.tgz mv kafka_2.11-0.9.0.1 ../ 配置环境变量：
vim /etc/profile
export KAFKA_HOME=/usr/local/kafka_2.11-0.9.0.1 export PATH=$KAFKA_HOME/bin:$PATH
使得环境变量立即生效：source /etc/profile 配置server.properties
cd /usr/local/kafka_2.11-0.9.0.1 vim conf/server.properties
server.properties重要参数说明：
broker.id=0//This must be set to a unique integer for each broker advertised.listeners=PLAINTEXT://192.168.0.108:9092：远程连接需要配置下（0.9.0.1版本没有这个问题） log.dirs=/usr/local/kafka_2.11-0.9.0.1/kafka-logs//默认的是不会持久化存储的，这里必须更改下 zookeeper.connect=//zookeeper的连接地址：根据实际进行配置
3）启动测试
配置你的hosts：
127.0.0.1 jikeh
启动zookeeper：
Kafka 使用 ZooKeeper 如果你还没有ZooKeeper服务器，你需要先启动一个ZooKeeper服务器。 您可以通过与kafka打包在一起的便捷脚本来快速简单地创建一个单节点ZooKeeper实例。
cd /usr/local/kafka_2.11-0.9.0.1 bin/zookeeper-server-start.sh config/zookeeper.properties
启动kafka： bin/kafka-server-start.sh config/server.properties
后台启动： bin/kafka-server-start.sh -daemon config/server-1.properties &
注释：一个server.properties其实，就可以当做一个broker
jps:查看当前运行的进程
jps -m:查看当前运行进程的详细信息
二、kafka基本使用
1、创建Topic
1）新建topic
查看命令的帮助信息：直接输入bin/kafka-topics.sh，然后enter，就可以查看所有的参数信息 bin/kafka-topics.sh --create --zookeeper 192.168.0.108:2181 --replication-factor 1 --partitions 1 --topic test
注释：参数说明 replication-factor：设置副本数 partitions：设置分区数
2）查看当前所有的topic列表 bin/kafka-topics.sh --list --zookeeper 192.168.0.108:2181
3）看下topic的详情信息
查看所有topic： bin/kafka-topics.sh --describe --zookeeper 192.168.0.108:2181
查看指定topic： bin/kafka-topics.sh --describe --zookeeper 192.168.0.108:2181 --topic test
2、发送消息 bin/kafka-console-producer.sh --broker-list 192.168.0.108:9092 --topic test
3、消费消息 bin/kafka-console-consumer.sh --zookeeper 192.168.0.108:2181 --topic test --from-beginning
[root@jikeh kafka_2.11-0.9.0.1]# bin/kafka-console-consumer.sh --zookeeper localhost:2181 --from-beginning --topic my-replicated-topic Using the ConsoleConsumer with old consumer is deprecated and will be removed in a future major release. Consider using the new consumer by passing [bootstrap-server] instead of [zookeeper].
上面的警告信息，表示：这是个废弃的用法，建议使用新的用法[bootstrap-server] bin/kafka-console-consumer.sh --bootstrap-server 192.168.0.108:9092 --topic test
注释： --from-beginning 参数的作用：重新开始消费消息，不管是否已经被消费了 对于低版本的kafka需要这样连接： bin/kafka-console-consumer.sh --zookeeper 192.168.0.108:2181 --topic test --from-beginning
4、疑惑点
通过以上命令，很多人就有疑问了，到底什么时候跟zookeeper打交道，什么时候跟broker打交道呢，这很容易让人糊涂
创建topic我是跟zookeeper打交道，而生产、消费消息却与broker打交道，但是低版本的kafka，消费者还是与zookeeper进行打交道的
注意：
低版本的kafka：需要这样消费 bin/kafka-console-consumer.sh --zookeeper 192.168.0.108:2181 --topic test --from-beginning
高版本的kafka： bin/kafka-console-consumer.sh --bootstrap-server 192.168.0.108:9092 --topic test --from-beginning
注释：官网上的文档，其实是按高版本的kafka来更新文档的
为什么会有这种区别呢？
Kafka consumers在早先的版本中，offset默认存储在ZooKeeper中。
三、kafka客户端远程连接测试

如果你理解上有困难，欢迎留言，或者参考视频教程：
带你看官网学习Kafka，掌握Linux下Kafka环境搭建及基本使用
参考 Kafka bootstrap-servers vs zookeeper in kafka-console-consumer 中说建议使用新版(新版本指的是kafka 0.8.0之后的版本)的 --bootstrap-server