我要评论
kafka是一种高吞吐量的分布式发布订阅消息系统
1、优点：
① 通过磁盘数据结构提供消息的持久化，这种结构对于即使数以tb的消息存储也能够保持长时间的稳定性能。
② 高吞吐量：即使是非常普通的硬件kafka也可以支持每秒数百万的消息。
③ 支持通过kafka服务器和消费机集群来分区消息。
④ 支持hadoop并行数据加载。
2、基本概念：
① broker：kafka集群包含的一个或多个服务器
② topic：每条发布到kafka集群的消息都有一个类别主题。（物理上不同topic的消息分开存储，逻辑上一个topic的消息虽然保存于一个或多个broker上但用户只需指定消息的topic即可生产或消费数据而不必关心数据存于何处）
③ partition：分区，每个topic包含一个或多个partition
④ producer：负责发布消息到kafka broker
⑤ consumer：消息消费者，向kafka broker读取消息的客户端
⑥ consumer group：每个consumer属于一个特定的consumer group（可为每个consumer指定group name，若不指定group name则属于默认的group）
3、环境准备：
① windows 7 64位旗舰版
② zookeeper文件一份zookeeper-3.4.13.tar.gz（下载地址：），下载完毕后解压至d:\kafka
③ kafka文件一份kafka_2.12-2.1.1.tgz（下载地址：），下载完毕后解压至d:\kafka
4、配置设定：
① 环境变量的系统变量中添加zookeeper_home=d:\kafka\zookeeper-3.4.11，系统变量path中追加;%zookeeper_home%\bin
② d:\kafka\zookeeper-3.4.13\conf目录中，zoo_sample.cfg文件改名为zoo.cfg
③ zoo.cfg文件中12行的datadir=/tmp/zookeeper，修改为：datadir=d:\\kafka\\zookeeper-3.4.13\\tmp
④ d:\kafka\kafka_2.12-2.1.1\config目录中，找到server.properties文件，60行的log.dirs=/tmp/kafka-logs，修改为：log.dirs=d:\\kafka\\kafka_2.12-2.1.1\\kafka-logs
5、测试运行：
① 启动zookeeper
在d:\kafka\zookeeper-3.4.13\bin目录下，找到zkserver.cmd文件，双击执行，看到如下提示，说明zookeeper正常启动
注意：启动后不要关闭窗口
② 启动kafka
在d:\kafka\kafka_2.12-2.1.1目录下，shift+鼠标右键，找到"在此处打开命令窗口"，输入：
.\bin\windows\kafka-server-start.bat .\config\server.properties
看到如下提示，说明kafka正常启动
注意：启动后不要关闭窗口
③ 创建及查看topic
在d:\kafka\kafka_2.12-2.1.1目录下，shift+鼠标右键，找到"在此处打开命令窗口"，输入：
.\bin\windows\kafka-topics.bat --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test
看到如下提示，说明创建成功
想查看创建过的topic，可以继续输入：
.\bin\windows\kafka-topics.bat --list --zookeeper localhost:2181
看到如下提示，即列出创建过的topic列表
④ 创建生产者
在d:\kafka\kafka_2.12-2.1.1目录下，shift+鼠标右键，找到"在此处打开命令窗口"，输入：
.\bin\windows\kafka-console-producer.bat --broker-list localhost:9092 --topic test
看到如下提示，说明等待生产
⑤ 创建消费者
在d:\kafka\kafka_2.12-2.1.1目录下，shift+鼠标右键，找到"在此处打开命令窗口"，输入：
.\bin\windows\kafka-console-consumer.bat --bootstrap-server localhost:9092 --topic test --from-beginning
看到如下提示，说明等待消费
⑥ 在生产者窗口中输入内容模拟生产，可以在消费者窗口中看到内容
您可能感兴趣的文章:
如您对本文有疑问或者有任何想说的，请点击进行留言回复，万千网友为您解惑！
网友评论