admin 管理员组

文章数量: 887185

kafka是一个分布式消息队列。具有高性能、持久化、多副本备份、横向扩展能力。

 

window环境下如何安装kafka呢?

 

下载地址:

Zookeeper下载地址:

 

http://archive.apache/dist/zookeeper/

选择一个版本进行下载,比如:

https://archive.apache/dist/zookeeper/zookeeper-3.4.13/zookeeper-3.4.13.tar.gz

Kafka下载地址:

https://archive.apache/dist/kafka/

选择一个版本进行下载,比如:

https://archive.apache/dist/kafka/2.0.0/kafka_2.12-2.0.0.tgz

 

安装步骤

步骤一:安装jdk环境:

  JDK,基本都装了,忽略

步骤二:下载并解压Zookeeper

Kafka的运行依赖于Zookeeper,所以在运行Kafka之前我们需要安装并运行Zookeeper

解压下载的文件zookeeper-3.4.13.tar.gz,并重命名解压后的文件为zookeeper3.4.13,复制到指定位置(此处以E:\tool\kafka\zookeeper3.4.13为例)

 

步骤三:配置Zookeeper

E:\tool\kafka\zookeeper3.4.13\conf下的zoo_sample.cfg文件更改为zoo.cfg;
打开“zoo.cfg”找到并编辑dataDir=E:/tool/kafka/zookeeper3.4.13/tmp
注意此处配置的路径一定是“/”而不是“\”,不然会启动后会报错并自动关闭服务。

 

步骤四:配置Zookeeper环境变量

我的电脑右键选择属性高级系统设置环境变量:

选择新建系统环境变量

配置ZOOKEEPER_HOME

输入解压的目录:

E:\tool\kafka\zookeeper3.4.13

在系统环境变量Path中,增加“%ZOOKEEPER_HOME%\bin”

 

步骤五:启动Zookeeper

按: windows+r 输入cmd, 打开dos窗口,输入命令:

 zkServer

启动成功:
注意,在使用kafka 的时候,一定保持窗口不能关闭。

 

步骤六:下载并解压Kafka

解压下载的文件kafka_2.12-2.0.0.tgz,并重命名为kafka2.12,并复制到指定位置(此处以E:\tool\kafka\kafka2.12为例)

步骤七:配置Kafka

打开E:\tool\kafka\kafka2.12\config\server.properties,里面的路径用 /
1,编辑log.dirs= E:/tool/kafka/kafka2.12/logs 或是:log.dirs= E:\\tool\\kafka\\kafka2.12\\logs
 

2,编辑broker.id=1。 配置broker.id必须是一个整数,且不可以和其他的kafak代理节点的值重复,即每个kafka节点为一个broker,拥有唯一的id

 

3,单机多BROKER 集群配置:

     新生成几个配置文件config/server1.propertiesconfig/server2.properties

    然后修改里面的配置文件broker.id log.dir  listeners分别指定不同的broker、日志文件位置监听端口。

config/server1.properties:
    broker.id=1
    listeners=PLAINTEXT://:8083
    log.dir= E:/tool/kafka/kafka2.12/kafkaLogs1
 
config/server2.properties:
    broker.id=2
    listeners=PLAINTEXT://:8085
log.dir= E:/tool/kafka/kafka2.12/kafkaLogs2

然后分别使用这些配置文件启动即可。

 

步骤八:启动Kafka

按:windows + r,输入cmd,新打开dos,进入kafka安装目录

输入:

.\bin\windows\kafka-server-start.bat  .\config\server.properties

启动成功:

如果出现启动时错误: Found directory /home/admin/kafka_2.12-1.1.0/bin, 'bin' is not in the form of topic-partition or topic-partition.uniqueId-delete (if marked for deletion).

错误原因:server.properties里的配置log.dir路径不对

 

 

测试和使用

  •  创建主题

方法1:dos创建

另外开一个dos窗口,输入如下命令(命令中yantopic 是自己命名的topic名称)

> e:
> cd E:\tool\kafka\kafka2.12

输入:

 .\bin\windows\kafka-topics.bat --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic yantopic

注意不要关掉窗口
查看现有的主题,输入命令:

.\bin\windows\kafka-topics.bat --list --zookeeper localhost:2181

 

方法2: 使用shell创建

shift+鼠标右键,选中在此处打开命令行窗口(W,打开命令行

输入以下命令,创建一个topic主题: test

.\bin\windows\kafka-topics.bat --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test

查看创建的主题列表:

.\bin\windows\kafka-topics.bat --list --zookeeper localhost:2181

可以看到上面那个创建的topic和现在创建的topic

 

  • 测试生产者与消费者

 启动生产者,可以发送消息:

打开dos窗口,输入命令:

.\bin\windows\kafka-console-producer.bat --broker-list localhost:9092 --topic test

  往里面输入消息

 

接收消息

窗口不要关闭,同上新打开一个shell窗口,输入命令:

.\bin\windows\kafka-console-consumer.bat --bootstrap-server localhost:9092 --topic test --from-beginning

 

接收:


 

总结:

    整个过程不难,但是步骤多一些,需要耐心去操作。在windows环境下安装好fakfa后,就可以开始进一步学习kafka了。

 

本文标签: 环境 Kafka Windows