admin 管理员组文章数量: 887021
一.下载
kafka官网下载地址:http://kafka.apache/downloads.html,下载二进制的.
二.安装
1.安装zookeeper
windows环境下安装zookeeper(单机版)
安装并启动后的界面:
2.安装kafka
我下载的kafka_2.13-2.8.0.tgz,并解压到D:\Tools\kafka_2.13-2.8.0目录下
- 编辑文件Kafka配置文件, D:\Tools\kafka_2.13-2.8.0\config\server.properties
- 找到并编辑log.dirs=D:\\Tools\\kafka_2.13-2.8.0\\kafka-logs, (自定义文件夹)
- 找到并编辑zookeeper.connect=localhost:2181。表示本地运行(默认的可以不改)
- Kafka会按照默认,在9092端口上运行,并连接zookeeper的默认端口:2181。
三.启动Kafka服务器
1.进入Kafka安装目录,新建cmd窗口:cd D:\Tools\kafka_2.13-2.8.0,输入命令
.\bin\windows\kafka-server-start.bat .\config\server.properties
或者进入D:\Tools\kafka_2.13-2.8.0\bin\windows目录下执行
kafka-server-start.bat ..\..\config\server.properties
或者填写绝对路径
D:\Tools\kafka_2.13-2.8.0\bin\windows\kafka-server-start.bat D:\Tools\kafka_2.13-2.8.0\config\server.properties
注意:不要关了这个窗口,启用Kafka前请确保ZooKeeper实例已经准备好并开始运行
四.测试
kafka专业术语介绍:Kafka的简介
1.创建主题
新建cmd窗口,进入kafka的windows目录下,cd D:\Tools\kafka_2.13-2.8.0\bin\windows,输入以下命令,创建一个叫topic001的主题
kafka-topics.bat --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic topic001
可以关掉这个窗口
2.创建生产者
新建cmd窗口,进入kafka的windows目录下,cd D:\Tools\kafka_2.13-2.8.0\bin\windows,输入以下命令
kafka-console-producer.bat --broker-list localhost:9092 --topic topic001
3.创建消费者
新建cmd窗口,进入kafka的windows目录下,cd D:\Tools\kafka_2.13-2.8.0\bin\windows,输入以下命令
kafka-console-consumer.bat --bootstrap-server localhost:9092 --topic topic001 --from-beginning
4.生产消息并消费
5.其他命令
新建cmd窗口,cd D:\Tools\kafka_2.13-2.8.0\bin\windows
1.列出主题:kafka-topics.bat –list –zookeeper localhost:2181
2.描述主题:kafka-topics.bat –describe –zookeeper localhost:2181 –topic [Topic Name]
6.操作日志的处理
kafka启动后,如果你去查看kafka所在的根目录,或者是kafka本身的目录,会发现已经默认生成一堆操作日志(这样看起来真心很乱):
而且会不断生成不同时间戳的操作日志。刚开始不知所措,一番研究后,看了启动的脚本内容,发现启动的时候是会默认使用到这个log4j.properties文件中的配置,而在zoo.cfg是不会看到本身的启动会调用到这个,还以为只有那一个日志路径:
在这里配置一下就可以了,找到config下的log4j.properties:
将路径更改下即可,这样就可以归档在一个文件夹下边了,路径根据自己喜好定义:
另外如何消除不断生成日志的问题,就是同一天的不同时间会不停生成。
修改这里,还是在log4j.properties中:
本身都为trace,字面理解为会生成一堆跟踪日志,将其改为INFO即可。
五.将kafka安装成windows的服务
nssm是一款windows 服务安装工具,简单方便, windows service wrapper 也是一个类似的工具,但是需要进行配置文件编写
下载的地址:http://nssm/release/nssm-2.24.zip
1、将软件解压到D:\Tools\nssm-2.24,cmd进入D:\Tools\nssm-2.24\win64
2、输入命令.\nssm install 会弹出一个nssm service installer
3、application path :D:\Tools\kafka_2.13-2.8.0\bin\windows\kafka-server-start.bat
4、startup directory : D:\Tools\kafka_2.13-2.8.0\bin\windows 上面选择后会自动选择出来
5、Arguments: D:\Tools\kafka_2.13-2.8.0\config\server.properties
6、然后记得写服务名称kafka就行了
6.kafka管理界面
kafka-manager 由 yahoo 公司开发,该工具可以方便查看集群 主题分布情况,同时支持对 多个集群的管理、分区平衡以及创建主题等操作。不过雅虎已经将其更名为CMAK(Cluster Manager for Apache Kafka)。下载地址:https://github/yahoo/CMAK/releases,目前最新版是3.0.05,Attached release asset was compiled with java 11.
如果你所部署的kafka集群不支持最新CMAK的要求,可以下载1.x版本试试。
网上很多方法是需要sbt构筑编译的,还需要翻墙或配置文件使用镜像,如果你是用于个人研究学习,这里我给了kafka-manager-1.3.3.17下载包,是编译过的,可以直接使用,也可以自己上网找最新的编译过的kafka-manager
百度云盘链接:https://pan.baidu/s/109CMP8u25ey7BOIIcikDZg
提取码:cgfy
解压到想要放到的目录,找到其中的conf目录,打开 application.conf文件,修改其中的配置信息(这里主要是连接你的zookeeper服务的端口)
kafka-manager.zkhosts="localhost:2181"
其他详细的配置信息参考官方文档:https://github/yahoo/kafka-manager
启动后浏览器访问localhost:9000,出现如下管理界面.
退出的时候ctrl+c,会提示你是否终止
CMAK管理工具支持的范围
支持 Kafka 0.8以上版本
Java 11+
zookeeper必须是3.5+版本。
修改配置
进入cmak-3.0.0.5/conf,修改配置文件application.conf
用上面的命令编辑打开文件,将下面的两个配置项配置成你实际的kafka集群对应的zookeeper地址。
kafka-manager.zkhosts="kafka-manager-zookeeper:2181"cmak.zkhosts="kafka-manager-zookeeper:2181"
启动服务
默认使用9000端口,如果端口占用,可以通过参数指定端口。
$ bin/cmak -Dconfig.file=conf/application.conf -Dhttp.port=9001
参考博文:
https://wwwblogs/coloz/p/10487679.html
https://blog.csdn/weixin_38004638/article/details/91893910
https://blog.csdn/qq_30261081/article/details/108057968
https://wwwblogs/bayu/articles/14467738.html
https://blog.csdn/weixin_39928940/article/details/110802072
https://blog.csdn/chaoxiao1231/article/details/82900606
版权声明:本文标题:windows下安装kafka 内容由网友自发贡献,该文观点仅代表作者本人, 转载请联系作者并注明出处:http://www.freenas.com.cn/jishu/1716032498h663209.html, 本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容,一经查实,本站将立刻删除。
发表评论