admin 管理员组

文章数量: 887021

一.下载

kafka官网下载地址:http://kafka.apache/downloads.html,下载二进制的.

二.安装

1.安装zookeeper

windows环境下安装zookeeper(单机版)

安装并启动后的界面:

2.安装kafka

我下载的kafka_2.13-2.8.0.tgz,并解压到D:\Tools\kafka_2.13-2.8.0目录下

  •  编辑文件Kafka配置文件, D:\Tools\kafka_2.13-2.8.0\config\server.properties
  •  找到并编辑log.dirs=D:\\Tools\\kafka_2.13-2.8.0\\kafka-logs, (自定义文件夹)
  •  找到并编辑zookeeper.connect=localhost:2181。表示本地运行(默认的可以不改)
  •  Kafka会按照默认,在9092端口上运行,并连接zookeeper的默认端口:2181。
     

三.启动Kafka服务器


1.进入Kafka安装目录,新建cmd窗口:cd D:\Tools\kafka_2.13-2.8.0,输入命令
 

.\bin\windows\kafka-server-start.bat .\config\server.properties

或者进入D:\Tools\kafka_2.13-2.8.0\bin\windows目录下执行

kafka-server-start.bat ..\..\config\server.properties

或者填写绝对路径

D:\Tools\kafka_2.13-2.8.0\bin\windows\kafka-server-start.bat D:\Tools\kafka_2.13-2.8.0\config\server.properties

注意:不要关了这个窗口,启用Kafka前请确保ZooKeeper实例已经准备好并开始运行

四.测试

kafka专业术语介绍:Kafka的简介

1.创建主题

新建cmd窗口,进入kafka的windows目录下,cd D:\Tools\kafka_2.13-2.8.0\bin\windows,输入以下命令,创建一个叫topic001的主题

kafka-topics.bat --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic topic001

可以关掉这个窗口

2.创建生产者

新建cmd窗口,进入kafka的windows目录下,cd D:\Tools\kafka_2.13-2.8.0\bin\windows,输入以下命令

kafka-console-producer.bat --broker-list localhost:9092 --topic topic001

3.创建消费者

新建cmd窗口,进入kafka的windows目录下,cd D:\Tools\kafka_2.13-2.8.0\bin\windows,输入以下命令

kafka-console-consumer.bat --bootstrap-server localhost:9092 --topic topic001 --from-beginning

4.生产消息并消费

 

5.其他命令

新建cmd窗口,cd D:\Tools\kafka_2.13-2.8.0\bin\windows

1.列出主题:kafka-topics.bat –list –zookeeper localhost:2181 
2.描述主题:kafka-topics.bat –describe –zookeeper localhost:2181 –topic [Topic Name] 


 

 

 

6.操作日志的处理


kafka启动后,如果你去查看kafka所在的根目录,或者是kafka本身的目录,会发现已经默认生成一堆操作日志(这样看起来真心很乱):

而且会不断生成不同时间戳的操作日志。刚开始不知所措,一番研究后,看了启动的脚本内容,发现启动的时候是会默认使用到这个log4j.properties文件中的配置,而在zoo.cfg是不会看到本身的启动会调用到这个,还以为只有那一个日志路径:

在这里配置一下就可以了,找到config下的log4j.properties:

将路径更改下即可,这样就可以归档在一个文件夹下边了,路径根据自己喜好定义:

另外如何消除不断生成日志的问题,就是同一天的不同时间会不停生成。

修改这里,还是在log4j.properties中:

本身都为trace,字面理解为会生成一堆跟踪日志,将其改为INFO即可。

 

 

五.将kafka安装成windows的服务

nssm是一款windows 服务安装工具,简单方便, windows service wrapper 也是一个类似的工具,但是需要进行配置文件编写

下载的地址:http://nssm/release/nssm-2.24.zip

1、将软件解压到D:\Tools\nssm-2.24,cmd进入D:\Tools\nssm-2.24\win64
2、输入命令.\nssm install 会弹出一个nssm service installer
3、application path :D:\Tools\kafka_2.13-2.8.0\bin\windows\kafka-server-start.bat
4、startup directory : D:\Tools\kafka_2.13-2.8.0\bin\windows 上面选择后会自动选择出来
5、Arguments: D:\Tools\kafka_2.13-2.8.0\config\server.properties
6、然后记得写服务名称kafka就行了

 

6.kafka管理界面

kafka-manager 由 yahoo 公司开发,该工具可以方便查看集群 主题分布情况,同时支持对 多个集群的管理、分区平衡以及创建主题等操作。不过雅虎已经将其更名为CMAK(Cluster Manager for Apache Kafka)。下载地址:https://github/yahoo/CMAK/releases,目前最新版是3.0.05,Attached release asset was compiled with java 11.

如果你所部署的kafka集群不支持最新CMAK的要求,可以下载1.x版本试试。

 

网上很多方法是需要sbt构筑编译的,还需要翻墙或配置文件使用镜像,如果你是用于个人研究学习,这里我给了kafka-manager-1.3.3.17下载包,是编译过的,可以直接使用,也可以自己上网找最新的编译过的kafka-manager

百度云盘链接:https://pan.baidu/s/109CMP8u25ey7BOIIcikDZg 
提取码:cgfy 

解压到想要放到的目录,找到其中的conf目录,打开 application.conf文件,修改其中的配置信息(这里主要是连接你的zookeeper服务的端口)

kafka-manager.zkhosts="localhost:2181"
其他详细的配置信息参考官方文档:https://github/yahoo/kafka-manager

启动后浏览器访问localhost:9000,出现如下管理界面.

退出的时候ctrl+c,会提示你是否终止

CMAK管理工具支持的范围
支持 Kafka 0.8以上版本
Java 11+
zookeeper必须是3.5+版本。

 

修改配置

进入cmak-3.0.0.5/conf,修改配置文件application.conf
用上面的命令编辑打开文件,将下面的两个配置项配置成你实际的kafka集群对应的zookeeper地址。

kafka-manager.zkhosts="kafka-manager-zookeeper:2181"cmak.zkhosts="kafka-manager-zookeeper:2181"

启动服务
默认使用9000端口,如果端口占用,可以通过参数指定端口。

$ bin/cmak -Dconfig.file=conf/application.conf  -Dhttp.port=9001

 

 

 

 

 

 

 

参考博文:

https://wwwblogs/coloz/p/10487679.html

https://blog.csdn/weixin_38004638/article/details/91893910

https://blog.csdn/qq_30261081/article/details/108057968

https://wwwblogs/bayu/articles/14467738.html

https://blog.csdn/weixin_39928940/article/details/110802072

https://blog.csdn/chaoxiao1231/article/details/82900606

 

 

 

 

 

 

 

 

 

本文标签: Windows Kafka