admin 管理员组

文章数量: 887609


Windows系统本地部署Ollama+MaxKB安装教程

文章目录

    • Windows系统本地部署Ollama+MaxKB安装教程
        • 环境部署和配置
        • MaxKB的使用
            • 1. 创建知识库
            • 2. 创建模型
        • 3. 测试
        • 4. 创建应用

环境部署和配置
  1. 在本地先安装Ollama

  2. Windows11以下系统需要进行更新。
    Win10必更新到版本号:22H2,操作系统内部版本:19045.4412及以上版本。▲注意:设置好后重启电脑

  3. 控制面板→程序→启用或关闭Windows功能,设置(打勾):“Hyper-V”,“Windows 虚拟机监护程序平台”,“适用于 Linux 的 Windows 子系统”,“虚拟机平台”。▲注意:设置好后重启电脑

  1. 确定是Win10(版本号:22H2,操作系统内部版本:19045.4412及以上版本)(如是Win11,就这里就可以忽略了)后:▲设置好后重启电脑
  2. Windows PowerShell命令行窗口在Windows系统开始那里
  • 先安装WSL(管理员运行Windows PowerShell:wsl --update)
  • 安装Ubuntu(管理员运行Windows PowerShell:wsl --install -d Ubuntu),运行后要设置帐号密码,注:输入密码时,密码不会显示在命令行窗口,不要惊慌,实际已设置好了。
    此处,可能会出现Error code: Wsl/InstallDistro/WININET_E_NAME_NOT_RESOLVED的错误,按照这篇文章进行解决。
  • 官网下载安装Docker后注册帐号(需科学上网),在Docker软件设置里,找到“Resource”项→"WSL integration"项,将“Enable integration with my default wSL distro”打勾,将“Ubuntu”打开。后连接Docker(管理员运行Windows PowerShell:docker login)
  • Docker是国外的软件,日常使用需加速,不加速就得科学上网(但这样不切实际),所以在Docker设置里,找到“Docker Engine”,设置Docker镜像加速代码:
    注意:一个逗号都不能少,直接复制这个就可以了。
{
“builder”: {
“gc”: {
	“defaultKeepStorage”: “20GB”,
	“enabled”: true
	}
},
“experimental”: false,
“registry-mirrors”: [
	“https://dockerproxy.com 32,
	“https://docker.mirrors.ustc.edu.cn 28,
	“https://docker.nju.edu.cn 14]
}
  • 安装MaxKB镜像(点击Ubuntu图标后出现命令行窗口,后输入命令行:
docker run -d --name=maxkb -p 8080:8080 -v ~/.maxkb:/var/lib/postgresql/data 1panel/maxkb

在安装完镜像之后,还不能直接创建知识库,需要先删掉自动部署的MaxKB容器重新创建:

Container中点开自动部署的maxkb容器,关闭右上角的Raw JSON选项,找到PGDATA这一项,这一项是数据保存的路径,先将该路径进行保存。
Container中删除自动部署的容器之后,按照以下配置进行创建:

第一个Host Port可以不填,第二个Host Port填写8080,第一个Host Path填写在本地磁盘新建的知识库的保存路径,第二个Container Path填写之前保存的数据保存路径,并进行创建。然后,就成功创建了容器。

  • 在浏览器输入地址:http://localhost:11434→出现信息:Ollama is running(可见Ollama已在本地运行)

  • 关于maxKB内API域名设置问题:▲设置好后重启Ollama
    添加用户变量:

    变量名:OLLAMA_HOST
    变量值:0.0.0.0
    
MaxKB的使用
1. 创建知识库

将所有知识库的文件导入知识库中,可以选择通用型配置和Web 站点的方式进行配置,选择智能分段即可,一次最多上传50个文件。

2. 创建模型

点击系统设置->模型设置,选择添加模型,类似OpenAI,千帆大模型等都是在线接入的方式,需要有相应的账号和API Key,如果要通过本地运行,应该选择Ollama,Ollama是一个支持在本地运行的大模型框架。
可以在Ollama的模型库中选择需要的模型及其执行命令,并在命令窗口中执行
本文选择在Ollama中搭载通义千问的大模型。

ollama run qwen:7b

由于我电脑的显存只有10G,因此选择了最大的选择qwen:7b。面向中文的文档和知识库构建,国产的大模型对中文的理解会更好。
点击系统设置->模型设置中选择Ollama新建模型,如下图所示:

模型名称和基础模型都尽量填写和该模型相关的名称,模型类型选择大语言模型,API域名填写API域名:http://host.docker.internal:11434,API Key可以随意填写。

3. 测试

在模型添加完毕并且命令窗口成功运行之后,可以在命令窗口测试和LLM是否能够正常进行对话。

4. 创建应用

模型名称和模型描述都可以简要概括,AI模型选择创建好的模型,可以对提示词进行适当的修改以得到更好的输出,并且把多轮对话打开,添加我们所创建好的知识库。

完成之后,直接发布并进行对话即可。

本文标签: 知识库 教程 系统 Windows ollama