admin 管理员组

文章数量: 887021

Ollama 可以在 Windows 上运行了

  • 0. 引言
  • 1. 下载 Ollma 安装文件
  • 2. 安装 Ollama
  • 3. 使用 Ollama
  • 4. (可选)环境变量
  • 5. (可选)修改默认模型
  • 6. (可选)ollama ls 不能正确显示 OLLAMA_MODELS 设置路径的模型

0. 引言

Ollama 终于可以在 Windows 上运行了，一直以来都是 “Coming soon”。

运行 Mixtral 8*7B 试了一下，推理速度和推理效果都很不错。

而且模型的下载速度也很快，我用的联通1000M网络，大概90M~150M/s波动。

1. 下载 Ollma 安装文件

访问 https://ollama/download，选择 Windows，单击 “Download for Windows (Preview)” 进行下载。

2. 安装 Ollama

双击下载的 “OllamaSetup.exe”，直接安装就可以了。

3. 使用 Ollama

访问 https://ollama/library，搜索你要使用的模型，主流的模型，比如 llama2、qwen1.5、mixtral 等，Ollama都支持。

下面以允许 qwen 为例，我们要运行 7b 的模型，

拷贝上面红框的命令并运行，

ollama run qwen:7b

问一个问题试试，

4. (可选)环境变量

Ollama 下载的模型模型保存在 C 盘，如果想更改默认路径的话，可以通过设置 OLLAMA_MODELS 进行修改。

  • OLLAMA_MODELS：F:\OllamaCache

还有，Ollama 默认提供 OpenAI 的兼容 API，默认端口是 11434，默认只可以通过 localhost 进行访问，如果想公开访问的话，可以通过设置 OLLAMA_HOST 进行修改。

  • OLLAMA_HOST：0.0.0.0

5. (可选)修改默认模型

Ollama 默认提供 OpenAI 的兼容 API，默认端口是 11434，默认模型名是 run 后面使用的模型名，如果想使用 OpenAI 的模型名，可以通过ollama cp的方式，为模型起一个临时的名称。

例如，

ollama cp mixtral:8x7b-instruct-v0.1-fp16 gpt-4
ollama run gpt-4

refer: https://github/ollama/ollama/blob/main/docs/openai.md

6. (可选)ollama ls 不能正确显示 OLLAMA_MODELS 设置路径的模型

在系统环境变量里设置了 OLLAMA_MODELS，但是执行 ollama ls 不能正确显示 OLLAMA_MODELS 设置的路径下面的模型。

经过各种尝试，发现是 wsl-ubuntu 里面安装的 ollama 影响了 windows 的 ollama。

解决方法，登录到 wsl-ubuntu，执行，

systemctl stop ollama
systemctl disable ollama

完结！

本文标签： ollama Windows

版权声明：本文标题：Ollama 可以在 Windows 上运行了 内容由网友自发贡献，该文观点仅代表作者本人， 转载请联系作者并注明出处：http://www.freenas.com.cn/jishu/1725049161h856371.html， 本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容，一经查实，本站将立刻删除。