admin 管理员组文章数量: 887021
1、简述
很多情况下我们需要在内部网络安装windows7的老旧电脑或环境中尝试大模型的各种能力,所以制作和分享一个可以直接在脱网环境下,win7操作系统中使用的大模型尝鲜工具,供大家学习。
软件共享链接:
天翼云盘:https://cloud.189/t/AfaumyrqaaUf (访问码:kpv3)
(本来想通过阿里云盘分享,没想到邪恶的阿里云盘居然不允许分享)
下面是大模型探索工具的安装步骤:
2、安装部署
2.1、安装VMWare虚拟机软件
双击安装目录中的“VMware-workstation-full-15.5.2-15785246.exe”文件,然后一直采用默认选项,持续点击“下一步”,直到成功安装VMware虚拟机软件。在安装最后一步复制SN.txt文件中的序列号,激活VMware软件。
安装结束后继续进行下一步安装大模型交互工具ChatBox。
2.2、安装大模型交互工具Chatbox
双击安装目录中的“Chatbox-1.3.3-Setup.exe”文件,安装大模型交互工具Chatbox,如下图所示:
图2-1 Chatbox安装界面
安装结束后完成了大模型个人电脑探索版的安装,可以愉快的开始尝试和探索大模型的各种功能了。
3、启动服务
3.1 注册并启动大模型服务虚拟机
在桌面上双击运行“VMware”虚拟机软件,主界面如下图:
图3-1 VMware虚拟机软件主界面
复制安装盘中的“tinycore64.zip”虚拟机文件到硬盘,如“D:\vm”目录下。解压缩虚拟机文件到当前目录。然后在上图中的VirtualBox虚拟机软件主界面中点击“文件”下的“打开”按钮,找到刚刚解压的虚拟机目录,选中文件“tinycore64.vmx”,然后点击“打开”按钮,完成虚拟机注册操作。如下图所示:
图3-2 虚拟机注册界面
虚拟机注册成功后,根据运行电脑配置情况设置虚拟机的内存和cpu使用量,建议按照运行电脑的一半来配置。比如运行主机有8G内存,可以设置虚拟机为4G使用内存;运行主机为12核CPU,设置虚拟机使用CPU的6核心。具体设置界面如下:
图3-3 虚拟机注册成功界面
在上图虚拟机注册成功界面中选中虚拟机“tinycore64”,然后点击右侧的“编辑虚拟机设置”按钮,打开虚拟机设置界面,如下图:
图3-4 虚拟机内存设置界面
将虚拟机内存大小设置为运行主机内存大小的一半。然后点击“处理器”tab页面,设置CPU配置,如下图:
图3-5 虚拟机CPU设置界面
将处理器CPU数量设置为主机的一半,然后点击“确定“按钮保存设置信息。检查一下设置是否正确,如下图所示:
图3-6 虚拟机配置信息查看界面
虚拟机配置完成后,点击“启动“按钮,启动虚拟机。
虚拟机启动后,大模型后台服务程序会自动运行,然后可以使用下面的Chatbox界面交互工具对大模型的能力进行有趣的探索和实验。
3.2 运行Chatbox大模型交互工具
双击桌面的“Chatbox”启动图标,启动大模型交互程序,如下图所示:
图3-7 大模型交互工具Chatbox桌面图标
图3-8 Chatbox与大模型交互主界面
在Chatbox主界面中点击左侧的“设置”菜单,打开工具设置界面,设置使用刚刚启动的大模型后端服务虚拟机进行交互。操作界面如下图:
图3-9 Chatbox大模型设置界面
AI模型提供方选择“OpenAI API”,OpenAI API 密钥随便输入一个字符串,API域名使用”http://虚拟机IP:8080”。点击“模型&Token“,设置模型信息,如下图:
图3-10 Chatbox模型参数设置界面
在模型下拉框中选择“自定义模型“,输入自定义模型名“qwen:0.5b”,其他选项保持默认选择,然后点击“保存”按钮,保存模型设置。
设置好大模型后,点击左侧的“Just Chat”可以开始和本机的大模型进行交互了。普通电脑运行大模型速度比较慢,特别是在win7操作系统上,运行速度相对更慢,交互过程中请耐心等待大模型的回复。
4、组件介绍
4.1 VMware虚拟机软件简介
Vmware 是一款领先的虚拟化软件,为用户提供强大的虚拟机平台。通过使用Vmware,用户可以在一台物理计算机上同时运行多个虚拟操作系统,实现资源的高效利用和隔离。它提供了灵活的配置选项、快速的性能和可靠的安全性,适用于个人用户、企业和数据中心。无论是开发测试、应用部署还是服务器管理,Vmware都是一个强大而可靠的工具,为用户提供了简单且可扩展的虚拟化解决方案。
官方网站:https://www.vmware/
4.2 Tiny Core Linux操作系统简介
TinyCoreLinux 是一份很小(10 MB)的最低限度 Linux 操作系统。这使得Tiny Core足够灵活,可以从USB棒、一张几乎完整的CD甚至嵌入式设备上存储和运行。
官方网站:http://www.tinycorelinux/
4.3 Llamafile简介
llamafile 是一种可在你自己的电脑上运行的可执行大型语言模型(LLM),它包含了给定的开放 LLM 的权重,以及运行该模型所需的一切。让人惊喜的是,你无需进行任何安装或配置。
GitHub 链接:https://github/Mozilla-Ocho/llamafile
4.4 Chatbox简介
Chatbox 是一个支持多种 AI 大语言模型的桌面客户端工具,让你体验人工智能技术带来的工作学习效率提升。支持 Windows、Mac 和 Linux 等主流操作系統,支持网页版本在线使用。
官方网站:https://chatboxai.app/
GitHub 链接:https://github/Bin-Huang/chatbox
Chatbox是一个中国人开发贡献的开源系统。
版权声明:本文标题:win7老系统下大模型电脑pc探索版 内容由网友自发贡献,该文观点仅代表作者本人, 转载请联系作者并注明出处:http://www.freenas.com.cn/jishu/1726406567h954771.html, 本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容,一经查实,本站将立刻删除。
发表评论