admin 管理员组

文章数量: 887021

1、简述

很多情况下我们需要在内部网络安装windows7的老旧电脑或环境中尝试大模型的各种能力,所以制作和分享一个可以直接在脱网环境下,win7操作系统中使用的大模型尝鲜工具,供大家学习。

软件共享链接:
天翼云盘:https://cloud.189/t/AfaumyrqaaUf (访问码:kpv3)

(本来想通过阿里云盘分享,没想到邪恶的阿里云盘居然不允许分享)

下面是大模型探索工具的安装步骤:

2、安装部署

2.1、安装VMWare虚拟机软件

双击安装目录中的“VMware-workstation-full-15.5.2-15785246.exe”文件,然后一直采用默认选项,持续点击“下一步”,直到成功安装VMware虚拟机软件。在安装最后一步复制SN.txt文件中的序列号,激活VMware软件。

安装结束后继续进行下一步安装大模型交互工具ChatBox。

2.2、安装大模型交互工具Chatbox

双击安装目录中的“Chatbox-1.3.3-Setup.exe”文件,安装大模型交互工具Chatbox,如下图所示:

图2-1 Chatbox安装界面

安装结束后完成了大模型个人电脑探索版的安装,可以愉快的开始尝试和探索大模型的各种功能了。

3、启动服务

3.1 注册并启动大模型服务虚拟机

在桌面上双击运行“VMware”虚拟机软件,主界面如下图:

图3-1 VMware虚拟机软件主界面

复制安装盘中的“tinycore64.zip”虚拟机文件到硬盘,如“D:\vm”目录下。解压缩虚拟机文件到当前目录。然后在上图中的VirtualBox虚拟机软件主界面中点击“文件”下的“打开”按钮,找到刚刚解压的虚拟机目录,选中文件“tinycore64.vmx”,然后点击“打开”按钮,完成虚拟机注册操作。如下图所示:

图3-2 虚拟机注册界面

虚拟机注册成功后,根据运行电脑配置情况设置虚拟机的内存和cpu使用量,建议按照运行电脑的一半来配置。比如运行主机有8G内存,可以设置虚拟机为4G使用内存;运行主机为12核CPU,设置虚拟机使用CPU的6核心。具体设置界面如下:

图3-3 虚拟机注册成功界面

       在上图虚拟机注册成功界面中选中虚拟机“tinycore64”,然后点击右侧的“编辑虚拟机设置”按钮,打开虚拟机设置界面,如下图:

图3-4 虚拟机内存设置界面

       将虚拟机内存大小设置为运行主机内存大小的一半。然后点击“处理器”tab页面,设置CPU配置,如下图:

图3-5 虚拟机CPU设置界面

       将处理器CPU数量设置为主机的一半,然后点击“确定“按钮保存设置信息。检查一下设置是否正确,如下图所示:

图3-6 虚拟机配置信息查看界面

       虚拟机配置完成后,点击“启动“按钮,启动虚拟机。

虚拟机启动后,大模型后台服务程序会自动运行,然后可以使用下面的Chatbox界面交互工具对大模型的能力进行有趣的探索和实验。

3.2 运行Chatbox大模型交互工具

双击桌面的“Chatbox”启动图标,启动大模型交互程序,如下图所示:

图3-7 大模型交互工具Chatbox桌面图标

图3-8 Chatbox与大模型交互主界面

在Chatbox主界面中点击左侧的“设置”菜单,打开工具设置界面,设置使用刚刚启动的大模型后端服务虚拟机进行交互。操作界面如下图:

图3-9 Chatbox大模型设置界面

AI模型提供方选择“OpenAI API”,OpenAI API 密钥随便输入一个字符串,API域名使用”http://虚拟机IP:8080”。点击“模型&Token“,设置模型信息,如下图:

图3-10 Chatbox模型参数设置界面

       在模型下拉框中选择“自定义模型“,输入自定义模型名“qwen:0.5b”,其他选项保持默认选择,然后点击“保存”按钮,保存模型设置。

设置好大模型后,点击左侧的“Just Chat”可以开始和本机的大模型进行交互了。普通电脑运行大模型速度比较慢,特别是在win7操作系统上,运行速度相对更慢,交互过程中请耐心等待大模型的回复。

4、组件介绍

4.1 VMware虚拟机软件简介

Vmware 是一款领先的虚拟化软件,为用户提供强大的虚拟机平台。通过使用Vmware,用户可以在一台物理计算机上同时运行多个虚拟操作系统,实现资源的高效利用和隔离。它提供了灵活的配置选项、快速的性能和可靠的安全性,适用于个人用户、企业和数据中心。无论是开发测试、应用部署还是服务器管理,Vmware都是一个强大而可靠的工具,为用户提供了简单且可扩展的虚拟化解决方案。

官方网站:https://www.vmware/

4.2 Tiny Core Linux操作系统简介

TinyCoreLinux 是一份很小(10 MB)的最低限度 Linux 操作系统。这使得Tiny Core足够灵活,可以从USB棒、一张几乎完整的CD甚至嵌入式设备上存储和运行。

官方网站:http://www.tinycorelinux/

4.3 Llamafile简介

llamafile 是一种可在你自己的电脑上运行的可执行大型语言模型(LLM),它包含了给定的开放 LLM 的权重,以及运行该模型所需的一切。让人惊喜的是,你无需进行任何安装或配置。

GitHub 链接:https://github/Mozilla-Ocho/llamafile

4.4 Chatbox简介

Chatbox 是一个支持多种 AI 大语言模型的桌面客户端工具,让你体验人工智能技术带来的工作学习效率提升。支持 Windows、Mac 和 Linux 等主流操作系統,支持网页版本在线使用。

官方网站:https://chatboxai.app/

GitHub 链接:https://github/Bin-Huang/chatbox

Chatbox是一个中国人开发贡献的开源系统。

本文标签: 模型 系统 电脑 PC