admin 管理员组文章数量: 887019
AI之HardWare：人工智能领域之大模型部署两大设计方案(本地搭建服务器+调用云厂商服务)、服务器和硬件相关技术的简介(GPU/TPU/NPU、GeForce【3090-4090】/Tesla【A800-A100/V100】)、服务器搭建(GPU集群、节点、GPU卡/显卡)之详细攻略
人工智能换脸，私密信息，密码是2973941，手机号是
目录
一、服务器和硬件相关技术的简介
1、查看系统的CPU和GPU的运行内存
A1、基于Windows系统平台：CPU=16GB、NVIDIA GPU=2GB
T1、采用dxdiag工具，Win+R内输入dxdiag
T2、利用nvidia-smi命令实时查看英伟达GPU内存
T3、利用任务资源管理器(Ctrl+Alt+Del)工具实时查看CPU、GPU内存
A2、基于Linux系统平台
T1、利用nvidia-smi命令查看英伟达GPU内存
2、计算机系统中的存储类型
(1)、对比：永久存储ROM(如硬盘)、运行内存RAM(搭配CPU)、运行内存VRAM(搭配GPU+访问速度更快+实时的吞吐量)：运行内存都是临时存储正在运行的应用程序及其数据
(2)、大模型场景下——训练过程中硬盘、CPU内存、GPU显存之间关系梳理，以及LLMs场景下各组件如何协同工作？
3、硬件相关技术的术语简介
3.1、CPU、GPU（图形处理单元）、TPU（张量处理单元）、NPU(神经网络处理单元)
(1)、昇腾AI-910B平台使用文档：NPU: 8 × Ascend 910B 64GB
3.2、GeForce系列【消费级游戏+不适合多卡】、Tesla 系列【企业级数据中心+双精度】
(1)、A800和A100的区别：A800是类A100中国特供版GPU芯片、是A100的NVLink降速版(多卡集群计算理论性能降低33%)
4、服务器相关术语简介
4.1、术语简介—GPU集群、节点(Node)、GPU卡/显卡(Card)
二、大模型场景下硬件配置及其注意事项
1、推理和训练的区别：训练阶段(需存储更多中间变量)、推理阶段
(1)、如何计算大模型训练阶段的GPU耗时、GPU个数
2、4090与H100/A100在大模型训练和推理场景下的性能和成本
(1)、H100、A100、4090的性能参数对比：内存、通信
(2)、4090不擅长多块训练但适合单块推理——大模型训练阶段不能采用组合多块4090但可以单块用在推理阶段，因不支持NVLink导致通信慢，license(许可证)不支持数据中心，可以实现但性价比太低
对比：训练0.04B参数的模型，单卡4090(耗时6.5分钟)、双卡4090(耗时5.5分钟)，时间仅提高了20%左右，性价比很低
三、本地搭建服务器硬件案例
1、环境配置方式
T1、利用Docker镜像部署安装：
T2、利用conda或pip安装
2、模型举例
OPT-30B模型：3台服务器共24卡(12 张PP并行+2 张DP)训练OPT-30B
三、调用云厂商服务
T1、采用谷歌的Colab
Colaboratory：手把手教你使用Google免费的云端IDE进行深度学习(免费的GPU加速)的详细攻略
T2、采用国内的AutoDL
LLMs之RAG：LangChain-Chatchat(一款中文友好的全流程本地知识库问答应用)的简介(支持ChatGLM-2/LLaMA-2等多款主流LLMs+多款embedding模型m3e等+多种TextSplitter分词器)、安装(镜像部署【AutoDL云平台/Docker镜像】，离线私有部署+支持RTX3090 ，支持FAISS/Milvus/PGVector向量库， FastAPI的API调用服务/基于Streamlit 的WebUI操作)、使用方法(不包括微调/训练，支持LLM对话/知识库问答/搜索引擎问答)之详细攻略
一、服务器和硬件相关技术的简介
1、查看系统的CPU和GPU的运行内存
版权声明：本文标题：AI之HardWare：人工智能领域之大模型部署两大设计方案(本地搭建服务器+调用云厂商服务)、服务器和硬件相关技术的简介(GPUTPUNPU、GeForce【3090-4090】Tesla【A 内容由网友自发贡献，该文观点仅代表作者本人， 转载请联系作者并注明出处：http://www.freenas.com.cn/jishu/1727360126h1108001.html， 本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容，一经查实，本站将立刻删除。
发表评论