admin 管理员组

文章数量: 887629

环境搭建系列文章目录

一、Win10系统安装GPU版本CUDA、Cudnn
二、Win10系统安装TensorRT

文章目录

  • 环境搭建系列文章目录
  • TensorRT简介
  • 一、版本对应关系
  • 二、下载及安装
    • 1.TensorRT
    • 2.No module named 'pycuda' & pycuda安装失败
  • 总结
  • 参考文献

TensorRT简介

Tips：理论指引实践

TensorRT是一个高性能的深度学习推理（Inference）优化器，支持TensorFlow、Caffe、Mxnet、Pytorch等几乎所有的深度学习框架，将TensorRT和NVIDIA的GPU结合起来，能在几乎所有的框架中进行快速和高效的部署推理。
参考：TensorRT(1)-介绍-使用-安装

一、版本对应关系

CUDA与cuDNN版本必须对应！必须对应！必须对应！并且分CPU与GPU两个版本。TensorRT版本可向下兼容多个CUDA版本。

对应版本参考：
Nvidia CUDA, cuDNN, TensorRT，驱动以及架构之间的相互兼容关系

二、下载及安装

1.TensorRT

下载地址：
NVIDIA TensorRT Download


因为TensorRT向下兼容，所安装CUDA为11.3GPU版本，因此可以选择TensorRT 8.5 GA版本。

PS：EA 代表抢先体验。GA 表示稳定版，经过全面测试。

1.解压安装包并粘贴到CUDA内
2.复制移动文件
将include中头文件复制到C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.3\include\
将lib中所有lib文件复制到C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.3\lib\x64\
将lib中所有dll文件复制到C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.3\bin\

3.安装whl文件
pip一共需安装4个whl文件，分别在graphsurgeon、onnx_graphsurgeon、python、uff文件夹内。
可直接复制（需要根据具体位置进行修改）：
1. pip install C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.3\TensorRT-8.5.1.7\graphsurgeon\graphsurgeon-0.4.6-py2.py3-none-any.whl
2. pip install C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.3\TensorRT-8.5.1.7\onnx_graphsurgeon\onnx_graphsurgeon-0.3.12-py2.py3-none-any.whl
3. pip install C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.3\TensorRT-8.5.1.7\python\tensorrt-8.5.1.7-cp39-none-win_amd64.whl
4. pip install C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.3\TensorRT-8.5.1.7\uff\uff-0.6.9-py2.py3-none-any.whl

PS：1.如果存在问题，可以先cd到文件夹中再进行安装；2.python文件夹中需选择对应cp即python版本。

import库，验证是否安装成功：

运行示例，验证是否安装成功：
示例所在文件夹：
TensorRT-8.5.1.7\samples\python\network_api_pytorch_mnist

2.No module named ‘pycuda’ & pycuda安装失败

验证过程中可能会出现No module named ‘pycuda’ 问题，若直接选择pip install pycuda的方法，由于会默认安装最新版本，可能会出现版本不匹配的问题。
因此选择下载安装包的方式进行本地安装。
下载地址：
PyCUDA下载
选择与已安装的win/CUDA/python相匹配的pycuda.whl文件下载并本地安装：

PS：若没有与环境匹配的pycuda版本，
安装完成后，在anaconda3的yolo环境中有相应库：

总结

祝一次安装成功。

参考文献

yolov5部署之七步完成tensorRT模型推理加速
WIN10安装配置TensorRT详解

本文标签： 系统安装 TensorRT

版权声明：本文标题：Win10系统安装TensorRT 内容由网友自发贡献，该文观点仅代表作者本人， 转载请联系作者并注明出处：http://www.freenas.com.cn/jishu/1735123220h1704745.html， 本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容，一经查实，本站将立刻删除。