主机回来以及,简单的环境配置(RTX3070+CUDA11.1+CUDNN+TensorRT)

紧接着前几天的事:

特殊的日子,想起了当年的双(1080TI)显卡装机实录
炼丹炉买不起了:聊一聊这段日子的显卡行情
之后,决定买一台整机玩玩。

而现在,主机终于回!来!了!主机回来干什么,当然是——配置环境。

老潘之前也有一些配置环境的文章,可以参考:

ubuntu16.04下安装NVIDIA(cuda)-gtx965m相关步骤以及问题[1]
pytorch-0.2成功调用GPU:ubuntu16.04,Nvidia驱动安装以及最新cuda9.0与cudnnV7.0配置[2]
win10下安装使用pytorch以及cuda9、cudnn7.0[3]
安装cuda9.1内核问题:Unable to locate the kernel source[4]
深度学习-在ubuntu16.04安装CUDA9.1-总结(问题完全解决方案)[5]
关于在ubuntu上源码安装TensorFLow-1.7.0-cuda9.1-cudnn7.1.2过程中问题解决方案[6]
-_-|| 没想到那会写了这么多配置环境的文章,可能那会遇到的问题比较多吧…配环境什么的,其实只要严格按照步骤来一步一步配,基本上不会出现什么问题,出现问题一般都是我们某一步没有走对,而退回去再走比较麻烦而已。

而现在对于配环境来说可以是轻车熟路了(前几年不知道踩了多少坑,到现在都印象深刻),严格按照步骤来,安装Ubuntu和配置深度学习环境,1个小时多就搞定了。

你懂得
接下来略微详细地讲一下过程。

Windows下安装Ubuntu-18.04
配置深度学习环境(Cuda+Cudnn+Pytorch+TensorRT)
主机长这样
先放一组图吧。

主机正面

躺下的主机

微星魔龙RTX3070正面

背部引线以及电源

插上显卡的主机

晚上开机长这样
晚上开机还挺炫的,但其实对于老潘来说炫不炫不重要,性能好就行…

主机配环境
主机回来店家只给我装了Windows系统,对于老潘来说,打游戏是次要的(哈哈哈哈…),忍住了先下载一个鬼泣5玩玩的想法。先从Ubuntu官方[7]下载了官方的镜像包。

官方最新的Ubuntu是20.10,但对于搞事的人来说,还是18.04版本好一些(之前实验室用的是16.04)。

还是下载稳定版的吧
开始配置双系统,双系统是必须的,Ubuntu可以搞深度学习,也可以当服务器使,Windows则可以应付一些游戏和其他应急应用。

关于如何将下载好的Ubuntu系统镜像制作成U盘、如何安装,老潘这里不赘述了。可以看以下这篇文章,介绍的很详细,我就是按照这个严格来执行的:

Windows下安装Ubuntu详细教程[8]
当然如果有问题欢迎交流,直接留言即可~

安装过程
虽然不赘述了,但还是简单过一下:

进入BIOS,选择Ubuntu启动U盘,然后开始安装Ubuntu:

其他一路点点点,然后简单分个区。

ubuntu分区
然后开始安装…

安装ubuntu
等待半小时,装好了!

设置SSH
为什么要设置ssh,当然是想让这个Ubuntu充当一个服务器的作用,开启之后可以使用ssh登录去操作。

例如我,可以先把服务器开了,然后使用其他电脑,例如MAC,使用局域网通过SSH连接这个服务器即可。

怎么开启ssh呢?新的Ubuntu系统还没有安装SSH。

执行以下命令:

sudo apt install openssh-server
sudo systemctl start ssh.service
然后可以通过netstat -lnp | grep 22查看下开启没。

如果想要每次启动自动开启SSH,可以这样:

sudo systemctl enable ssh
这样就差不多啦。

安装NVIDIA显卡驱动
默认Ubuntu安装的是llvmpipe这个显卡驱动,这个是linux下的公用显卡驱动,现在需要换成NVIDIA的。

首先禁用nouveau。

执行sudo gedit /etc/modprobe.d/blacklist.conf

加上以下这两句:

blacklist nouveau
options nouveau modest=0

禁用noueavu
保存后,然后执行:

sudo updata-initramfs -u
sudo reboot
重启后,Ctrl+Alt+F1切换到tty界面,关闭lightdm(如果没有则不用管):

sudo service lightdm stop
然后更新一下apt源以及看一下系统推荐的NVIDIA驱动版本:

sudo add-apt-repository ppa:graphics-drivers/ppa
sudo apt-get update
ubuntu-drivers devices
根据推荐的驱动版本,安装NVIDIA驱动:

sudo apt-get install nvidia-driver-460
如果嫌慢,可以添加阿里或者清华源:

sudo cp /etc/apt/sources.list /etc/apt/sources.list.bcakup
sudo gedit /etc/apt/sources.list
备份之后打开文件,添加以下源即可:

阿里云源

deb http://mirrors.aliyun.com/ubuntu/ bionic main restricted universe multiverse
deb http://mirrors.aliyun.com/ubuntu/ bionic-security main restricted universe multiverse
deb http://mirrors.aliyun.com/ubuntu/ bionic-updates main restricted universe multiverse
deb http://mirrors.aliyun.com/ubuntu/ bionic-backports main restricted universe multiverse

測試版源

deb http://mirrors.aliyun.com/ubuntu/ bionic-proposed main restricted universe multiverse

源碼

deb-src http://mirrors.aliyun.com/ubuntu/ bionic main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ bionic-security main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ bionic-updates main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ bionic-backports main restricted universe multiverse

測試版源

deb-src http://mirrors.aliyun.com/ubuntu/ bionic-proposed main restricted universe multiverse

清华大学源

deb http://mirrors.tuna.tsinghua.edu.cn/ubuntu/ bionic main restricted universe multiverse
deb http://mirrors.tuna.tsinghua.edu.cn/ubuntu/ bionic-security main restricted universe multiverse
deb http://mirrors.tuna.tsinghua.edu.cn/ubuntu/ bionic-updates main restricted universe multiverse
deb http://mirrors.tuna.tsinghua.edu.cn/ubuntu/ bionic-backports main restricted universe multiverse

測試版源

deb http://mirrors.tuna.tsinghua.edu.cn/ubuntu/ bionic-proposed main restricted universe multiverse

源碼

deb-src http://mirrors.tuna.tsinghua.edu.cn/ubuntu/ bionic main restricted universe multiverse
deb-src http://mirrors.tuna.tsinghua.edu.cn/ubuntu/ bionic-security main restricted universe multiverse
deb-src http://mirrors.tuna.tsinghua.edu.cn/ubuntu/ bionic-updates main restricted universe multiverse
deb-src http://mirrors.tuna.tsinghua.edu.cn/ubuntu/ bionic-backports main restricted universe multiverse

測試版源

deb-src http://mirrors.tuna.tsinghua.edu.cn/ubuntu/ bionic-proposed main restricted universe multiverse
别忘了添加之后,进行更新二连:

sudo apt-get update
sudo apt-get upgrade
这样就可以顺利的安装NVIDIA驱动了。

然后下载好以下三个深度学习伴侣:

cuda+TensorRT环境包
开始安装吧!

安装Cuda、Cudnn
Cuda当然是必须要装的。

找到下载好的11.1cuda环境包(现在出来11.2了),然后执行:

sudo sh cuda_11.1.0_455.23.05_linux.run
会出来一堆blabla的选项:

1、确保你环境里头是否有旧的cuda,有的话建议删除
2、同意条款..
3、确认是否要安装驱动、安装demo…以及安装位置确定
4、开始安装ing
对于老潘来说,上一步中已经安装了cuda驱动,不需要再装旧版的(新版驱动兼容旧版驱动匹配的cuda),所以这里就把驱动选项去掉,其他的安装按照我的需求按部就班来就好。

cuda安装选项
注意 如果你没有root权限,无法使用sudo,想要安装cuda也是可以的。只要自定义好安装位置即可,运行如下命令即可将cuda安装到当前home下的software文件夹内:

./cuda_11.1.0_455.23.05_linux.run –silent –toolkit –toolkitpath=$HOME/software/cuda –defaultroot=$HOME/software/cuda
不论咋样安装好之后会显示:

安装好cuda的显示
按照上面的要求配置环境变量即可:

(base) oldpan@oldpan-fun:~/software$ vim ~/.bashrc


export PATH=/usr/local/cuda-11.1/bin:$PATH
export LD_LIBRARY_PATH=/usr/local/cuda-11.1/lib64:$LD_LIBRARY_PATH
添加到打开的文件中

(base) oldpan@oldpan-fun:~/software$ source ~/.bashrc
(base) oldpan@oldpan-fun:~/software$ nvcc -V
nvcc: NVIDIA (R) Cuda compiler driver
Copyright (c) 2005-2020 NVIDIA Corporation
Built on Tue_Sep_15_19:10:02_PDT_2020
Cuda compilation tools, release 11.1, V11.1.74
Build cuda_11.1.TC455_06.29069683_0
Cudnn
cudnn的安装就比较简单了,解决压缩包然后复制粘贴就行:

tar -xzvf cudnn-11.2-linux-x64-v8.1.1.33.tgz
sudo cp cuda/include/cudnn.h /usr/local/cuda/include
sudo cp cuda/lib64/libcudnn* /usr/local/cuda/lib64
sudo chmod a+r /usr/local/cuda/include/cudnn.h
安装Anaconda
安装Anaconda也很简单,从这里[9]下载好(不想下的看老潘整理文末的软件包):

然后sh Anaconda3-2020.11-Linux-x86_64.sh就行。

安装好之后,配置conda以及pip清华源,参考以下文字即可:

pycharm修改pip源为清华源,提高下载速度[10]
anaconda常用命令配置信息及更换源[11]
安装Pytorch
安装Pytorch就比较简单了,如果不想自己编译,直接从官方按照你的Cuda版本和Cudnn版本安装即可:

https://download.pytorch.org/whl/torch_stable.html

安装好Pytorch之后,测试一下cuda是否工作正常:

import torch
torch.cuda.is_available()
True
torch.ones(1).cuda()
tensor([1.], device=’cuda:0′)
torch.cudnn_is_acceptable(torch.ones(1).cuda())
True
OK~

TensorRT
TensorRT单独发一篇文章来说吧~

一些资源
配环境需要很多软件包,例如:

Anaconda
Pytorch.whl
TensorRT
CUDA
CUDNN
有些可以在清华大学开源软件镜像站[12]下载,但是TensorRT和CUDA、CUDNN需要从官方下而且需要注册而且很慢。

老潘整理了一些已经下载好的软件包。

公众号内回复015获取,可以看看有没有你需要的:

软件包
想写的还有很多,下篇再讲(呼呼)。

如果有问题欢迎留言,欢迎关注「oldpan博客」公众号,老潘的全部家当都在这里了。很愿意与你交朋友~

参考
https://www.cnblogs.com/masbay/p/10745170.html https://blog.csdn.net/ZPeng_CSDN/article/details/96726436

微信外链
[1]ubuntu16.04下安装NVIDIA(cuda)-gtx965m相关步骤以及问题: https://oldpan.me/archives/ubuntu16-04-nvidia-cuda-gtx965m

[2]pytorch-0.2成功调用GPU:ubuntu16.04,Nvidia驱动安装以及最新cuda9.0与cudnnV7.0配置: https://oldpan.me/archives/pytorch-gpu-ubuntu-nvidia-cuda90

[3]win10下安装使用pytorch以及cuda9、cudnn7.0: https://oldpan.me/archives/win10-pytorch-cuda9-cudnn7-0

[4]安装cuda9.1内核问题:Unable to locate the kernel source: https://oldpan.me/archives/install-cuda9-1-unable-to-locate-the-kernel-source

[5]深度学习-在ubuntu16.04安装CUDA9.1-总结(问题完全解决方案): https://oldpan.me/archives/ubuntu16-04-install-cuda9-1-solution

[6]关于在ubuntu上源码安装TensorFLow-1.7.0-cuda9.1-cudnn7.1.2过程中问题解决方案: https://oldpan.me/archives/ubuntu-source-install-tensorflow-1-7-0-cuda9-1-cudnn7-1-2

[7]官方: https://ubuntu.com/download/alternative-downloads

[8]Windows下安装Ubuntu详细教程: https://www.cnblogs.com/masbay/p/10745170.html

[9]这里: https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/

[10]pycharm修改pip源为清华源,提高下载速度: https://oldpan.me/archives/pycharm-pip-source-download

[11]anaconda常用命令配置信息及更换源: https://oldpan.me/archives/anaconda-source-config-order

[12]清华大学开源软件镜像站: https://mirrors.tuna.tsinghua.edu.cn/

往期回顾
Mac mini m1使用简单体验(编程、游戏、深度学习)
各种姿势的debug(从python一路debug到C++)
实现TensorRT自定义插件(plugin)自由!
CVer想知道的都在这里了,一起分析下《中国计算机视觉人才调研报告》吧!
更底层的算法部署工程师:机器学习系统与SysML&DL(一)

声明:文中观点不代表本站立场。本文传送门:https://eyangzhen.com/202622.html

(0)
联系我们
联系我们
分享本页
返回顶部