300字范文,内容丰富有趣,生活中的好帮手!
300字范文 > Ubuntu 深度学习环境配置 Theano TensorFlow PyTorch 安装 常用软件安装方式

Ubuntu 深度学习环境配置 Theano TensorFlow PyTorch 安装 常用软件安装方式

时间:2018-06-16 15:48:07

相关推荐

Ubuntu 深度学习环境配置 Theano TensorFlow PyTorch 安装 常用软件安装方式

文章目录

介绍系统和显卡深度学习环境配置安装 Nvidia 显卡驱动安装 CDUA安装 cuDNN深度学习框架安装安装 Theano-gpu安装 TensorFlow-gpu安装 PyTorch-gpu常用软件安装方式通过 Ubuntu 软件中心从软件官网下载需要手动配置环境Chrome——浏览器WPS——文件编辑ClamAV——杀毒软件QQ——社交与文件传输TeamViewer——远程控制Unity Tweak Tool——桌面美化工具LaTeX——基于ΤΕΧ的高效排版系统

介绍

本文主要记录了 Ubuntu 上从零开始配置环境、安装软件时的一些经历和心得总结。原文于.5.28更新完毕,现将其重新修改整理并发布于此。

在深度学习环境配置部分,主要介绍了如何配置 Nvidia 驱动、 CUDA 和 cuDNN。接下来介绍了深度学习框架的安装方式,包括 Theano-gpu、TensorFlow-gpu 和 PyTorch-gpu。这里最好是先配置好环境,再安装某个具体的框架,顺序不要颠倒。

在常用软件部分,大部分都可以直接在Ubuntu 软件或对应的软件官网中直接下载安装,少部分需要手动配置环境。该部分包含的全部软件有:

Ubuntu 软件中心:Evince、Mendeley、PyCharm、JabRef、Mathpix软件官网:XMind、有道词典、网易云音乐、福昕阅读器、Visual Studio Code、unar手动配置:Chrome、WPS、ClamAV、QQ、TeamViewer、Unity Tweak Tool、LaTex

系统和显卡

系统:Ubuntu 16.04显卡:GeForce GTX 1070 - Nvidia

深度学习环境配置

为了使用现有的基于GPU的深度学习框架,需要提前安装相关的依赖,这里主要列举一些重要依赖(CUDA、cuDnn)的安装过程和注意事项。一些更为基础的依赖(例如:NumPy、SciPy 等)则可以简单地使用pip install xxx来安装,或者利用 PyCharm 的安装包管理进行安装。具体操作为:在 PyCharm 设置中选择项目解释器,点击+来添加需要的依赖。

每个工程项目都对应着各自的 Python 解释器和环境,默认的解释器是 Python 2.x 或 Python 3.x,默认的环境是选择的解释器对应的那个系统环境。当然,也可以为每个工程项目建立各自独立的环境,因此,不论是通过pip还是+来安装依赖时都需要注意,一定要将环境切换至当前工程项目的环境下,再执行安装操作。

安装 Nvidia 显卡驱动

获取驱动

lspci -vnn | grep VGA# 获取显卡型号,我的是 GTX 1070

在 Nvidia官网 下载支持GTX 1070显卡的最新驱动(.run类型)

卸载原有 Nvidia 显卡驱动(首次安装即可跳过)

sudo apt-get remove --purge nvidia*

sudo chmod +x *.run# 修改原有版本 .run文件的权限

sudo ./NVIDIA-Linux-x86_64-384.59.run --uninstall# 卸载原有版本

禁用 nouveau 驱动

sudo gedit /etc/modprobe.d/blacklist.conf# 打开文件

在文末添加:

blacklist nouveau

options nouveau modeset=0

sudo update-initramfs -u

重启后执行lsmod | grep nouveau若没有输出,表示禁用成功

禁用 X-Window 服务

sudo service lightdm stop# 这会关闭图形界面,但不用紧张

按 Ctrl-Alt+F1 进入命令行界面,输入用户名和密码登录即可

在命令行输入:sudo service lightdm start,然后按 Ctrl-Alt+F7 即可恢复到图形界面

安装驱动

sudo chmod +x NVIDIA-Linux-x86_64-390.77.run# 给文件赋予执行权限

sudo ./NVIDIA-Linux-x86_64-390.77.run -no-x-check -no-nouveau-check -no-opengl-files# 运行参数非常重要,不可省略

-no-x-check:表示安装驱动时不检查X服务,非必需

–no-nouveau-check:表示安装驱动时不检查nouveau,非必需

–no-opengl-files:表示只安装驱动文件,不安装OpenGL文件。这个参数不可省略,否则会导致登陆界面死循环,英语一般称为”login loop”或者”stuck in login”

测试

nvidia-smi# 若有详细的GPU信息列表,表示驱动安装成功

参考链接

Ubuntu下安装nvidia显卡驱动(安装方式简单)

Ubuntu 16.04安装NVIDIA驱动

安装 CDUA

获取驱动

nvidia-smi结果可知,我的显卡驱动版本是 Driver Version: 390.77,从 Nvidia官网 通过显卡驱动和 CUDA 的对照表(如下图所示),安装 CUDA 8.0 和 CUDA 9.0 就可以满足上层框架的全部需求。因此,从 Nvidia官网 下载 CUDA 8.0 和 CUDA 9.0 安装包(.run类型)。

安装驱动

sudo apt-get install freeglut3-dev build-essential libx11-dev libxmu-dev libxi-dev libgl1-mesa-glx libglu1-mesa libglu1-mesa-dev# 安装相关依赖

sudo sh cuda_8.0.61_375.26_linux.run# 开始安装

终端信息和安装选项:

accept/decline/quit: accept # 接受协议

Install NVIDIA Accelerated Graphics Driver for Linux-x86_64 375.26?

y)es/(n)o/(q)uit: n # 是否安装显卡驱动包,第一个 CUDA 版本安装时选y,第二个 CUDA 版本安装选n

Install the CUDA 8.0 Toolkit?

(y)es/(n)o/(q)uit: y # 是否安装工具包,选择 y

Enter Toolkit Location

[ default is /usr/local/cuda-8.0 ]: # 工具包安装地址,默认回车即可

Do you want to install a symbolic link at /usr/local/cuda?

(y)es/(n)o/(q)uit: y # 添加符号链接(即软链接)

注:为该版本的 cuda 生成软链接,以供系统和其他程序调用。如果是安装首个 cuda 版本,一定选择 yes,如果是安装第二个版本且不准备立即使用它,则选择 no。后面将介绍多个版本 cuda 之间的切换方法。

Install the CUDA 8.0 Samples?

(y)es/(n)o/(q)uit: y # 安装样例

Enter CUDA Samples Location

[ default is /root ]: # 样例安装地址默认即可

配置环境变量

gedit ~/.bashrc# 使用 gedit 编辑器打开配置文件

在文末添加:

export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/local/cuda/lib64

export PATH=$PATH:/usr/local/cuda/bin

export CUDA_HOME=$CUDA_HOME:/usr/local/cuda

source ~/.bashrc# 使之生效

测试

nvcc -V# 显示CUDA信息即安装成功

多版本 CUDA 切换

修改/usr/local/cuda这个软链接的指向,指向哪个版本便会使用哪个版本。

sudo rm -rf /usr/local/cuda# 删除原来的软链接

sudo ln -s /usr/local/cuda-9.0 /usr/local/cuda# 创建新的软链接指向CUDA 9.0

sudo stat /usr/local/cuda# 查看软链接指向

参考链接

Ubuntu 多个版本CUDA同时存在的解决办法

安装 cuDNN

获取安装包

在 Nvidia官网 下载对应的安装包(.tgz格式)。我搭配 CUDA 8.0 和 CUDA 9.0 的两个 cuDNN 的版本分别是:cudnn-8.0-linux-x64-v5.0-ga.tgz和cudnn-9.0-linux-x64-v7.3.0.29.tgz。

安装

tar -xvf cudnn-8.0-linux-x64-v5.0-ga.tgz# 解压

将对应的文件移入 CUDA 软链接文件夹内

sudo cp cuda/include/cudnn.h /usr/local/cuda/include/

sudo cp cuda/lib64/libcudnn* /usr/local/cuda/lib64/

sudo chmod a+r /usr/local/cuda/include/cudnn.h

sudo chmod a+r /usr/local/cuda/lib64/libcudnn*

多版本 CUDA 问题

由于在切换 CUDA 版本时,会将 /usr/local/cuda/ 删除并重新生成,cuDNN 便会随着旧版本一同删除,因此,在多个 CUDA 版本的情况下,稳妥的做法是将对应的 cuDNN 文件分别移入 /usr/local 目录下的 cuda 8.0 和 cuda 9.0 中。这样做便保证了在切换 CUDA 版本时,cuDNN 依旧有效。

深度学习框架安装

安装 Theano-gpu

官网了解

先确定需要的 Theano-gpu 版本,再从 Theano官网 查看安装该版本 Theano 所需的外部依赖,依次安装所有的外部依赖。libgpuarray 的安装比较复杂,单独加以说明。

git clone /Theano/libgpuarray.git# 若没有 git 工具,直接去网页端下载解压也行

cd libgpuarray

mkdir Build

cd Build

make

make install

python setup.py build# 在 libgpuarray 文件夹中

python setup.py install# 在 libgpuarray 文件夹中

sudo ldconfig

安装Theano

sudo pip install theano==0.8.2# == 后面是指定的版本号

sudo gedit .theanorc

在文末添加

[global]

floatX=float32

device=gpu

base_compiledir=~/external/.theano/

allow_gc=False

warn_float64=warn

[mode]=FAST_RUN

[nvcc]

fastmath=True

[cuda]

root=/usr/local/cuda

测试

python

import theano# 没有报错即为安装成功

CNMeM 报错

报错:Theano: CNMeM is disabled, CuDNN not available

解决:

sudo gedit .theanorc

在文末添加

[lib]

cnmem=0.8

参考链接

libgpuarray Installation

Theano: CNMeM is disabled, CuDNN not available

Ubuntu 16.04下CUDA8.0+Theano+Caffe+TensorFlow环境搭建

安装 TensorFlow-gpu

官网了解

从 TensorFlow官网 查看需要的软硬件要求(如下图),安装需要的依赖。

安装 TensorFlow

使用 PyCharm 创建一个新的运行环境venv_tensorflow,放在默认路径 /home/wtl 下,用 PyCharm 的包资源管理器选择tensorflow-gpu==1.7.0进行安装,详情如下图,或者在新的环境下使用 pip 安装,指令如下:

pip install tensorflow-gpu==1.7.0

参考链接

TensorFlow官网

安装 PyTorch-gpu

官网了解

从 PyTorch官网 选择适合的版本,发现 pip 指令仅需要安装两个包即可,于是果断使用 PyCharm 来安装。

安装PyTorch

使用 PyCharm 创建一个新的运行环境venv_pytorch,放在默认路径 /home/wtl 下,用 PyCharm 的包资源管理器选择torch==1.0.0torchvision==0.2.2进行安装,安装详情如下图:

参考链接

PyTorch官网

常用软件安装方式

通过 Ubuntu 软件中心

Evince——PDF 阅读器Mendeley——论文管理PyCharm——Python IDEJabRef——参考文献管理Mathpix——公式提取转换

从软件官网下载

XMind——思维导图 XMind 官网有道词典——划词翻译 有道官网网易云音乐——音乐播放器 网易官网福昕阅读器——PDF 阅读器 foxit 官网Visual Studio Code——文本(代码)编辑器 Visual Studio官网unar——解压工具sudo apt-get install unar

需要手动配置环境

Chrome——浏览器

安装 Chrome

从 Google 官网 下载安装包(.deb类型)。

sudo apt install libappindicator1 libindicator7# 安装依赖

sudo dpkg -i google-chrome-stable_current_amd.deb# 版本要对应

sudo apt -f install# 修复依赖

参考链接

Ubuntu16.04安装谷歌浏览器

WPS——文件编辑

安装 WPS

从 WPS 官网 下载安装包,解压安装。

sudo dpkg -i wps-office_10.1.0.5672~a21_amd64.deb# 版本要对应

如果有字体缺失问题

下载字体库 分享链接

sudo mkdir /usr/share/fonts/wps-office# 创建文件夹

sudo cp -r wps_symbol_fonts.zip /usr/share/fonts/wps-office# 移入字体库

sudo unzip wps_symbol_fonts.zip# 解压至当前文件夹

参考链接

Ubuntu16.04 安装WPS(亲测)

ClamAV——杀毒软件

安装 ClamAV

sudo apt-get update# 更新源

sudo apt-get install clamav# 安装

sudo apt-get install libclamunrar6# 可扫描.RAR压缩文件

sudo freshclam# 更新病毒库

扫描病毒

sudo clamscan -r /home# 扫描 home 目录

sudo clamscan -r --bell -i /# 全盘扫描,只输出被感染的文件

安装图形界面

sudo apt-get install ClamTK# 可设置扫描计划等

参考链接

Ubuntu安装使用ClamAV(杀毒软件)

QQ——社交与文件传输

安装 wine

sudo add-apt-repository ppa:wine/wine-builds# 添加源

sudo apt-get update# 更新源

sudo apt-get install winehq-devel# 安装 wine

安装 QQ

从百度云下载安装包 分享链接 提取码 :cozz

tar xvf wineQQ8.9_19990.tar.xz -C ~/# 解压至主目录,完成安装

卸载 QQ

rm -rf ~/.wine

rm -rf ~/.local/share/applications/wine-QQ.desktop

rm -rf ~/.local/share/icons/hicolor/256x256/apps/QQ.png

rm -rf ~/.fonts/simsun.ttc

参考链接

ubuntu安装新版QQ

TeamViewer——远程控制

安装 TeamViewer

从 TeamViewer 官网 下载安装包(.deb类型)。

sudo apt-get install libjpeg62:i386 libxinerama1:i386 libxrandr2:i386 libxtst6:i386 ca-certificates# 安装依赖

sudo dpkg -i teamviewer_13.1.3026_amd64.deb# 版本要对应

sudo apt -f install# 修复依赖

参考链接

UBUNTU16.04下Teamviewer的安装

Unity Tweak Tool——桌面美化工具

安装 Unity Tweak Tool

设置软件源,这些源在国外,速度有点慢

sudo add-apt-repository ppa:noobslab/themes

sudo add-apt-repository ppa:noobslab/apps

sudo add-apt-repository ppa:docky-core/ppa

sudo apt-get update

安装 Ubuntu tweak,用它来设置主题和图标

sudo apt-get install unity-tweak-tool

参考链接

Ubuntu桌面美化(unity-tweak-tool)

Ubuntu16.04主题美化!简简单单打造仿Mac苹果系统!

LaTeX——基于ΤΕΧ的高效排版系统

LaTeX 是一种高效的排版系统,普遍用于书籍、科技文档等的写作,它的内容和样式完全分离,排版过程是源文件→编译→生成 PDF,相比 Word,主要的优势有:高效整洁的数学环境、更清晰的文档结构。

安装 TexLive(编译器)

从清华镜像下载安装包(版)清华镜像

sudo apt-get install perl-tk perl-doc# 安装依赖

tar -xzf install-tl-unx.tar.gz# 解压

cd install-tl-*

sudo ./install-tl# 终端安装

sudo ./install-tl -gui# 通过图形界面安装

配置环境变量

要注意路径名一定要与自己的版本相对应。

export PATH=/usr/local/texlive//bin/x86_64-linux:$PATH

export MANPATH=/usr/local/texlive//texmf-dist/doc/man:$MANPATH

export INFOPATH=/usr/local/texlive//texmf-dist/doc/info:$INFOPATH

sudo visudo

将secure_path修改为:secure_path="/usr/local/texlive//bin/x86_64-linux:/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin:/snap/bin"

字体设置

报错:fontspec error: “Times New Roman” cannot be found.

解决:sudo apt-get install msttcorefonts# 安装 CoreFonts 字库

报错:fontspec error: “KaiTi” cannot be found.

解决:从 win7 的c:\windows\fonts中拷贝KaiTi至 ubuntu 的目录 /usr/share/fonts,然后在终端执行如下命令:

sudo mkfontscale

sudo mkfontdir

sudo fc-cache -fv

终端显示fc-cache: succeeded,表示字体库已经安装好。

安装TeXstudio(编辑器)

sudo add-apt-repository ppa:sunderme/texstudio# 添加 PPA

sudo apt-get update

sudo apt-get install texstudio

配置 TeXstudio(编辑器)

主要对其CommandsBuild部分进行配置。

Commands配置:Options→Configure TeXstudio→Commands,将BibTeX、BibTeX 8-Bit、Biber 的路径设置为 TeXlive 安装路径下对应 EXE 文件。

Build配置:Options→Configure TeXstudio→Build,将 Default Compiler 修改为 XeLaTeX(默认编译器),将 Default Bibliography Tool 设置为 BibTeX(默认参考文献工具,应该是和命令设置中的 EXE 对应)。

参考链接

LaTeX介绍

ubuntu下安装TexLive

Ubuntu安装中文字体

如何在Ubuntu 18.04/17.10/16.04中安装TeXstudio 2.12.8

LaTeX新手入门以及TeXlive和TeXstudio的安装使用

iNSFC - 年国家自然基金 LaTeX 模板

本内容不代表本网观点和政治立场,如有侵犯你的权益请联系我们处理。
网友评论
网友评论仅供其表达个人看法,并不表明网站立场。