解决方案:Centos集成了GTX-1080Ti图形卡以构建深度学习环境的

电脑杂谈  发布时间:2020-10-04 10:01:38  来源:网络整理

Centos集成了GTX-1080Ti图形卡以构建深度学习环境的

在超过N台普通机器组成的情况下,它配备了最强大的核心NVIDIA GeForce GTX 1080 Ti。我们构建深度学习环境的过程将从如何构建独特案例开始,并完成从简单的计算机维护和组装到压倒性的深度学习的华丽转变。

一、安装系统centos7.3

使用UltraISO制造的U盘启动盘,映像为CentOS-7-x86_64-DVD-1611.iso

省略安装过程。 。

二、准备图形卡和相关驱动程序。硬件准备

由于GeForce GTX-1080Ti需要两个8pin端口供电,并且消耗更多能量,因此功率为280w。该公司没有可以满足需求的闲置大功率电源。即使有,通常8pin电源端口也不够用。 (小型主板通常为4pin)。最终的解决方案是单独为图形卡供电,并将其从几个未使用的电源中保存下来,以包括两个8针(此8针接口实际上是3根黄线和3根黑线,而另两条黑线则与黑线串联连接)电线接口引线如下),该接口的电源(额定功率为270w),机箱主板的另一电源(额定功率为270w),删除其自己的24pin接口和硬盘驱动器电源接口,然后拼接一个8接口(这个8针实际上是4个,由4条黑线和4条黑线组成,以弥补电源的不足(PS:如果电源足够大,则其宽度足以忽略上述折腾工作)。

图形卡8pin接口

洛奇 用户系统安装的显卡

主板辅助电源8pin接口

洛奇 用户系统安装的显卡

最终机箱的全视图

洛奇 用户系统安装的显卡

补充:目前,主板电源接口主要有24针和20针两种。高端主板一般采用24PIN主板电源接口设计,低端产品一般为20PIN。无论使用24PIN还是20PIN,插入方法都相同。

洛奇 用户系统安装的显卡

此外,随着CPU,图形卡等的功耗增加,主板上将添加4pin或8pin辅助电源

洛奇 用户系统安装的显卡

软件准备

所需文件列表:

-rwxr-xr-x 1 root root   97546170 9月  20 10:24 cuda_8.0.61.2_linux-run            cuda补丁      
-rwxr-xr-x 1 root root 1465528129 9月  20 10:27 cuda_8.0.61_375.26_linux-run       cuda8.0驱动  
-rw-r--r-- 1 root root  201134139 9月  20 10:27 cudnn-8.0-linux-x64-v6.0.tgz       cudnn6.0(针对cuda8.0)
-rwxr-xr-x 1 root root   80803084 9月  20 10:27 NVIDIA-Linux-x86_64-384.69.run     NVIDIA驱动

1.安装前准备

备份initramfs文件(系统内核映像文件)

initramfs文件的初步研究

Linux内核将在初始化后执行init进程,并且init进程将挂载我们的根文件系统,但是由于init程序也位于根文件系统上,因此存在悖论。 Linux使用两步方法来解决此问题。 Linux2.6版本的先前方法是:除内核vmlinuz外,还有一个单独的initrd.img映像文件。实际上,它是一个文件系统映像。初始化后,Linux内核将initrd.img挂载为临时根。文件系统,并且initrd.img是init进程,然后init进程将挂载实际的根文件系统,然后卸载initrd.img。尽管完成的功能相同,但Linux2.6内核的实现却有所不同。 Linux2.6使用initramfs。 initramfs:init ram文件系统,它是cpio格式的内存文件系统。有两种实现方法,一种是引入的,但是通过这种方法制作的initramfs与内核vmlinuz是分开的,因此我们需要在grub路径中编写initramfs。另一种方法是使内核和initramfs一起成为一个文件。方法是在Linux源代码中制作menuconfig,然后在常规设置中->选择初始RAM文件系统和RAM磁盘(initramfs / initrd)支持,然后在Initramfs源文件中输入我们的initramfs目录,然后生成bzImage。用这种方法制作的内核只有一个文件,无需指定initramfs。

# sudo mv /boot/initramfs-$(uname -r).img /boot/initramfs-$(uname -r).img.bak

重建initramfs文件(更新系统内核后,正常的重启将自动在/ boot目录中生成一个新的内核映像,可选)

# sudo dracut -v /boot/initramfs-$(uname -r).img $(uname -r)

关闭图形界面(如果有VNC服务,请先关闭vnc服务),执行

# sudo systemctl disable gdm
# sudo reboot 

2.安装图形卡驱动程序

下载相应型号的NVidia驱动程序,这里下载支持GTX1080 Ti的最新驱动程序NVIDIA-Linux-x86_64-384.69.run。点击官方下载。

下载后执行,请按照提示选择安装:

# ./NVIDIA-Linux-x86_64-384.69.run

配置X11(在安装驱动程序时会自动执行nvidia-xconfig选项,如果选择是,则可以跳过此步骤)

# nvidia-xconfig 
WARNING: Unable to locate/open X configuration file.
New X configuration file written to /etc/X11/xorg.conf

启动图形界面

# systemctl enable gdm
Created symlink from /etc/systemd/system/display-manager.service to /usr/lib/systemd/system/gdm.service.
# reboot

验证

洛奇 用户系统安装的显卡

[注意]:如果中途出融和其他计算密集型领域中使用的应用程序正在不断增加。

4.安装cuDNN

在流行科学的cudnn下,只需将cuDNN用作NVIDIA深度学习中的深度神经网络库,通过cuda,我们就可以直接将Nvidia GPU的并行计算功能用于深度学习培训任务。

NVIDIACUDA®深度神经网络库(cuDNN)是GPU加速的用于深度神经网络的原语库。 cuDNN为标准例程提供了高度优化的实现,例如前向和后向卷积,池化,规范化和激活层。 cuDNN是NVIDIA深度学习SDK的一部分。

三、python 3. 6.2编译,安装和配置1.安装依赖库

yum install gcc-c++ sqlite-devel gcc zlib zlib-devel bzip2-devel  openssl-devel ncurses-devel tcl tcl-devel tk tk-devel

2.安装Python3

[python- 3. 6.2源下载]

将python源代码放在一个无害的目录中并执行以下命令:

# sudo mkdir /usr/local/python3
# tar -xzvf Python-3.6.2.tgz
# cd Python-3.6.2 # 进入解压目录
# sudo ./configure --prefix=/usr/local/python3  --enable-optimizations # 指定创建的目录

修改安装文件

vim Modules/Setup

修改结果如下(删除行首的注释“#”):

# Socket module helper for socket(2)
_socket socketmodule.c
# Socket module helper for SSL support; you must comment out the other
# socket line above, and possibly edit the SSL variable:
#SSL=/usr/local/ssl
_ssl _ssl.c \
-DUSE_SSL -I$(SSL)/include -I$(SSL)/include/openssl \
-L$(SSL)/lib -lssl -lcrypto

编译安装(时间长,请耐心等待)

sudo make
sudo make install

3.与Python 2.7.5

共存

创建链接python3,以便您可以通过python命令使用Python 2,而python3可以使用Python 3。

sudo ln -s /usr/local/python3/bin/python3 /usr/bin/python3

安装点子

sudo ln -s /usr/local/python3/bin/pip3 /usr/bin/pip3

点升级

pip3 install --upgrade pip

四、python机器学习和深度学习库安装1.安装机器学习相关的库

pip3 install -U wheel
pip3 install -U numpy 
pip3 install -U scipy
pip3 install -U matplotlib
pip3 install -U pandas
pip3 install -U scikit-learn
pip3 install -U ipython jupyter notebook
pip3 install -U spyder
pip3 install -U dill

2.安装与深度学习相关的库

yum install -y python-numpy python-dev cmake zlib1g-dev libjpeg-dev xvfb libav-tools xorg-dev python-opengl libboost-all-dev libsdl2-dev swig
pip3 install -U h5py
pip3 install -U tensorflow-gpu
pip3 install -U scikit-image
pip3 install -U keras
pip3 install -U keras-rl  # 强化学习(可选)
pip3 install -U keras-vis # 可视化(可选)
pip3 install -U gym[all] (可选,安装时稍微有些麻烦,暂时没用到,未安装)

五、Jupyter配置1.生成默认配置

# cd /usr/local/python3/bin
# ./jupyter notebook --generate-config
Writing default config to: /home/user/.jupyter/jupyter_notebook_config.py

2.编辑配置文件

# vim /home/user/.jupyter/jupyter_notebook_config.py  
c.NotebookApp.ip = *               #所有绑定服务器的IP都能访问
c.NotebookApp.port = 8899            #将端口设置为自己喜欢的吧,默认是8888
c.NotebookApp.open_browser = False   #我们并不想在服务器上直接打开Jupyter Notebook,所以设置成False
c.NotebookApp.notebook_dir = /data/bigdata/notebooks/   #设置notebook工作目录


本文来自电脑杂谈,转载请注明本文网址:
https://www.pc-fly.com/a/shenmilingyu/article-323838-1.html

相关阅读
    发表评论  请自觉遵守互联网相关的政策法规,严禁发布、暴力、反动的言论

    热点图片
    拼命载入中...