
本文最初发表在“ HPC高性能计算”博客上,经作者许可转载,原始链接位于文章结尾.
秋天令人耳目一新,庆祝国庆节. “瞧瞧,”神威“车队来了”,“有“天河车队”来了,我为我的女儿大喊着观看中华人民共和国成立70周年国庆阅兵的广播.

“神威和天河是中国制造的超级计算机. 它们在世界500强超级计算机排名中名列前茅,它们提高了中国人的野心!”我告诉我的女儿. “什么是超级计算机?”女儿问. 我说: “这是一台非常大的计算机,一台运行速度非常快的计算机,也称为并行计算机,也就是说,有许多并行计算的计算机可以解决问题. ”
“哦,为什么不能解决它?现在一台计算机运行速度很快,为什么需要并行儿. “如果您想计算小学或初中的数学问题,那么一台计算机就足够了,但是如果您要根据气象站收集的数据来计算天气预报,或者比较和分析生命或根据勘探数据计算并分析地下是否有油藏. 由于这类计算数据太多,需要在一定时间内完成计算,因此计算机无法完成这些计算. 说,“就像国庆阅兵一样,人民无法完成这项任务. 许必须并行完成这项任务. ”
“这听起来挺高的,制造高性能计算机难吗?”问她的女儿. “从一开始就很难做到这一点,如果你根据别人的所作所为就没有那么困难了. ”我说: “如果使用行业标准的计算机和主流的Linux操作系统,则可以轻松构建高性能计算机(如神威和天河)来实现并行计算. ”“您可以构建高性能计算机吗?”女儿问. 我说: “当然,如果您有钱给我买很多标准计算机,但是就在国庆节那天,我可以使用计算机为您构建HPC演示环境. ” “此演示环境适用于笔记本电脑创建多台虚拟计算机并配置相应的软件环境,以便程序可以同时在多台计算机上并行运行. ”
在建造之前,需要进行一些考虑和准备. 首先是HPC群集软件的选择. 越来越多的HPC系统运行Linux操作系统,并且Top500中100%的系统使用Linux. 为了帮助用户更方便地构建和使用HPC,Linux Foundation建立了OpenHPC项目团队,该团队预先编译和构建所需的软件包,以便通过标准的Linux安装过程,可以快速安装一组HPC. 和部署的系统. 因此,此安装使用OpenHPC软件. OpenHPC网站是: .
OpenHPC集群的体系是:

然后考虑并选择OpenHPC软件模块. OpenHPC可以支持的操作系统是CentOS和SUSE Linux. 集群管理软件是Warewulf和xCAT;作业调度软件是PBSpro和Slurm,以及许多其他选项. 因为有很多CentOS用户; Warewulf比较简单; PBSpro得到了国内商业供应商的支持;因此,使用OpenHPC为此安装选择了CentOS,Warewulf和PBSpro的组合.
最后,考虑并选择笔记本的虚拟平台. 我用于日常工作的笔记本电脑是运行Windows 10 Enterprise的Dell Latitude 5490,Intel i5 1.7GHz CPU,16GB RAM,500GB SSD硬盘. 当前,笔记本电脑上可以运行三种虚拟化平台软件: VMware Workstation 15 Player,Oracle VM VirtualBox和Microsoft Hyper-V Manager. 由于免费版本的VMware Workstation Player无法同时支持多个vm(虚拟机)的操作,因此, Oracle VirtualBox的虚拟机安装CentOS 7.6是一个错误,将导致无效的鼠标单击;因此,此部署使用Windows 10 Hyper-V.
使用计算机构建HPC操作环境. 开始!
1. Windows10 Hyper-V虚拟平台设置
1.1启用Hyper-V模式支持:
在Windows 10中打开Hyper-V操作模式. 在搜索栏中输入“打开Windows功能”,然后选择进入配置窗口,在Hyper-V旁边,选择对勾,然后重新启动Windows 10.

1.2运行Hyper-V:
在搜索栏中输入“ Hyper-V管理器”以启动Hyper-V管理器
Hyper-V管理器连接到服务器. 单击右侧以连接到服务器,然后选择“本地”,即此笔记本电脑. 这台计算机的名称是“ * DST2”.
2. 创建虚拟机集群管理节点短信并安装CentOS 7.6操作系统
2.1首先创建一个虚拟机(虚拟机)作为OpenHPC的管理节点,名为sms.
单击左侧的服务器“ * DST2”,然后单击右侧的“新建”,弹出菜单,选择“虚拟机”:
按照用于创建vm的导航并创建OpenHPC管理节点. 在“名称”中,输入sms作为虚拟机名称.
选择Hyper-V支持的虚拟机类型,选择第一代“第一代”
应用2GB的内存空间(CentOS至少需要2GB的内存,建议硬盘容量为40GB)
配置网络连接以连接到外部网络“外部”交换机.
将虚拟机的本地硬盘配置为40GB


2.2安装操作系统
OpenHPC支持的最新版本是CentOS 7.6,可以在此处下载并在本地下载.
在映像文件(.iso)的位置,指定CentOS ISO文件的本地路径.
完成设置后,进入摘要页面,然后选择“完成”.
打开sms虚拟机,在“虚拟机”窗口中选择sms,单击右侧菜单中“操作”下“ sms”下的“连接”,然后连接到sms虚拟机,然后单击弹出窗口窗口“操作”在“开始”下开始.
CentOS 7.6安装在sms vm虚拟机上. 选择以“英语”语言安装,选择时区,可以选择“中国上海”,在“语言支持”的语言支持中选择“简体中文”
在软件选择中,安装最小软件包,该软件包具有Gnome Application图形界面.

按照提示步骤进行配置,配置“安装目标”,然后等待约2分钟以检测“安装源”已完成,将出现此界面,
然后单击“开始安装”开始安装,大约安装了1398个软件包,大约需要安装. 在此期间,您需要设置root密码:
估计需要运行14分钟才能完成操作系统安装. 按“重新启动”重新启动. 在“初始设置”中,接受许可证. 配置主机名和网络,将主机名设置为“ sms”,并将网络eth0设置为“ ON”以启用.
然后,您需要添加一个用户名,例如“ test”,输入密码,跳过用户注册(例如google),并完成CentOS 7.6的安装.
然后以“测试”用户身份登录系统高性能计算机搭建,我们需要以root用户身份登录,因此我们需要单击右上角的切换按钮,然后单击“注销”以注销用户“测试”.
然后使用root再次登录系统.
3. 配置sms管理节点的网络,以便它们可以访问Internet
3.1配置Hpyer-v交换机网络
进入Hyper-v管理器,通过“虚拟交换机管理器”创建两个网络,一个是“外部” OpenHPC External,用于连接Internet进行外部Internet访问,将连接sms eth0网卡;一种是“私有”“ OpenHPC专用”,用于HPC群集的内部管理.
3.2在Windows 10的网络配置中,将OpenHPC External和vEthernet(默认)设置为共享. 右键单击OpenHPC External的网卡vEthernet,单击“属性”->“共享”,然后在“ Internet连接共享”的下拉菜单中选择“ vEthernet(默认开关)”.
3.3配置sms节点的网络接口
在sms控制台上创建2个网络接口卡eth0,连接外部网络,eth1高性能计算机搭建,连接专用网络.
3.4重新连接短信,并以root用户登录后启动,启动终端,运行
#ping可以ping,
已安装#yum列表,它可以显示yum运行正常.
4. sms节点的配置和OpenHPC发行版的软件安装
4.1设置后再次确认并配置主机名
#hostnamectl设置主机名短信

#hostname
它可以表明主机名已被修改;
重新启动终端,您会在提示符下看到名称更改为sms;
4.2将eth1网络接口的IP地址设置为172.16.0.1/16
您可以使用网络配置工具
4.3配置/ etc / hosts文件
#echo 172.16.0.1短信>> / etc / hosts
您可以检查
#cat / etc / hosts
4.4禁用selinux
#sestatus
#vim / etc / selinux / config
selinux =禁用
#重新启动
4.5安装OpenHPC发行包:
#yum安装OpenHPC: /1.3/ CentOS_7 / x86_64 / ohpc-release-1.3-1.el7.x86_64.rpm
4.6安装docs-ohpc软件包:
#yum install docs-ohpc
5. 创建4个计算节点vm,名为c1-
创建虚拟机c1类似于创建短信,您需要配置2GB内存和40GB硬盘.
此外,在配置网络时,您需要选择OpenHPC专用网络:
在安装选项中,选择并安装操作系统:
配置c1的BIOS,启动为pxe,旧版网络适配器将首先启动;
配置c1,添加一个网卡,选择添加旧版网络适配器,然后将其添加到OpenHPC专用网络中.

设置旧版网络适配器的MAC地址. c1的MAC地址的最后两位是00: 00: 00: 00: 00: 01.
依次创建c2- vm,并将其MAC地址的最后两位修改为02-04.


6. 在短信管理节点上安装OpenHPC软件
6.1编辑input.local文件
[sms]#cp / opt / ohpc / pub / doc / recipes / centos7 / input.local input.local
[sms]#cp -p / opt / ohpc / pub / doc / recipes / centos7 / x86_64 / warewulf / pbspro / recipe.sh.
修改input.local文件,然后将计算节点专用网络的网卡MAC和pxe boot输入该文件:
#vim input.local
c_mac [0] = 00: 00: 00: 00: 00: 01
c_mac [1] = 00: 00: 00: 00: 00: 02
c_mac [2] = 00: 00: 00: 00: 00: 03
c_mac [3] = 00: 00: 00: 00: 00: 04
6.2安装OpenHPC软件
[sms]#导出OHPC_INPUT_LOCAL =. / input.local
[sms]#./recipe.sh
安装大约需要45分钟,具体取决于网络速度和CPU速度.
因为在recipe.sh中有一条语句创建了一个名为test的用户,所以会有此信息,可以忽略.
我们的vm c1-计算节点没有BMC控制端口,需要在vm中手动打开.
现在OpenHPC已成功安装在sms节点上.
7. 启动计算节点
在Hpyer-v服务器中,启动c1计算节点.
然后依次打开c2和c3. 打开时,将发生错误,因为笔记本电脑的内存无法支持第四个VM.

现在已在笔记本电脑上完成了OpenHPC软件的部署. 一个短信管理节点正在运行和管理三个计算节点.
8. 测试
8.1测试节点是否正常运行
#pdsh -w c [1-3]主机名
8.2使用PBS队列进行交互式执行

使用测试用户测试,登录到系统,然后使用mpicc编译带有并行指令的MPI消息的程序“ hello.c”.
申请一个交互式队列资源,包括三台计算机,每台计算机需要运行4次;
提交此程序.
从输出c1-c3中可以看到三个计算节点,每个节点在“ hello”程序中运行一次并行代码.
[root @ sms] #su –测试
[test @ sms] #mpicc -O3 / opt / ohpc / pub / examples / mpi / hello.c
[root @ sms] #qsub -I -l select = 3: mpiprocs = 4
[root @ sms] #prun ./a.out

此命令表示在3个节点上,每个节点执行该程序4次,并且结果显示在屏幕上.
8.3使用PBS队列批量执行
除了以交互方式提交作业外,还可以以批处理方式提交作业,通常是通过编辑批处理脚本文件来进行. 然后,提交此脚本.
首先将模板软件job.mpi复制到本地目录. 然后检查此脚本文件,这是要申请2个计算机资源的程序,每台计算机上运行该程序两次.
输出为job.out.
提交后,打开job.out,您将看到如下所示的输出.

此命令意味着在2个节点上,每个节点执行该程序4次,并将结果输出到job.out文件.
此时,根据手册,OpenHPC已安装在笔记本电脑上!
安装经验
结尾处的代码
在httpd的html目录中输入一段html内容:
[root @ sms]#echo“

然后打开浏览器并输入短信地址,即可显示刚刚输入的内容.
国庆假期即将结束,继续工作并欢迎新技术和创新!
原始来源:
作者: 唯唯
感谢您的阅读和支持! “企业存储技术”微信公众号: HL_Storage返回搜狐,查看更多
本文来自电脑杂谈,转载请注明本文网址:
http://www.pc-fly.com/a/jisuanjixue/article-180455-1.html
习大大访英
>3