FEPG高性能计算（基础知识）

元计算培训高级培训FEPG高性能计算-讲座1演讲者: 李庆定本讲座摘要1 2 3 4并行计算机的基本知识并行计算机环境配置安装MPI并行环境MPI编程简介高性能计算目标？定义: 通过网络相互连接的两个或更多处理器相互协调，并同时计算同一任务的不同部分，从而提高了解决问题的速度，或解决了单台机器无法解决的问题. ？两个目的: -提高速度；-扩大解决问题的规模. 并行框图并行计算（Parallel Computing）？ ？ F？？ ？ F并行计算（Parallel Computing）？ ？ F？？ ？ FParallel AlgorithmParallel编程几种典型的Linux集群结构？ 1: 单机？答: 可以有一个或多个处理器吗？ B: 安装Linux系统，C，Fortran编译器以及MPICH或LAM-mpi吗？ C: 通过共享内存或TCP / IP进行通信几种典型的Linux群集结构？ 2: 集群，每天使用几台微型计算机. 通常通过网络连接到同一局域网. 为了易于使用，最好设置一个共享目录（NFS）和一个NIS或LDAP服务器.

？ 3: 专用并行集群？通常形成一个单独的LAN，然后通过网关连接到Internet. 只有网关对外界可见. 并行计算机的分类？从物理上划分，共享内存和分布式内存是两种基本的并行计算机存储方法. 另外，分布式共享内存也是一种越来越重要的并行计算机存储方法. 共享内存SMP型并行计算机？对称多处理器还是共享内存处理器？多个处理器通过系统总线或交叉开关共享一个或多个内存模块？优点: 使用简单，易于维护？缺点: 受系统总线带宽的限制，只能支持少量的处理器（通常超过十二个）？并行编程: 通常使用OpenMP，还可以使用消息传递（MPI / PVM）和HPF？代表机型: SGI Challenge，Sun E10000等分布式内存的MPP型并行计算机？并行处理器的缩写是指由大量计算节点组成的并行处理系统，这些计算节点具有通过高速系统网络连接的本地内存. MPP系统的系统网络通常具有一定的拓扑结构（例如树，网格，典型的代表: – ICT曙光1000（32个处理器）； IBM ASCI White（8192个处理器）；英特尔ASCI Red（9632处理器）; Cray T3E（1084个处理器）共享内存DSM型并行计算机分布式共享内存: 分布式共享内存？多个具有独立存储器的物理处理单元，通过高速网络连接在一起？逻辑上用作共享内存并行机吗？也称为NUMA结构（非统一内存访问）？通过特殊的硬件/软件可以实现不同处理单元之间的共享？是否具有比SMP并行机（100个以上的CPU）更好的可伸缩性？代表机型: SGI Origin 2000 / 3000SMP / DSM集群？将通过Internet连接更多的SMP或DSM并行机吗？目前，大多数性能最高的并行机都是这种结构.

用于构建Linux集群的元素？ 1: 连接到网络的一台或多台计算机或服务器？ 2: Linux系统: RedHat，Debian，SuSE，Mandrake，...？ 3 : （可选）高速串联网络: 千兆以太网，Myrinet，QsNet，Dolphin SCI，Infiniband等. 4: 编译系统: gcc / g ++ / g77，Intel，...用于构建Linux集群的元素？ 5: MPI系统: MPICH，LAM-MPI等…6: 网络文件系统: NFS，PVFS，Lustre ...？ 8: 数学库: BLAS，FFTW，LAPACH，ScaLAPACK. . . . ？ 9: 其他工具: PETSc，Hypre等. MPI并行环境的独立配置？安装Linux –可以安装任何Linux发行版，建议使用RedHat –必须安装一些软件包: gcc，gcc-g77，rsh，rsh-server？配置rsh-server，以下操作必须是root用户–编辑或创建文件/etc/hosts.equiv并添加本地主机名（在单独的行上）–打开rsh服务: / sbin / chkconfig rsh on –测试rshd的配置.

以普通用户身份登录并运行命令: rsh主机名/ bin /主机名. 如果配置正确，则显示本地主机名. 如果有错误，可以在/ var / log / messages文件中查看错误信息. 独立配置MPI并行环境？ MPICH安装-下载MPICH2，文件名为mpich2-1.xxtar.gz，其中1.xx是MPICH2编号的版本（当前最新版本为1.4.1p1）计算机高性能设置，将1.xx替换为版本中的实际版本号以下操作过程–提取MPICH2的源程序: tar xzpvf mpich2-1.xxtar.gz –配置和编译MPICH2: cd mpich2- 1.xx ./configure –prefix = / usr / local / mpi make（csh / tcsh环境）或make 2（bash / sh环境）独立配置MPI并行环境-安装MPICH2: make install（必须是root）？添加环境变量: – Bourne shell: 在/etc/profile.d中创建文件mpich.sh，内容如下: / bin / bash导出MANPATH = $ {MANPATH}: / usr / local / mpi / man export PATH = $ {PATH}: / usr / local / mpi / bin单机配置MPI并行环境-C shell: 创建/etc/profile.d中的文件mpich.csh，内容如下: / bin / csh if（$？MANPATH == 0）则setenv MANPATH: / usr / local / mpi / man else setenv MANPATH $ {MANPATH}: / usr / local / mpi / man endif setenv PATH $ {PATH}: / usr / local / mpi / bin独立的MPI并行环境？测试MPICH–C程序cp /usr/local/mpi/examples/cpi.c. mpicc –o cpi cpi.c mpdboot –n 1 mpiexec –n 1 ./ cpi mpiexec –n 2 ./cpi– Fortran程序cp /usr/local/mpi/examples/pi3.f. mpif77 –o pi3 pi3.f mpiexec –n 1 ./pi3 mpiexec –n 2 ./pi3（在操作过程中，根据需要输入参数: 1000000和0）Linux群集设置？先决条件– TCP / IP网络连接– Linux系统安装（与独立系统相同）–为了便于相互访问，请将所有计算机的主机名放在/ etc / hosts文件中.

在所有机器上都使用相同的/ etc / hosts文件. 内容如下: 127.0.0.1 localhosts.localdomain 10.10.10.1 node1.mydomain node1 10.10.10.2 node2.mydomain node2 ...... ...... ...... 10.10.10.n noden .mydomain noden（根据实际情况替换IP地址和主机名）localhostLinux集群？ NIS和NFS设置-使用NIS（网络信息服务）来管理用户帐户，使用NFS（网络文件系统）来共享用户目录. –根据实际情况选择一台计算机作为NIS和NFS服务器，并将该计算机称为服务节点或主节点计算机，其他计算机称为从节点计算机. 主节点和从节点计算机的配置不同. Linux集群构建？配置NFS（需要root用户）–主节点计算机？创建目录: mkdir –p / home / local？将/ usr / local链接到/ home / local: / bin / rm –rf / usr / local ln –S / home / local /. ？确认nfs-utils软件包已安装在主节点计算机上.

启用NFS服务: / sbin / chkconfig nfs on / sbin / chkconfig nfslock on /etc/init.d/nfslock restart /etc/init.d/nfs restart: / Home *（rw，no_root_squash）它将输出/ home目录到所有机器. 输出指定的目录（/ home）: exportfs -aLinux集群构建从属节点计算机？创建目录makedir –p / home？将以下行添加到文件/ etc / fstab中: <主节点计算机名称>: / home / home nfs默认为0 0？运行命令: / home目录位于/ sbin / chkconfig netfs上）（在系统启动时自动安装主节点计算机？运行命令: mount / home / bin / rm -rf / usr / local ln -s / home / local / usr / local（或重新启动系统）？将/ usr / local链接到/ home / localLinux集群以进行构建？配置NIS（需要root用户）以下假设'CLUSTER'被用作NIS域名–主节点计算机？确认安装以下软件包: ypserv，ypbind，yp-tools？将以下行添加到文件/ etc / sysconfig / network中: NISDOMAIN = CLUSTER？启动NIS服务: / etc / init上的/ sbin / chkconfig ypserv. d / ypserv startLinux Cluster build？初始化NIS: / usr / lib / yp / ypinit –m –在程序运行时按Ctrl-d，然后输入“ y”并按Enter生成NIS？客户端程序: /etc/init.d/ypbind上的/ sbin / chkconfig ypbind start？验证NIS输入命令“ ypwhich”应显示放置主节点的主机名. 命令“ ypcat passwd”应该显示用户帐户（在主节点计算机上）Linux集群安装从属节点计算机？确认已安装以下软件包: ypbind，yp-tools？将以下行添加到文件/ etc / sysconfig / network中: NISDOMAIN = CLUSTER？打开NIS客户端程序: / sbin / chkconfig ypbind在/etc/init.d/ypbind上启动？验证NIS设置: 输入命令“ ypwhich”应显示主节点. 节点计算机名称输入命令“ ypcat passwd”应显示用户帐户在主节点计算机上的Linux Cluster设置？修改/etc/nsswitch.conf文件以包括以下设置: passwd: shadow: group: hosts: 文件nis文件nis文件nis文件nis dns？使用NIS的注意事项: 要创建新用户，只需在主节点计算机上执行，然后运行命令cd / var / yp即可. 修改主节点上的用户信息，并执行上述命令刷新NIS.

您不能使用passwd命令更改从属节点上的密码. 您必须使用yppasswd命令来修改Linux Cluster构建. 配置rsh-确保安装rsh软件包和rsh-server软件包-将文件/etc/hosts.equiv添加到所有主机名中-打开rsh服务: / sbin / chkconfig rsh on-test rsh？以NIS用户身份登录到节点计算机并运行命令: rsh另一个节点计算机名称/ bin /主机名注意: 使root用户能够使用rsh执行对于远程命令，请将/etc/hosts.equiv复制到/ root / .rhosts，然后在文件/ etc / securetty中添加“ rsh”. Linux集群构建？ MPICH安装–与在单台机器上进行安装完全相同，只需要在主节点机器上执行，因为所有节点机器/ usr / local目录都由主节点机器共享. 另外，您需要将/etc/profiles.d/mpich.sh和/etc/profiles.d/mpich.csh复制到所有节点计算机上以构建Linux集群吗？编译并运行MPICH程序-编译MPICH程序可以在任何节点上使用Mpicc（c），mpif77（Fortran），mpiCC（C ++），mpif90和其他命令在机器运行的mpiexec -f机器文件名中进行编译- n ./youprog : 已启动的进程数Linux Cluster构建文件中列出了要使用的节点计算机的名称，每行列出一个.

本文来自电脑杂谈，转载请注明本文网址：
http://www.pc-fly.com/a/jisuanjixue/article-185046-1.html