高性能计算机和曙光GHPC1000集群系统.

高性能计算机和曙光GHPC1000集 群平台技手中心 张新凤 曙光信息产业（北京）? 1 高性能计算简介–1.1 什么是高性能并行计算机 –1.2 聊高性能计算机架构 –1.3 集群技树势? 2 本工程GHPC1000集群系统介绍1.1 什么是高性能并行计算机由诸多零件构成，具有运算速度快、存储容量瓷 靠性高的特点。也称为：巨型计算机、超级计算 机现在任何高性能计算跟超级计算 都离不开使用并行技戍以高 性能计算机肯定是并行计算机。1.2 聊高性能计算机构架? 并行销 ? SMP ? DSM（NUMA） ? MPP，节点可以是单处理期点，也可以是SMP，DSM ? Cluster ? 混合架构1993—2006年 高性能计算机在TOP500中的变化1.3 集群技树势? MPP/PVP在构造矗系统，应用饱和性能方备优 势，资哥的仍然会选? 茨CC-NUMA系统将诌箱：它的优势是蠢砟诖妫PU共享存储的高效编程对客户是一件困难 的事；矗并行计算的精度问题；不合适构造最吹 统；价脯优势丧失；? SMP系统存在访存短板，导致能扩展性的限制 ，不能用 于形成很储行机?路以上）? 集群系统因为无可比拟的性价比优势抢占只置。

? 1 高性能计算? 2 本工程GHPC1000集群系统介绍设计目标及设计模式? 基于通用CPU + 专用GPU的高性能计算集群 ? GPU峰值速度：183TFlops(单精度) ? 高性能、高可靠的高性能计算平台系统整体配置? 节点：? 计算节点1(A620r-T)： 43×2=86台 GPU显卡：GTX295? 计算节点2(A620r-T)： 16×2=32台 GPU显卡：C1060? IO节点(A620-H)：1台? 存储：? DS6310EE ? 容量：1 16TB? 网络：? 计算网：Infiniband 36口IB交换机96口IB交换机 20Gb IB 网卡? 管理网：千兆以太网 48换机1套 1台 1台 119块1套 3台? 水冷和支撑平台：? 水冷机柜6个? 控制系统系统：? SKVM 系统 1套? 集群控制台1套? 软件平台：? 操壮 ? GridView管理系统 ? Powerconf节能软件系统 ? GNU编译撇⑿谢肪 ? CUDA开发环境详见配置表系统整体拓扑图计算节点１：A620r-T曙光GPU计算节点A620r-T：43台? GPU处理单元:1×Nvidia GTX295 GPU卡? 处理瓶臕MD Opteron 2378 2.4G四核处理器? 内存：16G内存 ? 硬盘：1×160GB SATA 热插拔 ? 网络：集成2×1000M ? Infiniband：集成DDR 20Gb/s HCA计算结点2：A620r-T曙光GPU计算节点A620r-T：16台? GPU处理单元:1×Nvidia C1060 GPU卡 ? 处理瓶臕MD Opteron 2378 2.4G四核处理颇诖妫?6G内存 ? 硬盘：1×160GB SATA 热插拔 ? 网络：集成2×1000M ? Infiniband：集成DDR 20Gb/s HCA机箱结构-整体GPU卡1电源1 电源2风扇GPU卡2 硬盘 机箱前部整机方案细节描舒格? 旨蜀– Form Factor：?6.7”x6.8” （42.3cm x 17.3cm）– CPU:最高支持2颗AMD barcelona or shanghai 处理器– Chipset:Nvidia nForce3600 – 内存：16 DIMM插槽，支持DDR2 533/667ECC REG – LAN:2 Gigabit LAN – Infiniband: Mellanox InfiniHost III Lx DDRMT25204A0-FCC-D single port– SATA:4-SATA2 Support Raid 0,1,5 – PCIE: 1全长全高 PCI-Ex16 (支持双卡宽度，每机箱支持2片卡）– IPMI 2.0图片轿考曙光天阔GPU-SERVER主板内存系统I/O结点曙光A620r（1台） ：? 处理啤罙MD Opteron 2378 2.4G? 内存：16GB DDR2-667 ? 硬盘：1×146GB SAS 热插拔 ? HBA：1×12Gb/s SAS 4x HBA卡 ? 网络：2×千兆 ? IB：20Gb IB HCA磁盘阵列曙光DS6310EE盘誘):? 贫存储系统，热插拔Raid控 制器? 性能：4 4x吱道 ? 扩展性：最垂至80腐瓶煽啃裕篊ache镜希护 ? 容量：16块1TB SATA硬盘储存平台Infiniband计算节点冗余的贫烘储架构业界帜nfs网络文件系统 ? IO节点：1台 ? 盘湛：16TA620r-H : 产品技蜀处理?L3 L2/L3 芯片组 内存/Max 光驱、软驱硬盘控制器硬盘控制婆涛 网卡扩展性能内存 电源 监控规格备注支持2路Opteron 2000系列普通性能处理 器512K / core，共享2MB L34核巴塞罗那处理器512K / core，共享6MB L34核上海处理器NVIDIA nForce360016×DIMMs / 64GB支持DDR2 533/667 ECC、RegDVD-RW，可选USB-DVD驱动芐B 软驱集成SAS 控制僻持HostRAID0，1， 1E可选SAS RAID卡，支持RAID5，6集成SATA 控制僻持HostRAID0，1， 5更粗6块硬盘譼RAID最村拔硬盘位可支持SATAII，SAS2?M（Nvidia）2×PCI-E x16插槽（x8速率） 3×PCI-X 133/100插槽 1×PCI 32插槽集成ES1000图形控制芃B显存600W 电源可选IPMI管理卡说鸣为Low Profile扩展卡。

可选1＋1冗余电源核心架构图DS6310EE/DS6312EE? SAS-SAS磁盘宅单控/双控； ? 处理苙tel IOP 341，?2GHz ? 接口 ：每控制 4×炙口，1 4×扩展接口 ? 驱动期 ：SAS ，支持SAS/SATA硬盘 ? Raid级薄?、1E、5、6、50、60 ? 热插拔控制芐6310EE单控，DS6312EE冗余双控； 每控制MB - 2048 MB Cache ，配置Cache保护电池； ? 3U 机架安装机锅有 16柑托架 ； ? 可以借助SAS 4×扩展接口连接最多4柑位的扩展?块SAS/SATA2硬盘 ? 通过盘斩的Dawning RAID Manager 实现轻松的部受理，支持串口管理 ； ? 支持含步；重建；冗余检测；SMART condition polling；扩容? 支持扩展逻辑磁盘的容量，方便客户应用平台的规划与祷? 支持RAID级逼，降低客户维护费用，降低平台再次规划带来的数 据丢失风险；篈ID迁移：支持RAID0、5、10、50、1E之间相互迁 移；登陆管理硬件IP：10.0.0.1 子网掩码：255.255.255.0 用户：administrator 密码：passwordDS6310系列硬盘漳管理网关支持虚拟IP技噬将一台磁盘障的 两钙栖理端口摆一糕的IP上，虚拟IP与两钙芇无关， 他们可以设定在一肝中，也可以不在。

默认虚拟IP为10.0.0.1，子网掩码 255.255.255.0，控制葡真实IP为10.0.0.2/3，子网掩码：255.255.255.0。登陆函倡警报，点磺”才能正常登陆管理工具。登陆烘总体管理（关闭、重瞥，恢复宠置）点晃菜单中的“管 理工具”，在衬界面中 可进行DS6310存储系统捶值墓芾聿僮纾汗乇铡 重瞥，恢复宠置等。用户管理只有权限为“Super”的用户可以进行构建用 户的操足淮建”标签，即可进行创建操仔掠没г诖唇ㄊ笨裳≡权限，分焙View：允许客户查看所有的信息，但不能进 行任何操作；Maintenance：允许用户进行改造、PDM、 介质巡检以及冗余检测等维护操作；Power：允许用户进行建立（不允许删除） RAID、LUN，更改RAID级蹦变Stirpe size，改 变RAID、LUN、物理磁盘或者控制掐等操作。Super：允许用户进行所有的操作。“密码”标签中能进行更改用户密码的操阻要留意的是，权限为“Super”的 用户可以设置自身其他客户的密码（包括其他Super user），而其它用户只能更改自 身的密码。需要更改时，先在“信息”标签中点沪的用户，然最码” 标签进行相应的操咨；只有权限为Super的用户可以进行删除其它用户的操装ㄆ渌鸖uper user），点痪除”标签进行相应操装会话”标签中可以查 看当前登录到平台用户列表。

网络管理DS6310系列磁盘漳管理 端口支持虚拟IP技噬将一台 磁盘障的两钙栖理 端口摆一糕的IP上，虚 拟IP与两钙芇无关，他 们可以设定在一肝中，也能 以不在。在“管理端口”标签中所查 看或者修改的都是虚拟IP。点凰口配置”进行虚拟 IP的设定。网络管理（续）网络管理（续）在“维护方式”标签中所查看 以及修改的都是控制奇实IP。点沪控制扑口配置” 进行真实IP的设定。固件升级在“固件更新”标签中可以升 级控制艻RMWARE。固件更新（续）使用HTTP方法进行固 件升级，选訮升级方 式郝一步”固件更新（续）点化览”按钮，选约段募峤弧鄙洗 文件。固件更新（续）确认无毋换步， 当进度达到100%贺婆陶瓿刹僮鳌建立RAIDDS6310系列磁盘乍持RAID0、1、10、1E、5、50、6通过先进的RAID 虚拟管理技授创建RAID时，每颗物理磁盘可以被分割成不同的区近 些不同的区釉用来创建不同RAID级边辑磁盘，每组逻辑磁盘的Stripe Size以及缓存使用方法可以自行设置。建立RAID（续）1、点晃菜单中的“磁盘毡 选项，崇图所示界面，其中 “信息”标签显示当前存储平台的 已有的RAID的基本信息；2、点淮建”标签，哗 旁边的下拉菜单，选渊方式；自动配置：以默认配置与参数创 建RAID，如果有足够的磁盘数量， 将会创建热备盘（RAID0除外）， 用户能够选札；快速配置：用户可以选钥的 参数进行RAID创建；高级配置：完全由用户自定义 RAID参数。

建立RAID（续）3、在“磁盘毡输入栏中 设置RAID爆并在“物理驱动 啤蕴，啄开 备选磁盘，右边的开已选磁盘， 在啄裤畸选耘盘 （可以使用CTRL与Shift键复选）， 点籫t;>”按钮，点宦一步”。建立RAID（续）4、DS6310系列磁盘乍 持同一磁盘组（RAID）中 不同的LUN采用不同的参数。 为LUN设置爆选驭 的Raid级陛量、獭⑸惹⒍列床呗砸 及首选控制芁UN关联侯被激活），点稽新”按钮。按照相 同的方法修改其他的LUN曙光高性能计算机， 设置完成郝一步” 按钮。建立RAID（续）5、确认无毋会交” 按钮完成修改，仕单中 也有了相应RAID的选项—— “磁盘铡薄删除RAID1、在仕单中点慌盘铡毖∠ ； 2、点痪除”标签，；删除RAID（续）3、勾选希望删除的RAID，并 点换，弹诚对话吭诙曰翱淙搿癱onfirm”并 点籏”完成操作。设置映射DS6310系列磁盘乍持自动映射，即所有与磁盘战⒘拥闹磕芄蛔远侗S6310磁盘障所 有的存储空间，但为了方便管控或者增加数据安全性， DS6310提供了映射与LUN屏蔽的功能，这两杠往往一朴谩总体流程： 1、添加艬A卡）； 2、屏蔽所有的LUN； 3、设置LUN与艬A卡）的映射关系设定映射（1）添加艬A卡）1、点晃菜单中“存储服窝∠睿诔囊趁嬷械慊脐签右侧下拉菜单，选蕴砑悠谑淙肟 入相应HBA卡的WWN，点惶砑印卑磁ネ瓿刹僮BA卡 的WWN号能在“光纤通道管 理”—>“已登录设备”页面查 看）；屏蔽所有的LUN设置映射（2）2、屏蔽所有的LUN，方法为点 晃菜单中“存储服巍项， 在衬页面中点籙N映射” 标签，勾选“芔N屏蔽”选 项，点会交”按钮；建立映射设置映射（3）3、设置LUN映射，点籐UN 映射”标签茁拉菜单选蕴砑覮UN映射”，在衬界 面中的“坡拉菜单中选 驭的WWN。

本文来自电脑杂谈，转载请注明本文网址：
http://www.pc-fly.com/a/jisuanjixue/article-137633-1.html