上万颗CPU的高性能计算集群如何管理

英特尔2009年度高性能计算研讨会在成都举行。来自英特尔、IBM、浪潮、戴尔、中石油、中石化、国家电网等单位的技术专家汇聚一堂，就高性能计算相关软硬件技术发展趋势及其在能源行业的应用进行了深入探讨。

中石油东方地球物理公司研究院处理中心总工程师赖能和在演讲中谈到，过去3年里，由于中心计算系统规模增长很快，如何管理好、用好这些大机器已经成为焦点，目前东方公司已经开始利用数字化技术来实现有效的软硬件资源管理。

目前非标债权资产预计在4万亿左右，只要提升总体理财规模即可将非标提升到5.2万亿。目前银行非标规模应超过2.8万亿，预计在4万亿左右，因此只要提升总体理财规模，完全可以将非标规模进一步提升到5.2万亿。如果服务器运算资源紧张，集群规模比较小但用户数量很大，那就是不该使用。

1、机柜很多、节点多，坏了也不清楚，使用情况无法及时掌握。

2、存储阵列很多，无法做预防性维护，使用情况无法及时掌握。

3、数据交换机多，出现网络问题后很难判断在哪里出问题。

4、没有科学、合理的调度和管理手段。

赖能和谈到，随着计算系统规模从过去的百来十颗CPU扩展到现在的上万颗CPU，本身就需要有科学的和手段。“硬件水平高，应用效率低下，运营成本快速增长”是东方公司面临的另一个困扰。PC Cluster系统的计算理论峰值和实际应用效率和性能差距很大，比如CPU年平均利用率在运行叠前偏移时能达到约65-75%，而常规地震处理系统和调试目标线的集群利用率都很低，还不足20%。在运营成本方面，突出表现在近3年电费快速上升，仅2008年一年电费就达到千万元。

而且，随着计算机房规模扩大之后，生产与设备的安全问题也开始突出。目前，东方公司共拥有150多个PC Cluster机柜、100多个存储机柜、十几个机房、5个靠前处理机房，如此庞大的软硬件设备给生产和设备运行安全带来一系列的问题。因此，很有必要开发和采用先进、高效的数字化管理技术，实现软硬件资源的科学化管理。

其实，针对数据中心的扩展和可管理问题，英特尔已经提供了一些解决方案，比如最新的至强5500跟过去的单核产品相比，可以提供9倍的性能提升，具有很好的整合特性，同时得益于在功耗方面的精确控制，可以帮助用户在数月之内收回投资成本;另外，英特尔VT虚拟化技术、英特尔数据中心管理器、NodeManager在“提高利用率，降低功耗”方面也能助到一臂之力。比如，对于很多从IDC租用服务器的企业来说，由于受制于租用IDC的供电、规定影响，每个机柜上架服器数量有上限，从而影响每个机柜的整体性能能耗比。腾讯在采用英特尔全新的至强5500平台可以提升单个机柜服务器计算性能高达60%以上，预估服务器Rack上架密度提高20%以上，提高每单位Rack计算性能60%以上。

为了解决上述问题，东方公司引入了数字化管理技术：

1.开发数字化管理软件平台，实现所有运行项目的数字化管理，可以对所有软硬件资源进行集中管理，也可以跟踪监控生产项目进度和使用的资源情况。

符合国家电气规范的保护接地铜排（或等效部件）每台机柜在后侧配两组独立、垂直安装机架式的走线槽机柜支架安装2. 2、机柜的布置安装2.2.1、机房设备布置规范1、数据机房的设备布置应满足机房管理、人员操作和安全、设备和物料运输、设备散热、安装和维护的要求。精典安防设备公司生产：监控机柜、19英寸标准机柜、网络服务器机柜、开放式布线机架、光纤机柜、布线机柜、机房机柜、电脑机柜、控制柜、直流电源屏、监控电视墙、液晶电视墙、监控立杆、圆锥立杆、八角立杆、道路标志牌、交通信号灯杆、太阳能支架、平面工作台、琴式监控操作台、户外机柜、电力机柜、室外防水箱、非标机箱等安防设备。二长机房规格高（国家a类idc机房）、带宽好（40g出口带宽）、机器少（价格门槛让每个用户可以得到至少10mb独享带宽保证）、管理严（绝不允许拼机柜、堆机器等降低服务质量和成本的做法），所以成本和托管价格会明显高于外省普通idc机房很多 服务器托管价格（电信核心机房，40g出口带宽，客户自备服务器）。

3.开发存储和网络管理软件，实现所有存储资源的远程集中监控，包括事件告警、性能、拓扑结构等。

它可以通过任何一台接入互联网的电脑或3g智能手机上就能观看到家中的实时视频状况，有智能视频移动侦测和红外侦测相结合的两层监测报警机制，当监测区域有人员或物体移动时，会第一时间抓拍现场相片并发动摄像功用，向用户绑定的手机发送报警信息并将抓拍的相片发送到用户绑定的电子邮箱，一同将该段时间的录像和相片存储到产品内的存储卡中，保证了报警的及时准确性。1.8.3.2.3 漏水监测实时监测机房的漏水情况，发生漏水时系统自动切换到漏水监控界面，同时 产生报警事件进行记录存储及有相应的处理提示， 并第一时间发出电话语音拨号、 手机短信、声光等对外报警。录像触发类型多样：主控具有正常录像、视频丢失报警录像、视频运动报警录像、硬件探测报警录像四种模式，同时具有预录像功能，将报警触发前一段时间内的录像也进行打包，弥补了报警延时带来的缺陷，根据自动工作计划中的设置，可按时、按需选择任意报警类型组合进行布防。

赖能和在会上还展望了石油行业对高性能计算应用需求的发展趋势，主要体现在以下五个方面：

1.基于多核CPU技术的刀片式服务器已成为高性能计算发展趋势。

2.GPU技术为地球物理高密度运算和可视化处理带来新的机会，但GPU现在也面临很少软件支持的困境。

3.高密度多路服务器技术将成为地震综合解释研究新的应用平台。随着各ISV对Linux平台的支持，图形显卡技术的发展，4路/8路/16路多核处理器将为Landmark、叠前反演JASON完成大数据体大计算量的叠前反演(并行化处理)、地质综合解释任务等提供强有力的工具。比如英特尔明年将推出的8核心Nehalem-EX可以实现从4路到8路的灵活扩展，因此非常适合这种应用。据英特尔资料，Nehalem-EX与上一代的至强7400相比，在性能和带宽两方面都实现了“前所未有”的飞跃：内存带宽高达9倍，性能超过2.5倍，整数吞吐量超过1.7倍，浮点吞吐量超过2.2倍!目前已经有8家系统厂商将推出15款以上的8路服务器。

千兆有线读性能千兆有线读性能。机房全部采用千兆网线路由交换冗余系统，全千兆交换。5类电缆近年来广泛应用于智能大楼中作为综合布线，传输数字信息，如高速以太网（100base-t）、光纤分布数字接口（fd-di）和ibm令牌环中，其传输速率在100m时达100mb/s,6类电缆作为新一代布线，比5类缆性能更优越，应用于千兆比以太网中（1000base-t4），四对线全双工，每对线的传输速率可达200～400mb/s。

5.高效能绿色数据中心建设成为新的热点。BGP开发和应用了自适应节能降耗管理软件，可以动态调整服务器状态。目前过试验节能效果达到了25-30%, 1万颗CPU一年至少可节约电费230-300万元。同时也在尝试应用许多新技术，如用虚拟化技术提供集中管理和移动办公，机房和机柜液体智能冷却(水冷)技术以及大型机房基础设施风道设计节能技术等。

5.2.2 减少运算工作量的途径主要原理是利用系数 的以下特性对dft进行分解：（1）对称性（2）周期性（3）可约性另外，5.3 按时间抽取的基2-fft算法算法原理按时间抽取基-2fft算法与直接计算dft运算量的比较按时间抽取的fft算法的特点按时间抽取fft算法的其它形式流程图5.3.1 算法原理设n＝2l，将x(n)按 n 的奇偶分为两组：r =0，1，…，则式中，x1(k)和x2(k)分别是x1(n)和x2(n)的n/2的dft。turbo码采用反馈迭代译码结构，成员译码器使用最大后验概率(map)译码算法译码，由于map算法含有大量的指数运算与对数运算，给实现带来极大的困难，在工程应用中，通常采用其对数域的简化算法——log-map和max-log-map算法。ln/2n/212n这样 级运算总共需要：l复数乘法：复数加法：直接dft算法运算量复数乘法：复数加法：n2n(n－1)直接计算dft与fft算法的计算量之比为mfft算法与直接dft算法运算量的比较nn2计算量之比mnn2计算量之比m2414.012816 38444836.641644.025665 5361 02464.0864125.4512262 1442 304113.816256328.010241 048 5765 120204.83210288012.820484 194 30411 264372.464404919221.45.3.3 按时间抽取的fft算法的特点序列的逆序排列同址运算（原位运算）蝶形运算两节点间的距离的确定序列的逆序排列由于 x(n) 被反复地按奇、偶分组，所以流图输入端的排列不再是顺序的，但仍有规律可循：因为 n=2m ，对于任意 n（0≤n ≤n-1)，可以用m个二进制码表示为：n 反复按奇、偶分解时，即按二进制码的“0” “1” 分解。

本文来自电脑杂谈，转载请注明本文网址：
http://www.pc-fly.com/a/jisuanjixue/article-101755-1.html