商业性有限元分析软件在神威超级计算机系统上的移植和开发

摘要：

首先介绍了“神威I”超级并行计算机的配置和性能，其次论述了商业性大型有限元软件NASTRAN在“神威I”系统上进行二次开发的思路和实现方案，把MSC.NASTRAN强大的有限元分析能力与超级计算机的高性能计算能力结合起来，扩大了分析规模，提高了分析速度；然后用算例说明开发功能的正确性和高效性；最后对神威机的应用前景进行了展望。

一、引言

伴随计算机和计算方法的蓬勃发展，科学计算已经成为继理论和实验之后，人类认知世界的第三大支柱。高性能计算能力及相关技术更是当今世界竟相争夺的战略制高点，是衡量一个国家综合国力的重要标志之一。各种超级计算机应运而生。“银河”、“曙光”和“神威”等系列超级计算机相继投入使用，说明我国在超级计算机硬件技术方面已达到国际先进水平。另一方面，作为数值计算方面的一个重要部分，各种有限元分析软件在航天航空、汽车、机械、建筑、化工等各个领域获得广泛应用。在技术上超级计算机一般是源代码兼容，国内超级计算机不能直接安装商业性有限元软件，更严重的是西方国家政府在高性能计算硬、软件方面，对我国进行严密控制，因此我国自主研制的超级计算机在工程领域的应用受到极大的限制。

从头开始为“神威I”开发并行有限元分析软件需要极大的工作量和各个方面技术人员的投入，因此需要很长的时间和雄厚的资金。而从有限元分析的理论和实践可以知道：有限元分析最主要的分析时间应用在科学计算（对于结构分析，主要是求解线性方程组和稀疏矩阵特征值求解），而这些计算的并行化开发开始得较早，相对成熟一些，有一些软件是可以免费拥有源码的。由此提出一个问题：能否通过对可以公开获得的串行有限元分析软件和超级计算机的科学计算软件库结合进行二次开发和系统集成，从而形成具有自主知识产权的超级计算机有限元大型分析软件？在上海市信息化办公室信息化专项资金的大力资助下，上海交通大学和上海超级计算中心经过一年多的研究和开发，成功地将商业性有限元分析软件NASTRAN在“神威I”超级计算机系统上进行了移植和并行计算功能的二次开发，从而为超级计算机应用软件的开发探索一条新的途径，同时为工程界应用高性能计算提供了平台。

二、神威I超级计算机系统简介

“神威I”计算机是一台可缩放的并行处理的超级计算机系统。它吸收和发展了国际上巨型计算机的先进设计思想和技术，采用同构、分布共享主存储器、平面格栅网体系结构，是一台多指令流、多数据流的并行处理系统，其峰值运算速度高达每秒3840亿次浮点结果，主存容量48GB，磁盘容量1.28TB。整个系统主要由主机系统、前端系统、磁盘阵列系统和软件系统组成。“神威I”超级计算机适用于需要高速、大容量并行处理的各种计算领域。

“神威I”计算机软件系统主要包括以下几个方面：分布式并行操作系统、各种并行程序设计语言、并行程序开发及支撑环境、科学计算软件库、局域网系统、分布式>'http://lunwen.freekaoyan.com/guanlilunwen/' target='_blank'>管理系统、科学计算可视化系统等等。其中，并行程序设计语言主要包括并行C、高性能FORTRAN（HPF）、并行FORTRAN、OpenMP及并行Java语言。科学计算软件库主要包括了HPF语言科学计算库和基于PVM/MPI的科学计算库。并行程序开发及支撑环境主要有PPME、PVM、MPI等。

三、开发的思路和实现方案

现有商业性大型有限元分析软件，例如：MSC.PATRAN、MSC.NASTRAN，具有很高的开放性，这些软件允许用户对其进行二次开发。通过开发，可以充分发挥商业性有限元软件在前后处理、人机交互界面等方面的优势。到目前，NASTRAN软件的并行处理功能也十分有限。本课题的总体开发思路就是充分利用大型并行计算机的速度优势，将有限元分析中最占用时间的方程求解、特征值求解部分移植到神威机上完成。采用二次开发工具PCL和DMAP编程技术，实现了商业性有限元软件和超级计算机并行计算软件的无缝集成和可视化集成。

最后的结果证明了恰恰是学生们自己开发的解稀疏矩阵的模块是一个亮点，它使得可处理的电路规模成倍的增大。你用的稀疏矩阵求解器，是直接求解器，很耗资源，速度也不是很好，一般适用于10000~500000自由度的问题求解。本文研究了如何提高预处理共轭梯度(preconditioned conjugate gradient，pcg)法计算大网络交流潮流时的并行性能，提出了一种新的并行处理方法--并行节点分配法，即将节点导纳矩阵和节点出力的数据以节点为单位分派给各个处理器，在各个处理器中完成余下的计算处理部分。

串行处理版本的NASTRAN软件安装在“神威I”的前端机上（ALPHA工作站），并行计算需要在主机上进行，于是从前端机到主机的文件传输需要消耗时间，通过实际测算，在NASTRAN的静力分析计算中，解方程的时间约占整个分析过程的30％～50％。在模态分析和动态响应分析中数值计算的时间占到分析时间的90％甚至更高。由此可见，开发的关键是神威机上的求解程序具有极高的效率，足以补偿矩阵输入、输出带来的额外的时间损耗。

用户在开机时按下【del】键，进入到bios设置界面，在该界面中选中【integrated peripherals】选项，按下回车键，即可进入到其设置界面，在该界面中选中【onchip ide device】选项，按下回车键，在其设置界面中选中【onchie ide2 controller】选项，按下回车键，在弹出的界面中选中【disabled】选项即可。飞利浦v808提供了一个快捷的任务管理器使用方式，用户只需要在待机界面下把界面最顶端的状态栏往下一拉便会弹出android操作系统特有的消息提示栏，在这个提示栏中就可以看到任务管理器这个选项，点击该选项便能够看到目前处于后台运行的程序，用户可以根据实际使用选择关闭不需要的后台程序以加快整机的运行速度。这样还解决不了的话，我觉得是系统层面的问题了，你加我qq我也没法解决，你如果真想用这个汉化版就重做系统(反正xp很快）早不然就给你一份 中文版的界面截图，ce选项不多关键的选项就那几项，我是不想用汉化的（界面很乱） 关键的几个选项如果经常用位置在哪 自己以前用也都知道，也一直用英文，要说最需要汉化的其实是教程，但是5版本之后的基本就算汉化也没有去汉化教程的了，所以请你自己酌情考虑。

图1所示为课题完成后在“神威I”超级计算机平台上运行NASTRAN的流程图。

已完成NASTRAN软件在“神威I”上的移植开发的静力分析、动态响应分析、模态分析和屈曲分析模块（各分析模块在NASTRAN中的代号分别为101，109，103，105）神威 超级计算机，101和109模块的并行方程求解采用了直接法和迭代法两种方法，分别对其进行了并行程序设计。103和105中的方程求解部分则只采用了直接法，以著名软件包PARPACK为基础编写了并行求解程序。以NASTRAN求解结果为基准，主机并行求解程序准确性很高。迭代法一般精确到5~6个有效数字，直接法精度更高。实例验证发现并行开发后的分析程序的分析时间明显缩短。对NASTRAN的求解序列进行了重新编制，在确定了整个求解序列并验证其正确性后，将此序列重新编译、连接，建立了新的s101、s103、s105、s109序列。这可以简化今后任务（bdf）文件的生成和提高执行速度。

参数no.3202#4(ne9)可以通过参数no.3210(passwd)和参数no.3211(keywd)将程序锁住以保护神威 超级计算机，程序no.9000到no.9999在锁住状态下，除非输入了正确的口令否则程序no.9000到no.9999将不能被修改锁住状态意味着参数passwd的设置值与参数keywd的设置值不同，这些参数中的设置值不显示，当参数passwd的设置值与参数keywd的设置值相同时就可以解锁当参数passwd，显示为0时表明passwd没有设置，。(2)、启动设置向导：首次登录到tl-wdr4900路由器的管理界面时，会自动弹出“设置向导”界面，如果未弹出，可以点击左侧菜单中的“设置向导”来运行。以后有程序访问网络时候会弹出选项，要你选择apn，直接选择3gnet即可（中国移动的设置方法和这个类似，只是名称，url等不一样而已，有需要的朋友可以百度一下具体参数）。

通过大量算例，我们发现不同的有限元单元类型、不同的单元数量，并行计算加速比差别较大；同一种单元类型，单元数量一定，存在一个加速比最高的CPU数量；在目前所开发的4个模块中，静力分析模块加速比最差，动态响应分析模块加速比最高。

四、实例

利用本课题开发的NASTRAN的并行分析功能，对某型号的新型压缩天然气城市公交客车进行了力学性能分析。 建立了包括车身骨架梁单元、内外蒙皮的板壳元模型，考虑内外蒙皮的影响，考虑到计算精度和计算机容量与运算速度的协调，故单元划分的不至于过细，共计：壳单元Quad48166个，梁单元Bar2589个，结点8738个。计算工况包括：静力分析（静弯曲、扭转、紧急制动、急速转弯）、模态分析、瞬态响应分析（一车轮过凸台）等。图4为车身瞬态响应局部变形图。与微机计算相比，本课题开发的基于“神威I”并行计算分析加速效果明显，大大节约了分析时间，分析结果可靠。

图3：车身瞬态响应局部变形图

五、结论和展望

本课题开发的系统通过了由上海市科委组织的鉴定，鉴定结论认为：“该项目在有限元并行计算领域填补了国内空白，方案设计具有创新性，系统达到了国际先进水平。具有很好的应用前景及良好的社会和>'http://lunwen.freekaoyan.com/jingjilunwen/' target='_blank'>经济效益”。

商业性大型有限元分析软件NASTRAN在“神威I”超级计算机上的并行化开发成功，为超级计算机应用软件的开发探索一条新的途径，同时为工程界应用高性能计算提供了平台，在如下方有广泛的应用前景：（1）大型复杂结构的强度和刚度分析，像卫星、火箭这类特复杂结构，在保证足够的强度、刚度下，如何实现轻量化设计？像三峡大坝这类特大型结构的安全性能整体分析，超级计算机静力学、动力学分析模块可用于研究这类特大型或特复杂型结构的应力和应变分布。（2）大型复杂结构的振动和噪声分析，结构系统的固有频率和振型对其振动和噪声特性有决定性影响，>'http://lunwen.freekaoyan.com/wenshilunwen' target='_blank'>历史上多次发生因共振导致桥梁倒塌的惨剧。超级计算机动力学模态分析模块可用于研究像桥梁、高层建筑这类特大型工程结构振动和噪声特性。（3）大型复杂结构的稳定性分析，在现代航天、航海和大型建筑中，广泛采用薄壳和珩架结构。这种结构在特定载荷情况下，可能发生失稳破坏。超级计算机屈曲稳定性分析模块可用于研究特大型复杂结构在特定载荷下的稳定性，确定结构失稳的临界载荷。

NASTRAN软件4个基本分析模块在“神威I”超级计算机上的并行化开发成功，也为有限元分析软件的更在超级计算机上的开发奠定了基础，今后我们将开发新的并行计算的功能，同时把已开发的并行分析功能广泛应用于工程实践。

本文来自电脑杂谈，转载请注明本文网址：
https://www.pc-fly.com/a/jisuanjixue/article-112455-1.html