浪潮MIC集群加速中石化石油勘探应用

  【导语】：“采用MIC加速后，我们的集群仅单节点性能比原来提升了近5倍，这大大加速了我们在石油勘探方面的工作效率。这种先从应用特点入手分析，再规划集群架构的做法可以让我们在最快时间内找到最适合自身业务的系统构建方案，是最具效率和性价比的方法。

  ——中国石化石油物探技术研究院负责人

  近日，浪潮根据中国石化石油物探技术研究院的应用特点为其设计构建了CPU+MIC架构的高性能计算集群，在没有大量增加投资的前提下，大幅提高了中石化物探院石油勘探工作的效率。

  性能和成本的天平能否实现?

  中国石化石油物探技术研究院是中国石化油气发展的重要参谋研发机构和物探高新技术和核心技术研发中心，拥有国内领先、国际先进的大型高性能计算机系统，承担了国家及中国石化石油地球物理勘探方面的基础性、前瞻性和重大项目攻关与核心技术研发，自主知识产权物探专业软件开发及产品推广，新技术应用试验，并提供全方位的物探技术支持与服务，为中国石化可持续发展提供资源保证。

  目前，石油勘探作业以地震波法为主，简言之，就是收集反射波并将其转变为电子信号后存储为数据，通过对这些数据的分析处理，就能找到存有石油或天然气的岩层的精确位置。由于地震波法勘探收集的数据通常以TB计，近年来甚至向PB的规模发展，如此海量的数据及通信量对系统的存储、计算和I/O通讯等方面都有极高的要求。因此，石油勘探离不开高性能计算，对高性能计算的要求也是诸多应用领域中最高的。

  中国石化石油物探技术研究院主要采用PSTM（叠前时间偏移）方法作石油勘探方面方面的信息处理。实际应用中，PSTM占据了绝大多数的集群计算时间，而中国石化石油物探技术研究院的高性能集群采用纯CPU的架构，如果想实现较高的性能，只能使用更多的节点进行堆叠，前期投资巨大。但是中国石化石油物探技术研究院希望在构建新集群时能够充分考虑加速比和性价比的平衡。

  CPU+MIC架构让性能和成本平衡

  在深入分析了中国石化石油物探技术研究院的实际情况后，浪潮制定了CPU+MIC的高性能计算集群方案，在不增加更多节点投资的前提下，大幅的提升了应用效率。综述浪潮提供方案的过程，可以清晰看出是从三个部分来实现了性能的飞跃，浪潮工程师将之成为“MIC集群设计三部曲”。

  首先，分析PSTM（叠前时间偏移）应用，决定其是否适合使用MIC加速技术，其次根据应用特点规划和配置系统MIC节点，最后还跟中国石化石油物探技术研究院和英特尔一起合作开发、优化MIC应用，让应用的效率更高。

  MIC集群三部曲第一部：应用特点决定MIC架构

  在应用分析方面，浪潮首先对石油勘探领域的应用特点及PSTM（叠前时间偏移）进行了深入的算法分析，对算法并行度和并行方式的推理、论证和检验。

  在检验过程中，发现PSTM非常适合细粒度并行性算法，并且其限量化程度比较高，适合限量化计算，可扩展性高，十分适合做异构加速。

  一般来说，异构加速技术的瓶颈在于应用程序开发，往往需要花费开发人员大量的时间。考虑到这些问题，浪潮在该项目中引入了MIC架构。MIC架构能够支持标准化、现有的编程工具和手段，大大方便了开发人员，并且在单个CPU芯片中融合了众多核心，这些核心都能够通过使用标准的C、C++和FROTRAN源代码进行编程。而为MIC编写的这些源代码同样可以应用和运行在标准的至强处理器平台之上。

  MIC集群三部曲之第二部：MIC架构集群设计

  在掌握了应用特点的基础上，浪潮为中国石化石油物探技术研究院设计构建了一套140CPU节点+28MIC节点的异构节点系统，计算能力高达127万亿次。

  在计算节点方面，浪潮采用了NX5440服务器和倚天NF5288服务器。NX5440服务器是浪潮刀片服务器中的旗舰产品，是业界最高密度的刀片服务器，具备独有的散热体系结构设计，可以大幅度降低使用功耗。而浪潮倚天NF5288服务器是企业级异构应用旗舰产品，最高可支持4块MIC加速卡，并且支持4块MIC加速卡在300W功耗下同时进行，具备高密度和低功耗的特点。同时倚天NF5288服务器还支持9个PCIE 3.0插槽，具备良好的扩展性。

  另外，浪潮还为中国石化石油物探技术研究院配置了浪潮Cluster Engine高性能计算服务平台。Cluster Engine由浪潮自主开发，集成了作业管理、监控、报警、文件管理、记账统计、物理视图等模块，通过这些功能模板间的协作，可以为用户提供简单、便捷且能够完整调度CPU+MIC异构集群的完整集群平台，降低了管理整个集群平台的难度及成本。

  MIC集群三部曲之第三部：开发MIC应用优化

  除了应用分析和设计构建CPU+MIC架构集群之外，浪潮还与中国石化石油物探技术研究院、英特尔三方联合成立项目组，研究和开发针对MIC异构架构的PSTM应用的开发和移植。

  在开发过程中，三方形成了非常详细的分工，中国石化石油物探技术研究院重点提供PSTM算法、数据划分设计、数据测试等支持，浪潮实现从CPU到MIC的平台的代码迁移与优化及PSTM MIC集群版本框架设计工作，英特尔给予MIC技术支撑与项目管理工作。

  最终，三方在既定的时间内合作完成单MIC节点，2CPU+2MICs协同计算PSTM MIC版本，经过实际数据测试，MIC单节点版本性能是原单节点CPU并行版本性能的近5倍。

  在上述的方案中，应用分析、集群设计和应用开发组成的三部曲实现了成本和性能之间的平衡。浪潮集团高性能计算总经理刘军介绍：“构建MIC架构集群的关键是将应用优化和系统构建结合起来。浪潮不仅为用户构建MIC架构的集群，更重要的是我们还为客户开发和优化专门针对MIC架构的应用，省去用户面对新系统架构时的后顾之忧。”