CERN如何应对未来EB级的高能物理数据?

  欧洲核子研究中心(CERN)成立于1954年，是世界上最大的粒子物理学实验室，主要业务是探索宇宙本源，促进人类进步，培养下一代科技接班人。CERN有22个成员国，主要来自欧洲，合作伙伴遍布全球机构和院校，大约1.2万来自70国家和105不同国籍的科学家来到CERN从事研究, 这是世界上一半的粒子物理学家。2012年，闻名世界的希格斯玻色子(俗称“上帝粒子”)就是在CERN的大型强子对撞机(LHC，Large Hadron Collider)实验中发现的。

  近日，CERN IT部门的资源管理团队负责人Jan van Eldik在2017华为全联接大会(HUAWEI CONNECT 2017)上，介绍了CERN正在采用的一些方法，应对未来其实验产生的快速增长的数据洪流。

 图1 Jan van Eldik 在Huawei Connect 2017上发言

  海量数据的源头

  CERN拥有大型强子对撞机LHC——世界上最大的粒子加速器。LHC是一个全长27公里的环(如下图)，位于瑞士日内瓦近郊，贯穿瑞法边境。LHC把环超导磁体安装在地下100米，创造出比地球磁场强10万倍以上的磁场，在抽成真空的磁体管道里，粒子被加速到接近光速的水平，在4个大型实验的粒子探测器里进行碰撞：ATLAS, CMS, ALICE, LHCb。

  在大型强子对撞机实验的探测器中，每秒可进行多达10亿次的粒子对撞，我们不可能读出所有这些事件，因此“Trigger(触发)”系统用于层层过滤数据，并选择那些对进一步分析有潜在价值的事件。

  这些操作产生的数据随后通过全球LHC计算网格(WLCG，World LHC Computing Grid)的系统从CERN数据中心分发到42个国家的170个计算中心。在撰写本文时，CERN数据中心已经在磁带上存储了超过200 PB的数据，预计每月增加PB级的新数据。

 图2. LHC与其试验场景

  为什么选择公有云

  自2013年以来，CERN部署了一个基于OpenStack的私有云，用于管理位于瑞士梅兰(Meyrin)的主数据中心资源，以及位于匈牙利布达佩斯的远程扩展数据中心。今天，这朵私有云包括大约10,000台双CPU服务器，约300,000个处理器内核，服务于约3600个项目，包括高密度计算，物理数据分析和虚拟服务配置。

  计划升级LHC及在CERN进行的更多实验，意味着对计算和存储的需求将大大增加。例如，当LHC的后继者，高亮度LHC在2026年上线的时候，ATLAS和CMS的实验期望收集和重建的碰撞事件比现在多5到10倍。使用当前的软件，硬件和分析技术，所需的计算能力预计比现在高出大约50-100倍。到那时，数据存储需求预计将达到EB级(1EB=109G)。

  简单地按ICT新增资源量来等比增加预算，以缩小“资源缺口”是不现实的。为确保资源利用的最大效率，探索新技术和方法至关重要，目前正在研究的一种方法是采用混合模式，在内部资源不够的情况下，CERN可以使用商用的云服务资源来动态扩展其内部资源。

  携手Open Telecom Cloud 来应对未来挑战

  目前CERN正在通过Helix Nebula(“螺旋星云”)项目来进行公有云试点。今年早些时候，三家公司通过公开竞标被选中进入了“原型阶段”。

  其中一家就是基于OTC(Open Telekom Cloud)提供解决方案。OTC是由德国电信和华为共同构建的公共云平台，华为提供基于OpenStack的架构并支持相关的解决方案。在“原型开发”阶段，OTC已经在科学计算领域向CERN交付了HPC公共云解决方案，部署了数千个HPC节点，并分析了高能粒子碰撞的结果。

  “OTC最大的优点是基于OpenStack，架构与CERN现有的私有云相同，这意味着它可以灵活动态地扩展CERN的内部资源。”Eldik说。

  CERN与华为都是OpenStack开源项目的贡献者，同时，华为还是OpenStack基金会的铂金会员，未来CERN与华为将在OpenStack领域进行更多的深度技术合作

  “通过CERN openlab项目，我们已经开始共同努力改进OpenStack，尤其是在大规模运行OpenStack的时候......这将允许OpenStack社区的每个人都从这些社区的努力中受益，我对这些特别的项目非常兴奋，我期待在未来几年看到它们在CERN的云中开花结果，“Eldik先生补充说。