浪潮AS13000助力国家海洋局预见海洋气象
- +1 你赞过了
导语:人类对地球气候的探索已经进入全新时代,大数据正在帮助研究人员存储、分析、处理气候数据,上演“预见未来”的壮举。在此趋势下,国家海洋局某分局(以下简称“某分局”)为应对大数据的“4V”挑战,采用浪潮软件定义存储AS13000,利用浪潮海量存储系统平台的高性能、高扩展、高可靠的“三高”特性,推动云计算、大数据应用的落地进程。
海量存储,造就气候大数据管理的“大不同”
海洋气象预报事业关系国计民生的各个方面,再加上近年来极端天气和极端气候频发、自然灾害增多,这对海洋气象及相关行业的检测预报业务提出了更高的需求。
“对负责海域进行数值天气预报,实现精细化、准确的预测,减少海洋灾害带来的经济损失是我局目前的一项主要任务。但由于数值预报净度受到很多因素的制约,如实测资料、模式的参数化方案、计算速度、存储方式等,其复杂性对大规模数据管理工作提出了挑战,尤其是对海量数据存储系统的要求很高,需要满足气象行业大数据应用的特殊性。”某分局技术负责人介绍了存储系统的项目需求,并且重点提到了气象行业的“特殊性”。
海洋气象预报为沿海生产和生活提供便捷和保障
据了解,数值天气预报是指根据流体(大气或海洋)的物理和运动特性,在一定的初值和边值条件下,通过大型计算机进行数值计算,求解描写流体演变过程的流体力学和热力学的控制方程组,预测未来一定时段的流体运动状态和天气现象的方法。其数据计算和存储的特殊性可以表现为以下三点:
第一,气象过程模拟涉及海量小文件的处理,对存储系统IO性能和带宽要求很高,一般使用分布式海量存储系统,否则很难有较好的加速比。
第二,气象监测系统会产生大量的观测数据,包括海洋环境监测、卫星遥感监测、志愿船监测、海洋环境监测 、海洋浮标监测等站点产生的海量数据和图片,这就要求存储系统具备可扩展的海量存储空间。
第三,气象数据关乎国计民生,如果气象信息不能及时发布,将会给海洋产业、航海和沿海人民的生产生活带来巨大影响,因此气象过程模拟对存储系统的稳定性和数据存储的安全性有着极高的要求。
针对以上需求和面向未来应用的挑战,某分局对海量存储系统提出了具体要求,这包括:符合高性能计算环境下的性能需要,产品具备极高的安全性和可靠性保障,另外还应采用先进的体系结构,在业务系统和资源管理上更加灵活,支持云计算和大数据开发应用。
高性能、大容量、高可靠,AS13000给海量气象数据“安家”
为满足某分局海量数据存储的高需求,浪潮工程师与相关技术人员对方案细节反复沟通,最终确定了以浪潮软件定义存储AS13000为核心的整体解决方案。其中,基于对业务系统的特征分析和在气象、海洋领域多年的成功经验,浪潮AS13000完全满足了上文提到的“特殊性”,并具有如下优势:
浪潮软件定义存储AS13000
首先,高性能。浪潮海量存储解决方案采用独有的高性能集群架构设计,可提供极高的带宽,其性能、容量随节点数量增加而线性增加,带宽最高达到500GB。本次配置6个节点,提供200TB的高性能SAS硬盘容量,采用先进的56Gp/s IB接口提供实际大于10GB/s的聚合带宽,充分满足气象模式高性能计算节点的存储需求。
其次,高扩展。AS13000是基于横向扩展(Scale-Out)架构的EB级海量存储系统,系统可扩展至5000个节点,最大支持480PB容量和数十亿级别的文件数量。AS13000系统性能随存储容量增加而线性增长,支持在线扩展,无需中断业务运行而添加存储节点来满足高性能计算系统数据的容量和性能增长需求。
再次,高可靠。AS13000能够做到数据复制多份实现跨节点冗余保护,具备更高的可靠性,可以根据不同数据和目录设置不同数量的副本,并支持在线调整副本,当节点出现异常时,系统内剩余节点会并行执行数据重新分布和复制,避免了单点故障。另外,浪潮自主研发的海量存储系统平台,也符合了我国气候领域用户对安全可控技术的采购要求。
在项目实施之后,某分局业务人员和IT技术人员都对实际运行效果十分满意,项目负责人表示:“浪潮整体解决方案全盘考虑到了并行处理、稳定可靠、灵活部署、成本节约等多个方面的要求。AS13000具备了高性能、高扩展、高可靠的‘三高’特点,让整体平台的响应速度和数据带宽都达到了设计目标,可以长时间承受气象业务极高的访问频率和访问速度。现在,拥有了安全可靠的数据大后方,数值天气预报IT基础架构的持续性和稳定性更有保障。”
软件定义存储 助力气象精准预测
大数据应用是此项目建设的重点之一,势必要求存储系统的架构具备先进性,那么浪潮AS13000又是如何应对的呢?
数值天气预报分布图
据介绍,浪潮软件定义存储解决方案可以通过软件定义存储引擎来承载各种高级软件功能,进而实现资源的合理利用和调配。AS13000支持分布式架构,可以灵活的配置硬件规格,强大的软件功能可以部署到机架、刀片、高密度、整机柜、塔式等服务器平台上,通过软件系统实现硬件的统一管理和存储资源整合,极大的提升了某分局大数据应用系统的效率。
如今,大数据技术的应用范畴非常广泛,在气象气候领域更是前途无量。“软件定义存储大势所趋,它是大数据应用的重要一环。AS13000运行后,不仅可以存储我们分局的大规模历史数据,而且可以快速处理即时收集的气象数据。以前,我们很难对海量数据进行有效分析,但现在借助以AS13000的海量存储整体解决方案使得揭示海洋气候变化成为可能。”该负责人对大数据“预见”海洋气象充满了信心。
最新资讯
热门视频
新品评测