天极传媒:
天极网
比特网
IT专家网
52PK游戏网
极客修
全国分站

北京上海广州深港南京福建沈阳成都杭州西安长春重庆大庆合肥惠州青岛郑州泰州厦门淄博天津无锡哈尔滨

产品
  • 网页
  • 产品
  • 图片
  • 报价
  • 下载
全高清投影机 净化器 4K电视曲面电视小家电滚筒洗衣机
您现在的位置: 天极网 > 服务器>新闻>当科学研究变成大数据问题

当科学研究变成大数据问题 曙光做了这些事

天极网服务器频道 2016. 11. 11 作者:李祥敬 责编:李祥敬
我要吐槽

责任编辑

  “科学大数据的时代已经来临。”——中科曙光

  大数据时代,各行各业正在面临科学研究产业升级和技术革新。而大数据技术给科学研究带来的影响更为深远——科学发现将越来越依赖数据密集型计算来驱动。今天,大数据研究已经成为继理论、实验和计算模拟之后的第四种科学范式,在新型材料、生物基因、精准医学、地球科学、生态环境、卫星遥感、天文、空间地理、高能物理、现代农业等诸多领域受到广大科研人员的高度重视。

当科学研究变成大数据问题 曙光做了这些事

  针对这样的情况,在2016年全国高性能计算学术年会(HPC China 2016)上,中科曙光发布了全球首个“科学大数据引擎”,旨在帮助政府部门、科研院所、教育机构、行业技术创新中心、大型企业研发部门等用户向大数据研究方面转型,促进数据密集型计算架构在各行业领域的创新发展和深入应用。

  曙光为什么特别关注科学大数据?

  2015年8月底,国务院就发布了《促进大数据发展行动纲要》,明确提出要发展科学大数据,以实现科学数据的开放共享和应用服务。今年7月,《十三五国家科技创新规划》进一步明确了多个重点领域的大数据发展规划,比如在人工智能方面,要“重点发展大数据驱动的类人智能技术方法”;在材料基因工程方面,要研发“材料大数据”等四大关键技术;在先进高效生物技术方面,要加快推进“生物大数据”等生命科学前沿关键技术突破;在生态环保方面,要开发“生态环境大数据”应用技术;在精准医学方面,要建立“国家生物医学大数据共享平台”;在空天探测开发和利用方面,开展“多源多尺度时空大数据分析与地球系统模拟”等核心关键技术研究及示范应用。

当科学研究变成大数据问题 曙光做了这些事

  “科学研究正变成一个又一个的大数据问题。”曙光公司高性能产品事业部总工程师戴荣举例说,“千人基因组计划”每月产生1万亿条碱基序列信息,我国30多个在轨民用航天平台每年有超过3PB遥感卫星数据,FAST射电望远镜的数据产出速度是6000亿条记录/年,大型强子对撞机实验每年产生15PB原始数据……“未来,基于对科学大数据的处理和分析将成为发现新知识的基本特征。”

  曙光为什么特别关注科学大数据?戴荣说,这跟曙光自己的基因有关系,曙光一直在进行高性能计算的研发,而高性能计算的发展和自然科学的研究是紧密相连的。随着大数据时代的来临,数据密集型科学发现成为新的趋势,科学大数据的产生和出现越来越得到社会的认可。

  对于科学大数据与传统大数据之间的区别,戴荣表示,传统大数据更多是人文大数据或者互联网大数据。科学大数据更多还是集中在自然科学领域,从来源来看,一方面是通过高性能计算产生新的科学计算数据,另一方面是科研仪器,包括天文观测、遥感卫星等等都是新的获取数据的手段。

  虽然科学大数据已经成为共识,但是科学大数据面临的问题和挑战也很多。多数科研项目的数据量非常巨大并快速变化,且往往是分布、异构的,传统的数据管理模式已不能满足需要;此外对科学大数据的计算包括了从数据获取、管理到分析、可视化的全过程,如何从科学大数据资源转化成科研成果成为首要解决的问题。

  为此,基于大数据时代计算模式走向模式的趋势,如何把高性能计算的模式、大数据的计算模式以及新型的人工智能计算的模式,融入到一个计算平台里面成为曙光要做的事情。

  “要解决这些问题,需要这个计算平台解决以下几个问题:一个是存得下,面对海量的科学大数据,数据存储很重要;一个是管得好,数据不光要存储下来,还需要进行数据分析和计算等;三是如何把大数据进行可视化呈现;四是对上层业务进行支撑的应用平台。”戴荣说。

  中科曙光科学大数据引擎亮相

  正是基于以上思考,中科曙光推出了科学大数据引擎,这个科学大数据引擎部署着曙光全系列数据计算技术及服务产品,主要由5个引擎组件构成,分别是:针对海量非结构化数据的曙光ParaStor并行存储系统、类型丰富的曙光高性能计算平台、最大化提升系统整体效能的曙光深度学习计算平台、高效敏捷的曙光XData大数据处理平台以及能覆盖科学大数据中心全生命周期的曙光EasyOP运维管理平台。

  “科学大数据引擎融合了高性能计算、云计算、认知计算、大数据分析等多种模式,是高性能计算与数据分析挖掘的有机结合,可为科研工作者提供一个实现科学数据存储、分析和管理的一体化解决方案。”戴荣评价说。 曙光的科学大数据引擎拥有以下六个亮点特征:

  专为科学数据处理流程进行优化,提供“计算、存储、分析、运维”一体化强劲性能;

  基于曙光独特的超融合架构,灵活支持高性能计算、大数据计算、深度学习计算等多种计算模式;

  超强弹性设计,最高支持E级超算系统立体扩展;

  可构建EB级单一存储空间,是经过验证的国内最大存储系统;

  支持PB级数据处理能力,可实现亿级数据库毫秒级极速查询分析;

  可为上万节点提供7×24小时在线、移动、实时自动监控服务。

  “科学大数据引擎专门为科学大数据处理进行优化,能够提供流水线式的一体化平台,聚合了高性能计算、大数据计算、深度学习计算等等多种新的计算模式。”戴荣说。

  可以看到,曙光科学大数据引擎一方面基于原有的成果和产品,比如高性能计算、存储平台等,另一方面又融合了新技术,比如深度学习等。通过与行业解决方案更好地融合,从而为科学大数据提供有力的支撑。

  虽然中科曙光“科学大数据引擎”才正式发布,但曙光在多年的HPC技术服务工作中已经形成了一套全流程、一体化数据处理技术体系,目前已经在多个大科学项目上开展了应用。

当科学研究变成大数据问题 曙光做了这些事

  部署在贵州黔东南地区的世界最大口径单体射电望远镜FAST,每天要产生5TB左右的数据,数据需要保留10年以上。曙光部署的超算系统就将承担起海量天文数据整合分析、天体分析和挖掘、天文大数据的可视化等工作,推动天文科学研究和探索由假设驱动向数据驱动转变。

  此外,曙光于去年与中科院大气物理所联合部署的“地球数值模拟装置”原型系统,也将为地球科学大数据充当“计算处理引擎”;今年还携手中科星图、中科三清等分别发展空天大数据应用和生态环境大数据应用。

  结语

  目前来看,科学大数据在中国的应用发展还处于起步阶段,在推动大科学研究、促进各行业领域科学发现和技术创新方面有着非常大的潜力。中科曙光此时推出科学大数据引擎可谓是恰逢其时,相信科学大数据引擎未来会成为从科学数据到科学发现的桥梁。

作者:李祥敬责任编辑:李祥敬)
请关注天极网天极新媒体 最酷科技资讯
扫码赢大奖
评论
* 网友发言均非本站立场,本站不在评论栏推荐任何网店、经销商,谨防上当受骗!
办公软件IT新闻整机