浪潮王柏华:整合组织数据与互联网数据
- +1 你赞过了
【天极网服务器频道专稿】2014年10月23日,浪潮集团在北京举行Inspur World 2014浪潮技术与应用峰会,来自全国的近3000名政府、企业和垂直行业的客户,以及技术专家与业内人士参加了本次盛会。该峰会是浪潮集团两年一度的前瞻性技术盛会。通过此次技术峰会与会者共议云计算、大数据、云数据中心等热点话题,分享云计算与大数据实践经验,碰撞前沿技术观点,共同探讨大数据时代的应对之道。
浪潮集团执总裁、首席技术官王柏华做了《Back to the Data》的主题演讲,在大数据时代下,浪潮集团全新发布了将组织数据与互联网数据整合的大数据战略,并将通过大数据平台、大数据服务和大数据应用三大方向共同推进浪潮大数据战略的落地。王柏华表示,传统数据的整合是正在进行的必由之路,而大数据的到来使这种摇摇晃晃的步伐变得坚定起来。从数据价值归属来看,大数据可以进一步归纳为组织数据和互联网数据,只有将组织数据和互联网数据两者整合才能创造更大价值。
大数据时代,数据来源多种多样,主要分为交易数据、交互数据、传感数据。即为ERP、电子商务、POS机等交易工具带来的交易数据,微信、微博、即时通信等社交媒体带来的交互数据,以及GPS、RFID、视频监控等物联网设备带来的传感数据。在实际应用中,组织数据与互联网数据尚未有效整合,在数据处理中,杂乱的数据、海量的数据,沉睡的数据严重地影响了数据的有效利用。面对这些挑战,人们急需综合的大数据平台对各种数据进行有效处理。
针对组织数据和互联网数据两大类型,浪潮推出了云海IOP平台和云海卓数平台。云海IOP是开放式大数据处理平台,能够对组织内部数据进行整合、分析,并提供创新应用开发平台;云海卓数平台采集海量互联网数据,并淬炼其中有价值的信息。
浪潮云海IOP大数据开放平台总体架构涵盖大数据治理服务、大数据计算服务、大数据开放服务三大方向,并通过服务的方式为应用创新提供支撑。其中,大数据治理服务已经具备数据采集、数据定义、数据标签、数据关联等功能;大数据计算服务能够支持分布式计算、流式计算、图计算、内存计算等计算模式;大数据开放服务则可以为应用开发者提供可视化、搜索、比对、访问、存储等服务。
从技术角度看,浪潮云海IOP平台在对组织数据和互联网数据经过数据治理后,可存储在关系型数据库、NoSQL数据库、内存数据库、分布式文件系统等各类数据库中,平台具备百万级高并发访问,支撑PB级数据处理弹性扩展,以及采用开放平台技术提供通用服务等特点,已广泛应用在警务、税务、工商、食药监、教育等领域。
当前,数据已经成为真正有价值的资产。政府内部的服务信息,企业经营的交易信息、互联网上的商品信息,虚拟社会中人与人的交互信息,现实世界中人与物的位置信息、视频信息等等,数据量已经远远超过人类社会以前数据产生量的总和,实时性要求也对计算能力提出了更高的要求。如何整合这些数据资产,使其为政府治理、企业决策乃至个人生活服务,是大数据的核心价值。为了进一步整合组织数据与互联网数据,浪潮还推出专门针对互联网开放数据的浪潮Dro Data(卓数)数据服务平台。Dro Data互联网数据服务,通过采集互联网公开网页,建立原始网页镜像,并对网页内容进行分词、分类、存储等处理,建立了丰富的数据资源目录和海量的可用数据, 并将互联网数据分为19个大类,进行分类整理。目前,浪潮已在哈尔滨、济南、长治、绵阳、云南等地建立了基于云计算的互联网数据采集中心,截止到9月底,已采集超过7.5PB的互联网数据,并可对外提供各类数据服务。
现在,浪潮的大数据平台和服务已经通过服务客户应用于各种领域,在组织数据和互联网数据的整合中,为社会提供更多价值。比如,对大数据的处理,也是公安云性能提升的重点。以山东警务云为例,浪潮在帮助济南公安局在搭建云数据中心的基础上构建了大数据平台,以开展行为轨迹分析、社会关系分析、生物特征识别、音视频识别、银行电信诈骗行为分析、舆情分析等多种大数据研判手段的应用,为指挥决策、各警种情报分析、研判提供支持,做到围绕治安焦点能够快速精确定位、及时全面掌握信息、科学指挥调度警力和社会安保力量迅速解决问题。
警务云通过整合公安内外部信息资源,全面提升数据共享和信息联动运转效率,通过跨区域、跨部门、全警种联动、多信息轨迹即时跟踪和信息共享,为公安机关在警务民生、多侦联动、情报分析、社会治理等方面提供了强有力的信息化支撑平台。警务云平台通过内置实战要素和技战法的警务千度,集成1.5亿人像库,以及旅店业、网吧、铁路、民航、交通卡扣等数据,使单项信息拓展至28类321项,是传统搜索引擎信息量的10倍,搜索效率提升了100倍,在目前授权9700名民警使用的情况下,日均查询量高达12万次,带动后台4亿次搜索、百亿次运算。
大数据的应用打破了公安工作传统的发展路径,为济南市公安局警务运作、公安执法、队伍管理等方面开辟了新的发展路径。通过云平台对数据进行控制,利用对大数据的监控进行挖掘,实现人像、指纹比对、卡口监控等数据融合处理,为领导指挥决策、社会舆情分析提供信息研判的依据,进一步提升了警务工作能力。
综上所述,浪潮云海 IOP 大数据开放平台、浪潮Dro Data(卓数)互联网数据服务、共同构成了浪潮大数据产业链,同时浪潮将支持合作伙伴开发创新大数据应用,共同打造大数据产业生态圈。