国内外厂商大数据一体机产品盘点

  大数据成为趋势意味着巨大的市场商业机会。大数据特性可以用数据量大Volume、数据种类多样Variety、要求实时性强Velocity和蕴藏商业价值大Value，也就是4个V来概括。这4个V也对数据处理和存储提出了新的要求。

  一体机是指通过标准化的架构集成了服务器、存储、网络、软件等配置，减化了数据中心基础设施部署和运维管理的复杂性的一体化设备。大数据一体机（Big Data Appliance）即通过一体机的产品形态，解决了大数据时代基础设施的持续扩展问题、数据处理的个性化和一体化需求问题、海量数据的存储成本问题。

  大数据一体机（Big Data Appliance）是一种专为大量数据的分析处理而设计的软、硬件结合的产品，由一组集成的服务器、存储设备、操作系统、数据库管理系统以及一些为数据查询、处理、分析用途而特别预先安装及优化的软件组成，为中等至大型的数据仓库市场(通常数据量在TB至PB级别)提供解决方案。下面我们简单盘点一下国内外厂商的大数据产品和解决方案。

   

  IBM一体化方案

  PureData大数据专家集成系统属于IBM专家集成系统PureSystem家族中的组成部分，它继承了PureSystems家族的优点，整合了基础架构、统一平台管理和专家知识体系。PureData拥有三款针对不同细分领域的产品：PureData System for Transaction、PureData System for Analytics和PureData System for Opertional Analytics，这三款产品分别面向OLTP、OLAP 和大数据分析操作进行了针对性的性能优化与功能定制。

  PureData System for Transactions系统主要用于处理各种大数据的联机事务处理(OLTP)以及商业分析任务。例如，在交易处理方面，PureData可以在单一 系统整合多种业务数据库，优化大量交易处理。PureData集成了基于IBM DB2数据库的PureScale集群技术。

  另外一种PureData主要用于商业分析应用，PureData System for Operational Analytics系统能够对数以千计的交易进行实时分析，例如金融交易中的欺诈监测和趋势发现。

  PureData System for Analytics则基于IBM在2010年收购的Netezza数据仓库应用，该系统能够处理结构化和非结构化数据。

   

  甲骨文:Exadata数据库一体机

  甲骨文在2008年推出了集成了硬件、存储和软件的大数据一体机Exadata，能够与甲骨文Database 11g、Oracle Exadata数据库云服务器，以及针对商业智能应用的新的Oracle Exalytics商业智能云服务器一起协同工作。

  第五代数据库云服务器Oracle Exadata数据库云服务器X4已经推出。最新版云服务器的功能和性能得到了全面提升，并专门针对OLTP、数据库即服务和数据仓库提高了性能和服务质量。该产品提供了卓越的应用性能，延长了运行时间，提高了效率，可帮助客户简化系统运行，并充分利用对业务有关键影响的数据。

  通过整合更大的物理闪存以及独特的超高速闪存压缩，闪存容量增大为原来的4倍，因此面向OLTP的工作负载的运行速度得到了极大提高。现在，单机架Oracle Exadata的闪存能够支持88TB用户数据，如此大的容量已经足够使绝大多数OLTP数据库在闪存中得到完整保存。对OLTP应用至关重要的随机I/O速率也得到了近100%的提升，即使在全面启动闪存压缩时，8K数据库也能达到266万次读和196万次写的高性能。Exadata数据库云服务器X4能够以每秒百万次I/O的速率执行压缩，打破了长久以来必须在高性能和高效率之间折中的僵局。单机架Oracle Exadata的数据吞吐量为100GB/s，从而大幅高于其他全闪存阵列的吞吐量，同时保持了低成本磁盘分层的优势。

  全新的闪存高速缓存算法提高了数据仓库工作负载的性能，这些算法专门用于数据仓库中常见的表和分区扫描工作负载。现在，大于闪存容量的表会自动在闪存中缓存一部分，而数据则同时从闪存和磁盘中读取，以提高吞吐量。

  Oracle Exadata达到极致的性能和容量使上百个数据库能够采用数据库即服务架构，轻松合并到单机架中，从而极大地降低了成本，提高了敏捷性。为进一步确保整合后的数据库系统可以提供一致和可预测的性能，Oracle Exadata现在还具备独特的功能，能够在请求从数据库服务器、网络适配器和网络交换机到存储系统以及沿着这一路径返回时透明地排定请求的优先顺序。Oracle Exadata采用了最新一代InfiniBand网络协议，可确保报告、批处理、备份等密集占用网络资源的工作负载不会妨碍对时间响应敏感的交互式工作负载，导致其出现延迟。

   

  EMC：Greenplum大数据一体机

  EMC对Greenplum的收购带动Greenplum大数据一体机的出现。Greenplum数据库可以运行在普通的硬件服务器上，利用大量的并行处理来同时查询大数据集，无论对于虚拟化，云还是大数据分析，这都是一个非常重要的前提。目前Greenplum的数据库产品包括传统的Greenplum Database和Greenplum HD(Hadoop)，前者用来应对企业结构化数据，后者可以将非结构化数据导入Greenplum中进行存储和分析。

  Greenplum Chorus与Greenplum Database以及Greenplum HD共同组成了EMC的统一大数据分析平台UAP。Greenplum Chorus还是一个开放的平台，可以对第三方的分析工具进行整合，用户可以使用其他产品在Chorus的协作平台上进行分析。

   

  浪潮云海大数据一体机

  浪潮云海大数据一体机集成了计算单元、存储单元、通讯单元、管理单元等核心模块，能够覆盖数据的存储、处理、展现等所有技术环节。浪潮集团系统软件总监、云计算产品部总经理张东介绍，新兴的大数据技术是传统数据处理技术的全面革新，大数据产业面临技术流派众多、缺乏协调的局面，整合性产品较少，导致用户在部署、业务开发和运维等环节存在许多问题，这些问题限制了大数据的应用，成为制约产业发展的瓶颈。因而，浪潮提供的是软硬一体化的整体方案，同时提供全环节服务保障，解决用户在应用过程中面临的软硬件部署、二次开发等实际问题，帮助用户实现应用。

  云海大数据一体机经过全局性的优化，性能、可用性、效率等关键技术指标方面有了大幅提升。浪潮采用硬件加速技术，设计了专门的FPGA模块固化特定算法，并集成多级缓存，数据排序性能提高了50%以上;系统任务调度策略是影响系统响应及时性的重要技术，浪潮开发了动态调整任务执行模块，有效减少了慢任务数量，任务执行时间平均缩短16%;副本数量和存储效率是难以调和的矛盾，浪潮引入Reed-Solomon算法，优化分布式散列数据布局，满足文件高并发和高带宽双重需求同时平衡数据冗余度，所设计的两副本加编码的方式相对三副本最大可实现30%空间节省。

  目前，浪潮云海大数据一体机面向视频等重载应用、商业智能分析应用、海量并发的轻量级线程类应用，可提供三个系列的个性化产品，同时为客户提供基于飞腾处理器、浪潮K-UNIX系统等国产技术的全国产方案。浪潮集团高级副总裁王恩东表示，数据处理将走向专业化，具体表现就是方案产品化、产品系列化和应用细分化，浪潮大数据产品线将随着用户应用水平的提高而不断完善。

   

  曙光XData大数据一体机

  曙光XData大数据一体机提供软硬一体的优化技术，能够更好的提升应用的性能，包括：

  分级存储：XData支持分级存储，以降低系统的总体持有成本。即按照数据量和数据的访问频率，分为在线，离线和备份三个存储级别，并支持数据在各级之间根据策略进行迁移。

  并行处理架构：XData采用无共享的结构，提供高速的数据写入能力。查询语句分解成为在多个数据模块并行执行的查询任务流，所有的查询处理都在数据节点上并行的执行，充分利用无共享结构的计算并行度。提供任务断点执行功能，发生意外情况时，系统启动后继续执行未完成的任务。

  一体化执行框架：XData提供类JDBC访问接口：XJDBC，提供XJDBC/MapReduce混合执行框架，提供跨平台的兼容性，以及提供较XJDBC访问接口更高的性能的专用编程接口。

  复杂数据类型关联分析：XData支持大表关联和大表嵌套类等复杂的查询语句的处理。多个数据节点上的并行任务流，提高复杂查询的处理性能。支持用户自定义的并行查询任务流，可以支持任意复杂的结构化/非结构化数据处理语义

  高可扩展性：XData对数据进行细粒度划分，无需进行复杂规划，任意规模的扩展都能够达到数据分布均衡。提供细粒度数据锁，提高数据访问并发度，减小单个查询操作的无效IO，提高整体处理效率。

  图形化监控管理：XData提供基于Web的图形化的管理工具，简化了系统管理员对于大数据系统的管理和维护工作，使得管理一套含有几百个节点的XData和管理一套10个节点的XData的工作量接近。