大数据应用案例：上海移动信令存储系统

  1. 用户需求

  随着通讯技术的不断发展，通信系统的规模和数据量呈现爆炸式的增长。对海量通信数据的统计分析和挖掘成为目前通信数据分析和挖掘的技术难题。

  业务系统约有56张表，性能要求为7GB/分钟, 4000万条记录/分钟，其中最大的一张表每分钟写入的数据量约为800万条记录，这些记录所需的存储容量约为1800MB，系统整体存储容量需求约为900TB每年。应用的主要内容包括数据生成，数据加载和数据查询。

  2. 解决方案

  测试系统包含4台数据节点和4台服务节点。4台数据库节点采用曙光A620服务器;4台服务节点采用惠普服务器，分别为： 2台加载服务节点和2台查询服务节点， 其中1台加载节点兼服务管理，1台查询节点兼配置管理。图2-1列出了测试环境的硬件拓扑图。所有服务器采用千兆以太网进行互连。

  图2-1 硬件结构图

  采用4台数据库节点的型号为曙光A620服务器，采用RAID控制器，配置有8块(最多可配12块)2TB的SATA盘。

  每个数据库节点将8块SATA磁盘配置成Raid5，其中划分一个120GB的逻辑分区作为操作系统分区，安装CentOS 6.2操作系统，余下的为数据分区。将数据分区划分为1个大的分区，挂载在/mnt/raid目录下。为了达到数据读写的负载均衡，数据库的控制文件，日志文件和数据文件均分布在这盘阵分区上(底层则分布到多个磁盘设备上)。

  3. 应用效果

  3.1. 加载效果

  客户端程序对数据文件进行解析并采用DRAC加载接口发送给DRAC的加载服务器，由加载服务器批量分发写入到数据库中。数据加载测试的性能数据如下：

  对CDR_LU表进行持续的数据加载测试，整个系统的聚合写入的性能稳定在约26.7万条/秒。

  由于采用无共享的结构，因此DRAC系统的聚合加载性能和数据库节点数成正比。各个表的数据采用Round-Robin的方式平均分布到底层所有的数据库节点，保证各节点数据量的均衡。

  3.2. 查询效果

  查询采用DRAC查询程序，分别对过滤类，统计类和关联查询等8类典型的SQL语句进行了大量的测试，并进行了单客户端和多客户端的查询测试。查询测试的结论如下。

  单客户端查询时，查询的平均响应时间均在2秒内完成。

  采用10个客户端查询时，查询的平均响应时间略有延长，从测试结果来看，绝大部分并发查询能够在5秒以内完成。多用户并发查询的性能已远远超过应用系统目前数据量和查询的需求。

  对于关联查询，可采用DRAC的数据分区策略进行优化，使得绝大部分的关联查询的响应时间也能在5秒内完成。该查询结果满足用户对关联查询业务的性能需求。