浪潮携手奇虎360深度学习提速网络流量识别
- +1 你赞过了
【天极网服务器频道】近日,浪潮与奇虎360开展一项合作计划,利用GPU加速技术优化神经网络算法,为企业网络安全提供更加强大的流量特征分析能力并期望最终实现智能化的流量识别手段。
流量识别是网络安全的基础,过去传统的流量识别是采用人工分析方法为主,这种方法耗时且会受到个人经验和能力的影响。目前,奇虎360的企业安全部门每天面对着几亿条记录数据量,传统的人工分析手段已无法胜任互联网数据速度激增的局面,这也是奇虎360将深度学习的人工神经网络算法引入到安全领域的动机所在。
人工神经网络系统是指利用工程技术手段模拟人脑神经网络的结构和功能的一种技术系统,它是一种大规模并行的非线性动力学系统。神经网络以其独特的结构和处理信息的方法,在许多实际应用领域中取得了显著的成效,如图像处理、信号处理、模式识别、机器人控制、协议分析等。
经过测试,奇虎360发现流量识别与常用的深度学习图像识别在神经网络中的编码范围是相同的,这也进一步验证了流量识别可以采用神经网络系统。
不过,机器在学习的过程需要对大量训练数据进行计算,十分耗时。造成这一尴尬局面的原因在于CPU串行程序执行时间很长,往往只能进行小规模的计算,这难以应对互联网每天产生的大量数据。在这种情况下,使用GPU协处理器对串行程序进行并行优化,可以大幅提高计算的效率,从而满足神经网络在实际中的需求。
明确了技术努力的方向之后,奇虎360与浪潮集团进行合作,共同成立专门联合项目组以找到系统处理速度的瓶颈所在。浪潮集团在异构计算应用优化中具有非常丰富的项目经验,并且对互联网深度学习的相关算法十分熟悉,拥有一支专业深度学习应用开发和异构应用优化的团队,已经为国内多个互联网企业提供了应用优化服务。
在浪潮集团的参与下与奇虎360制订了从硬件到软件的一体化安全分析平台设计方案,综合利用GPU计算设备、内存、磁盘、网络等系统资源,最大化提升软件整体效能。
最终,通过双方的共同努力,原串行版本程序运行3000样本的时间超过10分钟,优化后的并行版本程序在单节点单GPU条件下运行时间缩短到近7秒。训练24万样本的时间单节点4GPU相对于单GPU加速3倍,最终单机4GPU卡程序性能较原始版本加速270倍,大幅降低了计算时间,同时优化后的程序能够在小内存的硬件条件下,处理大规模的数据。
奇虎360企业安全相关负责人表示,与浪潮的合作充分发挥出GPU的计算潜能,大幅度节省了网络流量识别的时间,为奇虎360创造更好的用户体验和更安全的网络空间提供了技术保障。未来,奇虎360将与浪潮展开更大规模的深度学习异构应用优化合作,让这套流量识别的神经网络全面应用到奇虎360的企业安全业务中。
最新资讯
热门视频
新品评测