项目背景
中国下一代互联网示范工程(CNGI)是国家级战略项目,六个主干网络之一中国科技网(CSTNET)由中国科学院负责运营。中国科技网是由北京、上海等十三家地区分中心组成的国内骨干网,拥有多条通往不同国家的国际出口,并与多个国内主要互联网运营商实现高速互联,其业务包括CSTNET的运维管理、互联网接入服务、科研数据中心等。目前数据流量已经达到百TB,且数据量呈爆炸型增长,现有数据库系统已经很难有效支撑海量的互联网信息存储和网络流量监控等分析型应用工作。
需求分析
满足大规模网络监测分析系统等应用,需要对百TB级流量数据进行高效压缩存储、管理;需满足支持1000以上高并发查询,且响应时间在秒级;需要对流量数据进行复杂统计查询分析。
解决方案
如下图所示,南大通用采用GBase 8a MPP Cluster作为中国科技网运行维护和管理的后台数据库集群系统,将来自于CSTNET的运维管理、互联网接入服务、科研数据中心等数据源高速加载至GBase 8a MPP Cluster中,进行按指定的源端IP计算流量、按指定的协议计算流量、按目的端IP计算流量,并进行统计访问次数等查询工作,同时生成网络监测分析数据。GBase 8a MPP Cluster通过Shared Nothing集群架构,采用列存储、高效压缩、智能索引等核心技术,为全网网络监测等复杂查询分析提供技术保障。
价值体现
·海量数据存储:实现了对TB级数据的压缩存储和管理,压缩比达到1:3,有效节约磁盘空间和硬件投入成本;
·高并发:1000并发下的秒级查询;
·统计分析查询:支持复杂统计分析查询秒级响应;
·高扩展:支持在线线性扩展,且保证性能随着节点的增加而线性提升,满足未来PB级业务的扩展需求。