项目背景

招商银行原有审计系统是“小型机+磁阵”架构。该系统面临数据加载时间长、审计模型运行和用户查询速度慢、并发用户操作宕机、系统维护和扩展困难等问题，急需采用新技术进行改造，以满足审计业务的需求并支持更大的数据量。

需求分析

支持招行全部的审计业务数据，面向全国范围内的审计人员使用，要在股份制商业银行中处于领先地位；要求数据加载和数据处理能够快速响应，亿级数据的加载和表关联操作要在分钟级时间响应， 基于大数据的统计、分析及聚合计算要求快速响应；要求系统要有良好的可扩展性；要求并发用户数超过100个。审计人员定义模型，根据模型动态生成SQL语句，系统要支持这些普遍含有while循环、临时表和join关联的动态SQL。

解决方案

本项目采用基于X86 PC Server + Linux的GBase 8a MPP Cluster建设方案替换原有系统，构建以列存储、智能索引、高效压缩、高可用安全组和分布式并行计算为核心技术的招商审计系统，可管理TB级结构化数据，支持10年的历史数据审计。一期建设集群20个计算节点，2台加载机；二期新建集群20个计算节点，2台加载机，新建10台ETL数据分发集群；三期新建集群20个计算节点，2台加载机。三期扩容后需要处理的数据量为300TB左右。新规划后的审计系统将再新建20个计算节点，并将之前的60个计算节点统一合并为一个80个计算节点的大集群，另新建10台ETL数据分发集群，并将之前的10台ETL合并为一个20台ETL数据分发集群。支撑的数据总量为520TB。总行审计、分行审计、中小额企业审计都在大集群中进行处理，通过资源管理进行隔离，保证互不影响，保证处理的效率。系统架构图如下，集群系统由80个计算节点，20台ETL，6台监测机和万兆交换机组成。

价值体现

·系统扩容：从支持几十TB数据量的小型机+磁阵架构升级到可支持几百TB数据量的PC Server+内置磁盘架构；

·性能提升：支持100人并发即席查询实现秒级响应，数据加载和模型运算速度提升2-5倍；

·高性价比：新系统的软硬件拥有成本不到原系统的20%，大幅降低用户的建设成本；

·高可用易扩展：支持安全组，组内节点数据互相备份。支持在线近线性扩展，满足未来扩展需求。