项目背景
针对当前海关关境严峻的保护任务以及亟待提升的口岸通关环境，海关总署于2012年在“金关工程一期”建设的基础上开展“金关工程二期”建设，全面推进海关“把关”与“服务”能力同步提升的信息化建设。
在“大数据”时代，如何将海关部门的海量数据充分集成，打破部门信息壁垒，使数据真正在海关部门内部流动和流转起来，从而更好的服务上层业务系统是该项目关注的重点问题。针对数据层的技术选型，需要达到夯实基础，合理规划，提前布局的目标。
构建结构化动态数据仓库子系统是解决上述问题实现预期目标的重要技术手段和方法。该系统建立后将支撑信息资源规划系统、海关监控指挥系统、企业诚信系统、缉私情报系统、物流全程可视化系统等众多统计分析类应用。
需求分析
“金关工程二期”项目是“金关工程一期”项目的延续与发展。除了引进新技术，构建新框架，解决新问题之外，还要考虑如何能够充分贴合“金关工程一期”已有项目系统，充分利用原有资源。为此，在构建结构化动态数据仓库子系统的过程中，力争达到既要保证数据处理技术的先进性，满足对海量数据处理的性能要求，又要保证系统的兼容性，为数据的导入，集成和对接扫清障碍。为了方便阐述，可概括性的从如下几方面进行介绍：
(1)业务场景对数据平台性能要求较高：
·对于大规模数据，加载速度应大于等于1TB/每小时；
·更新、删除速度应大于10000 行/每秒；
·能支持 500 用户进行并行访问，平均响应时间应在1分钟以内;
·支持读写并发访问；支持多张TB量级数据表进行关联，并返回千万级结果集。
(2)对海关信息资源进行全面规划和统筹设计，为系统间互联互通、优化整合提供统一数据平台，解决信息孤岛，指标不一致等问题；
(3)全面整合业务数据，配合海关业务系统从偏重事务处理转向偏重决策分析转变，提升业务数据价值；
解决方案
采用GBase 8a MPP Cluster构建结构化动态数据仓库子系统，实现对海关各系统使用数据的存储，并通过数据的复杂关联计算和深度分析与挖掘，完成数据汇总、模型搭建及运行，以及将计算和汇总结果生成特定项目标签、指标库等。为上层系统提供海量数据的即席查询、复杂计算、数据挖掘等功能。
GBase 8a MPP Cluster采用Shred Nothing+MPP的分布式扁平架构，该架构具备极强的扩展能力，使GBase 8a MPP Cluster不仅可以获得PB级数据存储能力，还实现了高性能的分布式数据处理，实现大并发和大规模数据复杂查询的秒级响应。此外，通过构建集群级别的双活系统，保证了数据的安全性，提高了系统的容灾级别；集群内的多副本机制通过数据冗余保证了集群本身的高可用特性。
目前动态数据仓库子系统已经累计部署124个数据节点，实现北京，广州异地部署，底层数据共享互通，上层业务协同合作的模式。北京中心部署1套38节点（信息资源规划共享服务平台数据仓库），1套14节点（DSS决策支持系统），1套6节点（UDPP统一数据加工平台），1套2节点（数据中心数据仓库）；广东分中心部署两套集群，分别是1套38节点（信息资源规划共享服务平台数据仓库灾备系统），1套14节点（决策支持系统DSS 灾备系统），风险查验系统为4个节点，征税管理系统为8个节点。数据总量达到20TB，日均处理数据增量7GB。信息资源规划共享服务平台数据仓库承担超过500张表模型，DSS决策支持系统承担超过800张表模型。
为了实现数据的高安全性，核心系统信息资源规划共享服务平台和DSS决策规划系统采用物理集群在广州，北京两地灾备部署，底层数据来源共享，上层业务协同分工的模式。金关二期将通过建设二地二中心来承载查询分析和OLAP类应用，北京和广州OLAP类数据采用集群灾备模式部署，因此数据如何在两地同步成为金关二期建设中必须要解决的重要技术问题。通过分别部署在北京、广州两个中心的MPP数据库集群数据加载机的FTP推送功能，实现了两个中心MPP数据库集群之间的数据同步，从而保证了北京、广州两个中心的MPP数据库集群的数据一致性。
数据同步具体过程为：北京中心作为主中心进行数据抽取、清洗、转换等工作，生成新增数据文件并放置在该中心的MPP数据库集群的数据加载机上，加载机通过使用FTP推送功能将新增数据文件推送到广州中心的MPP数据库集群数据加载机上。作为从中心，对接收到的新增数据文件进行处理，实现两中心MPP数据库集群的数据同步。
价值体现
·夯实数据基础资源，消除信息孤岛：一是丰富海关基础数据源，打破部门之间存在数据壁垒，实现信息互联互通。二是海关预算和财务管理方面，打破现有系统之间数据分散、相互独立、无法互通的现状，实现“财”与“物”的联动比对，实现海关所有信息系统之间数据的对碰分析；
·大幅提高计算性能：在不同场景下，计算效率为原有系统的10-1000倍，满足各类实时数据查询、分析需求；
· 助力海关变革，提升效率：通过高性能的分析和计算能力，解决传统数据库在OLAP场景下计算和存储能力扩展方面的瓶颈，从而为海关借助数据提升监管能力，提高宏观决策水平，提速业务效率，统一数据指标提供技术支撑；
·简化数据加工流程，节约投资：成功支撑海关多类查询分析型应用，实现通过一个中心数据，集中抽取加工，多地查询使用，从而简化数据加工流程，避免同一业务多次投入硬件资源；
·异地容灾部署，保障系统高可靠：通过异地多数据中心部署，实现了容灾功能，保证了整体系统的高可靠。