项目背景

随着移动互联网和智能终端的发展，电信行业遇到了巨大的挑战：
首先是市场需求的变化。客户需求日益多样化和小众化，产品规模呈现爆发式增长，客户的接触渠道渐趋快速丰富。传统大众化、规模化的营销模式，已经越来越难以适应现有的市场情况；
其次是竞争方面带来的挑战。移动互联网时代的到来，加剧了市场竞争。运营商所要面临的竞争不仅来自同质企业，也来自异质企业。移动互联网时代的到来使得互联网公司风起云涌，电信运营商过去在整个产业中的主导权正逐步被分化，生态环境的改变使得竞争更加激烈；
最后是来自技术方面的挑战。移动互联网的快速发展使得业务支撑系统的数据处理量激增，数据类型不断扩展，涵盖大量的网络数据、业务数据、用户数据和位置信息等。面对海量互联网数据，传统数据处理技术成为系统发展的瓶颈。
面对挑战，浙江移动需要把握大数据时代的机遇，顺应需求多样化、行为碎片化以及海量应用等变化趋势，转变传统营销思路，以“大数据、超细分、微营销”为核心，驱动资费、渠道、营销、传播能力转型，建立适合移动互联网时代的服务体系。

需求分析

浙江公司企业级大数据基础平台建设需要支撑5-10个内部应用和5-10个外部应用上线的业务需求，实现数据变现产生收入；
构建MPP资源池集群，主要包括核心数据仓库和数据集市；
主数据仓库MPP集群，主要承担B域、O域的数据建模与基础数据存储运算；
数据集市MPP集群，主要承担内部应用和对外变现应用。VGOP、ESOP、创新应用孵化平台等传统数据集市专题类应用也逐步迁移到数据集市MPP集群。

解决方案

本期大数据基础平台整体架构：

MPP集群与外部系统的数据交互全部通过云化ETL平台完成。 MPP集群应用开发基于DACP（数据管理子系统）进行。云管理执行中心采集MPP集群相关指标，并提供给云资源管理平台；
数据仓库MPP集群主要承担数据建模与基础数据存储的任务，业务上线后原数据仓库业务下线；GBase 8a MPP Cluster数据库平台采用3+61架构，包括3个管理节点，61个数据节点，目前数据量是732TB。集群内部采用万兆网络进行高速连接；
d数据集市MPP集群主要搭载内部应用和对外变现应用。GBase 8a MPP Cluster数据库平台采用5+62架构，包括5个管理节点，62个数据节点，目前数据量620TB。

价值体现

低成本：GBase 8a MPP Cluster数据库运行于低成本的X86 PC Server，有效节省硬件投入成本，新系统整体成本降为原来的1/10左右；
动态扩展：GBase 8a MPP Cluster数据库能够有效处理PB级数据，满足基础数据及应用数据的存储需求；将原有服务器的垂直纵向扩展模式改为依据数据量的水平横向扩展模式，动态扩展无须停止服务，保证服务连贯性；
高可用：通过合理配置能够有效实现均衡负载，充分发挥每一个节点的计算能力，提升整个系统的协同效率；基于冗余的备份策略能够保证节点在发生故障时，不影响系统对外提供服务的连续性；
高性能：提升对外提供数据服务的能力，实现数据变现产生收入；高效的数据运算与查询性能，满足各类专题分析与创新类应用需求。