项目背景

根据石油石化行业央企“十三五”信息化发展规划和智能油气田项目总体规划的部署安排，结合油田企业提高生产效率、优化生产运营的业务目标和集中集成、协同共享的信息化需求，开展智能油气田项目试点建设。
智能油气田建设总体目标为以ICT最新技术为手段，围绕核心资产全生命周期管理，打造全面感知、集成协同、预警预测及分析优化四项能力，助力“高效勘探，效益开发”，实现企业资产价值最大化。本期试点项目目标是建设智能油气田云平台，补充和完善智能油气田标准化体系和技术支持体系，围绕油气藏、单井、管网、设备等油气田企业核心资产，实现油气藏动态管理与优化，单井、管网、设备的智能诊断与优化，建成智能油气田示范区，打造国家级智能制造示范工程。
鉴于中国在贸易摩擦中受到的巨大影响，关键核心技术自主化显得愈发重要，长期使用国外数据库管理石油勘探开发数据，不利于保障国家能源安全，因此使用数据库软件支撑智能油气田云平台势在必行。通过在智能油气田云平台中多种大规模结构化、半结构化与非结构化数据处理技术，通过数据虚拟化、数据联邦技术以及引擎间高效的数据实时交换通道，融合复杂关联分析、流计算、图计算、图计算、批量处理等计算模型，构建大数据云平台，支撑智能油气田云平台中OLAP、OLTP和NOSQL三种计算模型的业务场景。
由于现有传统的数据仓库不能完全满足以上业务需求，为实现上述目标，更好地服务于智能油气田业务发展，加强决策支持系统深化应用，深入挖掘数据价值，提升决策支持数据分析能力，需要对现有数据应用集成决策支持系统进行功能拓展和延伸，补充数据分析功能，实现对海量多元异构数据的存储管理、数据建模及挖掘分析。

需求分析

项目采购符合成熟、稳定要求、并基于Hadoop架构的大数据平台软件，支撑结构化与非结构化数据的存储、访问、计算和分析处理。通过数据虚拟化、数据联邦技术以及引擎间高效的数据实时交换通道，融合复杂关联分析、流计算、图计算、图计算、批量处理等计算模型，构建大数据云平台，支撑智能油气田云平台中OLAP、OLTP和NOSQL三种计算模型的业务场景。
具体需求包括：
(1)满足石油石化行业央企智能油气田云平台部署；
(2)开展大数据分析，实现对实时数据、体数据、成果数据等非结构化数据和外部数据的数据存储，开展数据治理和数据标准化相关工作。数据来自于采气厂、电力调度、分析化验、净化厂、以及地震数据、测录井曲线、分析化验曲线、地质模型网格化数据、视频监控平台等及部分外部数据；
(3)建立统一的数学算法库和模型库，开展数据检索、互动分析、关联分析等数据挖掘分析，支撑智能油气田业务发展；
(4)实现对流数据的实时采集、存储和分析应用；
(5)支持海量数据的快速查询分析，查询响应速度在秒级以内；
(6)具备统一的图形化监控和图形化管理操作等交互能力；
(7)支持数据加密、数据备份恢复、数据一致性校验、操作审计功能；支持统一的系统身份认证和安全访问检查、验证，实现对各数据库引擎及数据的访问；支持按用户、角色授权。

解决方案

智能油气田架构如下图所示，由数据源层，数据汇集层，数据存储层，数据计算层及数据服务层组成。
数据源层：
最下层为数据源层，数据源层包括油田日常生产运行中产生的数据，成果图片、报告、施工文档、施工报告等成果图形文档，监控类音视频数据，物联等实时数据，测井类大块提数据，GIS影像等六大类数据结构化、半结构化及非结构化数据。
数据汇集层：
数据汇集层采用GBaseMTK元数据同步工具、GBaseRTSync实时同步工具、kafka消息队列、Sqoop、Flume、对象存储等数据传输及处理工具进行汇集。

数据存储层： 数据存储层采用GBase8s高并发事务数据库、GBase8a分布式海量数据olap分析数据库、及GBaseHD提供的HDFS、hive、HBase等存储与管理引擎平台、Neo4j图库、对象存储等作为三大类数据存储平台。
数据计算层：
包括GBase8s数据计算、GBase8a分布式系统数据计算、MR/Spark/Flink/ES/图计算等计算引擎及数据库，对三大类6种业务数据类型进行数据计算及检索。
数据服务层：
系统通过结构化数据API、实时数据API、音视频API、Gis数据API、文档图片API、体数据API、数据推送、BI服务、AI服务等对应用及外部应用提供数据服务。

价值体现

海量数据管理：为用户提供了并行海量复杂数据处理平台，帮助客户形成PB级以上的业务数据单一视图，为客户提供及时高效的数据分析结果；
数据安全防护：通过采用国产系列数据库软件，替代国外及开源数据存储与计算平台，提升能源安全防护能力；
多类型统一管理：实现对企业三大类6种业务数据统一管理与访问，通过数据治理平台实现对数据溯源、血缘关系管理、对外统一服务等；