基于全业务统一数据中心的配电分析应用研究

转载自：http://dq.shejis.com/dqlw/201610/article_142755.html

国网电力科学研究院  张子仲

　　1 目标与架构

　　1.1 需求

　　随着信息系统应用的不断深入，加快构建全球能源互联网和全面建成“一强三优”现代公司的目标以及大数据、云计算等新技术的日趋成熟，同时在企业级数据资源管理应用方面也暴露出了不足。数据是信息化的核心，建设全业务统一数据中心是源端全业务融合、后端大数据分析的必然选择，对建设信息化企业具有重要意义。

图1

　　1.2 目标与原则

　　到“十三五”末，基本建成“数据干净透明、模型规范统一、分析灵活智能”的全业务统一数据中心，实现面向全业务范围、全数据类型、全时间维度数据的统一存储、管理与服务。

图2

　　全业务统一数据中心主要包括数据处理中心、数据分析中心和数据管理中心三部分

图3

　　①数据处理中心

　　数据处理中心为公司各业务应用提供逻辑统一的数据访问支撑，是原有业务系统各个分散数据库的归并、发展与提升，主要包括业务处理数据库与统一数据访问服务两个部分。

图4

　　(1)实现跨专业数据统一访问，促进跨部门的信息共享与业务数据融合;

　　(2)改变业务集成方式，消除数据复制，促进跨部门业务协同;

　　(3)隔离应用与数据库的直接连接，为统一数据模型的应用与数据管控提供技术支撑。

　　②数据分析中心

　　数据分析中心为公司各类分析决策类应用提供完备的数据资源、高效的分析计算能力及统一的运行环境，主要包括统一存储服务、企业数据仓库和统一分析服务三部分。

图5

　　业务应用 应用1 应用2 数据抽取与复制 结构化数据 电网通行库 营销客户库 设备资产库

　　数据计算 数据挖掘 分析模型 数据探索工具 企业数据仓库 数据缓冲区 统一视图区 数据仓库 数据集市 结构化数据 采集监测数据 外部数据 统一存储 业务分析中心

　　(1)实现全业务、全类型、全时间维度数据的统一存储，有利于大数据分析应用;

　　(2)实现采集监测数据和外部数据的“一次采集、一份存储、多处使用”;

　　(3)应用跨地域分布式计算技术，实现“搬数据”向“搬计算”的转变，促进跨专业分析应用的快速构建。

　　③数据管理中心

　　统一数据模型通过提供一种用对象类和属性及它们之间关系来表示电力企业所有主要对象的标准方法，提供专业人员和应用系统可以共同理解的公共语言(即语法和语义)，将企业范围内的数据定义、数据管理、数据交换的标准化、规范化。

图6

　　(1)从不同的业务视角，描述各业务领域管理对象特性，构建统一全业务对象集合，保证了各应用中对象描述的一致性，便于管控和共享;

　　(2)保证了新建及升级的业务应用可以方便地和其它业务应用标准化集成，实现即插即用;

　　(3)独立于任何具体实现的数据库、应用、协议以及平台，利于跨系统跨平台数据操作。

　　主数据是企业内部关于核心业务实体的参照数据，是具有高业务价值、可以在企业内跨越各个业务部门被反复使用的核心数据，如组织机构、会计科目、资产、物料、供应商、项目、设备、客户等。通过主数据管理，为企业范围内为主数据提供统一的视图。

图7

　　(1)消除数据冗余、提升数据质量，保证主数据在企业范围内的一致性与完整性。

　　(2)实现跨系统的数据共享利用，为实现跨部门的业务协同和数据分析提供有力支撑。

　　(3)减少数据人工维护的工作量和工作难度，实现自动化的数据运维。

　　2 统一数据模型

图8 统一数据模型描述全业务

图9

图10

图11 资产全模型概况

图12 典型开关主/部件模型

图13 开关一般参数模型

图14 调配营电网模型

图15 资产全寿命模型

图16 设备缺陷模型

图17 统一数据模型的实施策略

　　3 技术支撑平台

　　3.1 总体架构

　　云平台由云基础设施、云平台组件和云服务中心三部分组成。

图18

　　(1)云基础设施包括基础硬件、负载均衡、集中式云资源调控系统和分布式云操作系统四部分，为业务应用提供灵活、弹性基础资源使用;

　　(2)云平台组件包括数据处理、信息集成、应用构建三部分，为全业务统一数据中心、

　　业务应用提供运行支撑环境;

　　(3)云服务中心包括部署配置、监控调度和应用商店三部分，统一提供一键部署、弹

　　性伸缩、故障自愈等7种服务。

　　3.2 部署架构

　　云平台包括集中式基础架构和分布式基础架构两部分。

图19

　　(1)集中式基础架构主要包括集中式关系型数据库服务集群和主机资源池，主要支撑传

　　统集中式应用，主机资源池由集中式云资源调控系统负责调配。

　　(2)分布式基础架构主要包括弹性计算、对象存储、分布式数据计算、分布式关系型

　　数据库等服务集群，可支撑集中式应用和分布式应用，由分布式云操作系统负责调配。

　　①云基础设施

　　云基础设施包括基础硬件、集中式云资源调控系统、分布式云操作系统和负载均衡四部

　　分。实现基础资源的快速灵活交付，推动信息系统上线从申请设备向申请服务能力转变，平

　　台资源从按需配置向按需供应转变。

图20

　　(1)基础硬件包括PC服务器、小型机、集中式存储、分布式存储和网络交换机等数据中心基础硬件，提供计算、存储和网络通信能力;

　　(2)集中式云资源调控系统包括资源隔离、资源调控，实现主机资源池的控制和调配;

　　(3)分布式云操作系统包括资源封装、任务调度、分布式文件系统、分布式协同、远

　　程调用和安全模块，实现基础资源的调配;

　　(4)负载均衡实现多数据中心间的负载均衡，提高业务应用灾备能力，实现故障系统跨数据中心接管。

　　②云平台组件

　　a.数据处理

　　数据处理部分包括集中式关系型数据库、分布式关系型数据库、大数据平台组件、ETL、数据复制、统一数据访问和统一数据分析7种，实现数据一次存储多次访问及数据的透明访问、提升数据实时处理能力和数据的价值。

图21

　　集中式关系型数据库提供数据处理域事务强一致性、数据量较小事务弱一致性结构化数据以及数据分析域ODS的存储服务，主要支撑业务处理类应用;

　　分布式关系型数据库提供数据处理域事务弱一致性结构化数据和数据分析域数据集市的存储服务，主要支撑分析决策类应用;

　　大数据平台组件实现分布式列式数据库、分布式数据仓库、分布式对象存储等6项功能;

　　统一数据访问通过统一数据调用接口，实现业务处理类应用与关系型数据库的解耦，提供业务模型与底层不同类型数据源的映射服务;

　　统一数据分析通过统一数据调用接口，为分析决策类应用提供数据计算、分析、挖掘等标准化服务接口，同时，为最终用户提供自助式分析服务。

　　ETL提供同一数据中心内数据抽取、转换和加载服务数据复制提供同一数据中心内数据的拷贝服务，以及不同数据中心之间，基于数据库日志的数据捕捉、传输和复制服务。

　　b.信息集成

　　信息集成包括集中式服务总线、分布式服务总线、统一权限、统一流程、数据传输及应用服务中间件6种。一方面是对现有组件功能的完善和提升，另一方面主要为适应未来大规模的分布式应用和微应用场景，对其提供更高性能、更加可靠的服务总线，提高分布式应用环境下数据传输的效率与可靠性。传统的集中式应用仍可采用现有组件进行支撑。

图22

　　(1)服务总线包括传统企业级服务总线和新型分布式服务总线，通过新增分布式服务

　　总线提供分布式服务框架和分布式消息队列服务，实现“去中心化”的服务统一管理，支撑

　　不同服务之间可靠高效的通信;

　　(2)统一权限与统一流程在现有功能和服务能力基础上，基于多租户技术，提供更加

　　灵活的权限和流程服务;

　　(3)数据传输提供应用之间横向、纵向的数据传输服务;

　　(4)应用服务中间件提供应用运行环境，支撑传统Web应用和微应用。

　　c.应用构建

　　应用构建组件包括开发框架、企业共享组件库、发布监控、云研发环境4种。有利于促进软件资产共享，推动开发运行一体化，实现云端协同开发，为敏捷交付奠定基础。

图23

　　(1)开发框架提供需求分析、设计、开发等能力，支持微应用及传统应用的快速开发，

　　实现自动化测试功能;

　　(2)企业共享组件库提供大数据、移动、权限、流程等标准化开发组件，实现组件统一管理和共享;

　　(3)发布监控组件提供细粒度的监控功能及部署功能，实现快速诊断和不停机检修;

　　(4)云研发环境提供云端的各种研发资源和服务，实现协同开发。