《电子技术应用》
您所在的位置:首页 > 通信与网络 > 设计应用 > 基于数据地图的大型电网企业数据资产管理体系构建与实现
基于数据地图的大型电网企业数据资产管理体系构建与实现
2018智能电网增刊
孟祥君1,李 剑2,张伟昌1
1. 国网山东省电力公司运监中心,山东 济南 250001; 2. 山东鲁能软件技术有限公司,山东 济南 250001
摘要: 企业级数据地图是对数据资产体系化、结构化的管控视图,提供一个完整统一的视角,清晰明确展示公司级数据资产的分布、存储和流动情况,动态反映数据流与业务流的交错支撑关联,从而有效帮助管理者总览数据资产全局。基于企业级数据地图,构建大型电网企业数据资产管理体系,加强数据资产质量监督,推进数据全局共享,实现数据资产的统一管理,为数据资产的增值利用提供良好生态环境,促进数据资产的利用变现,为企业运营管理提供有效的决策支撑。
中图分类号: TM73
文献标识码: A
DOI:10.16157/j.issn.0258-7998.2018.S1.063
Abstract:
Key words :

0  引言

    电力数据与经济发展紧密联系,其变化态势能反映国民经济的发展走向,支撑政府部门科学决策。对电网企业数据的有效分析和价值挖掘,是有效应对资源有限、环境压力,实现绿色可持续性发展的关键,更是经济发展及社会进步的强大推动力。大型电网企业在管理运营中已积累了海量的数据,但是大量数据应用不足、释放能量有限,因此,唤醒沉睡数据,从海量数据中挖掘高价值的信息,实现数据与公司运营管理的深度融合,就成为电网企业优化运营管理,建设最好的电网的迫切需要。

1  数据资产管理体系的构建

1.1  定义电网企业数据资产

    数据资源是电网企业的战略资产,为解决当前存在的数据管理问题,有效发挥数据资产价值,建立企业级数据标准及业务流程标准,构建面向服务的系统架构,以构建公司运营数据资产管理体系为目标,以业务部门各单位为责任主体,以信息系统深化应用为基础,建立业务系统应用监控工作机制,开展运营监测数据核查与溯源工作,夯实数据基础,提升数据质量,实现能用、好用的目标。 

    电网企业数据资产是指在电网企业主要运营活动过程中自主产生和外部获取的,能够客观、真实描述企业运营管理活动,并能为电网企业带来价值的数据资源。这些数据资源无论是结构化的形式还是非结构化,都能够通过各种途径、各种关联进行分析解读,转化为高价值的信息,为电网企业运营管理提供有效支撑。

    有别于传统的数据管理,数据资产不再将数据局限于单一的业务部门或领域,而是从总体视角重新构建数据与数据之间的综合关联和潜在联系,修补以往基于单个数据领域而导致的数据断层。

1.2  构建企业级数据地图

    企业级数据地图是对数据资产体系化、结构化的管控视图,提供一个完整统一的视角,清晰明确展示公司级数据资产的分布、存储和流动情况,动态反映数据流与业务流的交错支撑关联,从而有效帮助管理者总览数据资产全局,实现数据资产的统一检索、监测和维护等全方位管理。

    数据地图从业务信息、技术信息、管理信息3个层面明晰指标数据与源业务系统明细数据间对应的概念实体、物理实体、取数字段及属性、数据实体间的流转关系。并且基于数据中心侧和业务系统侧的运营数据梳理的工作成果,构建出数据资源地图,以拓扑图的形式对运营数据的实体、数据处理过程进行分层次的图形化展现,支撑数据的业务溯源、数据溯源、系统溯源。同时,通过定义数据的管控角色,明晰各个运营数据责任人之间关系,定义相应的职责、明确任务,制定相应的运营数据管理流程和规范,规范运营数据创建、使用、变更等管理流程。

1.3  基于数据地图,数据资产管控模型

    根据公司总体部署,运营监控中心是公司数据资产的管理者,将基于企业级数据地图,加强数据资产质量监督,推进数据全局共享,从而为数据资产的增值利用提供良好生态环境。促进数据资产的利用变现,为企业运营管理提供有效的决策支撑。在这个目标的指引下,设计出了电网企业数据资产管理模型,如图1所示。

mxj-t1.gif

    数据资产管理模型的核心是企业级数据地图,运监中心基于数据地图能够总览公司数据资产的产生、分布与使用情况,为数据资产管理行为提供依据。

    质量管理、共享管理是运监中心在开展数据资产管理工作的“二个抓手”。

    数据资产质量监督:由业务部门提供数据质量校验规则,运监中心负责建立数据质量监督计划,对业务源头数据与业务实际的匹配和及时情况进行稽查,及时发现问题,提出数据治理的要求,督促业务部门按要求进行整改。

    数据资产共享管理:业务部门提出数据资产共享需求,运监中心负责整合需求,协调和推进数据资产共享,使用数据地图共享平台确保实现共享,最后运监中心对共享效果给予评价,推动数据资产共享。

     “一项保障”是指数据资产质量评价考核机制,主要通过对数据资产质量的评价考核保障数据资产管理工作规范、常态化开展。主要工作内容包括:

    (1)评价与考核设计:围绕电网企业数据资产管理目标,由运监中心设计数据资产质量管理考核指标、办法、标准。

    (2)评价与考核执行:基于考核指标、办法与标准,由运监中心定期对各业务部门数据资产质量进行综合评价。

2  主要做法

    以实现企业级数据资产规范、集中、有序管理为目标,以完善的组织架构为支撑,以数据价值密度提升为导向,通过“全员参与、明确定义、有序识别、全景透视、规范管控、探索变现”的方式,清晰识别出公司数据资产,全景透视管控数据资产,建立统一规范管理体系,创新探索未来数据资产价值变现模式,打造了数据资产价值应用的良好生态环境,对公司优化管理运营起到关键支撑。主要做法如下。

2.1  成立全覆盖的组织机构

    目前,公司已经对数据资产管理职能在公司的战略、管理和执行层面进行了重新布局,通过对各级职能的清晰设置和重新定义,构建了符合自身特点、层级分明的金字塔式三级数据资产管理组织架构。

    在战略层,构建了数据资产管理委员会,成员包括公司领导,主要负责公司数据资产管理工作的整体规划、战略部署以及宏观目标的制定等工作。

    在管理层,构建了数据资产管理组,成员包括运监中心和科信部。运监中心是数据资产管理归口管理部门,负责设置数据资产管理流程、制度和评价考核机制、协调和推进数据资产管理工作执行、解决数据资产管理相关问题、评估数据资产管理效果等工作;科信部是数据资产管理的技术支撑和保障部门,负责数据资产安全管理、数据资产管理技术支撑与保障等工作。

    执行层,构建了数据资产管理工作组,成员包括各业务部门和信通公司,其中业务部门负责执行数据资产管理工作、反馈数据资产管理活动信息、提交数据资产管理改进建议等工作;信通公司负责具体技术平台的搭建和技术保障的实施等工作。

2.2  建立全业务的数据台账

    通过对公司数据指标关联的三元素(业务、系统、数据)进行梳理分析,明晰指标数据源自的权威业务系统、关键业务节点、对应的概念实体、物理实体、取数的字段及属性、数据实体间的流转关系、指标数据计算逻辑及过程等信息,构建完整详尽的运营监测数据台账,从业务层面、系统层面、数据层面对运营监测数据进行管理,如图2所示。

mxj-t2.gif

    业务信息主要反映数据资产的业务内涵,具体包括基本信息、监测信息和关联信息,如图3所示。

mxj-t3.gif

    技术信息主要反映数据资产的存储、分布和流转等技术参数,具体包括数据字典和数据溯源等,其中数据溯源可关联至数据资产地图,如图4所示。

mxj-t4.gif

    管理信息主要反映数据资产运营过程中所发生的变化和使用情况,具体包括数据质量概况、数据使用情况和数据变更情况,其中数据质量概况可关联至详细的数据质量报告,如图5所示。

mxj-t5.gif

2.3  开展全过程的溯源管理

    通过定义数据资源框架、构建指标台账,进行业务溯源系统溯源,形成数据资产地图,体现运营数据的业务背景、业务关联关系、计算逻辑、数据产生源头及更新周期等整个运营数据流程详细信息,形成一套结构清晰、全面覆盖的数据资源统一视图,直观、详尽地展示数据资源在其流程各环节的状态,强化运营数据流程管理能力,并为后续的数据监控、评估与改进等工作奠定基础。

    按照指标关联的三元素(业务、系统、数据)的拓扑关系构建出数据地图,并可视化地对拓扑关系进行维护调整,保持数据地图与实际情况相符。以地图中“点、线、面”作为绘制数据地图的基础,“点”中包含系统信息、数据库信息、区域信息、文件信息、报表信息、表信息、字段信息、维度信息、指标信息,“线”中包含系统间关系信息、数据库间关系、 ETL加工关系(表间关系、字段间关系)、基础指标和复杂指标的关系、指标和指标主题的关系,“面”主要基于数据关系的系统组织信息。

    业务溯源主要是从运监监测指标体系中选取指标进行梳理。基于业务分类和业务主题对指标进行分析拆解,厘清各级指标间的业务关联关系,明确指标计算和汇总过程涉及的关键业务定义和业务节点,形成指标的业务溯源视图,如图6所示。基于业务溯源视图可了解指标数据的来龙去脉,并可自底向上进行指标数据情况跟踪。

mxj-t6.gif

    系统溯源主要是收集数据流转于各个系统的记录,并且将现有成果进行分析整理,尽量自动化收集数据系统流转类信息。通过系统溯源,明晰指标数据源所属业务系统,厘清其系统内和系统间的数据分布和数据流转关系以及指标在其归属系统上的核心应用场景和展示环节,构建完整详尽的指标数据系统溯源过程,如图7所示。

mxj-t7.gif

    在业务溯源和系统溯源的基础上,进一步明确指标数据流转全过程和记录与各个层次的系统物理存储对应的映射关系,梳理数据流转过程中所涉及的概念实体、物理表、物理字段、指标计算过程等关键信息,如图8所示。

mxj-t8.gif

    整合以上3项溯源工作的梳理成果,应用可视化技术,设计效果直观、详尽实用的数据地图展示界面,如图9所示,体现出运营数据的业务背景、业务关联关系、计算逻辑、数据产生源头及更新周期等整个运营数据全寿命详细信息。数据资产地图作为运营数据资产管理的基础平台,促进后续的运营数据接入与整合、数据监控、评估与改进等工作。

mxj-t9.gif

2.4  进行全角度的数据监控

    基于数据地图,对数据资产全链条各环节设置监控规则和监控指标,便于及时定位数据质量问题至具体环节,如图10所示。一方面,对于数据从产生到使用的各个过程环节设置监控规则,建立核查模板,对数据资产进行全过程监控,及时定位数据问题并整改,保障数据资产及时可靠地流转和使用;另一方面,通过建立闭环的数据问题跟踪管理流程,对于无法立即解决,需由相关各方协同解决的问题,由专人负责提交、沟通、跟踪和关闭,从而确保数据资产的质量和效率。

mxj-t10.gif

3  实施效果

3.1  建立了完整的电网企业数据资产管理体系

    目前,公司已建立了完整的数据资产管理体系,从组织、职能、流程、标准、制度等方面全面规范了数据资产管理行为,成立了数据资产管理委员会,下设推进组和执行组共16人。在数据资产管理体系运行过程中,已发布《数据质量报告》8份,实现了对175亿条数据的监测,监测到153个业务场景的数据质量异动,治理数据474 350条,整改完成率达98.34%;推进数据共享,实现多部门协同共享143 361条数据,共享完成率达91.27%。

    通过从企业级视角对数据资产统一规划、建设、运维管理,提升了数据资产质量,促进了数据资产跨部门的流动,引导各部门对数据资产的深化应用,为数据资产的价值释放提供了良好的生态环境。同时,电力数据同国民经济紧密耦合,是社会经济发展的基础性数据,高效的电力数据资产管理体系,为政府社会经济规划提供基础数据支撑,有力提升政府决策的科学化水平。

3.2  构建了层层级联的数据地图

    通过深入剖析公司业务流和数据流的交互关系,基于电网企业通用的业务结构,梳理出10个数据领域、8个数据应用场景,设计了“指数层-指标层-明细数据层”三层级的数据地图。

    目前公司可基于数据地图,从完整统一的视角透视数据资产全貌,洞察数据资产分布与流动状况,实时监控数据质量,发现数据异动,实现对数据资产的动态巡航监控;同时,还能通过比对业务流与数据流的流向,甄别共享需求,不断促进数据的共享,推进业务的融合。

3.3  消除运营诊断盲点

    通过对数据资产的全盘掌握和有效管理,串联起数据孤岛,利用跨部门数据多视角还原业务过程,消除了因数据匮乏导致的运营诊断盲点,实现了企业级的运营深度分析,有力支撑了公司运营管理决策。

3.4  创新探索公用事业数据资产管理模式

    成功构建出一套可量化、可被复用、可持续发展的数据资产管理模式,并进行了充分验证,为总部部署、推广数据资产管理起到了积极的借鉴与支撑。基于公用事业业务模式的相似性以及数据管理的通用性和延展性,这套管理模式不仅适用于电网企业,也适用于其他公用事业企业,通过这套管理模式的复用,可以引领公用事业共同营造数据资产发展的良性生态环境。由于电力系统是中国社会的基础能源设施,通过数据资产管理带来的行业理念的提升和创新效果,经过社会的反馈和发酵,其倍增效应将极大地推动国家大数据战略的跨越式发展。



作者信息:

孟祥君1,李  剑2,张伟昌1

(1. 国网山东省电力公司运监中心,山东 济南 250001;

2. 山东鲁能软件技术有限公司,山东 济南 250001)

此内容为AET网站原创,未经授权禁止转载。