[导读]摘要：“城市能源互联网”这个概念在提出后得到了广泛的重视并且发展迅速，国内陆续有几个城市已经进行了实践。但目前城市能源互联网仍然存留一些难以解决的问题，如复杂不确定性因素建模问题、考虑多时间尺度特性的建模问题以及信息物理耦合交互影响。在城市能源互联网的信息处理中，大数据技术起到了至关重要的作用，整个系统随时产生的海量数据都要由大数据处理框架如storm、sparkstreaming、samza实现流计算，最终完成任务分配以及各个子系统信息共享。鉴于此，分析了各种大数据处理框架的特点，以期找到最适合城市能源互联网的框架。

　　引言

　　近年来，人们越来越重视环境保护以及能源的合理利用问题。在城市中，电、气、热等能源都拥有各自的运营系统，这些系统相互独立，如此的能源使用方式非常不利于城市能源系统的发展，其面临着能源供应结构不合理、能源综合利用效率低、可再生能源消纳能力不足等问题。由此看来，一次能源改革势在必行。

　　“能源互联网”（EnergyInternet,简称E-Internet）的概念于2011年由美国学者杰里米·里夫金在《第三次工业革命》一书中率先提出。能源互联网可理解为综合运用先进的电力电子技术、信息技术和智能管理技术，将大量由分布式能量采集装置、分布式能量储存装置和各种类型负载构成的新型电力网络、石油网络、天然气网络等能源节点互联起来，以实现能量双向流动的能量对等交换与共享网络。能源互联网的提出在很大程度上加速了电网对新型能源利用的步伐，也是电网发展的一种延伸，它的目标在于分布式能源的利用和发展。城市能源互联网，顾名思义，就是应用于城市的能源互联网。

　　城市能源互联网（UrbanEnergyInternet,简称UEI）具有多能互联、广泛应用互联网技术和以电能为核心的特征。城市地区作为区域的用能中心，在城市地区构建城市能源互联网对于推动城市、国家乃至整个社会的能源发展都具有积极的意义。

　　大数据处理技术是城市能源互联网的关键之一。在可再生能源预测、储能系统的智能控制、自然灾害的区域预警、状态检修管理中，大数据技术起到了关键性作用。面对城市能源互联网随时产生的海量数据，一个实用的大数据处理框架至关重要。文献分析了几种大数据处理框架的特点，为探究何种大数据处理框架最适合城市能源互联网提供了参考。文献介绍了改进自适应遗传算法在能源预测方面的应用。

　　在国家政策的大力支持下，UEI的发展前景非常良好。目前，国网厦门供电公司在厦门市能源网络上已经完成技术实践，北京延庆能源互联网示范也已经建成，银川供电公司也正积极推进城市能源互联网综合示范工程建设，为国家电网公司能源互联网战略目标在城市的落地实践提供了典型范例。新型城市能源互联网示范工程结构设计如图1所示。

　　本文写作的目的在于，分析城市能源互联网的发展现况，了解城市能源互联网的框架与技术难点，选择适合城市能源互联网的大数据处理框架，为将来城市能源互联网的发展提供一个参考。

　　1UE1的特点与难点

　　城市能源互联网是未来满足城市各类能源使用需求的能源系统，是全球能源互联网、中国能源互联网在城市地区的承接节点和重要支撑，是城市各类能源互联互通、综合利用、优化共享的平台，具有跨域平衡、低碳化的核心思想以及网络化、清洁化、电气化、智能化的特征。其核心思想是以电为中心，构建广泛互联、开放共享、再电气化、低碳环保的城市综合能源系统，其主要特征为网络化、清洁化、电气化和智能化。

　　在UEI的运行层面上，主要难点为复杂不确定性因素建模、考虑多时间尺度特性的建模以及信息物理耦合交互影响。

　　复杂不确定性因素建模的难点是在各种能源的生产、运输、转化、消费过程中存在许多不确定性因素，这些不确定性因素之间又有复杂的联系，所有这些误差都会对建模造成极大的困难。

　　考虑多时间尺度特性的建模的难点在于各种能源一电、气、热各自的系统的暂态过程持续时间不同，应利用气、热能源的惯性与利于存储的特点平衡其他可再生能源的波动性特点，具体的实施仍然是一项难题。

　　信息物理耦合交互影响的难点在于能源互联网中不同能源系统之间如何实现信息互联、物理互联以及信息物理交互影响。

　　2UE1的技术架构

　　能源传输按照决策、调度和传输三个不同的逻辑层级，分为价格层、信息层和传输层。UEI的技术架构如图2所示。

　　价格层的本质是在开放竞争的市场环境下，通过价格、市场机制来实现资源的优化配置与管理。

　　传输层是城市能源输送的物理途径，对它的要求在于电网在电源侧要实现对多种能源的开放接入，在负荷侧电网要满足用户的多种用能需求及其互补转换。重点过程在能源的转换：电转气可以采用电转气技术（电解水、储存氢气），热能与电能可以用热电联产机组生产（高温高压蒸汽用于带动汽轮发电机组发电，做功后低品位汽轮机抽汽或背压排汽用于供热），电网和电气化交通网通过充电桩连接。

　　在传输层之上的信息层，相比于传统的电网自动化，需要更加实时快速的信息传递、更加开放的通信协议、更加准确和智能的逻辑控制程序以及更加安全的信息防护系统。依靠城市互联网内的采集和传输装置，采集基于同步时标，包括能量信息（电压、电流、气压、温度等）、设备信息、各能源主体信息（储能、充电站、分布式电源、电网等）等在内的信息，具备全状态观测能源系统运行状态、设备运行工况等的物理量信息，最大程度上降低系统状态和参数的不可观性和随机性，为能源控制系统内多能源协同控制、智能车联网和资源计划等平台提供决策支撑，从而引导传输层的能量流动和价格层的资金流动，实现城市能源互联网高效、安全和经济的运行目标。在信息层工作过程中，大数据技术起到了非常重要的作用。

　　3大数据技术在城市能源互联网中的应用

　　大数据在一定时间内无法用传统数据库软件工具对其内容进行提取、管理和处理。从大数据的处理过程来看，大数据关键技术包括大数据采集、大数据预处理、大数据存储及管理、大数据分析、大数据展现和应用（大数据检索、大数据可视化、大数据应用、大数据安全等）。

　　在城市能源互联网中，包含有大量分布式电源、微型网、储能储热设备，利用大数据技术可以快速分析、决策，实现多种能源的智能生产，减少能源的过度开发，降低消耗，提高负荷侧与电源侧的协同。

　　利用大数据的挖掘技术，能够找出能源的损耗环节，提高能源的利用效率，减少对环境的破坏。能源的分布模式决定了能源互联网数据是分散的、碎片化的，极易造成数据的丢失和破坏。通过大数据技术的集成管理可以有效减少数据的流失，有助于保持数据的完整性。基于大数据的分析，可以从不同层面、不同因素、不同角度分析上下游各环节的供给和需求情况，形成合理的能源互联网商业模式，引导各方参与其中，形成能源互联网的有效商业模式。

　　在城市能源互联网中，多种能源子系统需要信息的实时共享，海量实时数据需要大数据技术实现处理。可以说，大数据技术支撑起了整个城市能源互联网的动态运行。流计算技术可以应对城市能源互联网随时产生大量数据的特点，快速进行数据处理。

　　流计算处理的是流数据（Datastream），流数据是大量、快速、持续到达的数据序列。流数据的特点为不关注存储，关注对它的处理，一旦处理完成，要么被丢弃要么被归档存储：数据量非常大，而且常常没有顺序，格式复杂。因为在能源互联网的信息层中往往并不拥有充裕时间处理批量数据，它所采集的数据往往是大量、持续到达的，且数据的价值随时间的流逝而降低，因此不宜用适合批量计算的Hadoop。

　　传统的数据处理流程为用户向数据管理系统查询，之后输出查询结果，这样的流程只能处理提前存储好的数据，并且需要用户发出查询才能获得结果。流计算的处理流程一般包含三个阶段：数据实时采集、数据实时计算、实时查询服务。一般来说，采集得到的数据不用存储，可以直接进行计算处理。

　　3.1应用Storm进行流计算

　　storm是一个免费、开源的分布式实时计算系统，可以简单、高效、可靠地处理流数据，支持多种编程语言。在storm之前，很少有关于流计算框架的研究，可以说storm是流计算框架的鼻祖。

　　storm编程灵活，可以用任何编程语言编写拓扑结构。storm还能实现毫秒级响应，因此能够应对快速产生的大量数据的处理。

　　3.2应用SparkStreaming进行流计算

　　sparkstreaming是构建在spark上的实时计算框架，spark本身是进行批处理的框架，sparkstreaming使它适用于流数据处理。sparkstreaming结合了批处理和交互查询，适合一些需要对历史数据和实时数据进行结合分析的应用场景。sparkstreaming支持Kafka、Flume、HDFs、TCPsocket的输入数据源，支持HDFs、Databases、Dashboards的输出数据源。

　　sparkstreaming的基本原理是将实时数据以时间进行切片，一般为秒级，然后spark引擎对这些时间片进行批处理。本质上是用批处理框架进行流数据处理，因此sparkstreaming不能进行毫秒级的流计算。但sparkstreaming的小批量处理使它可以同时兼容批量和实时数据处理的逻辑和算法，因此方便了一些需要历史数据和实时数据联合分析的特定应用场合。另外，spark可以统一部署sparksOL、sparkstreaming、MLlib、Graphx等组件，可以将流计算、图计算、机器学习、sOL查询分析等相结合。

　　3.3应用Samza进行流计算

　　samza的流数据处理单位是一条条的消息，这些消息被分割成若干个分区，对于流中的每一个分区而言，都是一个有序的消息序列，后面的消息都会根据一定规则被追加到相关的某一个分区里。一个任务负责处理作业中的一个分区，这些分区没有顺序的定义，所以允许每一个任务独立运行。最终借助YARN调度器，可以将任务分发给各个机器。它还是一个分布式处理框架。一个数据流图是由多个作业串联起来的。

　　samza的系统架构包括流数据层（Kafka）、执行层（YARN）、处理层（samzaAPI）。

　　当有大量的状态需要处理时，可以选用samza。与storm相同，samza也可以进行毫秒级响应。

　　3.4三种框架的特点对比分析

　　sparkstreaming处理的单位是Dstream,storm处理的单位是Tuple,samza处理的单位是一条条消息，因此storm和samza都可以进行毫秒级响应，sparkstreaming只能进行秒级响应。sparkstreaming的优势在于，RDD的数据集更容易做高效的容错处理，同时更方便实时数据与历史数据结合分析。samza的优势在于可以处理非常大量的状态，比如每个分区有上亿个元组，用samza处理会很方便。

　　三种流计算框架的优势对比如表1所示。

　　城市能源互联网在运行中，每时每刻都会产生海量的数据，从能源生产到能源使用的每一个环节都有无数个数据源头。因此，城市能源互联网需要的流计算框架应具备快速响应以及同时处理大量数据的能力。由此看来，samza优势更加明显，更适合应用于城市能源互联网。

　　4结语

　　城市互联网是将电网与互联网技术相结合，其他能源子系统互补的一种完整的供能体系，它现在已经发展得比较成熟，我国北京、厦门、天津已经进行了初步尝试，并取得了不错的成果。在城市能源互联网中最关键的技术之一就是大数据技术，在城市能源互联网的信息层中大数据技术的合理应用决定着整个系统信息的实时性、准确性、高效性。可以应用storm、sparkstreaming、samza等框架进行流计算。针对城市能源互联网随时产生大量数据以及需要快速响应的特性，选出samza是最适合的流计算框架。但现阶段城市能源互联网仍然存在着一些难题，在运行层面上，复杂不确定性因素建模、考虑多时间尺度特性的建模、信息物理耦合交互影响仍然困扰着我们，这些难题在不久的将来一定会被攻克。

　更多信息可以来这里获取==>>电子技术应用-AET<<