中国工程论文网
代写工程论文
当前位置:工程论文网 > 电力工程论文 > 基于多主体强化学习的碳能复合流无功优化算法研究

基于多主体强化学习的碳能复合流无功优化算法研究

时间:2017-03-29 19:18来源:www.e-lunwen.com 作者:lgg 点击:
本文是电力工程论文,本文结合电力系统能流和碳排放流的传输特性,把能流和碳流视为整体,并充分考虑源网荷之间的碳排放责任分摊,建立了计及碳排放责任分摊的碳能复合流。
第一章  绪论 
 
1.1  研究背景和意义 
全球工业化的发展一方面推进了人类社会的进步,而另一方面其造成的气候变暖问题也使人类的生存面临严峻的挑战。全球范围内的气候变暖将导致一系列严重生态环境问题,如:频发的自然灾害(飓风、干旱、洪涝等)、由海平面上升而引起的全球陆地面积减少、由温度升高而带来的冰川融化、由于生态环境改变而导致的物种的灭绝、恶化生态环境等,这些环境问题也会给人们带来与之相应的一系列包括公共卫生、能源、粮食、农业、生态等方面的安全问题[1]。如果全球气候变暖不能被很好的控制而持续蔓延的话,将会给人类的社会生活和生存发展的方方面面造成严重威胁,甚至带来一些毁灭性的灾难。温室气体的大量产生直接导致全球性的气候变暖,而这主要归因于人类过度开发和利用化石能源,为了更好的控制全球变暖问题,以减少温室气体排放特别是减少二氧化碳排放为目标的低碳经济逐渐成为各能耗工业的主要发展趋势。 所谓低碳经济,是指把低排放、低能耗和低污染做为发展目标的一种经济模式,在少量排放温室气体的前提下,最大化地获得社会产出[2]。低碳经济模式在全球范围内都持续开展开来,掀起一波低碳发展的热潮,多国政府更是把发展低碳经济视为未来经济的发展新模式[3]。我国作为最大的发展中国家,人口基数大,温室气体排放量从全球总量角度来说占比较大,因而我国理应担负起控制全球气候变暖的大国责任,低碳经济模式成为我国走经济节约型与环境友好型社会的必经之路[4]。 
.........
 
1.2  国内外研究现状
随着全球气候变暖日趋严重,世界各国政府和民众都积极关注这一问题,作为二氧化碳排放最大的工业部门,电力系统积极推进低碳化方面的研究。目前世界各国在电力低碳化的研究,关注点多是低碳激励政策、低碳实现技术和低碳优化运行等三个方面。低碳激励政策方面,文献[8]介绍了低碳目标对于促进能源多元化发展的作用;文献[9]分析了碳税等对电力系统的影响,并介绍了如何实施碳税和碳交易;文献[10]研究在伊比利亚半岛电力市场中引入碳市场的影响,分析电力需求与碳价之间的联系,研究了碳交易机制对市场成员行为的影响。低碳实现技术方面,文献[11]介绍了碳捕捉和碳封存技术的研究现状,采用该技术从发电厂源头将 CO2分离出来,输送到一个与大气隔绝的地方封存起来;文献[12]从电源端到网络到用户侧分别介绍了相关低碳化技术,并介绍了各类技术发展前景;文献[13]指出低碳电网的可行技术路线,通过降损技术、变压器改造、SF6 回收等多方面提高电网的低碳水平。低碳优化运行方面,文献[14]基于降低网损与减少碳排放建立了多目标的电力系统最优潮流模型;文献[15]通过对不同类型电源碳排放特性的分析,建立起了含有清洁能源(水力发电、风力发电、光伏发电)的碳排放调度特性;文献[16]为了减小电力系统碳排放,在满足调度规则的前提下充分考虑了对碳减排建立起一种新的机组组合模型。 无论是低碳政策的落实、低碳技术的应用或者是低碳运行的推广,都需要能够准确的对电力系统进行碳排放核算和分析。现行电力系统核算碳排放尚未做到精细化,主要是根据能源消耗量来进行宏观统计,只依靠发电侧能源的消耗情况来统计碳排量,而没有考虑到电网作为一个电力系统的一部分具有电力传输物理特性和碳转移特性。 碳排放流分析理论是一种全新的电力系统分析碳排放的方法。碳排放流的概念受隐含在商品交易中的碳排放转移启发而建立起来,通过碳排放流这一概念,有助于厘清发电厂、电网和用户之间需要承担的碳排放责任。碳排放流在分析过程中引入潮流分析的方法,结合电力网络的拓扑结构,可以有效地辨析出碳排放在电力网络中的流动和电力系统各个环节中的碳排放强度。文献[17]首先提出电力系统碳排放流的概念,同时为了便于研究分析和推广应用,定义了专门研究碳流的四个相关指标。文献[18]提出无损电力系统环境中的碳流计算方法,依据发电机的碳排放量信息、网络拓扑信息以及系统的潮流信息确定电力系统的各个支路碳排放率和节点碳势。文献[19]为了描述碳流在电力网的流动特性,提出电力系统碳排放流研究的关联矩阵,从而有助于分辨出高碳要素,使得优化低碳电力系统具备量化的条件。 
...........
 
第二章  碳能复合流无功优化模型 
 
2.1  引言 
碳排放流分析(carbon emission flow analysis)作为一种新颖的研究工具,在分析过程中假定碳排放不是直接从电厂排入大气,而是寄托在有功潮流中以虚拟网络流的形式注入电网并最终流入到用电终端[17]。碳排放流分析理论的建立把发电厂侧的碳排放量和电网的潮流结合起来,以碳流的形式来描述电力系统的碳排放转移方向以及碳排放量的具体分布,能够帮助研究更加合适的减少碳排放的策略,以及在具有复杂网络结构特性的电力系统中更准确地核算碳排放。 传统碳排放量统计方法中,碳排放责任是由发电侧承担,而在碳排放流研究中,电力负荷被认为是电力生产的根源,发电侧的碳排放量全部归算到电网和用户侧,由电网以及用户去承担,两者在实际运用中都有失偏颇。前者把碳排放责任完全让发电侧承担,则没法体现碳排放的转移特性,后者把碳排放量完全归算到电网和用户侧,则会造成电厂的碳排放责任完全脱离,不能调动起发电厂的节能减排积极性,所以在发电侧、电网和用户侧,需要一个更合理有效的责任分摊方法来对电力系统中的不同的参与者进行相应的责任分摊。文献[54]在投入产出法基础上进行碳排放转移分析,并建立生产者和消费者之间的责任分摊模型。在碳排放流分析时,引入责任分摊,可以使得责任分配更加合理。 碳流和能流是两个独立的概念,碳流依托在能流上,能流总会携带碳信息,在电力系统优化运行分析中,不该把碳流和能流分割开来研究,而是看成整体进行研究,本文称之为碳能复合流。随着碳税、碳交易制度的发展,电网公司需要承担其网络损耗所对应的碳排放责任,支付与其折算碳排放量相对应的经济成本,而传统电力系统无功优化主要是通过合理调节无功设备对系统运行状态进行优化,减小有功损耗、改善电压质量,没有考虑减少电网的碳排放责任。本文在无功优化过程中将碳能复合流考虑进去,使电网公司在无功优化调度过程中,除了考虑网损和电压质量外,还需要综合考虑减少电网有功网损所承担的碳排放量,促进电网的低碳化发展。 
..........
 
2.2  碳排放流分析基础
电力系统碳排放流是核算电力企业碳排放的一种新手段,它可看作将碳排放依附到有功潮流并从电网侧向用户侧转移的虚拟网络流,并不是一个实际物质流,表征碳排放责任的转移,简称碳流。碳排放流使经由网络支路中的支路潮流具有了“碳标签”,用户侧可以通过碳排放流明晰其电能消费所造成的碳排放量大小。为了便于在电力系统中对碳排放流进行分析研究和应用推广,文献[17]在提出电力系统碳排放流一些基础概念后,也相应地制定四个碳排放流指标,包括支路碳流量(branch carbon emission flow)、支路碳流率(branch carbon emission flow rate)、支路碳流密度(branch carbon emission flow intensity)和节点碳势(nodal carbon intensity),这是形成电力系统碳排放流研究的理论基础。分别对四个指标介绍如下: 支路碳流量:符号是 F,表示一定时间段内伴着电网潮流经过某一支路的碳流相应的碳排放,数值上等于指定时间内发电侧为产生以及维持该支路潮流而造成的碳排放量。国际上通常用 t CO2或 kg CO2作为碳排放量单位,表示排放气体中温室气体质量的等值二氧化碳质量。支路碳流量采用与碳排放量同样的单位。 
..........
 
第三章  基于粒子群 Q(λ)算法的碳能复合流无功优化 ........ 18 
3.1  引言 ............. 18 
3.2  单主体 Q(λ)学习算法 ..... 18 
3.2.1 Q 学习算法 ............ 18
3.2.2 Q(λ)学习算法......... 20 
3.3  粒子群算法 ........... 21 
3.4  粒子群 Q(λ)算法 ............. 24 
3.5  基于粒子群 Q(λ)算法求解碳能复合流无功优化 ........... 25 
3.6  算例仿真 ..... 27 
3.6.1 IEEE118 节点算例 .......... 27
3.6.2  算例分析 ..... 29
3.7  本章小结 ..... 32 
第四章  基于帝国主义竞争 Q 学习算法的碳能复合流无功优化 ............. 33 
4.1  引言 ............. 33 
4.2  帝国主义竞争算法 ......... 33 
4.3  帝国主义竞争 Q 学习算法 ...... 37
4.4  基于帝国主义竞争 Q 学习算法求解碳能复合流无功优化 .... 41 
4.5  算例仿真 ..... 45
4.6  本章小结 ..... 52 
 
第四章  基于帝国主义竞争 Q 学习算法的碳能复合流无功优化 
 
4.1  引言 
单主体强化学习算法通过不断进行试验和试错(trial and error)学习,在寻找全局最优解上表现出优良的特性,但是学习过程收敛速度慢。上一章中,将粒子群算法的思想运用到强化学习算法中,形成了多主体的粒子群 Q(λ)学习算法,具备良好的收敛性的同时还能拥有良好的收敛速度,但是随着电网规模的扩大,控制变量增加,Q 值矩阵规模将随着状态和动作规模的增大迅速扩大,甚至出现“维数灾”问题。本章为了在大电网中能够运用强化学习算法求解碳能复合流无功优化问题,并获得更好的收敛特性,受帝国主义竞争算法的启发,在经典的 Q 学习引入帝国主义竞争的思想,通过对 Q 算法的解空间降维,并引入多主体合作机制,建立了一种具有多元文化迁移能力的全新的帝国竞争 Q 学习算法(imperialist competitive Q-learning, ICQ)。在预学习获得各个源优化任务的最优文化矩阵后,帝国竞争 Q 学习算法可以保证最优解质量的同时,快速地进行在线优化,非常适合大规模复杂电力系统的快速优化求解。 
.........
 
结论 
 
本文在充分研究碳排放流分析理论的基础上,考虑随着低碳电力发展,碳税和碳交易机制推行,电网公司需要为电能传输过程中出现的有功网损所对应的碳排放量支付经济成本,建立起计及碳排放责任分摊的碳能复合流无功优化新模型。通过粒子群 Q(λ)算法和帝国主义竞争 Q 学习算法,逐步把多主体强化学习算法在碳能复合流无功优化问题中应用从小规模电网向大规模电网拓展,使多主体强化学习能够一种具有工程实际意义的算法。具体的工作总结如下: 
(1)本文在积极研读大量文献后,对碳排放流的原理、无功优化问题的本质以及强化学习、多主体寻优算法的特性都有了较为深入的了解,进而编写了求解碳能复合流无功优化问题的多主体强化学习 matlab 仿真程序。 
(2)电力系统中能流和碳流相互紧密联系,本文把二者作为整体的碳能复合流进行研究,进而采用发电侧、电网和用户侧碳排放分摊方法避免了碳排放流分析中把发电侧的碳排放全部归算到电网和用户侧,建立起计及碳排放责任分摊的碳能复合流无功优化模型。模型在传统无功优化基础上增加了网络减碳目标,使电网公司在无功优化调度过程中,除了考虑网损和电压质量外,还需要减少电网自身碳排放量,间接促进电力系统的低碳化发展。 
(3)单主体的强化学习不需要依赖人为经验,不受目标函数限制,具有良好的收敛性,可以用于处理具有复杂目标的优化问题。但是单主体的寻优使得算法的收敛时间过长,为了将强化学习运用于碳能复合流无功优化问题,本文把粒子群算法思想和 Q(λ)学习算法结合起来,建立了一种粒子群 Q(λ)算法,通过多个主体的协同寻优,极大地提高了强化学习算法的收敛速度。 
.........
参考文献(略)
(责任编辑:gufeng)
顶一下
(0)
0%
踩一下
(0)
0%
------分隔线----------------------------
发表评论
请自觉遵守互联网相关的政策法规,严禁发布色情、暴力、反动的言论。
评价:
栏目列表
点击提交代写需求
点击提交代写需求
点击提交代写需求
推荐内容