摘要：大量电动汽车用户的无序充电可能造成电网负荷剧烈波动，危及电网的安全稳定。随着电动汽车入网技术的应用，将电动汽车充电站及其周边的分布式新能源发电聚合为虚拟电厂后进行优化调度，有助于改善电动汽车用户充放电的经济性及满意度，同时提高分布式新能源的利用率，平抑电网负荷波动，但电动汽车充电站的整体充放电负荷是大量个体电动汽车用户随机行为的聚合，难以用数学模型描述。针对包含电动汽车的虚拟电厂，提出一种基于深度强化学习的交互式调度框架，以虚拟电厂内电动汽车用户的总效益。虚拟电厂控制平台作为智能体决策电动汽车个体的充放电动作，无需掌握个体详细模型，而是通过与区域电网环境的交互，不断学习和更新动作策略，从而克服集中式优化方法的局限性。该优化调度框架采用深度确定性策略梯度算法进行求解。仿真结果表明，与集中式优化方法相比，该优化算法提高了各电动汽车用户的效益，并使电动汽车充放电负荷与分布式新能源发电协调配合实现削峰填谷，改善了虚拟电厂的整体运行性能。

关键词：虚拟电厂；电动汽车；电动汽车入网技术；分布式新能源；

1.为什么要搭建虚拟电厂

大量电动汽车的无序充电不仅会影响电网的安全稳定运行，而且会给用户造成经济损失。事实上，电动汽车充电负荷不仅具有较大的调节弹性，而且可以基于电动汽车入网技术实现发电和用电侧的角色转换，具备很大的优化调度潜力。通过搭建虚拟电厂整合区域配电网中的电动汽车充放电负荷及分布式新能源发电资源，合理引导电动汽车用户的充放电行为，不但可以降低电动汽车车主的充电费用，提高充电需求满足程度，同时可使电动汽车充放电负荷与分布式新能源发电协调配合，提高新能源利用率，平抑虚拟电厂整体负荷的波动。虚拟电厂是电力系统中智能配电网运行的重要技术，通过创建一个虚拟电厂控制平台，可以将配电网中的电动汽车充放电负荷与分布式新能源聚合为一个整体参与电网运行，更好地发掘电动汽车充放电负荷与分布式新能源的价值和效益。

然而，在上述包含电动汽车充放电负荷及分布式新能源的虚拟电厂中，电动汽车充电站的总负荷特性是大量个体电动汽车用户随机充放电行为的聚合，难以对其进行的数学建模和准确预测，这给传统的基于负荷预测进行优化计算的集中式调度模式带来了挑战。解决这一难点的一种有效途径是采用基于强化学习方法的交互式优化调度模式。该模式中，虚拟电厂控制平台作为智能体，包含电动汽车个体用户及分布式新能源的区域电网为智能体所在的环境。虚拟电厂控制平台在不掌握电动汽车个体用户详细模型的情况下给出电动汽车个体的充放电动作决策，并通过与区域电网的交互评估当前决策的性能，不断学习和更新动作策略，直至得到令人满意的优化决策。基于智能体与环境之间信息交互的强化学习方法可以在缺乏数学模型的情况下模拟顺序决策问题并获得对环境的响应。这种基于强化学习的交互式调度模式克服了传统集中式调度的局限性，有望在虚拟电厂优化调度中得到应用。

目前，国内外针对电动汽车充电优化调度的研究主要关注电网侧和用户侧的经济效益。第1类文献提出将电动汽车充电负荷接入微电网：构建了一个包含风光、基础负荷、储能电池以及电动汽车代理商等对象的微电网，采用粒子群算法对电网经济优化调度模型进行求解；构建了面向工业园区的包含电动汽车充电站的风/光/柴独立微电网模型，通过混合整数线性规划算法，采用Matlab的YALMIP工具包对模型进行求解。第2类文献提出了针对电动汽车充电负荷的市场机制：提出了制定电力交易合约和两级拍卖的优化策略，通过搭建分层qukuailian结构，提高了电网对区域内电动汽车充放电行为的优化调度；采用市场机制方法进行电动汽车充电量和本地负荷之间的协调调度，避免因负荷聚集而导致配电系统阻塞。另一类文献提出了消纳电动汽车充电负荷的虚拟电厂：采用粒子群优化算法，通过构建虚拟电厂对高比例新能源、电动汽车和可控电源的出力进行优化调度；构建了包含风电、光伏、微燃气机组、储能、基础负荷和电动汽车负荷的虚拟电厂，制定了虚拟电厂与电动汽车用户双方经济效益的主从博弈定价策略。

2构建实施

2.1 应用平台构建

虚拟电厂平台系统运行监测、系统运行管理、资源分析与建模、结算管理等功能部署于管理信息大区，交易申报与信息发布、可视化展示等功能部署于互联网大区，方便外界资源接入，两部分平台之间通过强逻辑隔离装置进行信息交互，分别简称为外平台与内平台。

外平台作为聚合商与虚拟电厂用户等社会资源的接入端口与申报发布端口，主要与智慧能源服务平台、电力交易平台、虚拟电厂用户等交互；内平台主要与电网资源业务中台、数据中台、调度系统、虚拟电厂用户等交互。虚拟电厂运营平台采用统一的虚拟电厂聚合商接口，各虚拟电厂聚合商可通过此架构基础进一步与所管控虚拟电厂进行数据与指令交互，并可集成多类型微服务，例如综合能源服务公司、电动汽车公司、第三方负荷聚合商等主体的

自建能量管理系统或管理平台。

虚拟电厂运营平台针对不同时间尺度的调控指令与交易、运营数据交互需求，设置不同的数据通路，包括信息上传与需求计划下发通路等。运营平台与调度系统通过多道安全防护进行出力计划与调节需求等数据交互，构建调控信息通路；运营平台与智慧能源服务平台、交易平台通过相关技术支持功能进行市场信息、出清与结算数据等数据交互，构建市场信息通路。

针对辅助服务、需求响应、电能量交易等所需的数据交互类型，运营平台代理进行交易申报，接收相应上级平台发布的市场出清结果、调节需求或计划曲线，通过预设的协调优化策略，将其分解下发至各虚拟电厂聚合商，在建设前期也可直接发送至底层虚拟电厂用户，并进行实际运行情况的监测、接收、运行评估；此外运营平台还通过交易数据通路，接收辅助服务市场的月度结算信息并分解下发至聚合商或虚拟电厂用户。

2.2 试点应用

组织开展虚拟电厂试点参与平台调峰、调频的洽谈、改造及接入，并逐步拓展接入多元资源的种类与规模，针对接入的聚合商或负荷资源开展调控业务的模拟运行，实现电源侧与负荷侧灵活资源的有效耦合利用与深度互动，以及光伏新能源弃限电量消纳。

2.3 沟通推动政策出台

沟通相关部门推动河北调频辅助服务市场规则的出台，确认虚拟电厂主体角色，鼓励前期按照“报量不报价”的原则参与服务；后期根据电力现货市场建设情况，推动虚拟电厂相关补贴政策出台。一方面，规定可再生能源发电应尽量并网，并进一步完善现行的分时电价办法，鼓励和促进用电高峰时用户节电和分布式能源发电。另一方面，应区别对待不同职能的虚拟电厂。

3 安科瑞智慧能源管理平台助力虚拟电厂快速发展

3.1安科瑞智慧能源管理平台

AcrelEMS 智慧能源管理平台是针对企业微电网的能效管理平台，对企业微电网分布式电源、市政电源、储能系统、充电设施以及各类交直流负荷的运行状态实时监视、智能预测、动态调配，优化策略，诊断告警，可调度源荷有序互动、能源全景分析，满足企业微电网能效管理数字化、安全分析智能化、调整控制动态化、全景分析可视化的需求，完成不同策略下光储充资源之间的灵活互动与经济运行，为用户降低能源成本，提高微电网运行效率。AcrelEMS 智慧能源管理平台可以接受虚拟电厂的调度指令和需求响应，是虚拟电厂平台的企业级子系统。

图1 AcrelEMS 智慧能源管理平台主界面

3.2平台结构

系统覆盖企业微电网“源-网-荷-储-充”各环节，通过智能网关采集测控装置、光伏、储能、充电桩、常规负荷数据，根据负荷变化和电网调度进行优化控制，促进新能源消纳的同时降低对电网的至大需量，使之运行安全。

图2 AcrelEMS 智慧能源管理平台结构

3.3平台功能

3.3.1.能源数字化展示

通过展示大屏实时显示市电、光伏、风电、储能、充电桩以及其它负荷数据，快速了解能源运行情况。

3.3.2.优化控制

直观显示能源生产及流向，包括市电、光伏、储能充电及消耗过程，通过优化控制储能和可控负载提升新能源消纳，削峰填谷，平滑系统出力，并显示优化前和优化后能源曲线对比等。

3.3.3.智能预测

结合气象数据，历史数据对光伏、风力发电功率和负荷功率进行预测，并与实际功率进行对比分析，通过储能系统和负荷控制实现优化调度，降低需量和用电成本。

3.3.4.能耗分析

采集企业电、水、天然气、冷/热量等各种能源介质消耗量，进行同环比比较，显示能源流向，能耗对标，并折算标煤或碳排放等。

3.3.5.有序充电

系统支持接入交直流充电桩，并根据企业负荷和变压器容量，并和变压器负荷率进行联动控制，引导用户有序充电，保障企业微电网运行安全。

3.3.6.运维巡检

系统支持任务管理、巡检/缺陷/消警/抢修记录以及通知工单管理，并通过北斗定位跟踪运维人员轨迹，实现运维流程闭环管理。

安科瑞系统解决方案还包含电力运维云平台、能源综合计费管理平台、环保用电监管云平台、充电桩运营管理云平台、智慧消防云平台、电力监控系统、微电网能量管理系统、智能照明控制系统、电能质量治理系统、电气消防系统、隔离电源绝缘监测系统等系统解决方案，覆盖企业微电网各个环节，打造准确感知、边缘智能、智慧运行的企业微电网智慧能源管理系统。

3.5安科瑞充电桩云平台系统功能

3.5.1智能化大屏

智能化大屏展示站点分布情况，对设备状态、设备使用率、充电次数、充电时长、充电金额、充电度数、充电桩故障等进行统计显示，同时可查看每个站点的站点信息、充电桩列表、充电记录、收益、能耗、故障记录等。统一管理小区充电桩，查看设备使用率，合理分配资源。

3.5.2实时监控

实时监视充电设施运行状况，主要包括充电桩运行状态、回路状态、充电过程中的充电电量、充电电压电流，充电桩告警信息等。

3.5.3交易管理

平台管理人员可管理充电用户账户，对其进行账户进行充值、退款、冻结、注销等操作，可查看小区用户每日的充电交易详细信息。

3.5.4故障管理

设备自动上报故障信息，平台管理人员可通过平台查看故障信息并进行派发处理，同时运维人员可通过运维APP收取故障推送，运维人员在运维工作完成后将结果上报。充电用户也可通过充电小程序反馈现场问题。

3.5.5统计分析

通过系统平台，从充电站点、充电设施、、充电时间、充电方式等不同角度，查询充电交易统计信息、能耗统计信息等。

3.5.6基础数据管理

在系统平台建立运营商户，运营商可建立和管理其运营所需站点和充电设施，维护充电设施信息、价格策略、折扣、优惠活动，同时可管理在线卡用户充值、冻结和解绑。

3.5.7运维APP

面向运维人员使用，可以对站点和充电桩进行管理、能够进行故障闭环处理、查询流量卡使用情况、查询充电\充值情况，进行远程参数设置，同时可接收故障推送

3.5.8充电小程序

面向充电用户使用，可查看附近空闲设备，主要包含扫码充电、账户充值，充电卡绑定、交易查询、故障申诉等功能。

总结

电动汽车虚拟电厂是一种新兴的电力系统调度模式，通过将大量分布式的电动汽车充电站整合成一个虚拟的集中式电厂，实现对电动汽车充电需求的优化调度。强化学习是一种机器学习方法，通过与环境的交互来学习如何在给定状态下采取合适行动以实现目标。在基于强化学习的含电动汽车虚拟电厂优化调度中，可以采用以下步骤：

1. 状态定义：首先需要定义系统的状态，包括电动汽车的当前充电状态、电池剩余电量、电网负荷等。此外，还可以考虑天气、时间等因素。

2. 动作定义：在给定状态下，可以定义一系列可能的动作，如调整充电功率、切换充电站等。这些动作会影响电动汽车的充电需求和电网的运行状况。

3. 奖励函数设计：为了引导强化学习算法朝着优化调度的目标前进，需要设计一个奖励函数来衡量每个动作的价值。奖励函数可以根据系统的实际运行状况和调度目标来设计，如降低电网负荷波动、提高充电效率等。

4. 策略学习：通过与环境的交互，强化学习算法会学习到一个策略，即在给定状态下选择合适动作的方法。这个策略可以用于指导电动汽车虚拟电厂的优化调度。

5. 模型训练与验证：为了验证所学习到的策略的有效性，可以将训练好的模型应用于实际的电动汽车虚拟电厂系统中，观察其调度效果。如果效果不佳，可以调整奖励函数或策略，重新进行训练和验证。

6. 实时调度：在实际应用中，电动汽车虚拟电厂需要实时地根据当前的系统状态和学习到的策略进行调度。

总之，基于强化学习的含电动汽车虚拟电厂优化调度可以实现对电动汽车充电需求的智能调度，降低电网负荷波动，提高充电效率，为电动汽车的大规模普及提供支持。

参考文献

李明扬，窦梦园. 基于强化学习的含电动汽车虚拟电厂优化调度

吴巨爱，薛禹胜，谢东亮 .电动汽车聚合商对备用服务能力的优化

[3] 安科瑞企业微电网设计与应用手册.2022.05版