中国储能网讯：3月23日，由中国化学与物理电源行业协会主办并联合500余家机构共同支持的第十五届储能大会暨展览会（简称“CIES2025”）在杭州国际博览中心召开。
CIES大会以以“绿色、数智、融合、创新”为主题，针对储能产业面临的机遇与挑战等重点、热点、难点问题展开充分探讨，分享可持续发展政策机制、资本市场、国际市场、成本疏导、智能化系统集成技术、供应链体系、商业模式、技术标准、示范项目应用案例、新产品以及解决方案的普及和规模化工程应用。
在3月23日下午进行的工业绿色微电网专场中，浙江大学电气工程学院第一类“百人计划”研究员章谦之做了题为《适用于配电网和微电网的基于数据辅助的优化方法和数据驱动的强化学习方法》的主题报告演讲。
以下内容根据大会发言整理提炼，仅供参考。
各位专家、各位老师好！我叫章谦之，因为我是去年刚刚从美国回到浙大，我先自我介绍一下。我之前是在美国爱荷华州立大学拿了博士，之后在康奈尔大学做了博士后，在阿拉巴马大学做助理教授，去年以海外优青身份回到浙大。
我的研究方向主要是基于多智能体安全强化学习的新型电力系统计算架构与计算方法在电力系统，主要是人工智能在电力系统里的一些应用；新能源高渗透率下微电网群和主动配电网的电压控制及能源管理方法；面向极端事件的新型电力系统弹性提升方法。
我今天讲的主要是我之前的一些研究，比如大家要说到人工智能，人工智能跟数据相关，我这里主要是用数据辅助我们做优化，或者数据驱动的人工智能，像强化学习的应用。
我们现在的电网有以下这些关键组成和益处，比如说有智能电网的技术、有数据的在线监控和实时通讯，这样子也给我们提升了电网的控制的计算效率、提升电网能观性和监测能力、提升电网的可靠性和弹性、提升电网负荷的调度和灵活性。
同时，我们开发新型电力系统也带来了很多挑战。比如我这里举了几个例子，比如传统电力系统有大型同步发电机，现在新型电力系统以电力电子元件为主，比如说分布式电源，大量分布式电源带来更多的不确定性，比如这样就挑战了我们之前要解一个优化潮流的问题，我们一般是基于确定性的控制方法去做的。或者还有大量的分布式电源，会带来靠近负荷侧的系统变化，挑战了基于模型的控制方法，因为我们的模型在实时变化，我们传统的方法是要基于一个准确的模型才能给我们一个准确的解。传统的基于模型的方法，在这种多变的前提下可能也不太适用了。
挑战1：基于模型的传统优化方法中关于计算效率，物理模型不准确性和处理随机性的缺陷
比如基于模型的传统方法，我们是需要知道电网确切的物理模型，比如拓扑和网络参数。我们求解一个大规模的优化问题，比如包括大量线性和非线性的约束条件。第一个不好解，第二个即使能解，可能也要花费很长的时间，如何能够精确捕捉到当我们有大量的分布式电源和负荷带来的不确定性？这就是一个问题。
挑战2：基于无模型的强化学习由黑箱特性引发的安全疑虑
近些年大家想应用人工智能方法，比如无模型的方法在电力系统中帮忙求解优化潮流、能源管理的问题。这种问题好，但是有它自己的缺陷。比如它可以通过马尔科夫决策过程，把一个传统的优化的问题转化成一个强化学习的问题，比如它这里有包括智能体、环境，通过它自己的互通，最后可以代替优化方法去求解这种问题。但传统的强化学习方法具有“黑箱”的属性，比如我们是否可信？有些人工智能方法它就是一个输入、一个输出，不管是神经网络或者什么也好你并不确定里面发生了什么事情，我们把这种叫做黑箱属性。电力系统是一个对安全性效果非常高的，这种黑箱属性，我们是否可以可信？所以最近我们做了很多研究，希望在电力系统当中我们要应用人工智能的时候，我们要加上“可信”两个字，我们是要用可信的人工智能或者是可解释性的人工智能。所以，我这里也说了你要把电网运行的约束条件考虑当中，使这个黑箱不再黑箱，你可以解释里面发生了什么，你知道哪些约束是在这个人工智能里面是受到了满足。这样子，我们才能信任它，然后用到电力系统当中。
之后，我会举几个例子。比如说电力系统当中这些数据，比如说我们用人工智能，我们要用数据去训练我们的人工智能方法。数据来源是什么？比如说我们有一些数据是来自同步相量测量装置，叫做PMU，还有一些数据是来自智能电表，我们可以去测量和记录这些居民、商业、工业负荷的用电量、电压电流等数据。这些数据或者这些设备也是具备在线监控和实时通信能力的，这样子就使得我们训练人工智能的时候可以用历史数据，也可以利用在线数据去校正人工智能的一些决策。
这是第一个应用，就是高渗透率下的主动配电网中分布式电压无功率优化控制方法。我这里举的第一个例子是非常简单的例子，用数据辅助求解电压无功优化控制。我们是用了一个分布式算法，我们简单地用高分辨率下的用电量和电压的测量量，我们作为系统实时的反馈去估算它以前的非线性量，因为我们在优化过程当中有很多非线性的。这些非线性，就是我们在求解优化问题当中比较难解、比较要花时间解的有些项。这些项，我们就可以用在线反馈，因为我刚刚有说过智能电表这些有在线反馈的能力，用这些数据，我们可以把我这里标绿的项，用这些公式可以把它线性化。这个应用是比较简单地用数据加速我们的优化过程。
这是我的第二个例子，用数据辅助求解电压无功优化控制。但我们是用数据去求解它的不确定性。我们这里推了一个基于分布鲁棒机会约束优化无功电压控制方法。我们这里是用智能电表的数据，建立了一个不确定集。这里有智能电表的数据和少量的同步相量测量的装置数据辅助，我们是先要把它数据增强。像现实生活当中，我们的数据不一定很理想，比如我这里举的例子就是我们有大量的智能电表数据，但智能电表的数据的分辨率不一定高，比如它可能是15分钟、半个小时、一个小时的数据点的数据。但是我们有少量的质量非常高的数据，有30秒、1秒钟，由PMU来采集的。所以遇到这种情况下，我们并不能够直接把这些质量比较差的数据应用到我们的优化或者是人工智能方法当中。所以我这里先推出了一个数据增强的方法，增强之后再应用。用这些数据建立了基于概率函数的矩信息的负荷和分布式的不确定集。
这里大概是一些推导的过程，我们这里讲是怎么从一个决定性问题，把它变成一个机会约束规划的问题，这里大概是一些基于分布式鲁棒机会约束优化的无功电压控制，还有数据模糊集的建立方式，还有数据增强方法的公式，大概利用了一些概率、机器学习的方法。
这里是一些结果，因为今天时间有限，我就不展开说。这是我在美国做的一个项目，是一个爱荷华，美国中部的一个州有一个真实的配电网系统，我们也是知道我们的数据，就是它大概采集的这些电表的设备位置，因为这些位置也会影响我们的结果。这个结果是我们经过数据增强之后，要提取一些数据的平均集和方差，就是整个概率函数的矩信息，然后再建立这个不确定性。我们也是对比过，我们的效果还是不错的。我们这里做了一个降压节能的应用。
后面举的例子，就是刚刚上一位专家说过的微电网群，当然我这里比较关注的是微电网群的能量管理，就是energy management的一个问题。
我们这里有一些挑战，比如说电源对于它的公共连接点，我们这里叫PCC点，它对于PCC点后的微电网信息并不完全掌握，因为这个可能在美国发生的比较多一点，因为它的微电网可能是私人有的，比如爱荷华州比较多的是农场拥有的微电网群。微电网后面的用户信息，有些微电网群里的分布式能源的信息，它的配电网公司或者电网公司并不知道的。在这种情况下面，传统的方法，配电网想对它进行能量控制，但是你不知道它的信息，你不知道后面的物理拓扑，就造成你传统的优化、基于模型的方法不适用。所以这就造成了我们的动机，就是为什么我们想用无模型的方法去应用。这也是我自己的经验，因为现在大家说人工智能在电力系统中应用很多，但好像是为了用而用。但是我这里还是希望要找到足够强的动机和理由应用人工智能，这样可以把故事说得更好一点，也可以说服自己。
这里我举了第一个例子，是双层强化学习方法。这是一个比较普通的，如果大家有记得前面几页我展示过强化学习。基本上你推出一个智能体，然后有一个环境，你是通过智能体和环境之间的不断的互联去训练你的智能体，最后达到结果。这是一个比较基础的强化学习的应用，也是一个双层的。上层的模型是利用协调的智能体和强化学习的无模型特性，通过采集它的状态信息，并训练、学习、模拟出了一个微电网群在一个电价敏感环境下的运行行为，然后你最大化的全局收益。我们这里给出电价信号，通过电价信号去控制一个微电网，因为它的微电网是对电价敏感的。
这里的下层模型是接收了上层模型传来的电价信号后，每个微电网都提供了受约束的优化潮流作为它的状态解，来模拟强化学习所需的环境。
在智能体的训练当中，下层模型是仅向上层模型交互集合过的信息，也保证微电网群里面这些用户信息不被大范围传播，有一定的用户信息的保护。
这里是一些数学公式，从上层的智能体怎么用Q函数训练它的智能体，下层是每个微电网群求解自己有一个优化潮流的问题。就像我刚刚说的，传统的强化学习是一个黑箱的，我们怎么把安全约束考虑到其中？这就是个问题。大家可以看到我在第二层里面，因为还是把这些约束条件放在了环境模拟当中，这样子就用了一种方法，把约束条件在环境当中，它就会把受约束有一些反馈，再反馈到上层的智能体当中去训练它。这是一种例子，就是怎么把约束考虑到强化学习过程当中。
这里是一些结果，不展开讲。如果大家比较关注的话，因为我每一个内容下面会把自己的论文放上去了，大家如果感兴趣可以去查询一下，有更多的结果和讨论。
这个例子，像我刚刚说的所有的那些安全约束是把它讨论到下层的，有没有直接可以把这些安全约束，直接完全讨论到强化学习过程当中？我这里提了一个多智能体安全强化学习。这里是将微电网群的问题直接转化成了一个基于神经网络参数的优化问题，就是参数的优化问题。我这里利用了梯度信息，如果大家比较熟悉现在有些智能体或者有一些人工智能，就是有一类人工智能的方法现在比较火，它叫做内嵌物理信息的人工智能的方法，英文叫做physical informed AI。这样子的话，它就不再是一个单纯的黑箱，因为我们传统的基于模型的叫“白箱”，完全的数据驱动的人工智能叫“黑箱”，但是我们如果考虑到部分物理信息到人工智能，这种叫“灰箱”，我们这里就有利用到一些物理信息，然后把它放到人工智能方法里面去，有利于我们可以去解释，所以这个是可解释性的人工智能方法。
我们这里把梯度信息考虑到了人工智能的训练当中。因为我们这里做的是微电网群，所以我们把每一个微电网群当中的每一个微电网作为一个智能体，所以我们这里又推出了基于共识的分布式模型的训练方法，相邻的微电网之间，它们每一个作为智能体，在训练过程当中它们会交互一些信息、达到共识。当它们达到共识之后，这个智能体就训练好了，就可以直接用来应用。
这里是一些数学公式，我们怎么样从一个传统的基于模型的，把微电网群的能量管理方法先转变成一个安全的策略学习的方法，再把它称为一个可解释性的人工智能方法，用到了置信域策略优化，然后再怎么把它分解到每一个微电网，这里也就是每一个智能体上，然后进行分布式的训练。这里是一些最后的结果。
这大概就是我今天讨论的内容，我们这里讨论了一些现代智能电网中关键元件和一些挑战。比如我们说了基于传统的模型的方法与无模型的方法都有各自的缺陷，我们这里又说了怎么用数据去加速我们这些传统的基于模型的优化方法，我们可以去用于线性化，我们也可以用于去建立它的不确定集，去做随机优化方法。我们也可以用这些数据去做一些强化学习方法，但是我们要把这些安全约束或者是用内嵌物理信息的人工智能方法，来增强强化学习的可解释性，让它可以是可信的人工智能，安全地应用在电力系统当中。
这大概就是我今天的内容了，谢谢大家！
