本发明涉及空战博弈机动策略，尤其是涉及一种基于gru-mappo深度强化学习的无人机协同空战决策方法。
背景技术：
1、随着作战飞机性能和武器装备能力的快速提高，现代空战呈现出高动态、快节奏、强复杂等特点，无人机将逐渐成为未来空战的主力。无人机协同空战决策是指根据当前空战态势情况，结合无人机的机动性能、机载电子设备和武器装备能力，应用智能化技术计算出无人机动作指令，引导无人机编队获取空战优势。目前用于无人机空战决策的方法主要有基于博弈理论、基于群智能优化算法和深度强化学习智能决策方法三类。但是这些方法都存在一定的问题：首先，采用博弈理论和优化算法这类的大部分方法都只适用于单机领域，如果拓展到多机，要么存在维度爆炸，算法复杂度过高的问题，要么难以收敛到最优值，算法胜率普遍偏低；其次，基于人工智能的相关算法种类驳杂，在处理无人机协同空战决策问题上良莠不齐，且网络结构普遍复杂，计算负荷大。但是，基于深度强化学习的无人机协同空战方法是实现无人机作战自主化和智能化的重要途经。
2、面对复杂的空中环境、瞬变的空战态势以及多种作战任务，无人机(unmannedaerial vehicle,uav)凭借其高智能、难防御、强进攻、低成本等优势，逐渐成为未来空战主力，无人机协同空战将成为未来空战的主要样式(李文韬，方峰，王振亚等.引入混合超网络改进maddpg的双机编队空战自主机动决策[j/ol].航空学报,1-14[2024-3-13])。在衡量战斗机作战能力的指标中，近距格斗始终占据着重要地位，如何提高战机机动反应速度，增强格斗对抗能力，从而降低风险与损失一直是世界各国研究的热点问题。
3、无人机的推广使近距格斗问题有了更优解，无人机协同空战决策是指无人机根据当前的空战态势，结合自身的机动性能、武器装备，应用智能化技术计算出各架无人机的机动指令，快速获取空战优势。因此，深入研究无人机协同空战决策技术，对提升无人机的机动决策水平、多机协同作战能力、以及战场局势的判断分析能力具有重要意义。
4、现有的无人机空战决策方法可以分为三类，分别为基于博弈理论、基于群智能优化理论和基于深度强化学习的智能空战决策方法。基于博弈理论的无人机空战决策方法将空战机动决策问题建模为双边博弈下的策略收益最大化问题，主要方法有矩阵对策法，微分博弈法等。其中，矩阵对策法会随着博弈个体数量及决策变量的增加带来维度爆炸问题，大大增加了算法的计算量，同时难以满足实时性要求。微分博弈法被运用于无人机追逃问题的研究，但在面对复杂的多无人机空战环境下，依旧存在难以评估全局态势的问题。基于优化理论的无人机空战决策方法将空战问题构建为多目标优化问题，使用典型的数值优化方法求解，如动态规划、遗传算法等。其中，动态规划将整个空战过程分解成多个阶段，每个阶段采用人工势场引导寻优算法找到最佳决策。遗传算法将空战状态、动作和目标作为染色体，使用迭代寻优的方式进行决策。但上述优化算法都存在最优解质量过低，寻优过程容易不收敛的问题。基于深度强化学习的无人机空战决策方法主要为机器学习类方法，比如基于深度学习的行为克隆，基于深度强化学习的空战决策等。其中，基于深度学习的行为克隆是借助神经网络强大的拟合能力，让智能体通过监督学习的方式学习专家标注的数据，该方法存在的问题是需要大量数据样本，且训练完成的智能体泛化能力较差。目前，基于深度强化学习的方法成为人工智能领域最成功的方法之一。
5、深度强化学习方法是深度学习和强化学习的结合，它解决了传统强化学习难以处理数据量过大的问题，可以很好地应用于空战决策指令求解。文献(马文，李辉，王壮等.基于深度随机博弈的近距空战机动决策[j].系统工程与电子技术，2021，43(02)：443-451)将深度学习和随机博弈相结合，利用minmax-q方法训练函数逼近网络，求解出纳什均衡策略，并在二维空战场景下进行了验证。文献(周攀，黄江涛，章胜等.基于深度强化学习的智能空战决策与仿真[j].航空学报，2023，44(04)：99-112)基于td3算法设计一种基于价值的经验池样本优先度排序方法，提高了算法的收敛速度，并在仿真实验中压制了专家系统和人类驾驶员。文献(高敬鹏，王国轩，高路.基于异步合作更新的lstm-maddpg多智能体协同决策算法[j/ol].吉林大学学报(工学版)：1-9[2023-08-07])基于值分解思想，利用lstm网络提取轨迹序列特征，优化全局奖励函数划分方法，实现各智能体的奖励分配，在多智能体系统领域提升了训练的收敛速度和稳定性。文献(孔维仁，周德云，赵艺阳等.基于深度强化学习与自学习的多无人机近距空战机动策略生成算法[j].控制理论与应用，2022，39(02)：352-362)提出一种基于参数共享q网络(ps-dqn)与虚拟子博弈的多无人机近距空战策略生成算法，通过自编码对状态空间进行压缩，有效提高策略学习效率。
6、综上分析，目前的无人机协同空战决策方法存在如下问题：首先，使用博弈理论、遗传算法在内的大部分方法只适用于单机场景，需要结合目标分配算法才能扩展到多机编队空战场景，难以满足空战实时性及全局最优性要求，且扩展到多机协同难度大；其次，实际空战环境复杂且对抗性强，存在部分信息可观测，即存在友方位置、速度、决策等信息等无法共享而导致未知的情况；针对上述情况，在有限信息交互下，如何使得无人机编队整体能够进行协同决策并达到或者接近全局最优的协同机动决策方案，是值得深入探讨的问题。
技术实现思路
1、本发明的目的在于针对现有技术存在的上述问题，提供一种基于gru-mappo深度强化学习的无人机协同空战决策方法。能够使各无人机在局部观测信息下进行分布式决策，并在集中式学习时更新各无人机的策略网络参数，同时引入gru单元，加强对往期信息的利用率，优化网络结构，提升算法的效率；适用于多无人机系统。
2、本发明所述一种基于gru-mappo深度强化学习的无人机协同空战决策方法，包括以下步骤：
3、1)建立空战环境模型：从复杂的空战环境出发，对无人机的运动模型、机动动作、空战态势、奖励函数进行分析，建立多无人机空战环境模型，该模型由4个小模型组成，分别为无人机质点运动模型、无人机机动动作模型、空战态势评估模型以及无人机奖励函数模型；
4、2)实现ctde框架下的dec-pomdps策略：针对完全合作的多智能体环境，建立部分可观测的马尔科夫决策链(decentralized partially observable markov decisionprocess,dec-pomdps)框架，采用集中训练分布执行(centralizedtraining anddecentralized execution,ctde)的工作方式；
5、3)建立gru-mappo算法：针对无人机的协同决策，将近端策略优化(proximalpolicy optimization,ppo)算法拓展至多智能体领域，使用门控循环单元(gatedrecurrent unit,gru)代替原始算法中的全连接神经网络，得到适用于多智能体深度强化学习的gru-mappo算法。
6、在步骤1)中，所述无人机质点运动模型的建立，具体步骤为：
7、将无人机视为质点，建立三自由度的uav质心模型，该模型的动力学方程如下：
8、
9、式中，v代表无人机的速度矢量；θ∈[-π,π]代表俯仰角，即uav的速度方向与三维空间水平面之间的夹角；代表偏航角，即uav速度向量在水平面上的投影与x轴之间的夹角；ψ∈[-π,π]代表滚转角，是uav机身横向轴在速度方向铅直面滚动的角度；ηx表示uav受到的切向过载，即uav在速度方向上受到的推力与机身重力的比值；ηz表示uav受到的法向过载，即uav在机身垂直方向所收到的升力与机身重力的比值；
10、基于无人机在三维坐标系中的位置，模型的运动学方程如下：
11、
12、式中，(x,y,z)为无人机在三维坐标系中的位置坐标。
13、在步骤1)中，所述无人机机动动作模型的建立基于无人机基本机动动作合集，所述无人机机动动作模型包含7个候选动作，定常直行、加速直行、减速直行、左转弯、右转弯、向上拉起、向下俯冲；通过动作之间的组合，实现复杂机动；
14、为了更好区分每一个动作，使用无人机的切向过载ηx、法向过载ηz以及滚转角ψ对动作进行编码，以此得到控制三元组[ηx,ηz,ψ]；考虑到uav的物理极限，设定切向过载的范围为[-2,2]，法向过载的范围为[-5,5]，滚转角的取值范围为[-π/3,π/3]；双方飞机在每次动作执行时均采用最大过载，即性能一致。
15、在步骤1)中，所述空战态势评估模型可采用以下步骤建立：
16、在空战环境下，交战双方的态势分为我方优势、敌方优势、双方均势；引入偏离角(antenna trainangle,ata)和脱离角(aspectangle,aa)评价当前空战态势；分析空战态势的几何关系，得到相关参数的计算公式：
17、
18、式中，d为两机之间的距离；ata为偏离角，表示红方无人机速度方向与两机距离向量之间的夹角；aa为脱离角，表示蓝方无人机速度方向与两机距离向量延长线之间的夹角；xr,yr,zr,xb,yb,zb分别为红方和蓝方无人机在三维坐标系下的坐标，θr,θb分别为双方俯仰角，分别为双方偏航角。
19、在步骤1)中，所述无人机奖励函数模型由五种奖励函数组成，具体如下：
20、(1)角度奖励函数，用于通过提供正向奖励引导鼓励无人机学习如何占据优势攻击位置，角度奖励函数如下：
21、
22、式中，ata为偏离角，aa为脱离角，取值均在[0,π]之间，ata和aa越小，表明我方优势越大；
23、(2)距离奖励函数，用于强化学习或路径规划算法中指导无人机在执行任务时与目标保持合适的距离，所述距离奖励函数如下：
24、
25、式中，d表示敌我双方的距离，dmax表示机载武器的最大攻击距离。
26、(3)速度奖励函数，用于使无人机以更快的速度在对抗时占据优势；所述速度奖励函数如下：
27、
28、式中，vr代表我机的速度，vb代表敌机的速度考虑到无人机自身结构限制以及飞行时最低速度限制，追加速度限制函数如下：
29、
30、因此，最终的速度奖励函数合并如下：
31、rv＝rv_initial+lv
32、(4)高度奖励函数，用于指导无人机飞行高度到一个理想范围，以占据高度上的优势，进可俯冲进入攻击姿态，退可盘旋保持优势姿态；所述高度奖励函数如下：
33、
34、式中，δh＝hr-hb，即我方无人机和地方无人机的高度差；考虑无人机自己高度极限和飞行最低高度限制，追加高度限制函数如下：
35、
36、因此，最终的高度奖励函数合并如下：
37、rh＝rh_initial+lh
38、(5)胜负奖励函数，用于提供即时的反馈、优化行为策略；当我方的无人机进入优势位置后，若偏离角和脱离角小于设定值，且敌我双方距离小于导弹的最大攻击距离，那么便可认为敌机处于不可逃逸位置，即我机取得本轮胜利；反之，则认为敌机取得胜利；所述胜负奖励函数如下：
39、
40、式中，ata为偏离角，aa为脱离角，d为敌我双方无人机的距离；
41、(6)最终奖励函数，用于激励无人机进行动作上的探索，避免产生奖励过于稀疏的问题，影响无人机的决策效率；对内部奖励机制分配不同的权重，得到公式如下：
42、rin＝w1ra+w2rd+w3rv+w4rh
43、式中，w1,w2,w3,w4为权重系数，且满足w1+w2+w3+w4＝1，得到最终的奖励函数如下：
44、r＝rin+reva
45、在步骤2)中，所述实现ctde框架下的dec-pomdps策略，具体包括以下步骤：
46、采用部分可观测的马尔科夫决策链框架进行建模，该马尔科夫决策模型可以用一个元组g来表示，g＝(s,o,a,p,r,n,γ)，其中，n为无人机的数量，n＝(1,…,n)；s表示无人机的状态空间，s＝[s1,s2,…,sn]，其中每架无人机的状态空间为o表示无人机的观测空间，o＝[o1,o2,…,on]，其中每架无人机的观测空间为oi；a表示联合动作空间，a＝a1×a2×…×an，每架无人机的动作空间为ai；p为状态转移函数，p(st+1|st):s×a×s∈[0,1)表示在当前状态st下，选择动作ai，得到下一个状态st+1的概率；r为无人机获得的奖励，表示无人机在状态s下根据策略πi执行动作ai后获得的奖励，其中每架无人机的奖励为ri；γ为折扣因子，γ∈[0,1]，用于权衡长期奖励和当前奖励的相对重要程度；
47、每架无人机i的训练目标是学习一个从观测oi映射到动作空间分布的策略πi:oi→p(ai)，该策略的目标是最大化无人机i的期望奖励：
48、
49、在步骤3)中，所述建立gru-mappo算法，具体步骤可为：
50、ppo算法引入重要性采样，通过比较目标函数前后策略的方法代替对学习速率的修改，目的在于尽可能减小前后策略的方差，从而使策略更为稳定；重要性采样是一种用于估计在一个分布下的期望值的方法，具体计算公式如下：
51、
52、式中，x服从分布p，但p不方便采样，可以通过q进行采样，计算f(x)的期望值；其中p(x)/q(x)代表重要性权重；
53、多智能体环境下的ppo算法的核心在于学习两个函数：策略函数πθ和值函数vφ(s)，在算法中被表示为两个独立的神经网络，即actor网络和critic网络；由于vφ(s)用于方差的减小，仅在训练期间使用，故可将每个智能体局部观测中不存在的全局环境信息作为额外输入，从而满足集中训练分布执行的框架；
54、将适用于多智能体环境，且具有集中式价值函数输入的ppo算法称为mappo算法，对mappo算法网络结构进行改进，引入gru单元，以提高对历史信息的利用率；
55、mappo算法的网络架构是actor-critic网络，考虑到mappo算法在无人机协同空战决策环境下对经验回放池的利用，对传统ac网络框架进行改进，在全连接神经网络中间加入了一层gru单元，用于捕捉空战轨迹序列中的关系，提高经验回放池的利用率，进而提升算法效率，改进后的mappo算法为gru-mappo算法；
56、actor网络负责接收战场上的相关信息，如无人机的相对位置、相对速度和空战态势；该网络的输出是无人机联合行动分布的概率值，代表无人机将在下一轮中选择哪个动作；actor网络的优化目标函数如下：
57、
58、式中，b是批量的大小，n是无人机数量，是gae方法的是优势系数，π是策略函数，s是策略熵系数，σ是控制熵系数的超参数，是新旧策略的比值；
59、critic网络通过评估每次行动后的回报来指导actor网络进行训练；该网络的输入是战场信息和无人机动作，输出是无人机执行该动作后得到的奖励，也就是值函数；critic网络的优化目标函数如下：
60、
61、式中，v是值函数，ri是折扣奖励。
62、本发明提供一种引入门控神经单元的多智能体近端策略优化(gru-mappo)的协同空战决策方法，从复杂的空战环境出发，对无人机的运动模型，机动动作，空战态势，奖励函数进行分析，从而建立多无人机空战环境模型。针对无人机的协同决策，本发明将ppo算法扩展至多智能体领域，并在算法的网络结构中引入gru单元，提出适用于多智能体深度强化学习的gru-mappo算法。最后，本发明在python环境下完成无人机协同空战决策的仿真实验，并证明其对比传统的智能算法，能进一步提高无人机的协同决策能力和空战胜率。与现有技术相比，本发明具有以下突出的技术效果和优点：
63、1、对于无人机协同空战决策问题，大多数的研究都是针对单个无人机展开，建立一对一的空战环境。但随着现代空战技术的进一步发展，多无人机协同作战将成为未来的主流。在本发明中，创造性的将ppo算法拓展至多无人机空战领域，并采用集中训练，分布执行的框架，即各无人机在局部观测信息下进行分布式决策，并在集中式学习时更新各无人机的策略网络参数。这保证无人机在训练时的平稳性和快速性，同时也提高算法的泛化性能。
64、2、在使用深度强化学习的方法来解决无人机协同空战决策时，训练数据来源于经验回放池，即本发明将无人机前期训练数据保存到指定位置，在后续过程中随机抽取经验池中的数据进行训练。考虑到无人机的训练数据具有长序列的特征，本发明创造性地引入gru单元，对传统的actor-critic网络结构进行改进。gru可以有效解决rnn中常见的梯度消失问题，并且擅长捕获数据之间的长期依赖性，有效提高了经验回放池的利用率，并提高算法的收敛速度。另一方面，由于gru只存在重置门和更新门两个门控机制，其模型复杂度要小于lstm等复杂的rnn变体，这代表其能获得更快的训练速度，占用更少的计算资源，有效地实现模型的轻量化。
1.一种基于gru-mappo深度强化学习的无人机协同空战决策方法，其特征在于包括以下步骤：
2.如权利要求1所述一种基于gru-mappo深度强化学习的无人机协同空战决策方法，其特征在于在步骤1)中，所述无人机质点运动模型的建立，具体步骤为：
3.如权利要求1所述一种基于gru-mappo深度强化学习的无人机协同空战决策方法，其特征在于在步骤1)中，所述无人机机动动作模型的建立基于无人机基本机动动作合集，所述无人机机动动作模型包含7个候选动作，定常直行、加速直行、减速直行、左转弯、右转弯、向上拉起、向下俯冲；通过动作之间的组合，实现复杂机动；
4.如权利要求1所述一种基于gru-mappo深度强化学习的无人机协同空战决策方法，其特征在于在步骤1)中，所述空战态势评估模型采用以下步骤建立：
5.如权利要求1所述一种基于gru-mappo深度强化学习的无人机协同空战决策方法，其特征在于在步骤1)中，所述无人机奖励函数模型由五种奖励函数组成，具体如下：
6.如权利要求1所述一种基于gru-mappo深度强化学习的无人机协同空战决策方法，其特征在于在步骤2)中，所述实现ctde框架下的dec-pomdps策略，具体包括以下步骤：
7.如权利要求1所述一种基于gru-mappo深度强化学习的无人机协同空战决策方法，其特征在于在步骤3)中，所述建立gru-mappo算法，具体步骤为：
