本发明涉及智能控制，尤其涉及面向交通场景的多智能体协同控制方法。
背景技术：
1、随着人工智能(artificial intelligence，ai)技术在现代交通中的广泛应用，各类交通工具被赋予智能体的概念，它们是交通系统的重要组成部分。智能体作为机器学习的常见研究对象之一，其通常被定义为环境中的实体，能够获取和解释反映环境中发生的事件的数据，根据解释选择动作，并最终执行对环境有影响的动作，即具有感知和决策的能力。智能体通常由传感器、控制器和执行器组成，其中只执行动作的执行器主要与智能体本身的物理状态有关。在交通场景下，往往需要多个交通智能体间的共同协作以应对复杂变幻的道路环境和有限的计算通信资源。为了满足不同的应用需求，许多研究者聚焦于多智能体的协同感知与控制领域开展研究。
2、在大规模网络化系统中的多智能体协同感知方面，不同智能体通过共享其传感信息相互补偿，从而提高后续局部决策的有效性。多智能体感知可以按照共享信息的不同的分为三种基本的模式：前融合，中融合，后融合。前融合中共享的信息是原始数据，可以无损实现各个原始数据的融合。但前融合方法传输原始数据会使通信资源消耗量大，难以满足对感知实时性要求高的场景。与之相反，后融合共享各智能体独立产生的感知结果。后融合通信带宽消耗少，但由于是基于各自的不完全观测产生的结果，本身就存在着噪声或错误，融合结果准确率低。为了同时满足通信资源消耗低、检测结果准确率高的要求，中融合的方式就被提出且收到了更多研究者的重视。中融合是指各智能体将原始数据处理成中间层特征后共享，基于融合的特征得出最后的感知结果。
3、与此同时，大规模网络化系统的多智能体协同控制则通过协调多个智能体的行动来优化它们的行为。与针对单智能体的传统控制方法不同，协同控制技术依靠智能体间通信来交换有关其状态和目标的信息，必须考虑智能体之间复杂的相互作用和依赖关系，并能实时适应不断变化的条件。例如，基于博弈论的匝道并线策略，用于优化混合交通中车辆的并线协调，该策略可以确定动态并线顺序和相应的纵向/横向控制。除了基于博弈论的多智能体协同控制方法之外，有研究者基于最优化方法将协同控制问题表述为一个优化问题，其目标是为每一智能体找到最优行动，使混合交通中车辆队列的整体性能最大化。例如混合整数线性规划(milp)模型，从车辆总延迟的角度协同优化自动驾驶车辆的行驶轨迹。此外，基于强化学习的方法通过试错法训练控制算法，即算法从自身在环境中的经验中学习，适应不断变化的环境。例如基于区块链集成多智能体深度强化学习(block-madrl)的架构。
4、现有方法大多是基于传感器单方面向控制器提供环境信息的框架开展研究，将大规模网络化系统中的多智能体协同感知与协同控制两部分的多智能体协同算法分开执行。在这种单向框架中，控制器性能的上限往往会受限于传感器的感知精度。因此，迫切需要引入一种基于多智能体在线进化学习的感控协同决策机制，通过从控制器到传感器的反向优化通道，形成智能体双向优化框架，使感知与控制单元可以协同地优化以适应动态环境的未知变化，提升交通系统运行效率。
技术实现思路
1、为了解决上述技术问题，本发明提出面向交通场景的多智能体协同控制方法。在所述方法中，使各类感知与控制任务模型脱离人工监督信息而持续提升在数据分布变化环境中的泛化性，同时实现交通智能体之间的决策共享与决策提升。通过运用局部协同决策技术，使大规模网络化系统的局部决策子系统能快速适应非平稳环境变化，提高决策执行效率和准确性。
2、为了达到上述目的，本发明的技术方案如下：
3、面向交通场景的多智能体协同控制方法，包括如下步骤：
4、接收基于深度强化学习的智能交通系统中多交通智能体的感控数据信息；所述多智能体包括具有交互功能的交通智能体和不具有交互功能的交通智能体，所述感控数据信息包括具有交互功能和不具有交互功能的交通智能体的多源感知信息和以及具有交互功能的交通智能体的反馈信息；每个交通智能体侧均设置有感知端模型；
5、提取所述多源感知信息和反馈信息的多源感知特征和反馈特征，并对多源感知特征和反馈特征进行多源异构信息融合，获得感控融合特征；
6、将感控融合特征实时传递给多交通智能体，采取感知监督与融合反馈技术与多交通智能体进行实时信息交互实现新类别数据检测，并基于新类别数据进行增量学习，实现模型的在线更新迭代辅助多交通智能体更新策略及动作。
7、优选地，所述对多源感知特征和反馈特征进行多源异构信息融合，获得感控融合特征vs，采用自监督迁移学习，其损失函数的公式如下：
8、e(θn,θo)＝σl(gn(vs,θn),ys)-ασl(go(vs,θo),ys)
9、其中感控融合特征vs代表目标域；源域ys为控制反馈中的确定性物理世界特征；gn和go表示目标分类器与源域分类器的预测结果，l表示分类损失，θn和θo是分别对应目标分类器和源域分类器内部参数，α是平衡超参数。
10、优选地，采取感知监督与融合反馈技术与多交通智能体进行实时信息交互实现新类别数据检测，并基于新类别数据进行在线训练学习，实现模型的更新迭代辅助多交通智能体更新策略及动作，具体包括如下步骤：
11、在数据流的演化过程中，模型利用熵和概率联合得出新类别数据得分，公式如下：
12、sco(vs)＝min(λc,1)prob(vs)+max(1-λc,0)∑-vslogvs
13、式中，sco为根据vs得出的新数据得分，若高于设定的阈值，则被判定为新类；c是在每个新类周期从0开始的块数，max/min算子使权重保持在(0,1)之间；λ为权衡参数，用来动态平衡两个标准；prob为新数据与已发现的新类的相似性程度；
14、当感知端模型根据新类别数据进行更新后，模型参数的变化进一步更新交通智能体的状态信息，交通智能体根据即时状态信息与周围环境信息更新策略及动作，公式如下：
15、
16、式中，是状态s下动作a的奖励，是状态转移矩阵，eπ是期望函数，rt+1是t+1时刻智能体获得的奖励，qπ是当前策略函数π的动作价值函数，t是当前的时刻，st是t时刻智能体所处的状态，具体取值以s表示，at是t时刻智能体要执行的动作，具体取值以a表示，γ为折现因子，取值范围为0-1。
17、优选地，还包括：基于迭代后的模型，实现混合交通路段内具有交互功能的交通智能体的自主换道和自主避撞，具体步骤如下：
18、在具有交互功能的交通智能体运动过程中，行驶效率由路径计划完成率和移动减速比构成，其公式可构建如下：
19、μ＝δ·σ(r,a)+(1-δ)·ρ(a)
20、其中，δ为平衡系数，a表示运动决策，r是路径决策，σ表示路径计划完成率，是车辆在整个行驶过程中路径计划成功完成的比率，ρ表示移动减速比，是车辆在整个行驶过程中减速运动在所有采取的运动决策中所占的比例；
21、在路径与运动决策成本代价函数的构建中，基于具有交互功能的交通智能体的周围环境、传统车辆行驶状态和道路环境，决策总成本代价函数θ可构建为：
22、θ＝wsqs(r,a)+wcqc(r)+wdqd(r,a)+z
23、其中qs、qc和qd分别是静态安全、舒适和动态安全的成本函数，归一化到0到1之间的值，ws、wc和wd是三个成本函数的权重，z衡量的是车辆行驶过程中违反交通规则的成本代价函数：
24、
25、其中，qg为道路几何产生的成本代价，表示车辆超过车道边界而受到一个指向可通行车道的斥力，是路段交通规则约束，qa为加速度代价，wg、wγ和wa是三个成本函数的权重。
26、基于上述技术方案，本发明的有益效果是：
27、1)本发明提高整合信息利用率：多交通智能体多源信息的整合实现了多源多模态数据信息价值的充分挖掘，进一步了扩展模型的通用能力。在多交通智能体自主避撞模拟实验中，与未采用多源信息整合技术的模型相比，数据利用率提升了5.4％；
28、2)本发明增强模型泛化能力：在线进化学习使得模型在训练过程中脱离人工监督信息，从而提高了模型对新颖类别的泛化能力。在实验中，使用在线进化的模型在面对新类别时，识别准确率比未采用在线进化的模型提高了约2.7％；
29、3)本发明增加模型自我进化能力：在线进化学习与强化学习的引入使得模型可实时搜集现实环境的变化信息进行自我迭代与进化，可根据实时变换的环境作出自我调整，以应对未来可能遇到的各种场景；
30、4)本发明减少通信开销：通过感控协同技术，多交通智能体间实现有效信息的实时传递，并运用于局部系统知识共享与调控机制的构建中。在实验中，相比传统qmix算法明显提升训练效率，通信开销减少10％。
1.面向交通场景的多智能体协同控制方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的面向交通场景的多智能体协同控制方法，其特征在于，所述对多源感知特征和反馈特征进行多源异构信息融合，获得感控融合特征vs，采用自监督迁移学习，其损失函数的公式如下：
3.根据权利要求1所述的面向交通场景的多智能体协同控制方法，其特征在于，采取感知监督与融合反馈技术与多交通智能体进行实时信息交互实现新类别数据检测，并基于新类别数据进行在线训练学习，实现模型的更新迭代辅助多交通智能体更新策略及动作，具体包括如下步骤：
4.根据权利要求1所述的面向交通场景的多智能体协同控制方法，其特征在于，还包括：基于迭代后的模型，实现混合交通路段内具有交互功能的交通智能体的自主换道和自主避撞，具体步骤如下：
