本发明实施例涉及数据处理，尤其涉及一种基于a2c的分布式车辆任务卸载方法和系统。
背景技术：
1、随着智能网联技术的发展，新型车载应用不断涌现，仅依靠车辆自身的计算能力已经无法满足这样应用的实时性要求，基于移动边缘计算的任务卸载方法是当下具有前景的一种解决方案。
2、现有方法通常先收集全局资源信息，如：每个节点的计算能力、带宽和负载情况，再根据任务需求利用相关算法进行全局调度，这类方法有以下缺点，一是由于节点资源波动或隐私需求，全局资源信息无法准确、及时地获取。二是每次制定卸载策略前需要额外的通信开销，这对算法实时性会带来较大的影响。现实世界的通信场景往往比较复杂，一旦发生信号遮挡的情况，卸载策略就无法及时制定，因此传统的完备信息算法并不适合实际的应用场景。
技术实现思路
1、本发明实施例提供一种基于a2c的分布式车辆任务卸载方法和系统，有效实现非完备信息下的车辆任务卸载。
2、第一方面，本发明实施例提供了一种基于a2c的分布式车辆任务卸载方法，包括：
3、s110、获取车辆的当前任务信息和当前车辆信息；
4、s120、将历史任务信息、当前任务信息、当前车辆信息和历史卸载动作为状态变量，输入强化学习智能体，由所述智能体输出当前卸载动作，其中，卸载动作包括任务卸载节点、车载发送设备，以及在边缘服务器的卸载比例，卸载节点包括车辆本地和边缘服务器；
5、s130、根据所述当前卸载动作卸载当前任务，并根据总卸载时延和总能耗计算奖励，根据所述奖励更新所述智能体的网络参数，更新后的智能体用于输出下一任务的卸载动作。
6、第二方面，本发明实施例提供一种基于a2c的分布式车辆任务卸载方法，包括：
7、各车辆分别通过上述实施例的方法，卸载每个时隙的车辆任务，并更新部署于各车辆的强化学习智能体，其中，各智能体包括动作网络和评价网络；同时，
8、各车辆与邻域车辆构成簇，并在簇内进行动作网络的局部聚合与分发；
9、不同区域的车辆将本地动作网络参数上传到宏基站，在全局范围进行智能体的聚合与分发。
10、第三方面，本发明实施例提供一种基于a2c的分布式车辆任务卸载系统，包括：
11、多个车辆，各车辆分别用于通过上述实施例所述的方法，卸载每个时隙的车辆任务，并更新部署于各车辆的强化学习智能体，其中，各智能体包括动作网络和评价网络；同时，各车辆用于与邻域车辆构成簇，并在簇内进行动作网络的局部聚合与分发；
12、宏基站，用于在不同区域的车辆将本地动作网络参数上传到宏基站后，在全局范围进行智能体的聚合与分发。。
13、本发明实施例提出了一种基于a2c的分布式车辆任务卸载方法，不同于传统的集中式任务卸载方法，该方法将历史任务信息、当前任务信息、当前车辆信息和历史卸载动作为状态变量，通过强化学习智能体输出当前卸载动作，根据总卸载时延和总能耗计算奖励，根据所述奖励更新所述智能体的网络参数。整个过程需任何的节点资源信息，减少了不必要的通信开销，且可以根据车辆能耗预算，自适应调整卸载策略，可以实现非完备信息下的车辆即时卸载，而不需要依赖任何边缘信息。
1.基于a2c的分布式车辆任务卸载方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述历史任务信息其中，dr-2和dr-1分别表示过去最近的两个任务的数据量，cr-2和cr-1分别表示过去最近的两个任务所需的计算量，和分别表示过去最近的两个任务的时延权重，和分别表示过去最近的两个任务的能耗权重；
3.根据权利要求1所述的方法，其特征在于，所述智能体包括动作网络和评价网络；
4.根据权利要求1所述的方法，其特征在于，所述由所述智能体输出当前卸载动作，包括：
5.根据权利要求1所述的方法，其特征在于，所述根据总卸载时延和总能耗计算奖励，包括：
6.一种基于a2c的分布式车辆任务卸载方法，其特征在于，包括：
7.根据权利要求6所述的方法，其特征在于，所述各车辆与邻域车辆构成簇，并在簇内进行动作网络的局部聚合与分发，包括：
8.根据权利要求7所述的方法，其特征在于，所述根据计算能力和距离对簇内车辆进行打分，包括：
9.根据权利要求6所述的方法，其特征在于，所述不同区域的车辆将本地动作网络参数上传到宏基站，在全局范围进行智能体的聚合与分发，包括：
10.一种基于a2c的分布式车辆任务卸载系统，其特征在于，包括：
