本发明属于通信，具体涉及一种基于服务缓存的异构无人机网络任务卸载方法。
背景技术：
1、无人机因其高度的机动性和灵活性特点已成为未来网络的重要组成部分，通过在地面通信设施薄弱的地区部署低空无人机边缘网络，可以为地面用户提供良好的通信与边缘计算服务。
2、现有关于无人机网络任务卸载的研究，大多仅侧重于卸载任务的调度和计算资源的分配问题，较少考虑服务类型的多样性与机载缓存资源的局限性之间的严重矛盾。现有的低空边缘网络通常采用同质无人机组网，而基于网络成本考虑的轻量型无人机网络通常难以配备充足的缓存资源，可能导致服务缓存分布不均衡，从而影响用户的服务体验。
3、针对以上问题，本发明提出一种在轻量型无人机网络中引入一架增强型无人机的异构无人机网络任务卸载方法，该方法利用双延时深度确定性策略梯度算法[1]建立深度强化学习模型，通过自适应规划无人机群的巡航轨迹，动态规划机载服务缓存和计算资源分配，最大化无人机群的服务缓存效率和计算资源利用率，从而有效提高任务完成率并降低系统单位任务卸载时延。
4、[1]f.scott,v.h.herke,m.david.addressing function approximation errorin actor-critic methods[c].proceedings of the 35th international conferenceon machine learning,stockholm,sweden,2018:2587-2601.
技术实现思路
1、本发明旨在解决以上现有技术的问题。提出了一种基于服务缓存的异构无人机网络任务卸载方法。本发明的技术方案如下：
2、一种基于服务缓存的异构无人机网络任务卸载方法，其包括以下步骤：
3、101、采用双延时深度确定性策略梯度算法构建深度强化学习模型,包括无人机群动作策略发生器、无人机群状态-动作值发生器、服务缓存更新决策发生器、任务卸载与资源分配决策发生器、经验样本存储区、随机样本集，将无人机群的巡航工作时间划分为k个等长时隙，设任意时隙k内系统状态不变，建立系统状态向量[sk,ak,rk,sk+1]，其中，sk为k时隙无人机群状态向量、ak为k时隙无人机群动作向量、rk为k时隙系统奖励函数、sk+1为k+1时隙无人机群状态向量，初始化k＝0；
4、102、如果k＜k，令k＝k+1，增强型无人机的服务缓存更新决策发生器根据状态向量sk和服务流行度分布，更新k时隙轻量型无人机群的服务缓存配置决策λk，跳转到步骤103；否则，跳转到步骤106；
5、103、根据k时隙地面用户的任务请求、无人机群的状态向量sk和服务缓存配置决策λk，通过任务卸载与资源分配决策发生器更新k时隙的任务卸载决策ωk与计算资源分配决策φk；
6、104、通过无人机群动作策略发生器获得sk状态下无人机群动作向量ak，根据{λk,ωk,φk}执行k时隙的任务卸载，获得无人机群动作奖励rk，根据sk与ak计算获得k+1时隙无人机群状态向量sk+1，将系统状态向量[sk,ak,rk,sk+1]加入经验样本存储区；
7、105、从经验样本存储区随机抽样获得随机样本集，并将随机样本集分别导入无人机群动作策略发生器与无人机群状态-动作值发生器进行训练，跳转到步骤102；
8、106、巡航工作结束。
9、进一步的，所述步骤101中建立系统状态向量[sk,ak,rk,sk+1]，其中，k时隙的无人机群状态向量sk、无人机群动作向量ak、系统奖励函数rk、无人机群在sk状态下执行动作ak后，k+1时隙的无人机群状态向量sk+1，分别如公式(1)、(2)、(3)、(4)所示：
10、
11、
12、
13、
14、公式(1)中，表示无人机n在k时隙的三维坐标，表示全体无人机的集合，其中包括增强型无人机和所有轻量型无人机；公式(2)中，为无人机n在k时隙的水平飞行角度，为无人机n在k时隙的水平飞行距离，为无人机n在k时隙的垂直飞行距离；公式(3)中，ε为无人机动作奖励权重因子，其中，0≤ε≤1，ψk表示k时隙系统任务完成率，表示k时隙归一化系统单位任务时延，计算方法如公式(5)、(6)所示：
15、
16、
17、公式(5)中，若用户m的任务在其任务容忍时延内卸载完成，则ψm＝1，否则，ψm＝0，mk表示k时隙请求任务卸载的用户集合；公式(6)中，表示k时隙用户m的单位任务卸载完成时延，计算方法如公式(7)所示：
18、
19、公式(7)中，tm,k为k时隙用户m的任务卸载完成时延，其由k时隙用户m卸载任务到无人机n上执行的传输时延与计算时延组成，dm,k为k时隙用户m请求任务数据量。
20、进一步的，所述步骤102中增强型无人机的服务缓存更新决策发生器更新k时隙轻量型无人机群的服务缓存配置决策λk的方法如下：
21、1)设轻量型无人机集合为n，服务功能集合为s，初始化临时集合n′＝n,s′＝s；
22、2)如果取出n′中第一个元素n，跳转到步骤3)，否则，跳转到步骤6)；
23、3)根据轻量型无人机n覆盖区域内每一种服务类型s的局部流行度ns，计算服务类型s在轻量型无人机n上的缓存价值wn,s，根据wn,s的值对集合s′中的元素降序排列；
24、4)如果取出s′中第一个元素s，跳转到步骤5)，否则，令s′＝s,跳转到步骤2)；
25、5)如果无人机n已缓存服务s，跳转到步骤4)，否则，增强型无人机根据轻量型无人机n的缓存容量约束与服务类型s的缓存价值wn,s优先级，利用“最不经常使用lfu”算法，对轻量型无人机n进行服务缓存更新，跳转到步骤4)；
26、6)输出k时隙服务缓存配置决策λk。
27、进一步的，所述步骤3)中服务类型s在轻量型无人机n上的缓存价值wn,s计算方法如公式(8)所示：
28、
29、公式(8)中，is表示服务s的缓存数据量，ns表示轻量型无人机n覆盖区域内服务类型s的局部流行度。
30、进一步的，所述步骤103中通过任务卸载与资源分配决策发生器更新k时隙的任务卸载决策ωk与计算资源分配决策φk的方法如下：
31、7)设k时隙请求任务卸载的用户集合为mk，初始化k时隙的任务卸载决策其中，为k时隙用户m卸载任务到无人机n的二进制决策变量，计算资源分配决策其中，为k时隙无人机n分配给用户m的计算资源，令临时集合m＝mk；
32、8)根据集合m中每个用户m的任务请求，计算任务的优先级pm,k，并根据pm,k的值对集合m中的元素降序排列，根据无人机服务缓存配置决策λk和集合m中每个用户m请求的任务类型，为每个用户m建立候选卸载无人机集合nm,k；
33、9)如果取出第一个元素m，跳转到步骤10)，否则，跳转到步骤12)；
34、10)如果计算用户m将任务卸载至nm,k中候选无人机n的传输时延根据的值对集合nm,k中的元素升序排列，取出第一个元素n，计算无人机n需为用户m分配的最小计算资源跳转到步骤11)，否则，跳转到步骤9)；
35、11)如果无人机n可用计算资源更新计算资源分配决策θk，令用户m任务卸载决策跳转到步骤9)，否则，跳转到步骤10)；
36、12)对于无人机集合中的每架无人机n，如果对mk中每位的用户，令更新计算资源分配决策φk，跳转到步骤13)，否则，跳转到步骤13)；
37、13)输出k时隙任务卸载决策ωk与计算资源分配决策φk。
38、进一步的，所述步骤8)中每个用户m请求的任务优先级pm,k的计算方法如公式(9)所示：
39、
40、公式(9)中，为k时隙用户m请求任务的最大容忍时延。
41、进一步的，所述步骤10)中用户m将任务卸载至nm,k中候选无人机n的传输时延和无人机n需为用户m分配的最小计算资源的计算方法如公式(10)、(11)所示：
42、
43、
44、公式(10)中，为k时隙用户m与无人机n之间的关联状态，若用户m在无人机n覆盖范围下，则否则，为k时隙用户m与无人机n之间的卸载关系，若用户m的任务卸载到无人机n上执行，则否则，即关联无人机作为中继将任务转发至卸载无人机上处理；表示k时隙用户m到关联无人机n的传输速率，表示k时隙关联无人机n与卸载无人机n′的传输速率，公式(11)中，cm,k表示k时隙用户m请求的任务复杂度；与的计算方法分别如公式(12)、(13)所示：
45、
46、
47、公式(12)中，为用户m的信道带宽，为k时隙用户m到无人机n的通信信道增益，n0为噪声功率，为用户m的发射功率；公式(13)中，表示无人机n的信道带宽，为k时隙无人机n到无人机n′的通信信道增益，为无人机n的发射功率。
48、进一步的，所述步骤104中根据sk与ak计算获得sk+1的方法，具体包括：
49、将导入无人机群动作策略发生器获得k时隙无人机群动作向量再获得其中，
50、
51、本发明的优点及有益效果如下：
52、本发明公开一种基于服务缓存的异构无人机网络任务卸载方法。现有关于无人机网络任务卸载的研究，大多仅侧重于卸载任务的调度和计算资源的分配问题，较少考虑服务类型的多样性与机载缓存资源的局限性之间的严重矛盾。现有的低空边缘网络通常采用同质无人机组网，而基于网络成本考虑的轻量型无人机网络通常难以配备充足的缓存资源，可能导致服务缓存分布不均衡，从而影响用户的服务体验。针对以上问题，本发明提出一种在轻量型无人机网络中引入一架增强型无人机的异构无人机网络任务卸载方法。该方法利用双延时深度确定性策略梯度算法建立深度强化学习模型，根据地面用户的位置分布和任务卸载请求，自适应规划无人机群的巡航轨迹，根据轻量型无人机缓存容量约束和覆盖区域各类型服务的局部流行度分布构建服务缓存决策，根据机载计算资源和服务缓存状态构建任务卸载与资源分配决策，从而最大化无人机群的服务缓存效率，有效提高任务完成率并降低系统单位任务卸载时延。
1.一种基于服务缓存的异构无人机网络任务卸载方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于服务缓存的异构无人机网络任务卸载方法，其特征在于，所述步骤101中建立系统状态向量[sk,ak,rk,sk+1]，其中，k时隙的无人机群状态向量sk、无人机群动作向量ak、系统奖励函数rk、无人机群在sk状态下执行动作ak后，k+1时隙的无人机群状态向量sk+1，分别如公式(1)、(2)、(3)、(4)所示：
3.根据权利要求1所述的一种基于服务缓存的异构无人机网络任务卸载方法，其特征在于，所述步骤102中增强型无人机的服务缓存更新决策发生器更新k时隙轻量型无人机群的服务缓存配置决策λk的方法如下：
4.根据权利要求3所述的一种基于服务缓存的异构无人机网络任务卸载方法，其特征在于，所述步骤3)中服务类型s在轻量型无人机n上的缓存价值wn,s计算方法如公式(8)所示：
5.根据权利要求1所述的一种基于服务缓存的异构无人机网络任务卸载方法，其特征在于，所述步骤103中通过任务卸载与资源分配决策发生器更新k时隙的任务卸载决策ωk与计算资源分配决策φk的方法如下：
6.根据权利要求5所述的一种基于服务缓存的异构无人机网络任务卸载方法，其特征在于，所述步骤8)中每个用户m请求的任务优先级pm,k的计算方法如公式(9)所示：
7.根据权利要求5所述的一种基于服务缓存的异构无人机网络任务卸载方法，其特征在于，所述步骤10)中用户m将任务卸载至nm,k中候选无人机n的传输时延和无人机n需为用户m分配的最小计算资源的计算方法如公式(10)、(11)所示：
8.根据权利要求1所述的一种基于服务缓存的异构无人机网络任务卸载方法，其特征在于，所述步骤104中根据sk与ak计算获得sk+1的方法，具体包括：
