本技术一个或多个实施例涉及通信，尤其涉及一种资源分配方法及相关设备。
背景技术：
1、近年来，随着深度学习技术和深度网络技术的日益成熟，被越来越多的应用于各个领域。目前深度学习理论已广泛应用于电力应用领域，包括利用深度学习技术优化有限无线频谱资源的复用方案等。
2、根据电力智能网络中无线频谱资源的复用情况，可以将终端分为复用终端和被复用终端。其中，复用终端表示需要复用其他终端频谱资源的终端，被复用终端表示频谱资源需要被其他终端复用的终端。
3、相关技术中，在利用深度学习技术分配复用资源时，只考虑了每个被复用终端只占用一个频谱资源的情况，未考虑一个被复用终端占用多个频谱资源的情况。
技术实现思路
1、有鉴于此，本技术一个或多个实施例的目的在于提出一种基于深度学习的资源分配方法及相关设备，以解决背景技术中提出的问题。
2、基于上述目的，本技术一个或多个实施例提供了一种基于深度学习的资源分配方法。包括：
3、确定第一终端的物理资源块分配方案；所述物理资源块分配方案包括所述第一终端所需的物理资源块数量；
4、基于所述物理资源块分配方案，确定第二终端的资源分配方案。
5、可选地，所述第一终端包括带宽要求终端和时延要求终端；所述带宽要求终端表示对带宽有要求的终端，所述时延要求终端表示对时延有要求的终端。
6、可选地，所述基于所述物理资源块分配方案，确定第二终端的物理资源块复用方案，包括：
7、基于所述物理资源块分配方案，第一终端的发射功率为固定功率，确定所述第一终端的第一终端速率和所述第二终端的第二终端速率；
8、基于所述第一终端速率和第二终端速率，求解目标函数的最优解，确定所述第二终端的资源分配方案；所述最优解应满足预设约束条件；
9、其中，所述目标函数为：
10、
11、ri表示所述带宽要求终端的终端速率，rj表示所述时延要求终端的终端速率，xk,n表示所述物理资源块的复用选择，rk表示所述第二终端的第二终端速率；
12、所述约束条件包括：
13、
14、xk,n取值为0表示所述第二终端不复用物理资源块，取值为1表示复用带宽要求终端或时延要求终端的物理资源块，表示所述带宽要求终端的物理资源块的信噪比，表示所述带宽要求终端物理资源块的最小信噪比，表示所述时延要求终端的物理资源块的信噪比，表示所述时延要求终端的物理资源块的最小信噪比，表示所述第二终端的物理资源块的信噪比，表示所述第二终端的物理资源块的最小信噪比，pk表示所述第二终端的功率，表示所述第二终端的最大功率，vi表示所述带宽要求终端的终端速率，表示所述带宽要求终端的最小终端速率，τj表示所述时延要求终端的时延，表示所述时延要求终端的最大时延。
15、可选地，所述带宽要求终端的终端速率计算公式为表示所述带宽要求终端所需的物理资源块数量，表示第n个物理资源块的带宽，表示所述带宽要求终端的物理资源块被复用时该物理资源块的信噪比，所述时延要求终端的终端速率计算公式为表示所述时延要求终端所需的物理资源块数量，表示所述时延要求终端的物理资源块被复用时该物理资源块的信噪比，所述第二终端数量的计算公式为表示所述第二终端复用任一物理资源块时的信噪比，pi表示所述带宽要求终端的发射功率，gi,b表示所述带宽要求终端到基站的信道增益，pj表示所述时延要求终端的发射功率，gj,b表示所述时延要求终端到基站的信道增益，pk表示所述第二终端的发射功率，gk,b表示所述第二终端k到基站的信道增益，k′表示与第二终端k复用相同资源块的其它第二终端k′，p′表示第二终端k′的发射功率，gk′,b表示第二终端k′到基站的信道增益，σ表示噪声功率。
16、可选地，通过复用方案决策模型求解所述目标函数的最优解；所述复用方案决策模型包括对应第二终端的策略近似神经网络以及分别对应第一终端和第二终端的价值评价神经网络；
17、所述复用方案决策模型的训练步骤包括：
18、获取训练用数据，并构建决策过程模型；所述决策过程模型包括状态空间和动作空间表示所述带宽要求终端在t时刻的物理资源块的信噪比，表示所述时延带宽要求终端在t时刻的物理资源块的信噪比，表示所述第二终端的在t时刻的物理资源块的信噪比，rbk表示所述第二终端的物理资源块复用选择，pk,l表示所述第二终端的功率级别选择，l表示最高功率级别，l表示选择功率级别；
19、初始化所述策略近似神经网络和所述价值评价神经网络的网络参数；
20、迭代执行如下操作，直到满足预设条件：
21、基于当前时刻的激励值rt、状态值st，通过所述策略近似神经网络得到当前策略动作；
22、通过误差计算公式δ＝rt+γv(st+1)-v(st)，分别计算所述带宽要求终端的时序差分误差所述时延要求终端的时序差分误差和所述第二终端的时序差分误差rt表示t时刻的激励值，γ表示折扣因子，取值0至1，v(st+1)表示状态st+1的评价值，v(st)表示状态st的评价值；
23、基于所述带宽要求终端的时序差分误差、所述时延要求终端的时序差分误差和所述第二终端的时序差分误差，计算总时序差分误差β和μ表示调整系数，取值0至1；
24、基于所述宽带要求终端的时序差分误差、所述时延要求终端的时序差分误差和所述第二终端的时序差分误差，分别更新所述带宽要求终端、所述时延要求终端和所述第二终端对应的价值评价神经网络的网络参数；
25、基于所述总时序差分误差，更新所述策略近似神经网络的网络参数；
26、其中，所述激励值rt基于所述第二终端的激励值和第一终端的激励值确定，所述第二终端的激励函数为所述第一终端为宽带要求终端时激励函数为所述第一终端为时延要求终端时激励函数为
27、可选地，所述基于所述宽带要求终端的时序差分误差、所述时延要求终端的时序差分误差和所述第二终端的时序差分误差，分别更新所述带宽要求终端、所述时延要求终端和所述第二终端对应的价值评价神经网络的网络参数，包括：
28、基于所述带宽要求终端的时序差分误差，更新所述带宽要求终端对应价值评价神经网络的网络参数表示t时刻的价值评价参数，表示学习率，表示价值评价神经网络在状态st的输出；
29、基于所述时延要求终端的时序差分误差，更新所述时延要求终端对应价值评价神经网络的网络参数表示t时刻的价值评价参数，表示学习率，表示价值评价神经网络在状态st的输出；
30、基于所述第二终端的时序差分误差，更新所述第二终端对应价值评价神经网络的网络参数表示t时刻的价值评价参数，表示学习率，表示价值评价神经网络在状态st的输出值。
31、可选地，基于所述总时序差分误差，更新所述策略近似神经网络的网络参数，包括：
32、基于所述总时序差分误差，更新所述策略近似神经网络的网络参数表示t时刻所述第二终端k的策略近似神经网络的网络参数，at表示t时刻的策略动作，st表示所述策略近似神经网络的输出值，αθ表示学习率，表示当前策略函数。
33、基于同一发明构思，本技术一个或多个实施例还提供了一种基于深度学习的资源分配装置，包括：
34、第一计算模块，被配置为确定第一终端的物理资源块分配方案；所述物理资源块分配方案包括所述第一终端所需的物理资源块数量；
35、第二计算模块，被配置为基于所述物理资源块分配方案，确定第二终端的资源分配方案。
36、基于同一发明构思，本技术一个或多个实施例还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任意一项所述的基于深度学习的资源分配方法。
37、基于同一发明构思，本技术一个或多个实施例还提供了一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令用于使所述计算机执行上述任一所述的基于深度学习的资源分配方法。
38、从上面所述可以看出，本技术一个或多个实施例提供的基于深度学习的资源分配方法，通过确定第一终端的物理资源块分配方案；所述无线时频资源分配方案包括所述第一终端所需的物理资源块数量；基于所述物理资源块无线时频资源分配方案，确定第二终端的资源分配方案。本技术的技术方案考虑了被复用终端的频谱资源为多个时，复用终端的复用无线时频资源和功率分配方案。本技术的技术方案提高了频谱复用方案的实用性。
39、本技术提供的一种基于深度学习的资源分配装置、电子设备以及计算机可读存储介质均能够实现上述基于深度学习的资源分配方法的步骤，因此同样具备上述基于深度学习的资源分配方法的有益效果。
1.一种基于深度学习的资源分配方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述第一终端包括带宽要求终端和时延要求终端；所述带宽要求终端表示对带宽有要求的终端，所述时延要求终端表示对时延有要求的终端。
3.根据权利要求2所述的方法，其特征在于，所述基于所述物理资源块分配方案，确定第二终端的资源分配方案，包括：
4.根据权利要求3所述的方法，其特征在于，所述带宽要求终端的终端速率计算公式为表示所述带宽要求终端所需的物理资源块数量，表示第n个物理资源块上的带宽，表示所述带宽要求终端的物理资源块被复用时该物理资源块的信噪比，所述时延要求终端的终端速率计算公式为表示所述时延要求终端所需的物理资源块数量，表示所述时延要求终端的物理资源块被复用时该物理资源块的信噪比，所述第二终端数量的计算公式为表示所述第二终端复用任一物理资源块时的信噪比，pi表示所述带宽要求终端的发射功率，gi,b表示所述带宽要求终端到基站的信道增益，pj表示所述时延要求终端的发射功率，gj,b表示所述时延要求终端到基站的信道增益，pk表示所述第二终端k的发射功率，gk,b表示所述第二终端k到基站的信道增益，k′表示与第二终端k复用相同资源块的其它第二终端k′，p′表示第二终端k′的发射功率，gk′,b表示第二终端k′到基站的信道增益，σ2表示噪声功率。
5.根据权利要求3或4所述的方法，其特征在于，通过复用方案决策模型求解所述目标函数的最优解；所述复用方案决策模型包括对应第二终端的策略近似神经网络以及分别对应第一终端和第二终端的价值评价神经网络；
6.根据权利要求5所述的方法，其特征在于，所述基于所述宽带要求终端的时序差分误差、所述时延要求终端的时序差分误差和所述第二终端的时序差分误差，分别更新所述带宽要求终端、所述时延要求终端和所述第二终端对应的价值评价神经网络的网络参数，包括：
7.根据权利要求5所述的方法，其特征在于，所述基于所述总时序差分误差，更新所述策略近似神经网络的网络参数，包括：
8.一种基于深度学习的资源分配装置，其特征在于，包括：
9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任意一项所述的方法。
10.一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令用于使所述计算机执行权利要求1至7任一所述方法。
