本发明涉及无线网络通信，更具体的说是涉及一种基于元深度强化学习的网络信息年龄优化方法及系统。
背景技术：
1、工业4.0代表了工业发展的新阶段，涉及自动化、数据交换、云计算、物联网(iot)、人工智能(ai)等技术的综合应用。这一概念首次于2011年在德国提出，目标是提高制造业的智能化和灵活性。工业4.0的核心是创建智能工厂，其中网络系统和物理过程相互集成，通过物联网实现设备的互联互通，通过云计算提供强大的数据处理能力。这种环境要求网络通信在实时性和可靠性上都达到极高的标准，以支持对生产线和机器的实时监控和控制。
2、近年来，随着物联网设备的激增和数据流量的剧增，传统的网络架构已经难以满足工业4.0对实时性和可靠性的严格要求。尤其是在工业环境中，网络拥堵、电磁干扰等问题更加突出，这些因素都严重影响了网络的性能和数据的及时性。此外，工业应用中对网络信息时效性的要求非常高，任何信息的延迟都可能导致生产效率的下降或安全事故。
技术实现思路
1、有鉴于此，本发明提供了一种基于元深度强化学习的网络信息年龄优化方法及系统，以解决背景技术中所存在的问题。
2、为了实现上述目的，本发明采用如下技术方案：
3、一种基于元深度强化学习的网络信息年龄优化方法，包括：
4、建立视频传输模型，收集所述视频传输模型的当前状态数据、初始奖励信息与动作信息；
5、通过元特征提取函数将所述当前状态数据映射到特征空间中，获取元特征，actor策略网络结合当前策略与所述元特征获取下一步动作，将所述下一步动作发送回所述视频传输模型，所述视频传输模型给出下一步状态数据与下一步奖励信息，根据优势函数与目标值评估所述下一步动作的效果；
6、通过critic价值网络评估actor策略网络选择的所述下一步动作的效果计算得到actor策略网络策略梯度，用于指导所述actor策略网络更新信息，critic价值网络基于所述下一步奖励信息与折扣因子更新critic价值网络值函数，同时设置剪切概率比率机制，对critic价值网络与actor策略网络进行策略梯度剪切；
7、根据critic价值网络值函数、actor策略网络策略梯度与所述下一步奖励信息，结合元学习算法动态更新所述critic价值网络与actor策略网络的参数。
8、优选的，所述获取元特征具体包括：输入特征为x，其形状为n×d，其中，n是样本数，d是特征维度，通过元特征提取函数g(·)将输入特征映射到特征空间；z＝g(x；θg)，其中，z为元特征，θg是元特征提取函数的参数。
9、优选的，所述根据优势函数与目标值评估所述下一步动作的效果具体包括：
10、δt＝rt+γv(st+1)-v(st)；
11、其中，δt是时间t的td误差，rt是奖励，γ是折扣因子，v(st)和v(st+1)分别是当前状态和下一状态的值函数预测；
12、at＝δt+(γλ)δt+1+…+(γλ)t-t+1δt-1；
13、其中，优势函数at表示在时间步t处，采取某一动作后获得的即时奖励与其相应的状态值函数之间的差异；λ是用于gae的参数，用来平衡方差和偏差，t是决策序列中的最后一个时间步；
14、使用收集到的数据计算每一步的优势函数：a(s,a)＝q(s,a)-v(st)；
15、其中，q(s,a)是状态-动作值函数，即在状态s下采取动作a所能获得的期望总回报；
16、计算每个状态的目标值vtarget：vtarget＝rt+γv(st+1)。
17、优选的，所述奖励信息基于奖励函数进行计算，奖励函数包括：
18、
19、其中，n是传感器的索引，k是时间步，delay是从环境获得的当前视频块的延迟，sensor_selection是当前选择的传感器；
20、如果某个传感器的信息年龄超过了设定的阈值，则认为发生了一次违规，i是指示函数，a_dim是传感器的数量，如果年龄超过阈值则返回i，否则返回0；tau[n]是第n个传感器的年龄阈值；
21、定义一个多目标优化问题，目标是最小化视频传输的总延迟，最小化传感器的信息年龄，最小化违规次数，最小化重缓冲事件，最小化视频质量的突变并最大化视频的精度。将优化问题拆分为六个子问题，该问题通过以下数学表达式定义：
22、rtotal＝rdelay+rage+rquality+rviolation+rrebuffer+rsmooth；
23、其中，rdelay为延迟惩罚公式，rage为信息年龄惩罚公式，rquality为视频质量奖励公式，rviolation为违规惩罚公式，rrebuffer为重缓冲惩罚公式，rsmooth为平滑切换惩罚公式；
24、加权总和标量化：每个目标乘以一个权重，然后所有加权目标求和：
25、
26、其中，fi(x)为第i个目标函数，wi为第i个目标函数的权重，x为决策变量。
27、优选的，所述剪切概率比率机制具体包括：
28、
29、其中，πθ和分别表示当前策略和旧策略，a是在状态s下选择的动作；
30、该函数通过裁剪概率比率机制来避免策略更新过程中的过大调整，限制这一比率在[1-,1+]的范围内变动，∈为裁剪阈值，πθ是当前策略的概率，是旧策略的概率。
31、优选的，还包括对所述critic价值网络与actor策略网络进行损失计算，具体包括：
32、actor策略网络损失：
33、
34、其中，πθ是当前策略的概率，是旧策略的概率，at是优势函数，∈为裁剪阈值；
35、critic价值网络损失：
36、
37、其中，vtarget＝r+γv(s′)，vφ(st)是当前critic价值网络的预测值，r是奖励，γ是折扣因子，v(s′)是下一状态的价值估计。
38、优选的，所述更新所述critic价值网络与actor策略网络的参数的方法为同步更新法或异步更新法。
39、优选的，在更新所述critic价值网络与actor策略网络的参数之前，还包括进行归一化处理，具体包括：
40、将数据记为m，m＝{m1,m2,...,mn}；
41、计算数据均值其中，μ为均值，mi为第i个数据点，n为数据点总数；
42、计算数据标准差
43、令y小于μ-kσ或大于μ+kσ的数据点y＝{y∣y＜μ-2σor y＞μ+2σ},其中y为x中满足条件的数据，y＝{y1,y2,...,yn}，对每个数据点yi进行归一化处理，使其转化为其中，zi为第i个数据点的标准差数。
44、一种基于元深度强化学习的网络信息年龄优化系统，包括：
45、模型建立模块，建立视频传输模型，收集所述视频传输模型的当前状态数据、初始奖励信息与动作信息；
46、评估模块，通过元特征提取函数将所述当前状态数据映射到特征空间中，获取元特征，actor策略网络结合当前策略与所述元特征获取下一步动作，将所述下一步动作发送回所述视频传输模型，所述视频传输模型给出下一步状态数据与下一步奖励信息，根据优势函数与目标值评估所述下一步动作的效果；
47、综合更新模块，通过critic价值网络评估actor策略网络选择的所述下一步动作的效果计算得到actor策略网络策略梯度，用于指导所述actor策略网络更新信息，critic价值网络基于所述下一步奖励信息与折扣因子更新critic价值网络值函数，同时设置剪切概率比率机制，对critic价值网络与actor策略网络进行策略梯度剪切；根据critic价值网络值函数、actor策略网络策略梯度与所述下一步奖励信息，结合元学习算法动态更新所述critic价值网络与actor策略网络的参数。
48、经由上述的技术方案可知，与现有技术相比，本发明公开提供了一种基于元深度强化学习的网络信息年龄优化方法及系统，显著提高工业互联网环境中视频传输的效率和质量，通过智能化的路由选择和系统优化，有效减少了延迟，提高了视频数据的处理精度，满足了工业4.0对实时性和可靠性的高标准要求。将元学习融入各个环节，可以有效提升视频传输模型在不同网络环境下的适应性和稳定性，确保模型能够在真实工业iot环境中高效运行，能够快速适应新的任务和环境。本方法提高了网络资源的整体利用率，减少了因网络拥堵导致的数据传输失败和重新传输的需求。
1.一种基于元深度强化学习的网络信息年龄优化方法，其特征在于，包括：
2.根据权利要求1所述的一种基于元深度强化学习的网络信息年龄优化方法，其特征在于，所述获取元特征具体包括：输入特征为x，其形状为n×d，其中，n是样本数，d是特征维度，通过元特征提取函数g(·)将输入特征映射到特征空间；z＝g(x；θg)，其中，z为元特征，θg是元特征提取函数的参数。
3.根据权利要求1所述的一种基于元深度强化学习的网络信息年龄优化方法，其特征在于，所述根据优势函数与目标值评估所述下一步动作的效果具体包括：
4.根据权利要求1所述的一种基于元深度强化学习的网络信息年龄优化方法，其特征在于，所述奖励信息基于奖励函数进行计算，奖励函数包括：
5.根据权利要求1所述的一种基于元深度强化学习的网络信息年龄优化方法，其特征在于，所述剪切概率比率机制具体包括：
6.根据权利要求5所述的一种基于元深度强化学习的网络信息年龄优化方法，其特征在于，还包括对所述critic价值网络与actor策略网络进行损失计算，具体包括：
7.根据权利要求1所述的一种基于元深度强化学习的网络信息年龄优化方法，其特征在于，所述更新所述critic价值网络与actor策略网络的参数的方法为同步更新法或异步更新法。
8.根据权利要求7所述的一种基于元深度强化学习的网络信息年龄优化方法，其特征在于，在更新所述critic价值网络与actor策略网络的参数之前，还包括进行归一化处理，具体包括：
9.一种基于元深度强化学习的网络信息年龄优化系统，应用权利要求1-8任一所述的一种基于元深度强化学习的网络信息年龄优化方法，其特征在于，包括：
