一种基于视频内容优先级的车联网资源分配方法与流程

专利2024-06-09  74


本发明属于车联网通信领域,涉及车联网场景下的视频传输和视频内容理解系统,具体是一种基于视频内容优先级的车联网资源分配方法。



背景技术:

在车联网场景中,车辆通常配备多个高清摄像头。据数据统计,90%以上的驾驶环境信息可以通过摄像头采集得到。同时,计算机视觉技术采用以深度学习为代表的人工智能算法,充分理解和分析车载摄像头采集的大量视频数据的内容,有助于完成自动驾驶中各种服务的智能决策处理。然而,目前计算机视觉技术是一个独立的研究领域,一般认为对视频内容的理解是在原始视频数据上完成的,忽略了在通信过程中视频压缩和传输所造成的信息损失。在实际中,大量基于视频内容理解的任务,如目标检测与跟踪、车辆异常行为分析等,给车辆端的计算能力带来了极大的挑战。由于硬件和功率的限制,车辆几乎不可能完成所有的智能任务。一个可行的解决方案是将一些任务转移到边缘服务器(通常部署在路边的单元),以便在车联网的帮助下进行协同计算。此外,大量的视频数据从车辆到边缘服务器的传输给有限的通信资源,如带宽和功率,带来了巨大的压力。因此,有必要研究一种有效的资源分配方法以提高车联网的资源利用率,从而更好地完成视频内容的理解任务。

传统的车载网络资源分配方法主要分为两类:一类是基于服务质量(qualityofservice,qos)的资源分配方法,另一种是基于用户体验质量(qualityofexperience,qoe)的资源分配方法。基于qos的方法主要是通过对通信资源的合理分配来优化网络的吞吐量、传输速率、时延和抖动等效率。基于qoe的方法主要是分配通信资源以满足接收用户的各种主观需求。

现有的这些资源分配方法主要考虑视频传输效率或用户体验,而不考虑传输的视频内容。因此,当使用传输的视频来完成视频内容理解任务时,传统的方法不再是最优的。在这种情况下,需要考虑不同视频内容的重要性,为优先级较高的视频分配充足可靠的资源,以提高后续视频内容理解任务的准确性。因此,在车联网场景下有必要针对视频内容研究更高效的资源分配方法。



技术实现要素:

本发明为了解决上述问题,结合传统通信理论和强化学习理论,提供了一种基于视频内容优先级的车联网资源分配方法,联合优化了车辆端到边缘服务器端的功率和频谱分配,实现了视频传输的有效信息量的最大化。

具体步骤包括:

步骤一、构建基于视频内容优先级的车联网通信系统模型;

车联网通信模型包括移动边缘服务器(mobileedgecomputer,mec)和m辆装有摄像头的移动智能汽车。整个系统的通信和计算过程如下:1)车辆发起视频传输请求,对所采集的视频进行预处理,基于帧间差分法计算视频内容的优先级,将计算结果上传到边缘服务器,同时边缘服务器获取信道状态信息(channelstateinformation,csi,);2)边缘服务器根据视频传输的有效信息量的最大化为目标得到最优的资源分配结果;3)车辆根据资源分配的结果完成视频的编码压缩,通过无线信道传输到边缘服务器;4)边缘服务器将接收到的视频进行解码,对视频进行内容理解(如交通事故检测任务等),并将结果反馈给各车辆。

步骤二、设计视频内容优先级评估方法;

考虑到视频内容的差异,有必要先定义如何计算视频帧的内容优先级。

基于视频帧间差分的内容优先级评估方法的具体步骤如下:

步骤201、将车辆采集的视频进行预处理,包括灰度化和高斯滤波;

步骤202、对处理后的视频进行逐帧差分计算;

步骤203、计算结果的二值化和指数平滑处理;

步骤204、归一化处理。

视频x的优先级评价结果可以表示为

f(x)={f1,f2,…,fk}

f(x)表示整个视频片段的优先级评价结果,f1,f2,…,fk分别表示视频每帧的优先级评价结果,k表示视频片段的最大帧数。

步骤三、计算车联网信道下的视频传输失真率和误码率,并将最大化视频传输的有效信息量为优化目标,构建车联网中基于视频内容优先级的资源分配优化模型;

有效信息定义为无失真、无误差传输的信息,每个视频帧的有效信息量可以表示为:

其中,im,k表示像素级的原始视频信息量,qm表示失真率,pm表示误码率。下标m表示车辆序号,k表示帧序号。

步骤301、计算传输视频的失真率;

步骤302、计算传输视频的误码率;

步骤303、构建基于视频内容优先级的资源分配优化模型

优化目标是在资源约束条件下,通过优先级加权,将带宽和功率合理分配给每辆车,使传输视频的有效信息量最大化。因此,优化模型可以表示为:

c1:

c2:

c3:qm(bm,pm)∈(0,1]

c4:pm(bm,pm)<emin

c5:

m为车辆总数,k为目标类别总数。fm,k表示视频帧内容的优先级权重,即各车辆的不同视频帧在视频内容理解任务中具有不同的重要性。表示有效信息量。优化变量bm和pm分别是为每个车辆分配的带宽和功率。

约束条件c1表示带宽的约束,分配给每辆车的带宽bm必须大于最低门限值bmin,分配给所有车的带宽资源的总和小于可用的带宽资源bmax;

约束条件c2表示功率的约束,分配给每辆车的功率pm必须大于最低门限值pmin,分配给所有车的功率资源的总和小于可用的功率资源pmax;

约束条件c3表示失真率的约束,失真率qm需要大于0,小于或等于1,这是保证视频质量的条件;

约束条件c4表示误码率的约束,误码率pm的门限值为emin,为保证通信质量误码率必须小于门限值;

约束条件c5表示视频编码量化参数的约束,qp值的取值范围为[0,51],这是采用h.265的视频编译码的量化参数的一般取值范围。

步骤四、基于视频内容优先级的资源分配优化模型的基础上,构建并训练分布式多智能体强化q学习算法模型;

步骤401、构建智能体;

步骤402、构建动作空间;

步骤403、构建状态空间;

步骤404、构建环境反馈;

步骤405、设置超参数;

步骤406、对分布式多智能体强化q学习算法模型进行训练,获得求解基于视频内容优先级的资源分配优化问题的模型。

资源分配方法联合分配带宽和功率资源给每个车辆,保证单位车辆传输视频的有效信息量最大化,提升边缘服务器完成视频内容理解任务的精度。

本发明的优点在于:

(1)一种基于视频内容优先级的车联网资源分配方法,联合优化了车辆端到边缘服务器端的功率和频谱分配,实现了有效信息量最大化;

(2)一种基于视频内容优先级的车联网资源分配方法,设计了视频内容优先级评估方法,从视频内容的重要性出发,量化了不同视频的内容优先级,得到了不同内容优先级的视频资源分配时的权重;

(3)一种基于视频内容优先级的车联网资源分配方法,引入了分布式多智能体强化q学习算法模型,解决了车联网中面向视频内容理解任务的资源分配问题,获得了良好的训练收敛性能,提升了视频内容理解的精度。

附图说明

图1为本发明构建的基于视频内容优先级的车联网通信系统模型;

图2为本发明的视频内容优先级评估过程示意图;

图3为本发明分布式多智能体强化q学习算法的收敛性能图;

图4为本发明资源分配方法下车辆数目与性能的关系曲线图;

图5为本发明在真实数据下视频内容优先级评估结果图;

图6为本发明在真实数据下视频内容理解精度性能曲线图。

具体实施方式

为了能够更加清楚地理解本发明的技术原理,下面结合附图,具体、详细地阐述本发明实施例。

一种基于视频内容优先级的车联网资源分配方法(ajointresourceallocationmethodforinternetofvehiclesbasedonvideocontentpriority)应用于车辆端与边缘服务器端的车联网通信系统中;首先设计视频内容优先级评估方法,量化不同视频的内容优先级,得到了不同内容优先级的视频资源分配时的权重;

其次,以有效信息量最大化为目标,以所有车辆分配带宽或功率之和不超过总带宽或总功率限制、车辆分配带宽或功率不小于最小带宽或功率值、视频失真率、误码率以及视频量化参数值符合实际取值范围为约束条件,构建基于视频内容优先级的资源分配优化模型;

然后,根据优化模型,构建用于车联网资源分配的分布式多智能体强化q学习算法模型的智能体、状态空间、动作空间和环境反馈;

最后,根据车辆到边缘服务器的瞬时csi、上一时隙车辆的带宽分配结果、上一时隙选择的对应车辆带宽增减的变化方案,以及上一时隙计算所得的环境反馈值,对分布式多智能体强化q学习算法模型进行训练,获得求解于视频内容优先级的车联网资源分配优化问题的模型。

整体流程包括建立系统模型,视频内容优先级评估,提出资源分配优化问题并建立优化模型,建立分布式多智能体强化q学习算法模型并执行训练,总共四个步骤;其中,视频内容优先级评估过程包括:视频预处理、差分计算、指数平滑处理、归一化处理;建立优化模型过程包括:计算失真率、计算误码率、构建具有约束的资源分配优化模型;建立分布式多智能体强化q学习算法模型并执行训练过程包括:设计智能体、构建动作空间、构建状态空间、构建环境反馈、设置超参数、对分布式多智能体强化q学习算法模型进行训练。

具体步骤如下:

步骤一、构建车辆端与边缘服务器端视频语义通信的车联网系统模型;

如图1所示,系统模型包括一个边缘服务器mec和m辆装有摄像头的智能网联汽车。

整个系统的通信和计算过程如下:

1)车辆向边缘服务器发起视频传输请求,先对所采集的视频进行预处理,基于帧间差分法计算视频内容的优先级,将计算结果上传到边缘服务器,同时边缘服务器获取全局csi;2)边缘服务器根据视频传输的有效信息量的最大化为目标,利用分布式多智能体强化q学习算法得到最优的资源分配结果;3)车辆根据资源分配的结果完成视频的编码压缩,通过无线信道传输到边缘服务器;4)边缘服务器将接收到的视频进行解码,完成对视频内容理解,如交通事故检测任务等,并将内容理解结果反馈给各车辆,与此同时服务器可以将视频进行储存以便完成其他任务。

步骤二、设计视频内容优先级评估方法;

考虑到视频内容的差异,有必要先定义如何计算视频帧的内容优先级。本发明以交通事故检测任务为例进行阐述,在车车辆端采集的视频中,并不是每一帧视频对事故检测结果都很重要,交通事故视频片段往往伴随着帧间内容的巨大变化。这些内容变化较多的视频帧对检测结果很重要,因此可以利用视频帧之间的差值来定义帧的内容优先级。

如图2所示,基于视频帧间差分的内容优先级评估方法的具体步骤如下:

步骤201、将车辆采集的视频进行预处理,包括灰度化和高斯滤波,以减少噪声对原始视频捕获过程的影响;

步骤202、对处理后的视频进行逐帧差分计算,可以表示为:

dk=xk-xk-1

其中,k表示帧序号,dk表示视频前后两帧的差分值,xk表示视频的第k帧,xk-1表示视频的第k-1帧;

步骤203、计算结果的二值化和指数平滑处理,以消除毛刺和帧异常的影响,可以表示为:

分别表示第k+1帧,第k帧,第k-1帧的差分平滑值,α表示平滑参数。

步骤204、归一化处理,对平滑后的差分值进行归一化,得到各视频帧的优先级得分,可以表示为:

fk表示第k帧的优先级权重,norm表示归一化函数。

则整个视频x的优先级评价结果可以表示为

f(x)={f1,f2,…,fk}

f(x)表示整个视频片段的优先级评价结果,f1,f2,…,fk分别表示视频每帧的优先级评价结果,k表示视频片段的最大帧数。

步骤三、计算车联网信道下的视频传输失真率和误码率,并将最大化视频传输的有效信息量为优化目标,构建车联网中基于视频内容优先级的资源分配优化模型;

根据步骤二可得到视频内容的不同优先级,为了在边缘服务器上获得更好的视频内容理解结果,在传输过程中需要为内容优先级较高的视频分配更可靠的资源,以保留原始视频信息,减少传输过程中的失真或误码。在资源有限的情况下,联合分配带宽和功率给每个车辆,以最大限度地传递有效信息。有效信息定义为无失真、无误差传输的信息,每个视频帧的有效信息量可以表示为:

其中,im,k表示像素级的原始视频信息量,qm表示失真率,pm表示误码率。下标m表示车辆序号,k表示帧序号。

步骤301、计算传输视频的失真率;

采用h.265视频编码压缩标准对视频数据进行编码压缩处理,在h.265编码方案中,失真率与量化参数(quantitativeparameters,qp)的值有关,而qp与传输速率有关。因此,失真率与传输率的关系可以推导为:

α1,α2,α3,β1,β2为模型参数,均为已知。n0表示噪声功率谱,hm表示信道增益,m为车辆序号。bm,pm分别表示分配给第m个车辆的带宽和功率。

信道增益hm包括路径损耗hpl、阴影衰落hsd和小尺度衰落三种损耗或衰落的模型分别为:1)路径损耗hpl=148.1+37.6log10(dm)(db)(dm(km)为第m辆车与边缘服务器之间的距离);2)阴影衰落hsd服从标准差为8、均值为0的对数正态分布模型;3)将小尺度衰落系数表示为单位方差、均值为零的瑞利分布。考虑到小尺度衰落的时变特性,将时变瑞利系数建模为独立的一阶自回归过程(te是信道保持稳定状态的时间间隔,eh是由分布推导出的处理噪声,其中ρm(te)=j0(2πvmte/λc)表示信道自相关函数,j0(·)是第一类零阶贝塞尔函数,λc是中心载波波长,vm为第m个车辆的行驶速度。

步骤302、计算传输视频的误码率;

采用正交调制和解调的方式,接收端误码率可以表示为:

其中,n为调制阶数,表示q函数,表示求期望。

步骤303、构建基于视频内容优先级的资源分配优化模型

优化目标是在资源约束条件下,通过优先级加权,将带宽和功率合理分配给每辆车,使传输视频的有效信息量最大化。因此,优化模型可以表示为:

c1:

c2:

c3:qm(bm,pm)∈(0,1]

c4:pm(bm,pm)<emin

c5:

m为车辆总数,k为目标类别总数。fm,k表示视频帧内容的优先级权重,即各车辆的不同视频帧在视频内容理解任务中具有不同的重要性。表示有效信息量。优化变量bm和pm分别是为每个车辆分配的带宽和功率。

约束条件c1表示带宽的约束,分配给每辆车的带宽bm必须大于最低门限值bmin,分配给所有车的带宽资源的总和小于可用的带宽资源bmax;

约束条件c2表示功率的约束,分配给每辆车的功率pm必须大于最低门限值pmin,分配给所有车的功率资源的总和小于可用的功率资源pmax;

约束条件c3表示失真率的约束,失真率qm需要大于0,小于或等于1,这是保证视频质量的条件;

约束条件c4表示误码率的约束,误码率pm的门限值为emin,为保证通信质量误码率必须小于门限值;

约束条件c5表示视频编码量化参数的约束,qp值的取值范围为[0,51],这是采用h.265的视频编译码的量化参数的一般取值范围。

步骤四、基于视频内容优先级的资源分配优化模型的基础上,构建并训练分布式多智能体强化q学习算法模型;

步骤401、构建智能体;

将车辆网络中的m辆车辆作为多智能体q-learning算法中的智能体。

步骤402、构建动作空间;

动作空间由两部分组成,分别是带宽资源分配和功率资源分配,动作空间大小为l,则第m辆车的所有动作可以表示为:

am=[bm1,bm2,…,bml;pm1,pm2,…,pml]

am表示第m辆车的动作空间,bm1,bm2,…,bml;表示带宽资源选择动作,pm1,pm2,…,pml表示频谱资源选择动作。

步骤403、构建状态空间;

系统状态由两个部分s=(max,rem)组成。s表示系统当前状态,max为有效信息量的最大值rem是整个系统当前可用的带宽资源和功率资源。

步骤404、构建环境反馈;

考虑到优化目标为加权有效信息最大化,且每辆车的原始视频信息im,k已知,当约束条件满足时,可将奖励函数设计为rm=∑(1-qm)(1-pm)fm,k;当约束条件不满足时,可设置奖励为负值,如rm=-1。这样,环境反馈具有惩罚价值,能防止从这个方向迭代的动作选择。

步骤405、设置超参数;

强化q学习算法训练的效果和它的主要参数有较强的相关性,本模型的主要参数设定如下:1)学习速率α取0.1,让算法保留历史训练结果的90%,更注重过往经验;2)折扣因子γ取0.9,让算法考虑下一步效益的90%,更重视长远利益;3)ε-greedy策略中的ε取0.8,让算法有20%的尝试空间,避免陷入局部最优。

步骤406、对分布式多智能体强化q学习算法模型进行训练,获得求解基于视频内容优先级的资源分配优化问题的模型。

对于多智能体强化q学习每个训练回合,具体步骤如下:

(1)设置初始状态qm(s,a),qm表示第m辆车的q表,s表示系统当前状态,a表示当前动作选择;

(2)生成一个随机数random,基于贪婪决策选择动作a:若随机数random小于ε,则根据q值表选择q值最大的动作a;若随机数random大于ε,则随机选择动作a;

(3)执行所选择的动作a,观测下一带宽分配状态和环境反馈的rm(s,a)值;

(4)更新q值表:qm(s,a)←max{qm(s,a),q'm(s,a)},

q'm(s,a)=q(bm,a)+α[rm(s,a)+γmaxq(s',a')-q(s,a)];

(5)返回步骤(2),直至收敛结束。

图3展示了随着迭代次数,强化q学习算法的奖励函数的收敛过程。由图可知,大约在3000次迭代后,强化q学习算法的解趋于稳定,这证明了本发明所提出的基于分布式多智能体强化q学习资源分配算法的收敛性,在线下训练中能通过有限次迭代能得到稳定q值表,此外,总奖励随着功率或带宽的增加而增加,因为充足的资源会带来更好的性能;

将本发明基于强化q学习的资源分配方法与基于平均分配和遍历搜索的资源分配方法分别做对比,如图4所示,由图可知,随着车辆数量的增加,所有方案的性能都会下降,因为车辆数量的增加导致资源竞争的加剧。此外,本发明提出的基于强化q学习的方法性能接近遍历方法,但本发明所提的方案有更低的复杂度,本发明所提方法的时间复杂度为o(l),而遍历搜索的复杂度为o(lm);

基于公开数据集如caltech,waymo等数据集上的大量实验,验证了视频帧内容优先级评价方法的可行性并验证了该方案对传输视频的交通事故检测性能的提高:

图5展示了真实数据集上视频帧内容优先级评估结果,优先级评价结果与交通事故视频片段的真实情况高度一致,证明了本发明所提方法的有效性。这是因为基于帧间差分的优先级评估方法可以捕获帧之间的内容差异,特别是对于交通事故视频,帧之间的差异非常大;

图6为不同资源分配方法下传输后视频的交通事故检测roc(receiveroperatingcharacteristic,roc)性能曲线。对于roc曲线,越接近坐标点(0,1),检测性能越好。与其他资源分配方法相比,本发明所提方法明显提高了检测性能。此外,该方案的正确检测率为0.8791,虚警率为0.0673,平均分配方案分别为0.8279和0.1178。这表明本发明所提方法带来了近5%的视频内容任务(如交通事故检测)的性能改进。

综上所述,通过实施本发明一种基于视频内容优先级的车联网资源分配方法,可以优化车辆端到边缘服务器端的带宽和功率资源分配,最大化有效信息量,并提升边缘服务器端的交通事故检测性能;相比于基于qoe和qos的资源分配算法,本发明所设计的基于视频内容优先级的车联网资源分配方法,考虑了所传输的视频内容,为具有较高优先级的视频帧提供了更可靠的资源,提升了后续对视频内容理解的精度;此外,本发明所设计的方法量化了视频内容的优先级,考虑了不同视频的内容差异和车联网非稳态信道条件。

以上所述是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也视为本发明的保护范围。


技术特征:

1.一种基于视频内容优先级的车联网资源分配方法,其特征在于,具体步骤包括:

步骤一、构建车辆端与边缘服务器端视频语义通信的车联网系统模型;

车联网通信模型包括移动边缘服务器(mobileedgecomputer,mec)和m辆装有摄像头的移动智能汽车。整个系统的通信和计算过程如下:1)车辆发起视频传输请求,对所采集的视频进行预处理,基于帧间差分法计算视频内容的优先级,将计算结果上传到边缘服务器,同时边缘服务器获取信道状态信息(channelstateinformation,csi,);2)边缘服务器根据视频传输的有效信息量的最大化为目标得到最优的资源分配结果;3)车辆根据资源分配的结果完成视频的编码压缩,通过无线信道传输到边缘服务器;4)边缘服务器将接收到的视频进行解码,对视频进行内容理解(如交通事故检测任务等),并将结果反馈给各车辆;

步骤二、设计视频内容优先级评估方法;

考虑到视频内容的差异,有必要先定义如何计算视频帧的内容优先级。本发明以交通事故检测任务为例进行阐述,在车车辆端采集的视频中,并不是每一帧视频对事故检测结果都很重要,交通事故视频片段往往伴随着帧间内容的巨大变化。这些内容变化较多的视频帧对检测结果很重要,因此可以利用视频帧之间的差值来定义帧的内容优先级,基于视频帧间差分的内容优先级评估方法的具体步骤如下:

步骤201、将车辆采集的视频进行预处理,包括灰度化和高斯滤波;

步骤202、对处理后的视频进行逐帧差分计算;

步骤203、计算结果的二值化和指数平滑处理;

步骤204、归一化处理,对平滑后的差分值进行归一化,得到各视频帧的内容优先级评估结果;

步骤三、计算车联网信道下的视频传输失真率和误码率,以最大化视频传输的有效信息量为优化目标,构建车联网中基于视频内容优先级的资源分配优化模型;

在资源有限的情况下,联合分配带宽和功率给每个车辆,以最大限度地传递有效信息。有效信息定义为无失真、无误差传输的信息,每个视频帧的有效信息量可以表示为:

其中,im,k表示像素级的原始视频信息量,qm表示失真率,pm表示误码率,下标m表示车辆序号,k表示帧序号;

步骤301、计算传输视频的失真率;

步骤302、计算传输视频的误码率;

采用正交调制和解调的方式,接收端误码率可以表示为:

其中,n为调制阶数,表示q函数,表示求期望;

步骤303、构建基于视频内容优先级的资源分配优化模型;

优化目标是在资源约束条件下,通过优先级加权,将带宽和功率合理分配给每辆车,使传输视频的有效信息量最大化。因此,优化模型可以表示为:

c1:

c2:

c3:qm(bm,pm)∈(0,1]

c4:pm(bm,pm)<emin

c5:

m为车辆总数,k为目标类别总数,fm,k表示视频帧内容的优先级权重,即各车辆的不同视频帧在视频内容理解任务中具有不同的重要性,表示有效信息量,优化变量bm和pm分别是为每个车辆分配的带宽和功率;

约束条件c1表示带宽的约束,分配给每辆车的带宽bm必须大于最低门限值bmin,分配给所有车的带宽资源的总和小于可用的带宽资源bmax;

约束条件c2表示功率的约束,分配给每辆车的功率pm必须大于最低门限值pmin,分配给所有车的功率资源的总和小于可用的功率资源pmax;

约束条件c3表示失真率的约束,失真率qm需要大于0,小于或等于1,这是保证视频质量的条件;

约束条件c4表示误码率的约束,误码率pm的门限值为emin,为保证通信质量误码率必须小于门限值;

约束条件c5表示视频编码量化参数的约束,qp值的取值范围为[0,51],这是采用h.265的视频编译码的量化参数的一般取值范围;

步骤四、基于视频内容优先级的资源分配优化模型的基础上,构建并训练分布式多智能体强化q学习算法模型;

步骤401、构建智能体;

将车辆网络中的m辆车辆作为多智能体q-learning算法中的智能体;

步骤402、构建动作空间;

动作空间由两部分组成,分别是带宽资源分配和功率资源分配,动作空间大小为l,则第m辆车的所有动作可以表示为:

am=[bm1,bm2,…,bml;pm1,pm2,…,pml]

am表示第m辆车的动作空间,bm1,bm2,…,bml;表示带宽资源选择动作,pm1,pm2,…,pml表示频谱资源选择动作;

步骤403、构建状态空间;

系统状态由两个部分s=(max,rem)组成,s表示系统当前状态,max为有效信息量的最大值rem是整个系统当前可用的带宽资源和功率资源;

步骤404、构建环境反馈;

考虑到优化目标为加权有效信息最大化,且每辆车的原始视频信息im,k已知,当约束条件满足时,可将奖励函数设计为rm=∑(1-qm)(1-pm)fm,k;当约束条件不满足时,可设置奖励为负值,如rm=-1,这样,环境反馈具有惩罚价值,能防止从这个方向迭代的动作选择;

步骤405、设置超参数;

强化q学习算法训练的效果和它的主要参数有较强的相关性,主要参数设定如下:1)学习速率α取0.1,让算法保留历史训练结果的90%,更注重过往经验;2)折扣因子γ取0.9,让算法考虑下一步效益的90%,更重视长远利益;3)ε-greedy策略中的ε取0.8,让算法有20%的尝试空间,避免陷入局部最优;

步骤406、对分布式多智能体强化q学习算法模型进行训练,获得求解基于视频内容优先级的资源分配优化问题的模型。

2.如权利要求1所述的一种基于视频内容优先级的车联网资源分配方法,其特征在于,步骤二中所述的视频内容优先级评估方法,基于视频预处理和视频帧之间的差值计算来定义帧的内容优先级:第1步,对车辆采集的视频对预处理,包括灰度化和高斯滤波,以减少噪声对原始视频捕获过程的影响;第2步,对处理后的视频进行逐帧差分计算,计算公式为dk=xk-xk-1,其中,k表示帧序号,dk表示视频前后两帧的差分值,xk表示视频的第k帧,xk-1表示视频的第k-1帧;第3步,对计算结果的指数平滑处理,以消除毛刺和帧异常的影响,指数平滑公式为其中,分别表示第k+1帧,第k帧,第k-1帧的差分平滑值,α表示平滑参数;第4步,对平滑后的差分值进行归一化,得到各视频帧的优先级评估结果。

3.如权利要求1所述的一种基于视频内容优先级的车联网资源分配方法,其特征在于,步骤三中所述的传输视频的失真率的计算是在动态车联网信道条件下完成的,且视频编译码方案是基于h.265的:采用h.265视频编码压缩标准对视频数据进行编码压缩处理,在h.265编码方案中,失真率与量化参数(quantitativeparameters,qp)的值有关,而qp与传输速率有关,失真率的计算公式表示为:

α1,α2,α3,β1,β2为模型参数,n0表示噪声功率谱,hm表示信道增益,m为车辆序号。bm,pm分别表示分配给第m个车辆的带宽和功率,公式中所述的信道增益hm,包括路径损耗hpl、阴影衰落hsd和小尺度衰落

技术总结
本发明公开了一种基于视频内容优先级的车联网资源分配方法,属于车联网通信领域。首先设计视频内容优先级评估方法,量化不同视频的内容优先级,利用帧间差分计算得到不同内容优先级的视频资源分配时的权重;其次,计算动态信道下的视频传输失真率、误码率,以有效信息量最大化为目标,构建基于视频内容优先级的资源分配优化模型;然后,根据优化模型,构建用于车联网资源分配的分布式多智能体强化Q学习算法模型的智能体、状态空间、动作空间、环境反馈;最后,对分布式多智能体强化Q学习算法模型进行训练,求解基于视频内容优先级的车联网资源分配优化问题。本发明考虑了不同视频的内容差异和车联网动态信道条件,联合优化了车辆端到边缘服务器端的带宽和功率资源分配,可有效提升边缘服务器端的视频内容理解性能。

技术研发人员:冯春燕;陈九九;郭彩丽;刘芳芳;杨洋
受保护的技术使用者:北京邮电大学
技术研发日:2020.12.11
技术公布日:2021.04.06

转载请注明原文地址:https://xbbs.6miu.com/read-19519.html