本发明涉及图像处理,更具体的说是涉及一种低光照条件下的目标检测方法及系统。
背景技术:
1、近年来,目标检测领域已经取得显著进展,并在多个领域被广泛使用,取得了突出成就。但是,目前大多数检测器在特征信息充分的正常光照条件下能够实现良好的检测效果,在低光照或黑暗环境中,特征信息不足时,其检测精度不佳。而低光场景在实际情况中是不可避免的情况,如夜间、阴雨天和阴影条件。因此,加强对低光场景下的目标检测研究显得尤为重要。
2、目前主流的实时检测算法主要采用单阶段检测器,例如基于卷积神经网络(cnn)的yolo系列。同时,融合transformer和mamba的检测器也逐渐被应用于实时检测。上述这些检测算法通常先通过轻量化的主干网络提取特征,然后将得到的不同尺度特征图送入特征融合网络进行多尺度间的特征融合。大量的研究表明,主干网络和特征融合网络的配合使用能够大大提高检测精度,主干网络对先对原始图像进行特征提取,在不同阶段得到不同尺度的特征图,然后将得到的多尺度特征图送入特征融合网络进行不同尺度的特征融合,特征融合网络的使用能够大幅度增加检测精度,对最终得到准确的目标语义信息至关重要。
3、上述的这些检测器的主干网络进行特征提取时,使用增加特征图通道数的下采样方式获取不同尺度的特征,在每个阶段进行特征提取完成后,垂直向上进行下一阶段的特征提取。随着网络深度的增加,网络能够捕获到更高级别的语义信息。通常情况下,低层特征图提取到的语义信息有助于检测小目标,高层特征图提取到的信息专注于大目标的检测。这种特征提取方式虽能够提取到绝大多数的有效信息,但可能会丢失部分细节信息。因为,在向下采样的过程中得到的是更高层语义信息,保留的是上一阶段特征图相对于本阶段来说最重要的信息,但是会丢失一部分对于下一阶段有用的信息,这会降低最终检测效果。
4、在现有的特征提取网络中,以特征金字塔网络(fpn)的使用最为广泛。fpn通过上自上而下的上采样和横向连接方式将相邻特征图进行融合,结合高层特征图具有丰富语义信息和低层特征图具有丰富的位置信息的特点,得到具有更加丰富语义信息的新特征图。为了使高层特征图具有更加精确的位置信息,在fpn的基础上产生了路径聚合网络(panet),panet在多种数据集上表现优异。panet也是目前大多数检测器中被广泛使用的特征融合网络。
5、但是,这种融合方式存在尺度之间不一致的问题,对于图像中同时存在大目标和小目标时,不同尺寸的特征图进行融合后,对于目标的关注度会发生冲突,出现高层特征的目标被视为重要信息,从而忽略低层特征的目标的重要程度,这将对梯度的计算产生影响,降低最终模型的检测精度。
6、自适应空间特征融合(asff)对不同特征图的信息进行过滤处理,缓解了尺度间不一致导致的语义冲突。虽然,asff能够处理同一位置存在矛盾信息的问题,但是,高层特征图向低层特征图进行对齐时,由于高层特征图的语义信息更为丰富,目标的尺寸更大,更加容易被检测到,会出在低层特征图将高层中的目标视为主要信息的情况。此外,由于高层特征图的目标大,也存在被高层特征图中的目标被低层特征图视为背景的情况。针对这些问题,在结合pafpn和asff的基础上,提出前向空间自适应补偿特征融合网络(fscff),在高层特征图与低层特征图进行互相之间充分融合之后,针对每层的特征图进行前向特征融合,只将低层特征图像高层特征图进行自适应的空间融合,防止出现高层特征在低层特征图中占主导地位的情况。
7、因此,如何有效提高在低光条件下实时检测器的检测精度是本领域技术人员亟需解决的问题。
技术实现思路
1、有鉴于此,本发明提供了一种低光照条件下的目标检测方法及系统,以解决背景技术中的问题。
2、为了实现上述目的,本发明采用如下技术方案:
3、一方面,本发明公开了一种低光照条件下的目标检测方法,包括:
4、获取低光暗光数据构建低光数据集;
5、利用低光数据集对rfsc-net检测模型进行训练,得到低光检测模型;其中,所述rfsc-net检测模型使用repelan作为主干网络的主分支,进行特征的提取,在主分支的每个阶段,使用无参下采样进行图像信息的细节保存;主分支与无参下采样分支进行可学习的特征融合,自适应的进行调节特征融合的权重比例;在特征融合网络部分,使用gcgelan结构进行特征融合;在pafpn的基础上,使用gcgelan以及同层的identity连接;使用lahsff将低层特征层向高层特征层进行自适应的特征融合;
6、将待检测的低光图像输入低光检测模型,获得低光场景检测结果。
7、优选的,在上述的一种低光照条件下的目标检测方法中,主干网络的主分支,repelan采用与elan的多分支结构设计,使用多分支结构进行特征提取捕获到不同大小感受野的特征,在多分支设计的基础上,repealn去除了elan第一个分支中的1×1卷积,在进行卷积后进行多分支操作,drepbottleneck中使用的是两个重参数化的3×3卷积,进行shortcut连接。
8、优选的,在上述的一种低光照条件下的目标检测方法中,在主分支的每个阶段均设置有spd-conv;在每次的下采样卷积操作之前进行spd-conv下采样操作,保留更多浅层的细节信息,补偿到高层特征图。
9、优选的,在上述的一种低光照条件下的目标检测方法中,补偿到高层特征图具体步骤:
10、获取与主分支相同输入的特征图;
11、对特征图进行无参下采样进行浅层语义信息的保存;
12、最后的输出特征图与主分支中repelan的输出进行融合。
13、优选的,在上述的一种低光照条件下的目标检测方法中,可学习的特征融合使用快速归一化融合方式进行特征融合,权重归一化融合的方式如下:
14、
15、其中wj是wi经过激活函数silu后得到的,wi是可学习的参数,ii是进行融合的第i个特征图,ε是为了防止出现数值不稳定设置的一个非常小的数,n是进行融合的特征图的个数,pi为融合过后输出的特征图。
16、优选的,在上述的一种低光照条件下的目标检测方法中,在pafpn的基础上,使用gcgelan以及同层的identity连接,结合cspnet和elan两种架构,在内部,gelan使用repconv替换普通卷积,使用repncsp结构,在csp结构中使用重参数卷积,repncsp内部的分支获取到多分支的特征信息,提取到更丰富的语义信息,使用global context注意力机制进行特征的筛选处理,对identity的特征图在先在空间上进行空间注意力,然后串行连接通道注意力。
17、优选的,在上述的一种低光照条件下的目标检测方法中,gcgelan结构的操作具体步骤为:
18、经过一个1×1的卷积后分别进行gc注意力操作和gelan的操作;
19、两个分分支的操作完成后进行concat拼接和1×1卷积进行特征融合。
20、优选的,在上述的一种低光照条件下的目标检测方法中,使用lahsff将低层特征层向高层特征层进行自适应的特征融合的操作步骤:
21、lahsff先将不同层的特征图进行缩放到相同大小;
22、将缩放后的特征图进行自适应融合操作;
23、输出大小和通道数与本层的输入相同融合后的特征图。
24、优选的,在上述的一种低光照条件下的目标检测方法中,特征图进行自适应特征融合,融合的公式如下:
25、
26、其中,l表示当前对应的层数,k表示来自第k层的特征图,xijk->l表示来自第k层的输入缩放到第l层大小后的特征图,其中ij表示特征图中每个空间位置坐标,αijk->l表示对应特征图的每个位置的权重,yijl表示特征融合后输出的特征图,由第l层的特征图融合过后得到;αijk->l的计算公式如下:
27、
28、公式通过softmax激活函数完成,进行归一化处理后,权重系数的取值范围被限制在区间[0-1]。
29、另一方面,本发明公开了一种低光照条件下的目标检测系统,应用上述方法,包括:
30、数据集获取模块,用于获取低光暗光数据构建低光数据集;
31、模型训练模块,用于利用低光数据集对rfsc-net模型进行训练,得到低光检测模型;
32、低光检测模块,将待检测的低光图像输入到低光检测模型中,获得行低光结果。
33、经由上述的技术方案可知,与现有技术相比,本发明公开提供了一种低光照条件下的目标检测方法及系统,通过使用repelan作为主干网络的主分支,进行特征的提取,减少网络开销和提升网络性能;在主分支的每个阶段,使用无参下采样进行图像信息的细节保存;主分支与无参下采样分支进行可学习的特征融合,模型可自适应的进行调节特征融合的权重比例;在特征融合网络部分,使用gcgelan结构进行特征融合,在低参数量的情况下保证较高的精度;在pafpn的基础上,对p4和p5特征层使用identity连接,弥补前向过程中信息的损失;使用lahsff将低层特征层向高层特征层进行自适应的特征融合,增加高层特征图中的细节信息。本方法,有效的提高了在低光条件下实时检测器的检测精度。
1.一种低光照条件下的目标检测方法,其特征在于,包括:
2.根据权利要求1所述的一种低光照条件下的目标检测方法,其特征在于,主干网络的主分支,repelan采用与elan的多分支结构设计,使用多分支结构进行特征提取捕获到不同大小感受野的特征,在多分支设计的基础上,repealn去除了elan第一个分支中的1×1卷积,在进行卷积后进行多分支操作,drepbottleneck中使用的是两个重参数化的3×3卷积,进行shortcut连接。
3.根据权利要求1所述的一种低光照条件下的目标检测方法,其特征在于,在主分支的每个阶段均设置有spd-conv;在每次的下采样卷积操作之前进行spd-conv下采样操作,保留更多浅层的细节信息,补偿到高层特征图。
4.根据权利要求3所述的一种低光照条件下的目标检测方法,其特征在于,补偿到高层特征图具体步骤:
5.根据权利要求1所述的一种低光照条件下的目标检测方法,其特征在于,可学习的特征融合使用快速归一化融合方式进行特征融合,权重归一化融合的方式如下:
6.根据权利要求1所述的一种低光照条件下的目标检测方法,其特征在于,在pafpn的基础上,使用gcgelan以及同层的identity连接,结合cspnet和elan两种架构,在内部,gelan使用repconv替换普通卷积,使用repncsp结构,在csp结构中使用重参数卷积,repncsp内部的分支获取到多分支的特征信息,提取到更丰富的语义信息,使用globalcontext注意力机制进行特征的筛选处理,对identity的特征图在先在空间上进行空间注意力,然后串行连接通道注意力。
7.根据权利要求1所述的一种低光照条件下的目标检测方法,其特征在于,gcgelan结构的操作具体步骤为:
8.根据权利要求1所述的一种低光照条件下的目标检测方法,其特征在于,使用lahsff将低层特征层向高层特征层进行自适应的特征融合的操作步骤:
9.根据权利要求1所述的一种低光照条件下的目标检测方法,其特征在于,特征图进行自适应特征融合,融合的公式如下:
10.一种低光照条件下的目标检测系统,应用所述权利要求1-9任一项所述的一种低光照条件下的目标检测方法,其特征在于,包括: