本发明涉及图像数据处理,特别是涉及一种距离测量方法及装置、电子设备、存储介质。
背景技术:
1、在汽车工厂场景下,利用基于深度学习的目标检测方法和单目深度估计方法进行配送机器人与运动对象之间的距离测量,不仅提高了配送精度和效率,保障了操作安全,还能够实时感知和适应动态环境,增强生产线的灵活性和响应能力,优化生产布局,降低设备成本,从而推动汽车工厂向智能化和自动化方向发展。
2、在汽车生产工厂,常用的工厂运动对象检测和深度估计方法包括基于传统卷积神经网络的方法如resnet以及efficientnet等和基于纯视觉transformer的算法。这些方法尽管在一定程度方面表现良好,但在端侧部署时仍面临挑战。传统卷积神经网络的方法容易受到光照、角度、背景干扰等因素影响,导致性能下降。基于纯视觉transformer的算法尽管建模能力强,但计算复杂度高,对端侧硬件和功耗要求高,不太适合实际应用。因此,亟需解决的是提高检测算法的鲁棒性和效率,以适应端侧部署需求。
技术实现思路
1、鉴于上述问题,提出了以便提供克服上述问题或者至少部分地解决上述问题的一种距离测量方法及装置、电子设备、存储介质,包括:
2、一种距离测量方法,应用于距离测量设备,所述方法包括:
3、获取针对运动对象采集的初始图像数据;
4、将所述初始图像数据输入目标模型,在所述目标模型中基于所述初始图像数据中多个图像特征之间特征关联性确定所述初始图像数据中的目标运动物体与所述距离测量设备之间的距离信息,输出所述距离信息,其中,所述目标模型用于基于预设的注意力机制确定图像特征之间特征关联性。
5、可选地,所述目标模型包括用于进行目标运行物体检测的第一子模型和用于进行深度估计的第二子模型,所述图像特征包括第一图像特征和第二图像特征,所述特征关联性包括第一特征关联性和第二特征关联性,所述在所述目标模型中基于所述初始图像数据中多个图像特征之间特征关联性确定所述初始图像数据中的目标运动物体与所述距离测量设备之间的距离信息,包括:
6、在所述第一子模型中,基于所述初始图像数据中多个第一图像特征之间第一特征关联性,从所述初始图像数据中确定目标运行物体对应的目标图像数据;
7、将所述目标图像数据输入所述第二子模型,在所述第二子模型中,基于所述目标图像数据中多个第二图像特征之间的第二特征关联性,确定所述目标运行物体与所述目标距离测量设备之间的距离信息。
8、可选地,所述第一子模型中包括第一卷积模块,第一特征关联模块以及融合模块,所述基于所述初始图像数据中多个第一图像特征之间第一特征关联性,从所述初始图像数据中确定目标运行物体对应的目标图像数据,包括:
9、在所述第一子模型中,采用所述第一卷积模块确定所述初始图像数据对应的第一图像数据以及基于所述第一图像数据得到的第二图像数据,所述第一图像数据的维度大于所述第二图像数据的维度;
10、采用所述特征关联模块确定所述第二图像数据中的多个第一图像特征,并确定所述第一图像特征的第一特征关联性;
11、基于所述第一特征关联性和所述第二图像数据,生成第三图像数据;
12、采用所述融合模块将所述第一图像数据、所述第二图像数据以及所述第三图像数据进行融合,得到第四图像数据;
13、采用预设的目标检测算法从所述第四图像数据中提取出目标运行物体对应的目标图像数据。
14、可选地,所述第二子模型包括第二卷积模块,第二特征关联模块以及解码层,所述将所述目标图像数据输入所述第二子模型,在所述第二子模型中,基于所述目标图像数据中多个第二图像特征之间的第二特征关联性,确定所述目标运行物体与所述目标距离测量设备之间的距离信息,包括:
15、在所述第二子模型中,采用所述第二卷积模块确定所述目标图像数据对应的第五图像数据以及基于所述第五图像数据得到的第六图像数据,所述第五图像数据的维度大于所述第六图像数据的维度。
16、采用所述第二特征关联模块确定所述第六图像数据中的多个第二图像特征,并基于第二图像特征的第二特征关联性和所述第七图像数据,生成第八图像数据;
17、采用所述第二特征关联模块确定所述第八图像数据中的多个第一图像特征,并确定所述第一图像特征的第二特征关联性,并基于第二图像特征的第二特征关联性和所述第八图像数据,生成第九图像数据;
18、采用所述解码层接收通过跳跃连接传输的所述第五图像数据、所述第六图像数据、所述第七图像数据以及所述第九图像数据,并基于所述第五图像数据、所述第六图像数据、所述第七图像数据以及所述第九图像数据得到与所述目标图像数据维度相同的第十图像数据;
19、基于所述第十图像数据确定所述目标运行物体与所述目标距离测量设备之间的距离信息。
20、可选地,所述采用所述第一卷积模块确定所述初始图像数据对应的第一图像数据以及基于所述第一图像数据得到的第二图像数据,包括:
21、获取所述第一卷积模块对应的第一权重矩阵;
22、基于所述第一权重矩阵对所述初始图像数据进行卷积处理,得到第一图像数据;
23、基于所述第一权重矩阵对所述第一图像数据进行卷积处理,得到第二图像数据。
24、可选地,其特征在于,所述在所述第二子模型中,采用所述第二卷积模块确定所述目标图像数据对应的第五图像数据以及基于所述第五图像数据得到的第六图像数据,包括:
25、获取所述第二卷积模块对应的第二权重矩阵;
26、基于所述第二权重矩阵对所述目标图像数据进行卷积处理,得到第五图像数据;
27、基于所述第二权重矩阵对所述第五图像数据进行卷积处理,得到第六图像数据。
28、可选地,还包括:
29、对所述初始图像数据进行预处理,所述预处理包括如下任一项或多项:
30、添加随机噪声处理、数据增强处理、归一化处理。
31、一种距离测量装置,所述装置包括:
32、初始图像数据获取模块,用于获取针对运动对象采集的初始图像数据;
33、距离信息确定模块,用于将所述初始图像数据输入目标模型,在所述目标模型中基于所述初始图像数据中多个图像特征之间特征关联性确定所述初始图像数据中的目标运动物体与所述距离测量设备之间的距离信息,输出所述距离信息,其中,所述目标模型用于基于预设的注意力机制确定图像特征之间特征关联性。
34、一种电子设备,包括处理器、存储器及存储在所述存储器上并能够在所述处理器上运行的计算机程序,所述计算机程序被所述处理器执行时实现如上所述距离测量方法。
35、一种计算机可读存储介质,所述计算机可读存储介质上存储计算机程序,所述计算机程序被处理器执行时实现如上所述距离测量方法。
36、本发明实施例具有以下优点:
37、在本发明实施例中,可以获取针对运动对象采集的初始图像数据;进而将初始图像数据输入目标模型,在目标模型中基于初始图像数据中多个图像特征之间特征关联性确定初始图像数据中的目标运动物体与距离测量设备之间的距离信息,输出距离信息,从而可以在全局范围内捕获目标运行对象特征之间的关联,有助于模型更好地理解检测目标在整体图像中的位置、形状和姿态信息,同时,可以减少在强光、暗光以及复杂背景下的检测误差以及避免数据信息压缩丢失,且本发明实施例中采用注意力机制进行关联特征提取,提高特征提取效率。
1.一种距离测量方法,其特征在于,应用于距离测量设备,所述方法包括:
2.根据权利要求1中所述的方法,其特征在于,所述目标模型包括用于进行目标运行物体检测的第一子模型和用于进行深度估计的第二子模型,所述图像特征包括第一图像特征和第二图像特征,所述特征关联性包括第一特征关联性和第二特征关联性,所述在所述目标模型中基于所述初始图像数据中多个图像特征之间特征关联性确定所述初始图像数据中的目标运动物体与所述距离测量设备之间的距离信息,包括:
3.根据权利要求2中所述的方法,其特征在于,所述第一子模型中包括第一卷积模块,第一特征关联模块以及融合模块,所述基于所述初始图像数据中多个第一图像特征之间第一特征关联性,从所述初始图像数据中确定目标运行物体对应的目标图像数据,包括:
4.根据权利要求2中所述的方法,其特征在于,所述第二子模型包括第二卷积模块,第二特征关联模块以及解码层,所述将所述目标图像数据输入所述第二子模型,在所述第二子模型中,基于所述目标图像数据中多个第二图像特征之间的第二特征关联性,确定所述目标运行物体与所述目标距离测量设备之间的距离信息,包括:
5.根据权利要求3所述的方法,其特征在于,所述采用所述第一卷积模块确定所述初始图像数据对应的第一图像数据以及基于所述第一图像数据得到的第二图像数据,包括:
6.根据权利要求4中任一项所述的方法,其特征在于,所述在所述第二子模型中,采用所述第二卷积模块确定所述目标图像数据对应的第五图像数据以及基于所述第五图像数据得到的第六图像数据,包括:
7.根据权利要求1至6中任一项所述的方法,其特征在于,还包括:
8.一种距离测量装置,其特征在于,所述装置包括:
9.一种电子设备,其特征在于,包括处理器、存储器及存储在所述存储器上并能够在所述处理器上运行的计算机程序,所述计算机程序被所述处理器执行时实现如权利要求1至7中任一项所述距离测量方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储计算机程序,所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述距离测量方法。