本发明涉及计算机图像处理，尤其涉及一种适用于复杂光照条件下的手部三维重建方法及装置。
背景技术：
1、手部三维重建是一项基础的计算机视觉任务，可应用到多种场景，如人机交互、虚拟现实、增强现实、自动驾驶、机器人控制等。得益于近年来深度学习的发展，手部三维重建方法取得了显著的进步。现有针对传统帧相机的研究提出并开发了许多使用深度神经网络的手部三维重建方法。然而，此类方法在适用场景上存在局限性，继承了帧相机本质上的限制，在逆光、过曝的场景不足以应对严重缺失的图像细节和纹理。基于事件的方法虽然可以有效应对逆光、过曝情况，但由于事件流的稀疏性，这类方法难以重建出手部的细节，并且在静态场景下由于事件相机无法产生事件，这类方法难以正常工作。因此，针对融合rgb图像和事件的手部姿态估计的研究具有重要意义。
技术实现思路
1、为解决背景技术中存在的技术问题，本发明提出一种适用于复杂光照条件下的手部三维重建方法及装置。
2、本发明提出的一种适用于复杂光照条件下的手部三维重建方法，包括以下步骤：
3、s1、获取时空同步采集的手部的事件流数据和ldr图像
4、s2、对事件流数据进行预处理后和ldr图像分别输入预先训练好的跨模态自适应融合网络，以得到手部的hdr图像
5、s3、将hdr图像ldr图像输入预先训练好的级联的手部三维重建网络，以获得手部三维模型mhand。
6、优选地，所述预处理具体包括：
7、对事件流数据进行事件压帧处理，以获得对应的事件体素
8、优选地，所述跨模态自适应融合网络包括特征对齐模块、多尺度特征提取模块、跨模态特征融合模块、图像重建模块；步骤s2具体包括：
9、将事件体素和ldr图像输入到特征对齐模块以获得事件特征和ldr图像特征
10、将事件特征和ldr图像特征输入到多尺度特征提取模块以获得多尺度事件特征和多尺度图像特征
11、将多尺度事件特征和多尺度图像特征输入到跨模态特征融合模块，利用曝光掩膜m提取相应的曝光掩模特征对多尺度图像特征进行不同曝光区域的特征加权，以得到曝光加权的ldr图像特征
12、将曝光加权的ldr图像特征输入到图像重建模块对不同尺度特征的有机整合，以得到hdr图像
13、优选地，特征对齐模块包括对抗性特征鉴别器df、事件特征编码器tε、图像特征编码器tl，所述将事件体素和ldr图像输入到特征对齐模块以获得事件特征和ldr图像特征具体包括：
14、将事件体素输入事件特征编码器tε，利用事件特征编码器tε对事件体素进行编码，以得到事件特征
15、并将ldr图像输入图像特征编码器tl，利用图像特征编码器tl对ldr图像进行编码，以得到ldr图像特征
16、利用对抗性特征鉴别器df将事件特征和ldr图像特征在潜在共享域进行对齐。
17、优选地，级联的手部三维重建网络包括：手部检测网络dmp、二维姿态估计网络pmp、三维姿态估计网络posenet、手部三维模型重建网络meshnet；步骤s3具体包括：
18、将hdr图像输入手部检测网络dmp，通过手部检测网络dmp获取手部位置坐标，以检测得到手部图像ihand；
19、将手部图像ihand输入二维姿态估计网络pmp，通过二维姿态估计网络pmp对检测得到的手部图像ihand的21个二维骨骼点坐标进行定位，以得到对应的手部的二维姿态
20、将手部的二维姿态输入三维姿态估计网络posenet，利用三维姿态估计网络posenet将手部的二维姿态转换为4096维的特征向量，再将4096维的特征向量转换为3j维向量，并将3j维向量作为手部的三维姿态输出；
21、将手部的二维姿态手部的三维姿态输入手部三维模型重建网络meshnet，以得到手部三维模型mhand。
22、优选地，所述手部三维模型重建网络meshnet包括融合姿态估计网络、自适应图卷积网络；所述将手部的二维姿态手部的三维姿态输入手部三维模型重建网络meshnet，以得到手部三维模型mhand，具体包括：
23、将手部的二维姿态对应的二维骨骼点、手部的三维姿态对应的三维骨骼点输入融合姿态估计网络，以级联生成融合的姿态估计p∈rj×5；
24、将融合的姿态估计p∈rj×5输入自适应图卷积网络，得到手部三维模型mhand。
25、优选地，所述跨模态自适应融合网络的训练过程具体包括：
26、采集多组手部图像并标注手部关节点，构成训练样本集；
27、以手部图像为输入，各关节点三维坐标为输出，基于训练样本集对预设的跨模态自适应融合网络进行弱监督训练，得到训练好的跨模态自适应融合网络；
28、训练过程中，使用的损失函数如下：
29、
30、其中，为特征对齐的损失函数；为内容一致性损失函数；为感知损失函数；为生成器层面损失函数；为噪声抑制损失函数；ωfa、ωpix、ωper、ωce、ωde均为权重。
31、优选地，特征对齐的损失函数具体为：
32、
33、其中，为数学期望；为鉴别器df判断ldr图像特征和事件特征分布相同的可信度；
34、内容一致性损失函数具体为：
35、
36、其中，为复原图像；为参考图像；|| ||1为l1损失函数；
37、感知损失函数具体为：
38、
39、其中，为使用预训练的vgg-19网络从图像中提取的第j层特征图；cj×hj×wj为尺度；αj为第j层特征图的权重；为l2损失函数；
40、生成器层面损失函数具体为：
41、
42、其中，表示判别器di判断为真实结果的概率；
43、噪声抑制损失函数具体为：
44、
45、其中，为对求取绝对值的结果；为去噪后的权重图。
46、本发明提出的一种适用于复杂光照条件下的手部三维重建装置，包括：
47、数据采集模块，用于获取时空同步采集的手部的事件流数据和ldr图像
48、第一处理模块，用于对事件流数据进行预处理后和ldr图像分别输入预先训练好的跨模态自适应融合网络，以得到手部的hdr图像
49、第二处理模块，用于将hdr图像ldr图像输入预先训练好的级联的手部三维重建网络，以获得手部三维模型mhand。
50、本发明中，所提出的适用于复杂光照条件下的手部三维重建方法及装置，通过引入事件相机作为对传统相机的补充，极大增强了对复杂光照因素的应对能力。同时，由于事件相机高速感知运动目标的特性，使网络更加关注于目标的运动信息，并更好地提取其语义特征，增强了网络模型对动态手势的处理能力，为运动状态手部三维重建奠定了基础。基于曝光注意力机制的跨模态自适应融合网络通过设计隐式特征对齐策略和基于曝光注意力机制的自适应融合方法，建立了事件流和图像在复杂光照条件下的自适应融合机制，显著提升了成像网络在包含极端光照的真实场景下的鲁棒性。基于图像细节增强和噪声抑制的模型优化策略使网络可以有效应对来自极端光照条件下来自ldr图像和事件流的多源混合噪声，利用图像内容和噪声的分布差异构建梯度惩罚项，在抑制噪声的同时避免了hdr图像细节的损失。级联的手部三维重建网络利用邻接矩阵来描述手部骨骼点的拓扑结构，并通过多层的图卷积操作，逐渐传播和聚合骨骼点的信息，从而有效推断出三维手网格顶点的三维坐标。
1.一种适用于复杂光照条件下的手部三维重建方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的适用于复杂光照条件下的手部三维重建方法，其特征在于，所述预处理具体包括：
3.根据权利要求2所述的适用于复杂光照条件下的手部三维重建方法，其特征在于，所述跨模态自适应融合网络包括特征对齐模块、多尺度特征提取模块、跨模态特征融合模块、图像重建模块；步骤s2具体包括：
4.根据权利要求3所述的适用于复杂光照条件下的手部三维重建方法，其特征在于，特征对齐模块包括对抗性特征鉴别器df、事件特征编码器tε、图像特征编码器tl，所述将事件体素和ldr图像输入到特征对齐模块以获得事件特征和ldr图像特征具体包括：
5.根据权利要求1所述的适用于复杂光照条件下的手部三维重建方法，其特征在于，级联的手部三维重建网络包括：手部检测网络dmp、二维姿态估计网络pmp、三维姿态估计网络posenet、手部三维模型重建网络meshnet；步骤s3具体包括：
6.根据权利要求5所述的适用于复杂光照条件下的手部三维重建方法，其特征在于，所述手部三维模型重建网络meshnet包括融合姿态估计网络、自适应图卷积网络；所述将手部的二维姿态手部的三维姿态输入手部三维模型重建网络meshnet，以得到手部三维模型mhand，具体包括：
7.根据权利要求4所述的适用于复杂光照条件下的手部三维重建方法，其特征在于，所述跨模态自适应融合网络的训练过程具体包括：
8.根据权利要求7所述的适用于复杂光照条件下的手部三维重建方法，其特征在于，特征对齐的损失函数具体为：
9.一种适用于复杂光照条件下的手部三维重建装置，其特征在于，包括：
