本发明涉及一种密植状态下的作物及作物小微器官的三维重建方法,属于三维重建、计算机视觉及植物表型处理。
背景技术:
1、多视图立体重建技术:利用多视角图像估计相机位姿,根据位姿将图像像素信息投影到三维空间,重建三维场景或模型。典型算法包括sfm、mvs等。
2、植物表型技术:利用各种高通量和高精度的工具和方法,对植物的形态、结构、功能和生长动态等性状进行定量化测量和分析的技术。
3、无人机水稻大田多视角重建技术:利用无人机拍摄水稻田的高分辨率图像,通过图像处理和三维建模技术,重建和分析水稻田的生长状况和地形特征。
4、无人机水稻大田雷达重建技术:利用无人机搭载雷达传感器,通过获取和处理雷达数据,对水稻大田的生长状况和地形特征进行三维重建和分析的技术。
5、现有的密植状态下的田间水稻三维重建方法无法解决水稻遮挡的问题,同时水稻的特征点存在重复性高,导致重建时无法对齐。本申请提案通过在目标水稻植株周围添加刚性标志牌增加特征点的方式,设计了重建方案,可以有效解决密植状态下的水稻重建难点。
6、另外,现小微器官重建方案,以水稻籽粒为例,不能一次性重建出结果,需要多次对齐和合并,并且籽粒表面缺乏纹理,重建质量低。水稻花的重建技术目前还未有报道。
技术实现思路
1、本发明的目的之一是支持在密植状态下捕获植株的特征,达到整植株重建。
2、本发明的目的之二是支持植物小微器官的一次性重建,并保留丰富的纹理信息。
3、为实现上述目的,本发明采取的技术方案是如下:
4、一方面,本发明提供一种密植状态下的作物三维重建方法,其包括以下步骤:
5、步骤1、在目标植株周围设置刚性标志牌;
6、步骤2、使用手持传感器拍摄包含标志牌和作物植株特征的二维图像;
7、步骤3、使用特征提取技术提取每张二维图像的混合特征;
8、步骤4、使用匹配技术对每张二维图像进行特征点匹配,并生成配对组;
9、步骤5、使用运动恢复结构技术(sfm)估计每张二维图像的位姿;
10、步骤6、使用多视角重建技术(mvs)将二维像素投影到三维空间中,生成三维模型。
11、所述步骤s1中,刚性标志牌可由木板,pp板或其他刚性材料制成。将标志牌插在目标植株周围,此时场景的特征可以记为:
12、f=f1+f2,
13、其中,f1是作物植株提供的特征,f2是刚性标志牌提供的特征。
14、所述步骤s2中,手持传感器包括单目相机,手机等rgb图像捕获传感器,为了获取更加稠密的rgb图像,一般先使用视频的形式采集数据,再对视频抽帧得到rgb数据集,该过程可记为:
15、i=getframes(v,k)
16、其中i是rgb图像序列,v是使用rgb传感器捕获的视频数据,k是每间隔k帧抽取一张rgb图像。
17、所述步骤s3中,在rgb图像序列中提取s1中场景特征,过程可记为:
18、f’=featuresdetection(i),f’∈f
19、f’是从rgb图像序列中提取的特征。特征提取的方法可以是:sift,surf,orb或者其他特征点提取算法。
20、所述步骤s4记为:
21、mij=pairmatching(i,fi’,fj’)
22、其中,mij是rgb数据集i里fi’,fj’两组特征的配对。特征点匹配算法可以是knn,ann等。
23、所述步骤s5记为:
24、pi=sfm(mij)。
25、其中,pi包含传感器的旋转和平移矩阵,详细说明了传感器在拍摄每帧中相对于场景的方向和位置。
26、所述步骤s6记作:
27、c=mvs(p,i)
28、其中c是重建后的作物植株稠密点云三维模型。
29、另一方面,本发明还提供一种作物小微器官的作物三维重建方法,其包括以下步骤:
30、步骤1、搭建微场景重建环境,包括目标支撑,微场景补充特征点,转台等硬件设置;
31、步骤2、使用微距相机拍摄包含微场景补充特征和小微器官特征的二维图像;
32、步骤3、使用特征提取技术提取每张二维图像的混合特征;
33、步骤4、使用匹配技术对每张二维图像进行特征点匹配,并生成配对组;
34、步骤5、使用运动恢复结构技术(sfm)估计每张二维图像的位姿;
35、步骤6、使用多视角重建技术(mvs)将二维像素投影到三维空间中,生成三维模型。
36、所述步骤1中,微环境特征点可记为:
37、f=f1+f2,
38、其中,f1是小微器官(以水稻籽粒、花为例)提供的特征,f2是微环境特征点。
39、所述步骤2中,为了获取更加稠密的rgb图像,一般先使用视频的形式采集数据,再对视频抽帧得到rgb数据集,该过程可记为:
40、i=getframes(v,k)
41、其中,i是rgb图像序列,v是使用微距相机捕获的视频数据,k是每间隔k帧抽取一张rgb图像。
42、所述步骤3中,在rgb图像序列中提取s1中场景特征,过程可记为:
43、f’=featuresdetection(i),f’∈f
44、f’是从rgb图像序列中提取的特征。特征提取的方法可以是:sift,surf,orb或者其他特征点提取算法。
45、所述步骤4记为:
46、mij=pairmatching(i,fi’,fj’)
47、其中,mij是rgb数据集i里fi’,fj’两组特征的配对。特征点匹配算法可以是knn,ann等。
48、所述步骤s5记为:
49、pi=sfm(mij)
50、其中,pi包含传感器的旋转和平移矩阵,详细说明了传感器在拍摄每帧中相对于场景的方向和位置。
51、所述步骤6记作:
52、c=mvs(p,i)
53、其中c是重建后的作物植株稠密点云三维模型。
54、本发明的有益效果如下:
55、(1)本发明通过在目标水稻植株周围添加刚性标志牌增加特征点的方式,设计了重建方案,可以有效解决密植状态下的水稻重建难点。本发明支持在密植状态下捕获植株的特征,可达到整植株重建的目的。
56、(2)本发明通过围绕小微器官目标搭建微重建场景的方式,设计了重建方案,可以有效解决一次性重建小微器官难点。本发明支持植物小微器官的一次性重建,并保留丰富的纹理信息。
1.一种密植状态下的作物三维重建方法,其特征在于:包括以下步骤:
2.根据权利要求1所述的一种密植状态下的作物三维重建方法,其特征在于:所述步骤1中,刚性标志牌刚性材料制成,将标志牌插在目标植株周围,此时场景的特征记为:
3.根据权利要求1所述的一种密植状态下的作物三维重建方法,其特征在于:所述步骤2中,手持传感器为包括单目相机或手机在内的rgb图像捕获传感器,为了获取更加稠密的rgb图像,先使用视频的形式采集数据,再对视频抽帧得到rgb数据集,该过程记为:
4.一种作物小微器官的作物三维重建方法,其特征在于:包括以下步骤:
5.根据权利要求4所述的一种作物小微器官的作物三维重建方法,其特征在于:所述步骤1中,涉及微场境特征点记为:
6.根据权利要求4所述的一种作物小微器官的作物三维重建方法,其特征在于:所述步骤2中,利用微距相机拍摄二维图像被摄物体的细节,为获取更加稠密的rgb图像,先使用视频的形式采集数据,再对视频抽帧得到rgb数据集,该过程记为:
7.根据权利要求3或6所述的作物三维重建方法,其特征在于:所述步骤3中,在rgb图像序列中提取步骤1中场景特征,过程记为:
8.根据权利要求1或4所述的作物三维重建方法,其特征在于:所述步骤4的步骤记为:
9.根据权利要求1或4所述的作物三维重建方法,其特征在于:所述步骤5的步骤记为:
10.根据权利要求1或4所述的作物三维重建方法,其特征在于:所述步骤6的步骤记作: