本发明涉及图像处理，尤其涉及一种机场航站楼视频数字孪生方法、装置、设备及介质。
背景技术：
1、视频数字孪生是近两年的新兴技术，主要解决空间数据与现实空间映射，并解决工作人员同时观看海量视频，各设施/对象间的空间位置难以体现，异常事件难以发现的问题。目前机场主要通过全景拼接以及人工轮询观看视频进行事件的监测，此种方式难以及时、有效对各类事件进行监测及发现，同时进行物理位置的关联。现有解决方法主要集中在以下几点：
2、（1）通过全景拼接的方式进行航站楼全场景的监测；
3、（2）通过视频分析的手段对单摄像头场景进行分析；
4、（3）通过摄像头与gis（地理信息系统）结合进行联动观看；
5、（4）数字孪生的方法。
6、在上述四种主流解决方案中，存在以下问题：
7、（1）第一种方案要求待拼接图像之间的视差不能过大且两帧图像间存在一定的重合，但机场航站楼结构复杂且存在视野遮挡，监控相机间视差大的问题，因此此方法对航站楼室内监控场景并不适用；
8、（2）第二种方案可实现单摄像头旅客行为的监测，但其难以实现多摄像头，设置区内事件的串联及监测；
9、（3）第三种方案虽然将监控摄像头与真实地理位置关联，但其局限于单一摄像头的展示，不能进行多摄像头的联动；
10、（4）第四种数字孪生的方法主要通过静态建模，但其不能实现动态场景的实时建模，且在孪生过程中，依赖于采集数据的完整与准确性。
技术实现思路
1、针对上述问题，本发明提出了一种机场航站楼视频数字孪生方法、装置、设备及介质，采用多传感器对大型航站楼进行静态模型的三维重建，建立二维图像与三维模型之间的映射关系，实现二维图像纹理至三维模型的注册，最终进行多摄像头融合、拼接，并将基于视频分析的结构化数据进行映射，实现航站楼大场景下的三维全景实时监测。
2、为达到上述目的，本发明采用的技术方案如下：
3、整个方案涉及到的数据包含：rgb-d（深度摄像机）传感器采集影像数据，lidar（激光雷达扫描仪）传感器采集的点云数据，监控摄像机采集的视频数据，机场cad（计算机辅助设计）图纸，摄像机安装参数（包括摄像机内参、安装位置）。
4、第一方面，本发明提供一种机场航站楼视频数字孪生方法，所述方法包括以下步骤：
5、步骤s1，数据获取，获取rgb-d传感器采集的影像数据、lidar传感器采集的点云数据和监控摄像机采集的视频数据；
6、步骤s2，航站楼静态场景三维重建，针对所述影像数据、点云数据和视频数据，进行高精度机场航站楼静态场景三维模型的构建，包括利用rgb-d传感器位置姿态影像数据构建静态场景三维模型，根据所述静态场景三维模型，融合lidar传感器采集的点云数据，对点云数据进行语义分割，构建精细的航站楼室内静态数字表面三维模型；
7、步骤s3，单摄像机下二维图像纹理至三维模型注册，针对所述摄像机采集的视频数据、精细的航站楼室内静态数字表面三维模型，进行单摄像机下二维图像纹理至精细的航站楼室内静态数字表面三维模型的注册，包括构建二维图像、精细的航站楼室内静态数字表面三维模型、摄像机坐标系与世界坐标系间的映射关系，然后根据监控摄像机初始位姿，获取航站楼空间初始布局，求解监控摄像机旋转矩阵，对航站楼室内空间布局进行更新，根据二维布局估计关键点，进行图像纹理划分，对图像纹理进行重建，投影至航站楼室内静态数字表面三维模型；
8、步骤s4，多摄像机与构建的静态数字表面三维模型融合，包括对航站楼摄像机进行筛选，计算各摄像机对应的初始布局估计，判断各摄像机之间是否存在重叠，计算摄像机之间的视角差，根据视角差对不同纹理进行融合，实现航站楼视频数字孪生。
9、第二方面，本发明提供一种机场航站楼视频数字孪生装置，包括：数据获取模块、构建模块、注册模块以及融合模块；
10、所述数据获取模块，用于获取rgb-d传感器采集的影像数据、lidar传感器采集的点云数据和监控摄像机采集的视频数据；
11、所述构建模块，用于航站楼静态场景三维重建，针对所述影像数据、点云数据和视频数据，进行高精度机场航站楼静态场景三维模型的构建，包括利用rgb-d传感器位置姿态影像数据构建静态场景三维模型，根据所述静态场景三维模型，融合lidar传感器采集的点云数据，对点云数据进行语义分割，构建精细的航站楼室内静态数字表面三维模型；
12、所述注册模块，用于单摄像机下二维图像纹理至三维模型注册，针对摄像机采集的视频数据、精细的航站楼室内静态数字表面三维模型，进行单摄像机下二维图像纹理至精细的航站楼室内静态数字表面三维模型的注册，包括构建二维图像、精细的航站楼室内静态数字表面三维模型、摄像机坐标系与世界坐标系间的映射关系，根据所述映射关系，获取航站楼空间初始布局，根据二维布局估计关键点，对图像纹理进行重建，投影至所述航站楼室内静态数字表面三维模型；
13、所述融合模块，用于多摄像机与构建的静态数字表面三维模型融合，包括对航站楼摄像机进行筛选，计算各摄像机对应的初始布局估计，判断各摄像机之间是否存在重叠，计算摄像机之间的视角差，根据视角差对不同纹理进行融合，实现航站楼视频数字孪生。
14、进一步地，所述构建模块具体用于：
15、构建高精度航站楼静态三维模型，包括采集rgb-d深度图像，进行深度图的降噪处理以及异常值的去除；
16、针对所述影像数据深度图，使用帧模型跟踪方法进行姿态估计，选择初始的数据帧深度图作为有效数据参与航站楼静态场景三维模型重建，识别选择的数据帧与其余帧之间的对应点，进行误差度量，估计与上一个输入帧深度图的增量变换，将该估计连接到之前的姿态估计结果，得到航站楼静态场景模型。
17、利用所述lidar传感器采集的点云数据以及rgb-d影像数据，进行配准，获取三维点云数据纹理信息，通过点云分割获取航站楼平面、平面边缘的结构化信息，利用深度学习方法识别对应物体，实现航站楼内组件信息的构建，根据传感器位置信息融合立体像对点云与所述点云数据，实现完整精细的航站楼室内静态数字表面模型构建。
18、进一步地，所述注册模块包括坐标系关联关系构建子模块、二维场景布局估计子模块、二维场景布局估计更新子模块和投影子模块；
19、坐标系关联关系构建子模块，用于以世界坐标系为基准，构建航站楼室内静态数字表面三维模型坐标系与世界坐标系、相机坐标系与世界坐标系、相机坐标系与图像坐标系之间的映射关系；
20、二维场景布局估计子模块，用于标注世界坐标系下航站楼室内静态数字表面三维模型布局，分析摄像机有效距离，获得摄像机有效距离下的场景布局，根据所述场景布局，投影获得摄像机二维场景布局初步估计；
21、二维场景布局估计更新子模块，用于摄像机发生旋转时，计算旋转矩阵，根据旋转矩阵对初始布局进行更新；
22、投影子模块，用于二维场景投影至航站楼室内静态数字表面三维模型，包括以二维布局节点为基础，对视频图像进行纹理区域划分，并对每个区域的图像纹理进行仿射变换及重建，构建二维初始布局与场景布局之间的关系，将其投影到三维模型中。
23、进一步地，所述融合模块具体用于：
24、在融合时对不同的视角差进行不同的处理：对于视角差大的图像区域，直接选取更小的监控摄像机所对应的视频图像纹理进行覆盖；对于视角差小的图像区域，进行图像融合；针对所述图像融合，计算融合渲染过程中的缝合线，依据缝合线进行图像融合，实现航站楼整个场景的视频数字孪生。
25、第三方面，本发明提供一种电子设备，包括：至少一个处理器和存储器；
26、所述存储器存储计算机执行指令；
27、所述至少一个处理器执行所述存储器存储的计算机执行指令，使得所述至少一个处理器执行如第一方面任一项所述的计算方法。
28、第四方面，本发明提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行以实现第一方面任一项所述的计算方法。
29、本发明通过视频分析手段结合机场航站楼静态三维模型的构建，实现机场全要素精准监控的同时，也实现了航站楼全场景的实时监控，具体以rgb-d与lidar传感器获取的多源点云数据、视频数据为基础，通过构建真实世界、三维模型、摄像机、二维图像之间的映射关系，以单摄像头下局部动态场景三维重建技术为核心，实现航站楼多摄像头、结构化数据、航站楼室内模型融合的大场景下三维实景可视化，并将数字空间与现实空间进行结合，实现航站楼大场景下的全面实时监测，最终使得机场工作人员在海量零散监控视频中“看得快”、“看得懂”、“看得清”。与现有技术相比，本发明具有以下有益技术效果：
30、（1）基于物理空间、二维空间、世界空间之间映射关系的构建，实现在无深度信息的条件下，室内布局结构的精准估计；
31、（2）通过将实时视频图像与航站楼静态三维模型进行融合，实现数字空间与现实空间实时孪生，实现航站楼大场景下的全面实时监测，为机场的安全运行提供有力支撑，本方法同样可扩展至机场公共区以及飞行区，也适用于复杂的室内场景。
1.一种机场航站楼视频数字孪生方法，其特征在于，所述方法包括以下步骤：
2.根据权利要求1所述的方法，其特征在于，所述步骤s2具体包括：
3.根据权利要求1所述的方法，其特征在于，所述步骤s3具体包括：
4.根据权利要求3所述的方法，其特征在于，所述步骤s4具体包括：
5.一种机场航站楼视频数字孪生装置，其特征在于，包括：数据获取模块、构建模块、注册模块以及融合模块；
6.根据权利要求5所述的装置，其特征在于，所述构建模块具体用于：
7.根据权利要求5所述的装置，其特征在于，所述注册模块包括坐标系关联关系构建子模块、二维场景布局估计子模块、二维场景布局估计更新子模块和投影子模块；
8.根据权利要求7所述的装置，其特征在于，所述融合模块具体用于：
9.一种电子设备，其特征在于，包括：至少一个处理器和存储器；
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如权利要求1-4任一项所述的方法。
