本申请涉及视频处理，具体而言，涉及一种基于时空滤波的全景图像优化方法、装置、设备及介质。
背景技术：
1、全景图像生成技术是一种能够获取360度全方位视野图像的技术，旨在为用户提供沉浸式的视觉体验。在该技术中，多个摄像头从不同角度同时拍摄场景，然后将这些图像进行拼接和融合，最终生成全景图像或视频。这种技术在各个领域中都有广泛的应用，包括虚拟现实、增强现实、视频监控和影视制作等。
2、在虚拟现实应用中，全景图像生成技术能够创建高度沉浸的虚拟环境，用户可以通过头戴设备进行全方位的视角观看，从而获得身临其境的体验。这在游戏、教育、虚拟展览等领域十分重要。增强现实技术通过将虚拟图像叠加在真实世界的视野中，使用户能够同时感知虚拟和现实信息。全景图像生成技术在此过程中提供了完整的环境背景，有助于增强现实内容的真实性和互动性。在视频监控方面，全景摄像头可以覆盖广阔的监控区域，减少监控盲点，提高安全性和监控效率。它们常用于大型公共场所如机场、车站、商场等，以及智能家居系统中。
3、在现有的基于拼接缝的全景图像拼接方法中，缺乏时间上下文信息的利用，其仅考虑了同一时间点的图像信息，而忽略了其他时间点的图像上下文信息。在视频中，某些区域在某个时刻可能处于拼接缝附近，而在其他时刻则不在拼接缝附近。由于未能利用这些时间上的上下文信息，拼接效果可能在不同时间帧之间不一致，导致图像质量不稳定。其次，该方案可能会导致拼接缝处图像质量较差，即使经过了校正，在拼接缝处仍可能存在两侧图像亮度与颜色的差异，即使沿着最优拼接缝进行拼接，仍然可能出现明显的拼接痕迹。再其次，该类方法考虑的是一类局部优化方案，即在每一帧图像内独立寻找最优拼接缝，缺乏全局视角。忽略了全景视频的整体性，无法充分利用视频中连续帧之间的相关信息，从而未能达到最佳的拼接效果。
技术实现思路
1、本申请实施例提供了一种基于时空滤波的全景图像优化方法、装置、设备及存储介质，以至少解决相关技术中生成的全景视频图像质量较低的技术问题。
2、根据本申请实施例提供的一种基于时空滤波的全景图像优化方法，包括：
3、基于最优缝合线拼接方式对待处理的原始视频进行拼接，得到初始全景视频；基于光流估计算法将目标帧与预设时空窗口内的其他帧进行对齐；计算所述时空窗口内的像素相对于其所在帧的最优缝合线的距离，基于所述距离得到该点像素的拼接可靠度；基于时空窗口内各像素与目标帧缝合区域内的目标像素的空间距离、时间距离、像素距离以及时空窗口内各像素的拼接可靠度，得到时空窗口内各像素的权重；基于时空窗口内各像素的权重，对目标帧缝合区域内的目标像素进行优化。
4、在一个实施例中，基于最优缝合线拼接方式对待处理的原始视频进行拼接，得到初始全景视频，包括：
5、提取所述原始视频中每一帧图像的特征点；基于所述特征点进行特征匹配，根据匹配的特征点对图像对进行几何对齐；基于像素值与梯度值的差距构建求解最优缝合线的能量方程，基于所述能量方程求解得到图像对的最优缝合线；基于所述最优缝合线进行图像拼接，得到所述初始全景视频。
6、在一个实施例中，提取所述原始视频中每一帧图像的特征点之前，还包括：
7、获取待处理的多个原始视频；对所述原始视频进行去噪、畸变校正以及颜色校正，得到预处理后的原始视频。
8、在一个实施例中，基于光流估计算法将目标帧与预设时空窗口内的其他帧进行对齐，包括：
9、基于面向全景视频的光流算法估计所述初始全景视频中目标帧到预设时空窗口内其他帧的光流；基于光流映射将所述时空窗口内其他帧的像素与最优缝合线对齐到所述目标帧。
10、在一个实施例中，计算所述时空窗口内的像素相对于其所在帧的最优缝合线的距离，包括：
11、选择预设空间窗口内的经光流映射对齐后的最优缝合线的点；基于最小二乘法对选择的点进行线性拟合，得到最优缝合线的局部拟合线；使用像素点与该局部拟合线的垂直距离刻画像素点相对于其所在帧的最优缝合线的距离。
12、在一个实施例中，基于时空窗口内各像素与目标帧缝合区域内的目标像素的空间距离、时间距离、像素距离以及时空窗口内各像素的拼接可靠度，得到时空窗口内各像素的权重，包括：
13、通过系数为-1的指数函数，将缝合区域内的目标像素与其时空窗口内的像素的时间距离、空间距离、像素距离以及时空窗口内像素的拼接可靠度，表示为时空滤波的权重因子；采用标准差系数对权重因子进行调控，得到时空窗口内各像素的权重。
14、在一个实施例中，基于时空窗口内各像素的权重，对目标帧缝合区域内的目标像素进行优化，包括：
15、基于时空窗口内各像素的权重进行加权平均，得到缝合区域内的目标像素点的优化后的像素值。
16、根据本申请实施例的一个方面，提供了一种基于时空滤波的全景图像优化装置，包括：
17、初始拼接模块，用于基于最优缝合线拼接方式对待处理的原始视频进行拼接，得到初始全景视频；光流对齐模块，用于基于光流估计算法将目标帧与预设时空窗口内的其他帧进行对齐；拼接可靠度计算模块，用于计算所述时空窗口内的像素相对于其所在帧的最优缝合线的距离，基于所述距离得到该点像素的拼接可靠度；权重计算模块，用于基于时空窗口内各像素与目标帧缝合区域内的目标像素的空间距离、时间距离、像素距离以及时空窗口内各像素的拼接可靠度，得到时空窗口内各像素的权重；优化模块，用于基于时空窗口内各像素的权重，对目标帧缝合区域内的目标像素进行优化。
18、根据本申请实施例的又一方面，还提供了一种电子设备，包括存储器和处理器，上述存储器中存储有计算机程序，上述处理器被设置为通过上述计算机程序执行上述的基于时空滤波的全景图像优化方法。
19、根据本申请实施例的又一方面，还提供了一种计算机可读的存储介质，该计算机可读的存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述基于时空滤波的全景图像优化方法。
20、本申请实施例提供的技术方案可以包括以下有益效果：
21、本申请实施例提供的方案，在得到初始拼接的全景视频后，通过时空滤波进行优化。在对某一帧进行滤波时，求解其与时空邻域内的其他帧之间的光流，并通过光流映射将其他帧对齐到该帧。对于一个要被优化更新的待滤波像素而言，滤波的权重综合考虑了时空邻域内的参考像素与待滤波像素之间的时间距离、空间距离、像素距离与参考像素的拼接可靠性得到。本申请充分利用全景视频的时间相关性，考虑了其他时间点的图像上下文信息，有效提升了拼接图像的质量和稳定性。再者，本申请充分利用视频中连续帧之间的相关信息，根据时间和空间邻域内的信息进行滤波，考虑了全景视频的整体性，能够重建出高质量的全景视频。
1.一种基于时空滤波的全景图像优化方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，基于最优缝合线拼接方式对待处理的原始视频进行拼接，得到初始全景视频，包括：
3.根据权利要求2所述的方法，其特征在于，提取所述原始视频中每一帧图像的特征点之前，还包括：
4.根据权利要求1所述的方法，其特征在于，基于光流估计算法将目标帧与预设时空窗口内的其他帧进行对齐，包括：
5.根据权利要求1所述的方法，其特征在于，计算所述时空窗口内的像素相对于其所在帧的最优缝合线的距离，包括：
6.根据权利要求1所述的方法，其特征在于，基于时空窗口内各像素与目标帧缝合区域内的目标像素的空间距离、时间距离、像素距离以及时空窗口内各像素的拼接可靠度，得到时空窗口内各像素的权重，包括：
7.根据权利要求1所述的方法，其特征在于，基于时空窗口内各像素的权重，对目标帧缝合区域内的目标像素进行优化，包括：
8.一种基于时空滤波的全景图像优化装置，其特征在于，包括：
9.一种电子设备，其特征在于，包括处理器和存储有程序指令的存储器，所述处理器被配置为在执行所述程序指令时，执行如权利要求1至7任一项所述的基于时空滤波的全景图像优化方法。
10.一种计算机可读介质，其特征在于，其上存储有计算机可读指令，所述计算机可读指令被处理器执行以实现如权利要求1至7任一项所述的一种基于时空滤波的全景图像优化方法。
