本申请属于图像处理,尤其涉及一种图像处理方法、装置、设备、介质以及产品。
背景技术:
1、手术是以治疗疾病为目的,在局部开展去除病变组织、修复损伤、重建形态或功能、移植细胞组织或器官、植入医疗器械等医学操作的医疗技术。在手术过程中,需要使用手术器械对手术对象的部位进行各种操作,但在进行手术时,尤其是进行外科手术时,操作区域可能存在手术对象的重要器官,在操作器械时需要注意避开重要器官,以免造成严重的医疗事故。
2、为了避免在手术过程中对手术对象的重要器官等进行损伤操作,一般会通过计算机系统辅助手术,先获取手术操作区域的图像,然后对图像进行处理,将重要器官分割并标记之后,展示给器械的操作人员,从而避免触碰重要器官。
3、但是,在一些手术中,重要器官与周围组织的边界相对模糊,并且暴露面积实时动态变化,受到腔镜灯光以及烟雾等影响,上述情况均会导致传统的图像分割方式精度有限,无法保证手术的安全性。
技术实现思路
1、本申请实施例提供一种图像处理方法、装置、设备、介质以及产品,能够提高手术过程中视频图像分割的精度,进而保证手术的安全性。
2、一方面,本申请实施例提供一种图像处理方法,包括:
3、获取第一视频帧图像,所述第一视频帧图像为手术过程中采集得到的图像,所述第一视频帧图像中包括手术器械;
4、识别所述第一视频帧图像中的手术器械;
5、基于识别出的手术器械,在所述第一视频帧图像中确定包含手术对象关键部位的局部区域图像;
6、将所述第一视频帧图像输入至分割模型,得到手术对象关键部位的第一分割结果;以及将所述局部区域图像输入至所述分割模型,得到手术对象关键部位的第二分割结果;
7、将所述第一分割结果以及所述第二分割结果进行融合,以得到与手术对象关键部位所匹配的目标区域;
8、在所述第一视频帧图像中对所述目标区域进行区别显示。
9、另一方面,所述基于识别出的手术器械,在所述第一视频帧图像中确定包含手术对象关键部位的局部区域图像,包括:
10、提取手术器械的器械特征;
11、基于所述器械特征,确定所述第一视频帧图像中关于手术对象关键部位的关键点;
12、基于所述关键点,生成所述局部区域图像。
13、另一方面,所述基于所述器械特征,确定所述第一视频帧图像中的关键点,包括:
14、基于所述器械特征,确定手术器械的至少一个目标特征点的位置;
15、根据所述第一视频帧图像所属的手术对象的部位,预测手术对象关键部位在所述第一视频帧图像中的位置,以得到预测结果;
16、基于所述预测结果中手术对象关键部位的位置确定基准点;
17、将每个所述基准点与每个所述目标特征点的连线的中点确定为所述关键点。
18、另一方面,所述基于所述关键点,生成所述局部区域图像,包括:
19、以所述关键点为目标图形的图形特征点生成目标图形;
20、根据所述目标图形确定所述局部区域图像。
21、另一方面,所述目标图形为椭圆,所述以所述关键点为目标图形的图形特征点生成目标图形,包括:
22、确定所述关键点对应的基准点以及所述目标特征点之间的距离;
23、基于所述距离确定椭圆的大小,以所述关键点为圆心生成椭圆;其中,所述距离与所述椭圆的大小成反相关。
24、另一方面,在所述将所述第一分割结果以及所述第二分割结果进行融合,以得到与手术对象关键部位所匹配的目标区域之前,所述方法还包括:
25、获取第二视频帧图像,所述第二视频帧图像为所述第一视频帧图像的上一帧图像;
26、比较所述第二视频帧图像和所述第一视频帧图像的相似度;
27、所述将所述第一分割结果以及所述第二分割结果进行融合,以得到与手术对象关键部位所匹配的目标区域,包括:
28、在所述相似度高于阈值的情况下,将所述第一视频帧图像的所述第一分割结果以及所述第二视频帧图像的所述第二分割结果进行融合,以得到与手术对象关键部位所匹配的所述目标区域。
29、再一方面,本申请实施例提供了一种图像处理装置,包括:
30、获取模块,用于获取第一视频帧图像,所述第一视频帧图像为手术过程中采集得到的图像,所述第一视频帧图像中包括手术器械;
31、识别模块,用于识别所述第一视频帧图像中的手术器械;
32、确定模块,用于基于识别出的手术器械,在所述第一视频帧图像中确定包含手术对象关键部位的局部区域图像;
33、输入模块,用于将所述第一视频帧图像输入至分割模型,得到手术对象关键部位的第一分割结果;以及将所述局部区域图像输入至所述分割模型,得到手术对象关键部位的第二分割结果;
34、融合模块,用于将所述第一分割结果以及所述第二分割结果进行融合,以得到与手术对象关键部位所匹配的目标区域;
35、显示模块,用于在所述第一视频帧图像中对所述目标区域进行区别显示。
36、再一方面,本申请实施例提供了一种图像处理设备,所述设备包括:处理器以及存储有计算机程序指令的存储器;
37、所述处理器执行所述计算机程序指令时实现上述的图像处理方法。
38、再一方面,本申请实施例提供了一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序指令,所述计算机程序指令被处理器执行时实现上述的图像处理方法。
39、再一方面,本申请实施例提供了一种计算机程序产品,所述计算机程序产品中的指令由电子设备的处理器执行时,使得所述电子设备执行上述的图像处理方法。
40、本申请实施例的图像处理方法,在手术过程中采集包括手术器械的第一视频帧图像,并识别第一视频帧图像中的手术器械;基于识别出的手术器械,在第一视频帧图像中确定包含手术对象关键部位的局部区域图像。然后将第一视频帧图像输入至分割模型,得到手术对象关键部位的第一分割结果;以及将局部区域图像输入至分割模型,得到手术对象关键部位的第二分割结果。因为局部区域图像相较于完整的第一视频帧图像的尺寸更小,需要处理的数据更少,得到的结果精度更高。最后将第一分割结果以及第二分割结果进行融合,以得到与手术对象关键部位所匹配的目标区域,并在第一视频帧图像中对目标区域进行区别显示。因为局部区域图像是根据手术器械的当前位置确定的,能够保证该区域是手术器械的操作人员关注的区域,又因为局部区域图像的范围更小,可以在相同条件下得到更高的精度;即提升了手术器械的操作人员关注区域的分割精度,将分割得到的重要器官展示给操作人员,能够保证手术的安全性。
1.一种图像处理方法,其特征在于,包括:
2.根据权利要求1所述的图像处理方法,其特征在于,所述基于识别出的手术器械,在所述第一视频帧图像中确定包含手术对象关键部位的局部区域图像,包括:
3.根据权利要求2所述的图像处理方法,其特征在于,所述基于所述器械特征,确定所述第一视频帧图像中的关键点,包括:
4.根据权利要求3所述的图像处理方法,其特征在于,所述基于所述关键点,生成所述局部区域图像,包括:
5.根据权利要求4所述的图像处理方法,其特征在于,所述目标图形为椭圆,所述以所述关键点为目标图形的图形特征点生成目标图形,包括:
6.根据权利要求1所述的图像处理方法,其特征在于,在所述将所述第一分割结果以及所述第二分割结果进行融合,以得到与手术对象关键部位所匹配的目标区域之前,所述方法还包括:
7.一种图像处理装置,其特征在于,包括:
8.一种图像处理设备,其特征在于,所述设备包括:处理器以及存储有计算机程序指令的存储器;
9.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序指令,所述计算机程序指令被处理器执行时实现如权利要求1-6任意一项所述的图像处理方法。
10.一种计算机程序产品,其特征在于,所述计算机程序产品中的指令由电子设备的处理器执行时,使得所述电子设备执行如权利要求1-6任意一项所述的图像处理方法。