本文公开的主题涉及术中器械跟踪和可视化，并且具体地涉及增强术中图像显示、便于数据可视化并且提高安全性的装置、系统和方法。
背景技术：
1、可视化系统通常在术中用于成像组织、执行活检、外科手术、诊断和/或其他医疗手术。如本文所用，术语“术中”是指在任何医疗手术(侵入性或非侵入性)期间执行的动作或发生的事件。在许多情况下，诸如在内窥镜手术期间，与诊断和/或决策有关的相关医疗信息可能不容易被主治医生获得。例如，患者医疗信息(例如，病史、生命参数等)、设备状态和设备参数(例如，用于便于正在执行的医疗手术的器械和/或机器人的状态和参数)、实时信息(例如，与手术期间的组织有关)等通常是用于各种操作和其他原因(例如，隐私、数据安全、有限的互操作性等)的完全不同的子系统的一部分。因此，对上述医疗信息进行术中访问可能涉及多个显示屏幕和/或依赖于其他人员来提供信息，这可能转移对医疗手术的关注，增加医生的认知负荷/脑力劳动，并且中断手术流程，从而增加错误的风险、延长手术时间并且增加成本。此外，当(例如，在内窥镜手术和/或机器人辅助手术期间)使用头戴式显示器(hmd)和/或立体头戴式耳机时，移除、戴上和/或以其他方式调整hmd和/或头戴式耳机以查看其他显示屏幕可能是麻烦的。因此，本文所公开的一些实施方案部分地通过便于术中器械跟踪和增强信息可视化来使包括内窥镜手术和/或机器人辅助手术的医疗手术的执行变得容易。
技术实现思路
1、在一些实施方案中，一种处理器实现的方法可包括：基于由mis相机捕获的实时术中输入视频流来确定与外科设备器械相关联的当前器械姿态，其中输入视频流包括当前输入图像帧，该当前输入图像帧包括器械的图像；确定器械的激活状态以及与器械相关联的至少一个参数值；基于(a)器械的激活状态，和(b)至少一个参数值与至少一个对应的参数阈值的比较来确定一个或多个第一术中图形可视化加强，其中第一术中图形可视化加强被应用于当前图形帧；以及启动包括在混合输出视频流中的混合图像帧的显示，其中混合图像帧是通过将当前输入图像帧与当前图形帧混合来获得的。
2、在另一方面，一种外科设备系统可包括：相机，该相机用于获得实时术中视频流；器械；存储器；和处理器，该处理器耦合到相机、器械和存储器。在一些实施方案中，该处理器可被配置为：基于实时术中输入视频流来确定与器械相关联的当前器械姿态，其中输入视频流包括当前输入图像帧，该当前输入图像帧包括器械的图像；确定器械的激活状态以及与器械相关联的至少一个参数值；基于(a)器械的激活状态，和(b)至少一个参数值与至少一个对应的参数阈值的比较来确定一个或多个第一术中图形可视化加强，其中第一术中图形可视化加强被应用于当前图形帧；以及启动包括在混合输出视频流中的混合图像帧的显示，其中混合图像帧是通过将当前输入图像帧与当前图形帧混合来获得的。
3、在又一方面，一种系统可包括：用于基于由外科设备成像构件捕获的实时术中输入视频流来确定与外科设备器械相关联的当前器械姿态的构件，其中输入视频流包括当前输入图像帧，该当前输入图像帧包括器械的图像；用于确定器械的激活状态以及与器械相关联的至少一个参数值的构件；用于基于(a)器械的激活状态，和(b)至少一个参数值与至少一个对应的参数阈值的比较来确定一个或多个第一术中图形可视化加强的构件，其中第一术中图形可视化加强被应用于当前图形帧；以及用于启动包括在混合输出视频流中的混合图像帧的显示的构件，其中混合图像帧是通过将当前输入图像帧与当前图形帧混合来获得的。
4、在一些实施方案中，一种计算机可读介质可包括指令以将处理器配置为：基于由外科设备相机捕获的实时术中输入视频流来确定与外科设备器械相关联的当前器械姿态，其中输入视频流包括当前输入图像帧，该当前输入图像帧包括器械的图像；基于当前器械姿态和3维(3d)解剖模型来在术中识别位于当前输入图像帧中的器械的距离阈值内的一个或多个接近解剖结构；基于(a)器械的激活状态，和(b)对与器械相关联的一个或多个参数落在一个或多个对应的参数阈值之外的确定，和(c)一个或多个接近解剖结构来确定当前输入图像帧中的一个或多个术中图形可视化加强；以及启动包括在混合输出视频流中的混合图像帧的显示，其中混合图像帧是通过将当前输入图像帧与图形可视化加强混合来获得的。
1.一种处理器实现的方法，包括：
2.根据权利要求1所述的方法，其中，所述一个或多个第一术中图形可视化加强是基于以下项中的至少一者来确定的：所述器械的所述激活状态；或者所述至少一个参数值；或者所述至少一个参数值落在所述至少一个对应的参数阈值之外的程度；或者它们的组合。
3.根据权利要求1所述的方法，其中，所述一个或多个第一术中图形可视化加强包括以下项中的至少一者：
4.根据权利要求1所述的方法，还包括：
5.根据权利要求1所述的方法，还包括：
6.根据权利要求14所述的方法，其中，所述一个或多个第二术中图形可视化加强包括以下项中的至少一者：
7.根据权利要求6所述的方法，其中，所述一个或多个第二术中图形可视化加强是基于以下项中的至少一者来确定的：落在所述至少一个对应的参数阈值之外的所述至少一个参数值；或者所述一个或多个接近解剖结构距所述器械的对应的距离；或者它们的组合。
8.根据权利要求6所述的方法，其中，确定所述一个或多个第二术中图形可视化加强包括：
9.根据权利要求1所述的方法，其中，至少一个参数和相关联的至少一个对应的阈值包括：
10.根据权利要求9所述的方法，其中，所述器械的温度是基于以下项中的至少一者来确定的：
11.根据权利要求1所述的方法，其中，所述3d解剖模型是通过从所述输入视频流获得的经语义分割的术中3d解剖模型与经语义分割的术前3d解剖模型的配准来进行语义分割和获得。
12.根据权利要求1所述的方法，其中，所述当前器械姿态是基于与所述mis相机相关联的6-dof当前相机姿态来确定的，并且将所述当前输入图像帧与所述当前图形帧混合包括：
13.根据权利要求12所述的方法，其中，所述当前器械姿态是使用经训练的机器学习(ml)模型来确定的，其中所述ml模型使用卷积神经网络(cnn)来在确定所述器械姿态之前检测和分割所述当前图像中的所述器械。
14.根据权利要求1所述的方法，还包括：
15.一种微创外科(mis)系统，包括：
16.根据权利要求15所述的mis系统，其中，为了确定所述一个或多个第一术中图形可视化加强，所述处理器被配置为：
17.根据权利要求15所述的mis系统，其中，所述处理器被进一步配置为：
18.根据权利要求15所述的mis系统，其中，所述处理器被进一步配置为：
19.根据权利要求18所述的mis系统，其中，所述一个或多个第二术中图形可视化加强基于以下项中的至少一者：落在所述至少一个对应的参数阈值之外的所述至少一个参数值；或者所述一个或多个接近解剖结构距所述器械的对应的距离；或者它们的组合。
20.一种非暂态计算机可读介质，包括指令以将处理器配置为：
