本公开整体涉及电子设备,并且具体地涉及用于检测电子设备的用户的眼睛注视方向的系统、方法和设备。
背景技术:
1、现有眼睛跟踪技术分析从用户的眼睛反射并经由图像传感器捕获的闪光。一些头戴式系统可包括使用近红外(nir)照明器和指向每只眼睛的标准多像素互补金属氧化物半导体(cmos)相机的眼睛跟踪技术。nir照明器和cmos相机的组合可提供对每只眼睛的准确和高帧速率(例如,大于每秒15帧)跟踪。然而,这种典型的nir+cmos配置具有基线功率,该基线功率不会随着帧速率的降低而很好地缩放,并且在非常低的功率应用中保持cmos成像器和nir led始终开启是不可行的。因此,可能期望提供一种高效地提供眼睛跟踪系统的手段,该眼睛跟踪系统不需要跨整个可能的注视空间被连续地跟踪以便为可头戴式系统提供针对评估眼睛特性(例如,注视方向、眼睛取向、标识眼睛的虹膜等)的功率节省。
技术实现思路
1、本文所公开的各种具体实施包括基于检测到用户的眼睛注视方向大致朝向目标区域(例如,热区/热角点)取向来启动动作的设备、系统和方法。确定眼睛正在注视目标区域(例如,热区/热角点)基于检测离开眼睛的光的反射具有某些性质,例如,指示大致朝向目标区域对准的红眼类型反射的光谱性质。照明器和/或检测器可例如通过将该照明器/检测器定位在显示器/透镜的目标区域中和/或之后或者使用该透镜的该目标区域中的光学波导来将与从该眼睛到该目标区域的近似方向光学对准。该检测器可以是对在窄同轴角度处的光谱反射敏感的近红外(nir)收发器。该检测器可使用低功率硬件(例如,与透镜配对的光电二极管),该低功率硬件在高功率眼睛跟踪硬件(例如,多像素互补金属氧化物半导体(cmos))关闭时可以是活动的。例如,用户可扫视热角点以触发动作,例如,启动使用全眼跟踪的扩展现实(xr)体验、提供对通知的响应等。如果注视满足准则(例如,扫视持续超过阈值时间量),则可启动预期动作。
2、一般来讲,本说明书中所描述的主题的一个创新方面可体现于方法中,该方法包括以下动作:在具有处理器和显示器的电子设备处,通过使用照明器朝向眼睛引导光来产生反射;从传感器接收传感器数据,其中该传感器的感测方向与从该眼睛到目标区域的方向大致对准;基于该传感器数据来确定该反射的反射性质;基于该反射性质来检测该眼睛的注视方向大致朝向该目标区域取向;以及基于检测到该注视方向大致朝向该目标区域取向来启动动作。
3、这些实施方案和其他实施方案均可任选地包括以下特征中的一个或多个特征。
4、在一些方面,该反射性质指示来自该眼睛的眼底的该光的反射量。在一些方面,该反射的量指示该传感器的该感测方向和该注视方向之间的对准水平。
5、在一些方面,检测该眼睛的该注视方向大致朝向该目标区域取向包括确定该反射性质在角阈值内,其中该角阈值指示该注视方向在目标方向的阈值内。
6、在一些方面,检测该眼睛的该注视方向大致朝向该目标区域取向包括基于该反射来生成时间-幅度响应以标识该注视方向大致朝向该目标区域对准。
7、在一些方面,检测该眼睛的该注视方向大致朝向该目标区域取向包括基于该反射来生成频率-时间响应以标识何时该注视方向大致朝向该目标区域对准。
8、在一些方面,检测该眼睛的该注视方向大致朝向该目标区域取向基于使用该眼睛的参数化模型。
9、在一些方面,该传感器为第一传感器,并且该动作基于从第二传感器接收到的传感器数据来触发眼睛跟踪算法,其中该第一传感器不同于该第二传感器并且使用比该第二传感器低的功率。
10、在一些方面,该动作基于该注视方向是否满足准则来启动。在一些方面,该动作提供对通知的用户响应。
11、在一些方面,该动作包括启动扩展现实(xr)体验。
12、在一些方面,该目标区域定位于该电子设备的显示器上的多个区中的一个区处。
13、在一些方面,该传感器包括光电二极管。在一些方面,该光是红外(ir)光。
14、在一些方面,该方法还包括使用多个照明器和对应于多个目标区域的多个传感器来检测朝向该多个目标区域的注视方向,其中该多个照明器产生具有不同波长的光,其中该多个传感器基于波长来区分由该多个照明器产生的光的反射。
15、在一些方面,该电子设备是头戴式设备(hmd)。在一些方面,该hmd包括波导,其中该波导将该传感器的该感测方向或由该照明器产生的该光的该方向与从该眼睛到该目标区域的该方向大致对准。
16、根据一些具体实施,一种非暂态计算机可读存储介质中存储有指令,该指令是计算机可执行的以执行或使得执行本文所述的方法中的任一种方法。根据一些具体实施,一种设备包括一个或多个处理器、非暂态存储器和一个或多个程序;该一个或多个程序被存储在该非暂态存储器中并且被配置为由该一个或多个处理器执行,并且该一个或多个程序包括用于执行或使得执行本文所述的方法中的任一种方法的指令。
1.一种方法,所述方法包括:
2.根据权利要求1所述的方法,所述方法还包括
3.根据权利要求1至2中任一项所述的方法,其中所述反射性质指示来自所述眼睛的眼底的所述光的反射量。
4.根据权利要求3所述的方法,其中所述反射的量指示所述传感器的所述感测方向与所述注视方向之间的对准水平。
5.根据权利要求1至4中任一项所述的方法,其中检测所述眼睛的所述注视方向大致朝向所述目标区域取向包括确定所述反射性质在角阈值内,其中所述角阈值指示所述注视方向在目标方向的阈值内。
6.根据权利要求1至4中任一项所述的方法,其中检测所述眼睛的所述注视方向大致朝向所述目标区域取向包括基于所述反射来生成时间-幅度响应以标识所述注视方向大致朝向所述目标区域对准。
7.根据权利要求1至4中任一项所述的方法,其中检测所述眼睛的所述注视方向大致朝向所述目标区域取向包括基于所述反射来生成频率-时间响应以标识何时所述注视方向大致朝向所述目标区域对准。
8.根据权利要求1至4中任一项所述的方法,其中检测所述眼睛的所述注视方向大致朝向所述目标区域取向基于使用所述眼睛的参数化模型。
9.根据权利要求1至8中任一项所述的方法,其中所述传感器为第一传感器,并且所述动作基于从第二传感器接收到的传感器数据来触发眼睛跟踪算法,其中所述第一传感器不同于所述第二传感器并且使用比所述第二传感器低的功率。
10.根据权利要求1至9中任一项所述的方法,其中基于所述注视方向是否满足准则来启动所述动作。
11.根据权利要求1至10中任一项所述的方法,其中所述动作提供对通知的用户响应。
12.根据权利要求1至11中任一项所述的方法,其中所述动作包括启动扩展现实(xr)体验。
13.根据权利要求1至12中任一项所述的方法,其中所述目标区域定位于所述电子设备的显示器上的多个区中的一个区处。
14.根据权利要求1至13中任一项所述的方法,其中所述传感器是光电二极管。
15.根据权利要求1至14中任一项所述的方法,其中所述光是红外(ir)光。
16.根据权利要求1至15中任一项所述的方法,所述方法还包括使用多个照明器和对应于多个目标区域的多个传感器来检测朝向所述多个目标区域的注视方向,其中所述多个照明器产生具有不同波长的光,其中所述多个传感器基于波长来区分由所述多个照明器产生的光的反射。
17.根据权利要求1至16中任一项所述的方法,其中所述电子设备是头戴式设备(hmd)。
18.根据权利要求17所述的方法,其中所述hmd包括波导,其中所述波导将所述传感器的所述感测方向或由所述照明器产生的所述光的所述方向与从所述眼睛到所述目标区域的所述方向大致对准。
19.一种设备,所述设备包括:
20.一种非暂态计算机可读存储介质,所述非暂态计算机可读存储介质存储程序指令,所述程序指令能够在设备上执行以执行根据权利要求1至18中任一项所述的方法。
