一种基于IMU的AR眼镜设备上的头动文件预览方法及系统与流程

专利2025-07-13  2


本技术涉及ar眼镜设备的文件预览,尤其是涉及一种基于imu的ar眼镜设备上的头动文件预览方法及系统。


背景技术:

1、近年来,增强现实(augmented reality, ar)技术在眼镜设备上的应用日渐广泛,用户可以通过简单的头部动作来控制显示内容,这不仅提高了用户的便利性,也极大地丰富了用户体验。随着ar技术的不断发展,ar眼镜在教育、娱乐、办公等多个领域的应用越来越频繁,如何提高用户的体验感成为了行业内亟待解决的问题之一。

2、为解决ar眼镜在文件预览和浏览中的控制问题,现有的技术主要通过头部动作来实现对文件的控制,包括以下几种方式:一是基于简单的阈值判断方法,通过对头部动作的检测,当动作达到预设阈值时触发文件控制;二是基于模式识别的方法,通过识别头部的不同动作来实现对文件的具体控制。这两种方法在实际应用中已被广泛采用,成为解决此类问题的主流手段。

3、然而,上述两种方法在实际应用中存在一定的缺陷。以上方法都没有考虑到用户习惯的差异性以及用户在不同状态下的动作差异性,实际操作中往往存在误判,导致控制不准确,无法满足不同用户对于头部动作识别的精确性要求。因此,如何提高ar眼镜设备在用户浏览文件时的控制准确性与用户体验感成为了亟待解决的技术问题。


技术实现思路

1、为了提高ar眼镜设备在用户浏览文件时的控制准确性与用户体验感,本技术提供一种基于imu的ar眼镜设备上的头动文件预览方法及系统。

2、第一方面,本技术提供一种基于imu的ar眼镜设备上的头动文件预览方法,包括:

3、利用imu传感器获取佩戴ar眼镜设备的用户的头部运动数据,包括头部运动的加速度和角速度;

4、利用ar眼镜设备的摄像装置采集佩戴ar眼镜设备的用户的面部图像数据,分析获取用户的表情数据;

5、针对获取的头部运动数据和用户表情数据进行预处理;

6、利用深度学习算法对预处理后的头部运动数据和用户表情数据进行分析,识别头部动作分类;其中,识别头部动作分类过程中包括根据历史用户的头部运动数据和用户表情数据,自适应动态调整各个动作类别的阈值范围以适应用户动作偏好;

7、根据识别到的头部动作分类与头部运动数据,按照不同ar眼镜设备显示界面尺寸预设的不同映射比例对应完成ar眼镜设备中预览文件的运动方向确定与运动距离的数据映射,获取预览文件的运行方向与运行距离;

8、根据获取的预览文件的运动方向与运动距离,调整预览文件在ar眼镜设备上的显示界面的位置以供用户预览。

9、通过采用上述方案,集成头部运动数据与面部表情数据的双模态融合算法,识别头部动作分类并自适应调整阈值范围,以更准确地识别用户的动作,避免误判;按照不同显示界面尺寸预设的不同映射比例完成数据映射,进而精确调整预览文件在ar眼镜设备上的显示位置,从而提升用户的浏览体验和响应速度。

10、优选的,还包括:

11、于调整预览文件在ar眼镜设备上的显示界面的位置后,实时采集用户的满意度反馈数据,所述用户的满意度反馈数据包括:用户通过ar眼镜设备按钮获取的用户满意度反馈数据或通过采集到用户手部交互动作并匹配手势对应满意度反馈数据;

12、比较采集到的用户的满意度反馈数据与预设满意度,若小于预设满意度,则继续动态调整各个动作类别的阈值范围直至达到预设满意度。

13、通过采用上述方案,根据用户的满意度反馈数据,动态调整各个头部动作类别的阈值范围,直至达到预设满意度,提高头动控制的准确性和用户满意度。

14、优选的,还包括:

15、于根据获取的预览文件的运动方向与运动距离,调整预览文件在ar眼镜设备上的显示界面的位置时,判断当前显示界面展示的预览文件内容是否存在上下文预设关联内容,若存在,则调整预览文件的显示比例以显示当前显示界面展示的预览文件以及与当前显示界面展示的预览文件存在上下文预设关联内容。

16、通过采用上述方案,能够自动判断并显示上下文关联内容适应调整显示界面位置,使用户在浏览文件时更加便捷,确保浏览过程的流畅性和连贯性。

17、优选的,还包括:

18、获取当前佩戴ar眼镜设备的用户选择的应用场景;

19、根据当前选择的应用场景匹配对应的预设的映射比例调整策略,不同应用场景均设置有匹配的预设的映射比例调整策略;

20、利用匹配的预设的映射比例调整策略中映射比例调整值,动态调整ar眼镜设备显示界面尺寸预设的映射比例。

21、通过采用上述方案,根据应用场景匹配预设映射比例调整策略,进一步调整ar眼镜设备显示界面尺寸预设的映射比例,使得预览文件的运动方向与距离更符合不同应用场景的需求,提升了用户在特定场景下的预览体验。

22、优选的,还包括:

23、统计识别的头部动作分类识别时长,判断统计的头部动作分类识别时长是否大于预设识别时长;若大于,则利用深度学习算法构建的备用头部动作分类识别模型重新进行识别;若不大于,则每识别到的头部动作分类时,继续统计对应调整预览文件在ar眼镜设备上的显示界面的位置的时长;若继续统计时长大于预设调整时长且在ar眼镜设备上的文件预览使用过程中一段预设时间段内,继续统计时长大于预设调整时长发生情况的频率大于预设频率,则生成预览故障提示信息。

24、通过采用上述方案,分别利用统计的识别时长与显示时长,及时完成动作分类识别,及时反馈并处理预览过程中的故障问题,提升系统的稳定性和用户体验。

25、优选的,还包括:

26、利用传感器采集用户佩戴的ar眼镜设备所处环境数据;

27、将采集到的环境数据输入imu传感器灵敏度参数获取模型,获取当前环境数据对应的最优imu传感器灵敏度参数;所述imu传感器灵敏度参数获取模型选用神经网络模型,通过标注有专家设定的最优imu传感器灵敏度参数的历史采集的环境数据训练获取;

28、根据最优imu传感器灵敏度参数调整imu传感器。

29、通过采用上述方案,根据环境数据动态获取最优的imu传感器灵敏度参数并调整imu传感器,提高了imu传感器在不同环境下的适应性和灵敏度,增强了头部动作识别的准确性。

30、优选的,所述预处理包括:利用时间序列插帧技术,对获取头部运动数据进行数据帧补偿。

31、通过采用上述方案,利用时间序列插帧技术对获取的头部运动数据进行数据帧补偿,提高了头部运动数据的连续性和精度,从而提升头动控制的平滑过渡效果。

32、第二方面,本技术提供一种基于imu的ar眼镜设备上的头动文件预览系统,包括:

33、头部运动数据获取模块,用于利用imu传感器获取佩戴ar眼镜设备的用户的头部运动数据,包括头部运动的加速度和角速度;

34、表情数据获取模块,用于利用ar眼镜设备的摄像装置采集佩戴ar眼镜设备的用户的面部图像数据,分析获取用户的表情数据;

35、数据预处理模块,用于针对获取的头部运动数据和用户表情数据进行预处理;

36、头部动作分类识别模块,用于利用深度学习算法对预处理后的头部运动数据和用户表情数据进行分析,识别头部动作分类;其中,识别头部动作分类过程中包括根据历史用户的头部运动数据和用户表情数据,自适应动态调整各个动作类别的阈值范围以适应用户动作偏好;

37、文件预览调整模块,用于根据识别到的头部动作分类与头部运动数据,按照不同ar眼镜设备显示界面尺寸预设的不同映射比例对应完成ar眼镜设备中预览文件的运动方向确定与运动距离的数据映射,获取预览文件的运行方向与运行距离;根据获取的预览文件的运动方向与运动距离,调整预览文件在ar眼镜设备上的显示界面的位置以供用户预览。

38、通过采用上述方案,根据识别到的头部动作,准确调整预览文件在ar眼镜显示界面上的位置,提升用户体验的连贯性和准确性。

39、第三方面,本技术提供一种计算机可读存储介质,所述计算机可读存储介质包括存储的计算机程序,其中,在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如上述的方法。

40、第四方面,本技术提供一种计算机设备,所述计算机设备包括存储器、处理器及在所述存储器上存储并可运行的程序,所述程序被处理器执行时实现如上述方法的步骤。

41、综上,本技术具有以下有益效果为:

42、1、引入深度学习算法分析用户的头部运动数据和表情数据,并根据用户历史数据动态调整阈值范围,实现对头部动作的有效分类,提升个性化控制精度;根据用户的头部动作分类调整预览文件在ar眼镜设备上的显示位置,结合不同界面尺寸预设的映射比例,实现了平滑且流畅的文件预览体验;

43、2、采集用户的满意度反馈数据,基于反馈数据继续动态调整各个头部动作类别的阈值范围,提高头动控制的准确性和用户满意度;

44、3、利用imu传感器获取用户的头部运动数据,并结合时间序列插帧技术对数据帧进行补偿,提高了头部动作识别的准确性和响应速度。


技术特征:

1.一种基于imu的ar眼镜设备上的头动文件预览方法,其特征在于,包括:

2.根据权利要求1所述的基于imu的ar眼镜设备上的头动文件预览方法,其特征在于,还包括:

3.根据权利要求1所述的基于imu的ar眼镜设备上的头动文件预览方法,其特征在于,还包括:

4.根据权利要求1所述的基于imu的ar眼镜设备上的头动文件预览方法,其特征在于,还包括:

5.根据权利要求1所述的基于imu的ar眼镜设备上的头动文件预览方法,其特征在于,还包括:

6.根据权利要求1所述的基于imu的ar眼镜设备上的头动文件预览方法,其特征在于,还包括:

7.根据权利要求1所述的基于imu的ar眼镜设备上的头动文件预览方法,其特征在于,所述预处理包括:利用时间序列插帧技术,对获取头部运动数据进行数据帧补偿。

8.一种基于imu的ar眼镜设备上的头动文件预览系统,其特征在于,包括:

9.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质包括存储的计算机程序,其中,在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如权利要求1至7中任意一项所述的方法。

10.一种计算机设备,其特征在于,所述计算机设备包括存储器、处理器及在所述存储器上存储并可运行的程序,所述程序被处理器执行时实现如权利要求1至7中任一项所述方法的步骤。


技术总结
本申请公开了一种基于IMU的AR眼镜设备上的头动文件预览方法及系统;方法包括:利用IMU传感器获取佩戴AR眼镜设备的用户的头部运动数据;利用AR眼镜设备的摄像装置采集佩戴AR眼镜设备的用户的面部图像数据,分析获取用户的表情数据;针对获取的头部运动数据和用户表情数据进行预处理;利用深度学习算法对头部运动数据和用户表情数据进行分析,识别头部动作分类;根据识别到的头部动作分类与头部运动数据,完成AR眼镜设备中预览文件的运动方向确定与运动距离的数据映射,获取预览文件的运行方向与运行距离,调整预览文件在AR眼镜设备上的显示界面的位置。本申请能够提高AR眼镜设备在用户浏览文件时的控制准确性与用户体验感。

技术研发人员:王勇,刘丹,唐钱进
受保护的技术使用者:南京魔数团信息科技有限公司
技术研发日:
技术公布日:2024/12/17
转载请注明原文地址:https://xbbs.6miu.com/read-26130.html