本发明涉及监控机器人,具体为一种用于老年人健康监测的远程监控机器人。
背景技术:
1、随着人口老龄化程度加深,社会养老负担加重,处理好全社会的养老问题十分重要。在全球范围内,老人身体健康受到许多致命疾病的威胁,而独居老人由于生活中缺少家人照顾,心理上缺少慰藉,导致患病率更高,同时发生意外也无法及时发现并得到救助。由于年轻人日常生活中工作忙碌,对于老年人的照顾以及家庭环境的实时监看成为新兴需求。
2、但是,传统的家庭摄像头受制于固定机位,使得监看的效果受到限制,也无法兼顾到老年人外出时的实时监看,从关心老年人健康角度出发,针对以上不足,现提出了一种用于老年人健康监测的远程监控机器人,可以实时监看老年人,并拥有移动功能,实现持续跟随老年人并进行监看的系统。
技术实现思路
1、为实现以上目的,本发明通过以下技术方案予以实现:一种用于老年人健康监测的远程监控机器人,包括移动机器人模块,所述移动机器人模块通信连接有深度学习算法模块、语音模块、异常检测模块、定位模块以及紧急安全保障模块,其中,各模块间电信号连接;
2、所述深度学习算法模块,通过usb摄像头实时采集视频流,利用yolov5算法进行摔倒检测,智能分析视频内容,识别老人的身体姿态,一旦检测到摔倒行为,将立即触发后续的安全保障措施,提高了对老年人摔倒事件的检测精度和响应速度,有效预防了因摔倒而可能导致的严重后果;
3、所述移动机器人模块,集成csrt_tracker跟踪技术,根据深度学习算法模块提供的目标位置信息,自主调整移动方向和速度,保持与老人的安全距离并持续监视,实现了对老年人外出时的实时监看,无论老人在家中还是外出活动,机器人都能紧密跟随,确保监护无死角,所述移动机器人模块包括移动机器人、开发板、usb摄像头和麦克风;
4、所述语音模块,用于在移动机器人模块的开发板上部署大语言模型,在环境音中提取识别出老人的声音,包括方言识别,使老人通过语音对话的形式向机器人发送指令,如“开始跟随”、“停止跟随”等,此外,还配套了相应的手机app,方便老人从手机app下发指令,简化了操作流程,提高了老年人的使用体验,老人无需学习复杂的操作界面或按钮,仅凭语音即可控制机器人,实现便捷的人机交互;
5、所述异常检测模块,用于结合声音识别和视觉识别的结果,对老人的行为进行监测,对老人摔倒及紧急事件的发生进行检测预警;
6、所述定位模块,实现机器人与应急联系人之间的即时通讯,以及机器人的精准定位,确保了求助信息的快速传递和救援人员的准确到达,提高了救援效率,降低了老年人面临的风险,即使在老人外出时发生意外,也能确保及时获得帮助;
7、所述紧急安全保障模块,用于结合异常检测模块的异常行为检测结果,立即发送求助与定位信息给应急联系人,并在周围播放求助语音,在紧急情况下启动安全保障机制,为老年人提供及时有效的援助,同时,通过声音识别技术,增强了机器人的智能化水平,使其更能适应老年人的实际需求。
8、优选的,所述深度学习算法模块中,识别老人身体姿态的过程包括:
9、在移动机器人模块上安装usb摄像头,通过usb摄像头实时采集老人活动的视频流,持续监控老人的活动区域,捕捉动态图像;
10、预先采集批量摔倒和非摔倒的动作样本,按照训练集:测试集=9:1的比例构建摔倒检测模型,学习摔倒时特有的身体姿态变化模式,并将摔倒检测模型部署在深度学习算法模块中;
11、对采集的视频流进行分割,将其分割为单独的视频帧,每帧均为一个静态图像,并将分割的视频帧图像进行预处理,包括调整大小以匹配模型输入尺寸、归一化像素值等,以提高模型处理效率和准确性;
12、将预处理后的视频帧送入yolov5算法中进行目标检测,检测视频帧图像中老人的人体轮廓,区分老人与其他物体或背景;
13、深度学习算法模块进一步分析人体轮廓中的人体姿态,检测老人身体的关键点(如头部、肩膀、膝盖等)的位置和相对关系,结合预设的摔倒检测模型,判断老人是否发生了摔倒行为。
14、优选的,所述判断老人是否发生了摔倒行为的过程包括:
15、在视频帧上运行yolov5算法,根据深度学习算法在视频帧中对人体的检测,输出人体的边界框;
16、在输出的人体边界框区域内,应用姿态估计算法(如openpose, hrnet等)识别人体的关键点,如头部、肩膀、膝盖、脚踝等,并以二维坐标的形式在图像中表示关键点,设第个关键点的坐标为,其中表示关键点的索引(如头部为1,左肩为2,...,右脚踝为n);
17、从检测到的关键点中提取摔倒特征,其中,摔倒特征包括关键点之间的距离、角度、相对位置,根据预设的摔倒检测模型,分析摔倒特征是否符合摔倒时的行为模式,其中,关键点之间的距离使用欧几里得距离公式进行计算,其表达式为:,为关键点和之间的距离,为关键点的坐标,为关键点的坐标;关键点之间的角度使用向量点积公式进行计算,其表达式为:,为关键点、和构成的角,为关键点的坐标,为关键点和之间的距离;
18、为不同的摔倒特征预设阈值,在摔倒检测节点连续5次检测到特征值低于预设阈值时,结合预设的摔倒检测模型,判断摔倒特征符合摔倒时的行为模式。
19、优选的,所述移动机器人模块中,对老年人外出时实时监看的过程包括:
20、老人在外出前打开机器人,并通过语音控制或手机app操作启动移动机器人,利用深度学习算法模块对视频帧数据进行处理,输出老人的人体关键点;
21、使用姿态估计算法输出关键点信息,初始化csrt_tracker跟踪算法,利用csrt_tracker在连续的视频帧中跟踪老人的位置,实时更新其边界框坐标;
22、从csrt_tracker获取老人的实时位置信息,包括边界框的中心点坐标,移动机器人使用自身传感器(如轮编码器、imu等)确定所处位置;
23、在识别到目标后,计算目标的像素中心坐标,若坐标出现在usb摄像头右侧,则控制移动机器人向右旋转,左侧同理,通过不断地微调旋转方向与速度,实现目标始终在画面中央;
24、根据老人的实时位置和移动机器人的当前位置,使用路径规划算法计算移动机器人到达目标位置的最佳路径,并根据路径规划结果,计算移动机器人需调整的速度和方向,以保持与老人的安全距离;
25、移动机器人的驱动系统根据计算结果执行相应的移动操作,包括调整速度和转向,并在移动机器人移动的过程中,持续使用usb摄像头和csrt_tracker跟踪老人的位置,移动机器人结合老人的移动速度和方向,动态调整速度和位置,以保证跟随过程中的平稳性和连续性,避免丢失目标。
26、优选的,所述语音模块中,在环境音中提取识别出老人声音的过程包括:
27、前置录入由老人预设的命令词汇,并存储预设的命令词汇,以匹配老人的语音命令,语音命令如“开始跟随”或“停止跟随”;
28、利用移动机器人模块配备的麦克风持续采集环境声音,并对采集的环境声音进行预处理,包括降噪、回声消除、增益控制等预处理操作,以提高语音识别的准确性;
29、通过语音活动检测技术,识别出环境声音中的有效语音部分,使用开发板上部署的大语言模型对识别出的有效语音部分进行识别,处理不同方言和口音,识别出语音文本,提高识别准确率,也确保老人能够用自然、习惯的语言与机器人交流;
30、对语音文本进行自然语言处理,包括语义理解和命令分类,以确保正确理解老人的指令,并将识别出的语音文本与预设的命令词汇进行匹配,解析出老人的意图;
31、将解析后的指令发送给移动机器人模块的开发板,由开发板控制移动机器人执行相应的动作,机器人执行指令后,通过语音及显示屏同步向老人提供反馈,确认指令已被执行。
32、优选的,所述异常检测模块中,对老人行为进行监测的过程包括:
33、收集不同环境、光照条件、背景噪音下老人正常行为和异常行为(如摔倒、呼救声等)的音频和视频数据,并对收集的音频和视频数据进行预处理,标记异常行为数据;
34、对预处理后的音频和视频数据进行分析,从中提取声音特征和视觉特征,并分别标记声音特征和视觉特征中的异常声音特征和异常动作特征,得到声音特征集和视觉特征集;
35、利用声音特征集中的异常声音特征,对声音频数据进行声音强度和频率分析,计算异常声音特征的分贝值和频率偏差,得到声音特征加权求和函数,计算所有采样点的权重,找到长期趋势中的基准值,得到基准调整指数函数,并对异常声音进行加权计算得到异常声音指数,评估整体异常声音的程度,利用视觉特征集中的异常动作特征,预设正常行为基准值,计算单个异常动作特征与正常行为基准值间的偏差,获得行为偏差加权求和函数,计算所有时间点上所有视频帧的异常评分,找到长期趋势中的最大值,获得时间序列最大加权异常评分函数,加权计算多个异常动作特征,得到异常行为指数,评估整体的异常行为程度;
36、利用声音特征集和视觉特征集的关联数据构建训练数据集,通过神经网络模型训练异常检测模型,识别正常和异常行为的特征;
37、基于异常检测模型结合声音特征集和视觉特征集中的异常行为数据,对异常声音指数和异常行为指数进行综合分析得到异常预警系数,分析检测到的异常行为,并设定预警阈值,判断触发预警机制的节点;
38、利用移动机器人模块配备的麦克风持续采集环境声音,并通过安装在机器人上的usb摄像头实时采集视频流,提取其中的声音特征和视觉特征,输入训练好的异常检测模型,根据异常检测模型和异常预警系数的输出,判断是否触发预警机制。
39、优选的,所述异常声音指数基于声音特征加权求和函数和基准调整指数函数而获得,其表达式为:其中,为异常声音指数,为声音特征加权求和函数,为基准调整指数函数,为第个采样点的分贝值,表示声音的强度,为第个采样点的频率偏差,表示声音频率与正常语音的偏差,为总采样点数,为预设的基准常数,用于调整指数函数的影响,为第个样本的权重,的取值在0到1之间,0表示无异常,1表示高度异常,随着和的增加(即声音强度和频率偏差增大),增加,表明异常的可能性增加。
40、优选的,所述异常行为指数基于行为偏差加权求和函数和时间序列最大加权异常评分函数而获得,其表达式为:其中,为异常行为指数,为行为偏差加权求和函数,为时间序列最大加权异常评分函数,为第个动作特征在第个视频帧中的测量值,为第个动作特征的正常行为基准值,为单个动作特征的总帧数,为第个动作特征的标准差,为第个动作特征的正常行为标准差,为动作特征数量,为第个视频帧的权重,为第个视频帧在第1次评估中的异常评分,的取值在0到1之间,其中0表示无异常,1表示高度异常,随着动作特征偏离正常行为的程度增加,增加,表明异常的可能性增加。
41、优选的,所述异常预警系数的表达式为:其中,异常预警系数,为在时间的异常行为指数,为在时间t的异常声音指数,t为总时间点数,和为权重系数,用于调整异常行为指数和异常声音指数在异常预警系数中的影响,为预设的基准常数,用于调整指数函数的影响,为第r个时间点的权重,为第r个时间点的异常行为指数,为第r个时间点的异常声音指数,的取值在0到1之间,其中0表示无异常,1表示高度异常。
42、优选的,所述紧急安全保障模块中,启动安全保障机制的过程包括:
43、利用深度学习算法模块和异常检测模块持续分析来自声音和视觉数据,监测老人的行为,当识别出异常行为时,触发预警信号;
44、触发预警信号时,自动向预设的应急联系人发送求助信息,包括短信、电话或应用推送通知,并利用移动机器人模块内置的gps获取老人的精确位置;
45、发送求助信息后,在老人周围的环境播放预录入的求助语音,以吸引附近人注意并寻求帮助,监控老年人的状态,并向应急联系人提供实时更新,检测到异常状态解除后,发送解除警报的信息。
46、本发明提供了一种用于老年人健康监测的远程监控机器人。具备以下有益效果:
47、一、该用于老年人健康监测的远程监控机器人,通过集成深度学习算法和移动机器人技术,为老年人提供安全的生活空间,实时监控老人的活动,通过摔倒检测和紧急情况反馈机制,确保在老人遇到健康危机时能够及时得到帮助,通过yolov5算法检测到老人摔倒时,立即发送求助信息给预设的监护人,此外,机器人的移动跟随功能在老人外出时提供持续的监护,无论在家中还是户外,机器人都能紧密跟随,确保监护无死角,显著提高了老年人的安全性。
48、二、该用于老年人健康监测的远程监控机器人,通过分析视频信息和声音数据,评估老人的行为模式,并在检测到异常行为时发出预警,综合考虑声音和视觉信息,提供更准确的异常行为评估,若老人发出异常声音或行为模式与正常模式显著不同,触发预警机制,并通过预设的通讯渠道通知监护人,使得监护人能够及时了解老人的状况,采取必要的干预措施,从而预防潜在的风险。
1.一种用于老年人健康监测的远程监控机器人,其特征在于,包括移动机器人模块,所述移动机器人模块通信连接有深度学习算法模块、语音模块、异常检测模块、定位模块以及紧急安全保障模块,其中,各模块间电信号连接;
2.根据权利要求1所述的一种用于老年人健康监测的远程监控机器人,其特征在于:所述深度学习算法模块中,识别老人身体姿态的过程包括:
3.根据权利要求2所述的一种用于老年人健康监测的远程监控机器人,其特征在于:所述判断老人是否发生了摔倒行为的过程包括:
4.根据权利要求3所述的一种用于老年人健康监测的远程监控机器人,其特征在于:所述移动机器人模块中,对老年人外出时实时监看的过程包括:
5.根据权利要求4所述的一种用于老年人健康监测的远程监控机器人,其特征在于:所述语音模块中,在环境音中提取识别出老人声音的过程包括:
6.根据权利要求5所述的一种用于老年人健康监测的远程监控机器人,其特征在于:所述异常检测模块中,对老人行为进行监测的过程包括:
7.根据权利要求6所述的一种用于老年人健康监测的远程监控机器人,其特征在于:所述异常声音指数基于声音特征加权求和函数和基准调整指数函数而获得,其表达式为:
8.根据权利要求7所述的一种用于老年人健康监测的远程监控机器人,其特征在于:所述异常行为指数基于行为偏差加权求和函数和时间序列最大加权异常评分函数而获得,其表达式为:
9.根据权利要求8所述的一种用于老年人健康监测的远程监控机器人,其特征在于:所述异常预警系数的表达式为:
10.根据权利要求9所述的一种用于老年人健康监测的远程监控机器人,其特征在于:所述紧急安全保障模块中,启动安全保障机制的过程包括: