基于无线智能终端的工业自动化设备人机交互系统

专利2025-04-19  19


本发明涉及人机交互,具体为基于无线智能终端的工业自动化设备人机交互系统。


背景技术:

1、高精密激光切割机是利用高能激光束对工件进行快速加热,使其在极短的时间内熔化或气化,从而实现切割效果。激光束由控制系统精确控制,根据预先设定的图纸要求进行切割。

2、现有技术中,通过对切割工位进行高清摄像,在屏幕上进行成像,工人对切割过程进行实时监测以便发现因为材料或其他意外情况导致切割偏离的问题,进行人工干预,而在对工件进行激光切割的过程中的安全性进行保证,但是由于切割过程冗长,工人可能会因为用眼疲劳或者走神导致注意力涣散,如果不及时发现可能会因为切割大幅度偏离,甚至导致整块废料,造成较大损失。因此,设计及时反应的基于无线智能终端的工业自动化设备人机交互系统是很有必要的。


技术实现思路

1、本发明的目的在于提供基于无线智能终端的工业自动化设备人机交互系统,以解决上述背景技术中提出的问题。

2、为了解决上述技术问题,本发明提供如下技术方案:基于无线智能终端的工业自动化设备人机交互系统,包括注意力检测模块、疲劳定性模块和交互调节模块,所述注意力检测模块用于在操作工人监察显示屏过程中对监察注意力进行检测,所述疲劳定性模块用于分析操作工人监察显示屏过程中的注意力集中程度,所述交互调节模块用于根据操作工人监察显示屏的注意力智能控制调节切割状态,所述注意力检测模块与疲劳定性模块电连接,所述疲劳定性模块与交互调节模块电连接。

3、根据上述技术方案,所述注意力检测模块包括热辐射探测模块、成像模块、摄影模块、瞳孔聚焦判断模块和瞳孔捕捉模块,所述热辐射探测模块用于发射热辐射并将其转换为电信号进行热成像,所述成像模块用于将操作工人的热辐射探测身体画面进行成像,所述瞳孔捕捉模块与摄影模块电连接,所述摄影模块用于对操作工人的头部进行高清摄像,所述瞳孔捕捉模块用于根据摄影模块的成像画面实时捕捉锁定操作工人的瞳孔,所述瞳孔聚焦判断模块用于判断操作工人的瞳孔视线时候聚焦在显示屏的激光切割画面;

4、所述疲劳定性模块包括坐姿解读模块和集中度计算模块,所述坐姿解读模块与热辐射探测模块电连接,所述坐姿解读模块用于分析操作工人监察显示屏时的坐姿,所述集中度计算模块与瞳孔捕捉模块电连接,所述集中度计算模块用于分析计算操作工人监察显示屏过程中的瞳孔聚焦度;

5、所述交互调节模块包括效率改变模块、语音提醒模块、加工暂停模块,所述效率改变模块用于控制调节激光切割速度,所述语音提醒模块用于控制调节显示屏的播发语音提醒操作工人集中注意力,所述加工暂停模块用于控制激光切割机暂停工作。

6、根据上述技术方案,该系统的工作方法为:

7、s1:操作工人坐在监控显示屏前,打开显示屏后开始监察显示屏上的激光切割状况,激光切割机启动后,位于显示屏端处的注意力检测模块启动;

8、s2:注意力检测模块开始扫描检测显示屏前方的操作工人注意力;

9、s3:疲劳定性模块实时对操作工人监察显示屏的注意力进行分析,并实时判断当前操作工人监察显示屏的注意力集中程度;

10、s4:交互调节模块根据注意力分析的结果,进行激光切割机的工作调节,并进行语音提醒。

11、根据上述技术方案,所述s2进一步包括以下步骤:

12、s2-1:安装在监控室显示屏后方的热辐射探测模块在操作工人就位后,探测热辐射能量并将其转换为电信号进行热成像,获取操作工人的热成像画面;

13、s2-2:同时成像模块对着显示屏前方的工位方向开始拍摄画面,并将得到的画面信息电信号传输至瞳孔捕捉模块;

14、s2-3:瞳孔捕捉模块在拍摄画面中,根据设定瞳孔特征锁定捕捉瞳孔画面信息。

15、根据上述技术方案,所述s3进一步包括以下步骤:

16、s3-1:坐姿解读模块以操作工人所坐的工位位置处建立设定的监察坐姿范围;

17、s3-2:通过热成像画面,拟合出操作工人的坐姿轮廓范围,并与建立的标准监察坐姿范围进行重合对比;

18、s3-3:通过重合度范围与建立标准监察坐姿范围的比值换算处当前操作工人监察显示屏时的坐姿标准程度;

19、s3-4:集中度计算模块在显示屏打开时工作,瞳孔捕捉模块刚锁定瞳孔画面信息时,标定当前瞳孔黑色范围面积进行计算得到标准瞳孔展露面积w;

20、s3-5:在随后的操作工人监察显示屏过程中,集中度计算模块不断根据瞳孔捕捉模块的画面信息对瞳孔的展露面积进行计算得到当前瞳孔展露面积wt,取一定时长内多次测得的wt做平均值处理进行计算;

21、s3-6:集中度计算模块用当前瞳孔展露面积wt与准瞳孔展露面积w的比值,结合瞳孔的视线方向是否在显示屏的激光切割画面,计算得到操作工人监察显示屏过程中的实时集中度。

22、根据上述技术方案,所述s3-3中当前操作工人监察显示屏时的坐姿标准度的计算公式为:

23、

24、其中,px为操作工人的坐姿轮廓与标准监察坐姿范围的重合范围面积值,p为建立的标准监察坐姿范围面积值,r为坐姿标准度值,式中重合范围面积比例与坐姿标准度值成正比,当重合范围面积比例越大时,表明坐姿越端正,监察显示屏时注意力较集中。

25、根据上述技术方案,所述s3-6中操作工人监察显示屏过程中的实时集中度计算公式为:

26、

27、其中,h为操作工人监察显示屏过程中的实时集中度值,式中当前瞳孔展露面积越大时,表明睁眼程度越大,监察显示屏时注意力较集中,反之则注意力越不集中,包括产生困倦,当当前瞳孔展露面积为0时,则检测不到瞳孔,则表明当前操作工人以睡着,监察显示屏时的注意力集中程度为0。

28、根据上述技术方案,所述s4中进一步包括以下步骤:

29、s41:当成像模块测得坐姿标准度值r小于50%时,坐姿解读模块分析此时操作工人可能坐姿疲劳和可能离开工位,触发电信号至加工暂停模块,控制激光切割机暂停工作;

30、s42:当成像模块测得坐姿标准度值r值在50%≤r<80%时,坐姿解读模块判断此时操作工人可能会疲劳工作,瞳孔聚焦判断模块发现如果工人的瞳孔视线没有集中在显示屏的激光切割画面,则利用语音提醒模块对工人进行提醒端正姿势并暂停工作,如果发现工人的瞳孔视线集中时,同时利用效率改变模块控制激光切割机以慢速v0进行工作;

31、s43:当成像模块测得坐姿标准度值r值在80%≤r时,坐姿解读模块判断此时操作工人此时进入认真工作的状态,瞳孔聚焦判断模块也发现工人的瞳孔视线也集中在显示屏的激光切割区域时,此时利用集中度计算模块对操作工人的瞳孔聚焦度进行分析,并且对激光切割速度进行调整,激光切割速度v与瞳孔聚焦度成正比,具体为v=v0+μh,其中μ为激光切割速度系数,当wt=w时,激光切割速度v达到最大。

32、与现有技术相比,本发明所达到的有益效果是:本发明,通过对操作工人的坐姿进行检测,使其与标准坐姿相互对比,同时对瞳孔视线和瞳孔显示面积进行检测,判断此时工人是否集中注意力在加工上,根据工人集中注意力的程度对激光切割机的切割速度进行调整,以便工人能够在工作的最佳状态进行高效加工,在工人疲劳时适当降低切割速度,防止出现较大失误。


技术特征:

1.基于无线智能终端的工业自动化设备人机交互系统,其特征在于:包括注意力检测模块、疲劳定性模块和交互调节模块,所述注意力检测模块用于在操作工人监察显示屏过程中对监察注意力进行检测,所述疲劳定性模块用于分析操作工人监察显示屏过程中的注意力集中程度,所述交互调节模块用于根据操作工人监察显示屏的注意力智能控制调节切割状态,所述注意力检测模块与疲劳定性模块电连接,所述疲劳定性模块与交互调节模块电连接。

2.根据权利要求1所述的基于无线智能终端的工业自动化设备人机交互系统,其特征在于:所述注意力检测模块包括热辐射探测模块、成像模块、摄影模块、瞳孔聚焦判断模块和瞳孔捕捉模块,所述热辐射探测模块用于发射热辐射并将其转换为电信号进行热成像,所述成像模块用于将操作工人的热辐射探测身体画面进行成像,所述瞳孔捕捉模块与摄影模块电连接,所述摄影模块用于对操作工人的头部进行高清摄像,所述瞳孔捕捉模块用于根据摄影模块的成像画面实时捕捉锁定操作工人的瞳孔,所述瞳孔聚焦判断模块用于判断操作工人的瞳孔视线时候聚焦在显示屏的激光切割画面;

3.根据权利要求2所述的基于无线智能终端的工业自动化设备人机交互系统,其特征在于:该系统的工作方法为:

4.根据权利要求3所述的基于无线智能终端的工业自动化设备人机交互系统,其特征在于:所述s2进一步包括以下步骤:

5.根据权利要求4所述的基于无线智能终端的工业自动化设备人机交互系统,其特征在于:所述s3进一步包括以下步骤:

6.根据权利要求5所述的基于无线智能终端的工业自动化设备人机交互系统,其特征在于:所述s3-3中当前操作工人监察显示屏时的坐姿标准度的计算公式为:

7.根据权利要求6所述的基于无线智能终端的工业自动化设备人机交互系统,其特征在于:所述s3-6中操作工人监察显示屏过程中的实时集中度计算公式为:

8.根据权利要求7所述的基于无线智能终端的工业自动化设备人机交互系统,其特征在于:所述s4中进一步包括以下步骤:


技术总结
本发明公开了基于无线智能终端的工业自动化设备人机交互系统,涉及人机交互技术领域,包括注意力检测模块、疲劳定性模块和交互调节模块,所述注意力检测模块用于在操作工人监察显示屏过程中对监察注意力进行检测,所述疲劳定性模块用于分析操作工人监察显示屏过程中的注意力集中程度,所述交互调节模块用于根据操作工人监察显示屏的注意力智能控制调节切割状态,所述注意力检测模块与疲劳定性模块电连接,所述疲劳定性模块与交互调节模块电连接,所述注意力检测模块包括热辐射探测模块、成像模块、摄影模块、瞳孔捕捉模块,所述热辐射探测模块用于发射热辐射并将其转换为电信号进行热成像,本发明,具有及时反应的特点。

技术研发人员:龚旭,徐勇,李胜永,张智华,吴炜,夏长凤,吴泓锋,刘丁丁
受保护的技术使用者:江苏航运职业技术学院
技术研发日:
技术公布日:2024/12/17
转载请注明原文地址:https://xbbs.6miu.com/read-23610.html