基于人脸微表情识别的相关歌曲推送系统和方法与流程

专利2026-02-07  14


本发明涉及歌曲推送领域,尤其涉及一种基于人脸微表情识别的相关歌曲推送系统。


背景技术:

1、目前市场上存在多种音乐推荐系统,这些系统通常基于用户的偏好历史、播放记录或社交网络数据来推荐音乐。然而,大多数现有的系统并没有直接考虑用户当前的情绪状态,这限制了它们在特定情境下的适用性和个性化水平。

2、尽管一些较为先进的系统已开始尝试使用情感分析技术来改善推荐效果,例如通过语音识别或文本分析推断用户的情绪状态并据此推荐音乐,但这些技术仍存在一些局限性。

3、首先,大多数基于语音或文本的情感分析技术只能在特定的交互方式下使用,如对话或用户主动提供文本输入,这限制了系统的适用场景,尤其是在用户不愿或不便进行语音或文本交互的情况下。其次,现有的情感分析技术在准确识别用户情绪方面仍有待提高,例如语音和文本分析可能受到噪音干扰或语言表达差异的影响,导致情绪识别不准确。此外,许多音乐推荐系统需要用户主动提供情绪状态信息,从而无法在用户情绪变化时实时响应。最后,尽管现有系统可以基于历史行为进行推荐,但往往忽略了用户在不同情境下的即时情绪变化,导致推荐内容不够个性化。


技术实现思路

1、本发明针对现有语音识别或文本分析推断用户的情绪状态并据此推荐音乐存在一些局限性的问题,提出一种基于人脸微表情识别的相关歌曲推送系统,所述系统包括:

2、数据采集模块,面部检测模块,微表情识别分类模块,情绪状态推断模块和音乐推荐模块;

3、所述数据采集模块用于采集面部视频流,并将面部视频流传输至面部检测模块,所述面部检测模块用于接收面部视频流,并检测面部视频流中每一帧中的面部信息;所述面部信息传输至微表情识别分类模块,所述微表情识别分类模块对检测到的面部区域进行微表情分类,并对分类结果进行输入至情绪状态推断模块进行融合判决;所述情绪状态推断模块用于推断用户的情绪状态,并将用户的情绪状态输入至音乐推荐模块;所述音乐推荐模块根据用户的情绪状态,从音乐数据库中选取匹配的音乐进行推荐。

4、进一步的,还提出一种优选方式,所述数据采集模块中面部视频流采集的帧率为30帧/秒,分辨率为640x480像素。

5、进一步的,还提出一种优选方式,所述面部检测模块通过面部检测模型mtcnn构成,所述面部检测模型mtcnn由p-net、r-net和o-net三个子网络组成;所述p-net接收输入图像并生成候选的人脸区域,所述p-net输出每个区域的置信度,当输出的置信度高于0.9时,候选区域保留并传递给r-net;所述r-net接收p-net传递的候选区域,并在候选区域内进行人脸检测,所述r-net输出每个区域的置信度,并对边界框进行微调,当输出的置信度高于0.9时,判定为有效人脸区域,将有效人脸区域传递给o-net,所述o-net接收r-net输出的细化后的人脸区域,并进行最终的人脸关键点定位,当o-net输出的置信度高于0.9时,获取面部的边界框坐标,并且保留关键点定位结果。

6、进一步的,还提出一种优选方式,所述微表情识别分类模块由resnet50模型和yolov5-cls模型组成。

7、进一步的,还提出一种优选方式,所述微表情识别分类模块的优化流程为:

8、从包含超过35000张灰度图像,涵盖愤怒、厌恶、恐惧、高兴、悲伤、惊讶、平静七种表情的fer2013和包含30000张彩色图像,标签包括年龄、性别、头部姿态、光照条件的raf-db中各选取2000张图像,获取开源数据集;

9、预处理开源数据集,将数据集中图像修剪为640x480像素的标注图像,并缩放为224x224像素正方形图像,获取得到1400张表情数据;

10、将5400张图像按照7:2:1的比例划分为训练集、验证集和测试集;

11、收到人脸信息时,同时调用resnet50模型和yolov5-cls模型进行预测,每个模型的置信度阈值设定为0.7;

12、如果两个模型的预测结果一致,则将结果直接传入情绪状态推断模块;

13、如果两个模型的预测结果不一致,进行加权平均法计算最终判决,其中,resnet50权重0.9,yolov5-cls模型权重0.85。

14、计算两个模型预测结果的加权平均值,重新比较置信度,并做出最终判决;

15、如果只有一个模型返回预测结果,则将结果直接传入情绪状态推断模块。

16、进一步的,还提出一种优选方式,所述音乐推荐模块包括:

17、根据用户的情绪状态,将用户的情绪状态转化为向量表示;

18、将音乐数据库中的每首音乐标记情感标签,并将音乐的情感标签转化为向量表示;

19、利用余弦相似度计算用户情绪状态向量和音乐情感标签向量之间的相似度;

20、根据计算出的相似度,将相似度较高的音乐推荐给用户。

21、基于同一发明构思,本发明还提出一种基于人脸微表情识别的相关歌曲推送方法,所述方法基于上述所述的系统实现,所述方法包括:

22、通过摄像头或其他视频采集设备实时采集用户的面部视频流;

23、利用面部检测模块来检测视频流的画面进行逐帧处理,将图像转换为rgb格式,传入面部检测模型,获得每一帧图像检测到的所有面部的边界框坐标和关键点信息,保留坐标信息,并将坐标框内的图像提取为新文件,经过缩放调整为正方形传入微表情识别分类模块;

24、微表情识别分类模块对检测到的面部区域进行微表情分类;

25、根据微表情分类结果,使用预定义的情绪映射表推断用户的情绪状态;

26、根据用户的情绪状态,从音乐数据库中选取匹配的音乐进行推荐。

27、进一步的,还提出一种优选方式,所述方法还包括用户反馈收集与模型优化,具体为:

28、在推荐系统的界面中集成反馈机制,所述反馈内容包括用户对推荐音乐的喜好程度、情绪状态的改变、音乐是否符合用户期望;

29、将用户的反馈数据实时记录在数据库中,利用反馈数据更新推荐策略调整推荐算法的策略参数;

30、根据用户的反馈调整奖励值,使用在线梯度下降法实时更新模型参数。

31、基于同一发明构思,本发明还提出一种计算机设备,包括存储器和处理器,所述存储器中存储有计算机程序,当所述处理器运行所述存储器存储的计算机程序时,所述处理器执行根据上述中任一项中所述的基于人脸微表情识别的相关歌曲推送方法。

32、基于同一发明构思,本发明还提出一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行如上述任一项所述的基于人脸微表情识别的相关歌曲推送方法的步骤。

33、本发明的有益之处在于:

34、1、本发明所述的基于人脸微表情识别的相关歌曲推送系统,通过摄像头捕捉用户的面部表情,无需用户主动提供信息,实现了自然且非侵入式的交互方式。

35、2、本发明所述的基于人脸微表情识别的相关歌曲推送系统,采用先进的计算机视觉技术和深度学习算法,本发明能够准确识别用户微妙的面部表情变化,从而更准确地推断用户的情绪状态。

36、3、本发明本发明所述的基于人脸微表情识别的相关歌曲推送系统,能够在用户情绪发生变化时立即作出响应,动态更新推荐的音乐列表,以更好地适应用户的情绪变化。

37、4、本发明本发明所述的基于人脸微表情识别的相关歌曲推送系统,能够根据用户当前的情绪状态实时推荐音乐,结合用户历史习惯,为用户提供更加个性化和情境化的音乐体验。


技术特征:

1.基于人脸微表情识别的相关歌曲推送系统,其特征在于,所述系统包括:

2.根据权利要求1所述的基于人脸微表情识别的相关歌曲推送系统,其特征在于,所述数据采集模块中面部视频流采集的帧率为30帧/秒,分辨率为640x480像素。

3.根据权利要求1所述的基于人脸微表情识别的相关歌曲推送系统,其特征在于,所述面部检测模块通过面部检测模型mtcnn构成,所述面部检测模型mtcnn由p-net、r-net和o-net三个子网络组成;所述p-net接收输入图像并生成候选的人脸区域,所述p-net输出每个区域的置信度,当输出的置信度高于0.9时,候选区域保留并传递给r-net;所述r-net接收p-net传递的候选区域,并在候选区域内进行人脸检测,所述r-net输出每个区域的置信度,并对边界框进行微调,当输出的置信度高于0.9时,判定为有效人脸区域,将有效人脸区域传递给o-net,所述o-net接收r-net输出的细化后的人脸区域,并进行最终的人脸关键点定位,当o-net输出的置信度高于0.9时,获取面部的边界框坐标,并且保留关键点定位结果。

4.根据权利要求1所述的基于人脸微表情识别的相关歌曲推送系统,其特征在于,所述微表情识别分类模块由resnet50模型和yolov5-cls模型组成。

5.根据权利要求1所述的基于人脸微表情识别的相关歌曲推送系统,其特征在于,所述微表情识别分类模块的优化流程为:

6.根据权利要求1所述的基于人脸微表情识别的相关歌曲推送系统,其特征在于,所述音乐推荐模块包括:

7.基于人脸微表情识别的相关歌曲推送方法,其特征在于,所述方法基于权利要求1所述的系统实现,所述方法包括:

8.根据权利要求7所述的基于人脸微表情识别的相关歌曲推送方法,其特征在于,所述方法还包括用户反馈收集与模型优化,具体为:

9.一种计算机设备,其特征在于:包括存储器和处理器,所述存储器中存储有计算机程序,当所述处理器运行所述存储器存储的计算机程序时,所述处理器执行根据权利要求7-8中任一项中所述的基于人脸微表情识别的相关歌曲推送方法。

10.一种计算机可读存储介质,其特征在于,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行如权利要求7-8任一项所述的基于人脸微表情识别的相关歌曲推送方法的步骤。


技术总结
基于人脸微表情识别的相关歌曲推送系统,涉及歌曲推送领域。解决了现有语音识别或文本分析推断用户的情绪状态并据此推荐音乐存在局限性的问题。系统包括:数据采集模块,面部检测模块,微表情识别分类模块,情绪状态推断模块和音乐推荐模块;数据采集模块采集面部视频流,并将面部视频流传输至面部检测模块,面部检测模块检测面部视频流中每一帧中的面部信息并传输至微表情识别分类模块,微表情识别分类模块进行微表情分类,并对分类结果进行输入至情绪状态推断模块;情绪状态推断模块推断用户的情绪状态,并将用户的情绪状态输入至音乐推荐模块;音乐推荐模块根据用户的情绪状态,选取匹配的音乐进行推荐。应用于音乐个性化分类领域。

技术研发人员:赵政凯,沈芊彤,魏伊辰,张硕
受保护的技术使用者:赵政凯
技术研发日:
技术公布日:2024/12/17
转载请注明原文地址:https://xbbs.6miu.com/read-29482.html