本发明涉及计算机视觉,具体地,涉及一种交互式虚拟专家形象生成方法和系统。
背景技术:
1、得益于人工智能、虚拟现实、增强现实、机器学习等技术的飞速发展,数字人技术在过去几十年间取得了显著进步。“数字人+医疗”模式应运而生,精准对接市场迫切需求,展现出巨大的发展潜力。从技术实现层面分析,医疗知识图谱与数字人技术的深度融合,不仅能为患者提供便捷的问诊服务、用药提醒及健康管理支持,还能助力医生高效获取关键医学信息,显著提升诊断与治疗的效率。
2、面对传统医疗体系中线下排队、缴费繁琐、人工问询量大,以及中小型医院人力资源紧张、大型医院专家号难求等挑战,这些痛点不仅加剧了医疗人员的工作负担,还可能延误患者的最佳诊疗时机。数字人技术的引入,恰如其分地填补了这一空白,为医疗机构带来了降本增效的显著效果。
3、尽管当前医疗知识图谱的问答模型已初具应用规模,但其纯文本的输出形式仍在一定程度上限制了其应用范围的进一步拓展。同时,现有的数字生命技术普遍依赖于复杂的人工动画设计与手工建模流程,这一过程不仅繁琐耗时,还消耗了大量的人力资源与时间成本。
技术实现思路
1、针对现有技术中的缺陷,本发明的目的是提供一种交互式虚拟专家形象生成方法和系统。
2、根据本发明的一个方面,提供一种交互式虚拟专家形象生成方法,包括:
3、获取用户的语音数据、预设的人物形象数据及预设的语音数据;
4、根据所述用户语音数据,确定输入文本数据;
5、将所述输入文本数据输入问答模型进行处理,确定虚拟专家形象应答文本数据;
6、根据所述预设的语音数据和所述应答文本数据,确定虚拟专家形象的合成语音;
7、将所述预设的人物形象数据输入预设的渲染模型,确定虚拟专家形象模型;
8、根据所述合成语音和所述虚拟专家形象模型,确定虚拟专家形象的人脸及肢体动画;
9、将所述虚拟专家形象的人脸及肢体动画与所述合成语音进行合成,确定交互式虚拟专家形象动画。
10、优选的,通过录音设备获得所述用户的语音数据。
11、所述预设的人物形象数据为网络或真实采集的人物形象,用于合成虚拟专家形象;
12、所述预设的语音数据为网络或真实采集的语音数据,用于合成虚拟专家形象的声音。优选的,所述根据所述用户语音数据,确定输入文本数据,包括:
13、tn=funasr(s)
14、其中,tn表示所述输入文本数据,s表示所述用户语音数据,funasr表示对所述语音数据进行处理的过程。
15、优选的,所述将所述输入文本数据输入问答模型进行处理,确定虚拟专家形象应答文本数据,包括:
16、rn(ext,re)=chat(tn,[ext,key],n)
17、其中,rn表示所述虚拟专家形象的应答文本数据,chat表示在第n轮互动时所述问答模型针对所述输入文本数据进行应答的过程,ext表示从所述输入文本中提取的疾病名称数据,key表示从所述输入文本中提取的与所述疾病名称相关的数据,re表示从所述问答模型中获取的与所述疾病名称相关的数据,n表示对话的轮数,[ext,key]表示所述问答模型应答过程中的请求体。
18、优选的,所述问答模型为基于知识图谱的模型,其能够从疾病的描述文本中标注出相关的疾病,并以此为中心,获得引起疾病的病因,标注出相应疾病产生的部位,寻找该疾病的症状,通过症状来对相应的生理指标进行检查,确定相应的疾病,确定疾病后根据治疗方法来确定针对该疾病所需要的药物进行治疗。
19、优选的,根据所述预设的语音数据和所述应答文本数据,确定虚拟专家形象的合成语音,包括:
20、将所述预设的语音数据输入预训练的声音克隆模型,确定数字人的声音特征,
21、fa=f(a)
22、其中,fa表示所述虚拟专家形象的声音特征,a表示所述预设的语音数据,f表示采用所述预训练的声音克隆模型进行的声音特征提取操作;
23、s=voice(fa,rn)
24、其中,s表示所述虚拟专家形象的合成语音,voice表示采用所述语音克隆模型进行的合成语音操作,rn表示所述虚拟专家形象的应答文本数据。
25、优选的,所述将所述预设的人物形象数据输入预设的渲染模型,确定虚拟专家形象模型,包括:
26、y=human(figure)
27、其中,y表示虚拟专家形象模型,figure表示预设的人物形象数据,human表示采用预设的渲染模型进行渲染操作,渲染模型包括humannerf模型、humangaussian模型,分别可以通过对文本或者图片进行渲染得到三维人物形象。
28、优选的,所述根据所述合成语音和所述虚拟专家形象模型,确定虚拟专家形象的人脸及肢体动画,包括:
29、a=pan(s,y)
30、其中,a表示所述虚拟专家形象的合成动画,pan表示采用动作生成模型进行动画生成操作,s表示所述虚拟专家形象的合成语音。
31、优选的,所述将所述虚拟专家形象的人脸及肢体动画与所述合成语音进行合成,确定交互式虚拟专家形象动画,包括:
32、d=a+s
33、其中,d表示所述交互式虚拟专家形象动画,+表示合成处理操作。
34、根据本发明的第二个方面,提供一种交互式虚拟专家形象生成系统,包括:
35、数据获取模块:获取用户的语音数据、预设的人物形象数据及预设的语音数据,根据所述用户语音数据,确定输入文本数据;
36、问答模块:将所述输入文本数据输入问答模型进行处理,确定虚拟专家形象应答文本数据;
37、语音合成模块:根据所述预设的语音数据和所述应答文本数据,确定虚拟专家形象的合成语音;
38、渲染模块:将所述预设的人物形象数据输入预设的渲染模型,确定虚拟专家形象模型;
39、动画确定模块:根据所述合成语音和所述虚拟专家形象模型,确定虚拟专家形象的人脸及肢体动画;
40、合成模块:将所述虚拟专家形象的人脸及肢体动画与所述合成语音进行合成,确定交互式虚拟专家形象动画。
41、与现有技术相比,本发明实施例至少具有如下的一种有益效果:
42、本发明实施例介绍了一种交互式虚拟专家形象生成方法,该方法综合了预设的语音数据、人物形象数据以及用户的语音数据,借助预训练的问答模型和动作生成模型,成功构建出具备音频与动画效果的虚拟专家形象。此创新方法不仅实现了用户与虚拟专家之间自然流畅、生动形象的互动,还突破了传统技术中单纯依赖文本输出的局限,极大地拓宽了应用场景。通过引入虚拟专家系统,并融合动画与语音的展示方式,该方法有效提升了患者的理解能力和记忆效果,显著优化了患者的使用体验。
43、本发明实施例介绍了一种交互式虚拟专家形象生成方法,能为患者提供便捷的问诊服务,减轻医生的工作负担,提升医疗服务的整体效率,进而满足市场的多元化需求,并有效填补当前医疗体系中的空白领域。
1.一种交互式虚拟专家形象生成方法,其特征在于,包括:
2.根据权利要求1所述的一种交互式虚拟专家形象生成方法,其特征在于,通过录音设备获得所述用户的语音数据;
3.根据权利要求1所述的一种交互式虚拟专家形象生成方法,其特征在于,所述根据所述用户语音数据,确定输入文本数据,包括:
4.根据权利要求1所述的一种交互式虚拟专家形象生成方法,其特征在于,所述将所述输入文本数据输入问答模型进行处理,确定虚拟专家形象应答文本数据,包括:
5.根据权利要求4所述的一种交互式虚拟专家形象生成方法,其特征在于,所述问答模型为基于知识图谱的模型,其能够从疾病的描述文本中标注出相关的疾病,并以此为中心,获得引起疾病的病因,标注出相应疾病产生的部位,寻找该疾病的症状,通过症状来对相应的生理指标进行检查,确定相应的疾病,确定疾病后根据治疗方法来确定针对该疾病所需要的药物进行治疗。
6.根据权利要求1所述的一种交互式虚拟专家形象生成方法,其特征在于,根据所述预设的语音数据和所述应答文本数据,确定虚拟专家形象的合成语音,包括:
7.根据权利要求1所述的一种交互式虚拟专家形象生成方法,其特征在于,所述将所述预设的人物形象数据输入预设的渲染模型,确定虚拟专家形象模型,包括:
8.根据权利要求1所述的一种交互式虚拟专家形象生成方法,其特征在于,所述根据所述合成语音和所述虚拟专家形象模型,确定虚拟专家形象的人脸及肢体动画,包括:
9.根据权利要求1所述的一种交互式虚拟专家形象生成方法,其特征在于,所述将所述虚拟专家形象的人脸及肢体动画与所述合成语音进行合成,确定交互式虚拟专家形象动画,包括:
10.一种交互式虚拟专家形象生成系统,其特征在于,包括:
