一种景点用户语音交互方法、装置及相关设备与流程

专利2026-02-05  11


本技术涉及旅游领域,具体是涉及一种景点用户语音交互方法、装置及相关设备。


背景技术:

1、在当前旅游场景中,传统的景点介绍通常是一块简单的景点介绍牌,介绍牌信息量有限,且无法直接回答用户的具体问题,用户需要自行查找答案。

2、而现有的旅游app,虽然可以提供丰富的图文和视频信息。然而,这类app在实际旅行过程中存在一个明显的不足,无法实时提供与用户当前所在景点相关的精准信息。用户常常难以将app提供的泛泛信息与实际的景点对应起来,从而影响了旅游体验的连贯性和满意度。

3、针对用户希望实时获取景点知识的需求,导游服务虽然是一种传统且有效的解决方案,但其也存在一些局限性。例如大部分的中等水平导游只能提供有限的景点信息,尤其是在文化、政治、历史等领域的深度讲解方面有所不足。此外,导游无法一对一地为每位用户提供专属服务,同时也无法同时满足多位用户的个性化需求。而且,聘请导游的费用对一些用户来说可能是一笔额外的支出。

4、虽然一些更为先进的解决方案,如基于ai的对话功能和图片识别技术,能够在一定程度上提供信息,但它们往往无法为用户提供准确且及时的景点背景知识,交互方式也可能较为繁琐,不够个性化,导致用户体验不佳。


技术实现思路

1、本实施例提供了一种景点用户语音交互方法、装置及相关设备,探究如何解决旅游过程中用户难以获得准确及时且个性化的景点介绍的问题。

2、第一方面,本发明提供了一种景点用户语音交互方法,包括:

3、获取所述景点内当前的用户坐标和用户朝向向量;

4、将所述用户坐标和用户朝向向量输入至预构建的景点地图模型,匹配得到所述用户当前的视野内景物;

5、构建所述视野内景物的视野描述特征向量;

6、预训练一旅游问答模型;

7、接收所述视野描述特征向量和用户提问作为所述旅游问答模型的输入,生成个性化回答。

8、在其中的一些实施例中,在所述获取所述景点内当前的用户坐标和用户朝向向量之前,包括:

9、建立所述用户的蓝牙耳机与移动终端之间的通信连接,形成无线网络;其中,蓝牙耳机内置有可获取用户朝向向量的电子罗盘以及可修正蓝牙耳机倾斜角度的加速度计;

10、在所述接收所述视野描述特征向量和用户提问作为所述旅游问答模型的输入,生成个性化回答之后,还包括:

11、将个性化回答通过所述无线网络传输至蓝牙耳机,播报所述个性化回答。

12、在其中的一些实施例中,获取所述景点内当前的用户坐标和用户朝向向量,包括:

13、安装位于景点内的若干rfid读写器,以及位于蓝牙耳机上的rfid标签;其中,若干rfid读写器覆盖所述用户能够到达的景点区域;

14、若所述rfid标签进入景点,所述rfid读写器接收rfid标签发出的标签信号;

15、根据所述标签信号被接收的信号强度,以及所述标签信号到达rfid读写器的时间,确定所述当前的用户坐标。

16、在其中的一些实施例中,根据所述标签信号被接收的信号强度,以及所述标签信号到达rfid读写器的时间,确定所述当前的用户坐标,包括:

17、根据所述标签信号被接收的信号强度,计算rfid读写器到rfid标签的第一距离drssi,i;

18、

19、其中,drssi,i为第i个rfid读写器到rfid标签之间的第一距离,pr,i为第i个rfid读写器接收到的信号强度,pt为rfid标签的发射功率,n为路径损耗指数,取值在2和4之间,c为环境噪声和干扰的修正项;

20、根据所述标签信号到达rfid读写器的时间,计算所述标签信号到达两个rfid读写器的时间差;以及根据所述时间差,计算rfid标签到两个rfid读写器的距离差δdij;

21、δdij=c·δtij

22、其中,δdij为rfid标签到第i个rfid读写器与第j个rfid读写器的距离差,c为信号传播速度,δtij为标签信号到达第i个rfid读写器与第j个rfid读写器的时间差;

23、根据所述第一距离drssi,i以及所述距离差δdij,确定加权距离dcombined,i;

24、dcombined,i=α·drssi,i+β·δdij

25、其中,dcombined,i为第i个rfid读写器到rfid标签的加权距离,α为所述第一距离drssi,i的权重,β为所述距离差δdij的权重;

26、将加权距离dcombined,i以及rfid读写器的位置(xi,yi,zi),代入位置方程;

27、

28、求解所述位置方程,得到所述当前的用户坐标posu(xu,yu,zu)。

29、在其中的一些实施例中,获取所述景点内当前的用户坐标和用户朝向向量,还包括:

30、使用电子罗盘测量磁场向量在所述蓝牙耳机上的向量分量,并将所述向量分量作为蓝牙耳机的原始用户朝向向量b,

31、b=(bx,by,bz),

32、其中,bx,by,bz分别为蓝牙耳机的x轴向量分量,y轴向量分量以及z轴向量分量;

33、使用加速度计检测蓝牙耳机的的第一倾斜角度θx和第二倾斜角度θy,将第一倾斜角度θx和第二倾斜角度θy代入以下公式:

34、得到修正后用户朝向向量b′;

35、将所述修正后用户朝向向量b′代入滤波公式,得到滤波后朝向向量bsmooted(t);

36、bsmooted(t)=α·b′(t)+(1-α)·bsmooted(t-1),其中,α为平滑因子,t为当前时间步;

37、将所述滤波后朝向向量bsmooted(t)进行标准化,得到所述用户朝向向量

38、

39、其中,为滤波后朝向向量bsmooted(t)的模长。

40、在其中的一些实施例中,将所述用户坐标和用户朝向向量输入至预构建的景点地图模型,匹配得到所述用户当前的视野内景物,包括:

41、根据用户朝向向量和用户坐标posu(xu,yu,zu)定义为用户视野,并将其投影到景点地图模型,计算所述用户视野的三维空间投影区域;所述投影计算公式为:

42、projectedview=(xu+dx·l,yu+dy·l,zu+dz·l)

43、其中,projectedview为用户视野的三维空间投影区域,dx,dy,dz为视野用户朝向向量的坐标分量,l为用户坐标到用户视野的边界距离;

44、在景点地图模型中,匹配与三维空间投影区域视野一致的视野内景物。

45、在其中的一些实施例中,在景点地图模型中,匹配与三维空间投影区域视野一致的视野内景物,包括:

46、对在景点地图模型中,且坐标为(xi,yi,zi)的景物ei,使用匹配条件;

47、匹配条件为:

48、xi∈[xu,xu+dx·l]and yi∈[yu,yu+dy·l]and zi∈[zu,zu+dz·l],

49、根据匹配条件,判断景物ei是否落入所述用户视野的三维空间投影区域;

50、将满足匹配条件的景物ei判定为所述用户当前的视野内景物。

51、在其中的一些实施例中,构建所述视野内景物的视野描述特征向量,包括:

52、获取所述视野内景物的景物坐标poss=(xs,ys,zs);

53、计算景物坐标和用户坐标的向量差值,得到视野内景物向量其计算公式为:

54、

55、将用户朝向向量和视野内景物向量代入偏差计算公式,得到角度偏差ad;

56、

57、其中,是向量点积,和是向量模长;

58、s4-4,获取景物坐标和用户坐标之间的第二距离di,

59、

60、选择景物坐标poss=(xs,ys,zs)、用户朝向向量和视野内景物向量的角度偏差ad、第二距离di以及景物预设的标识符id,作为特征向量,构建所述视野内景物的视野描述特征向量fdf;

61、fdf={poss,ad,di,id}。

62、在其中的一些实施例中,预训练一旅游问答模型,包括:

63、采集所述景点内景物的背景知识文本作为训练集;

64、将所述背景知识文本输入大语言模型,迭代训练为旅游问答模型。

65、与现有技术相比,本发明的一种景点用户语音交互方法,通过蓝牙耳机获取用户位置和朝向,进而得到用户的视野描述特征向量,将视野描述特征向量与用户提问输入至预训练后的旅游问答模型,能够得到当前景点个性化且实时的语音播报,从而提升了旅游体验。

66、第二方面,本发明提供了一种景点用户语音交互装置,包括:

67、坐标及朝向获取模块,用于获取所述景点内当前的用户坐标和用户朝向向量;

68、视野内景物获取模块,用于将所述用户坐标和用户朝向向量输入至预构建的景点地图模型,匹配得到所述用户当前的视野内景物;

69、视野向量构建模块,用于构建所述视野内景物的视野描述特征向量;

70、预训练模块,用于预训练一旅游问答模型;

71、个性化回答模块,用于接收所述视野描述特征向量和用户提问作为所述旅游问答模型的输入,生成个性化回答。

72、第三发面,本发明提供了一种电子设备,所述电子设备包括存储器以及处理器,所述存储器存储有至少一条计算机可执行指令,所述处理器被配置为运行所述计算机可执行指令,所述计算机可执行指令被所述处理器运行时以实现第一方面所述的一种景点用户语音交互方法。

73、第四方面,本发明提供了一种计算机可读存储介质,计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器运行时实现第一方面所述的一种景点用户语音交互方法。

74、与现有技术相比,本发明的一种景点用户语音交互装置、电子设备及存储介质的有益效果与上述的一种景点用户语音交互方法的有益效果相同,故此处不再赘述。


技术特征:

1.一种景点用户语音交互方法,其特征在于,包括:

2.根据权利要求1所述的一种景点用户语音交互方法,其特征在于,在所述获取所述景点内当前的用户坐标和用户朝向向量之前,包括:

3.根据权利要求2所述的一种景点用户语音交互方法,其特征在于,获取所述景点内当前的用户坐标和用户朝向向量,包括:

4.根据权利要求3所述的一种景点用户语音交互方法,其特征在于,根据所述标签信号被接收的信号强度,以及所述标签信号到达rfid读写器的时间,确定所述当前的用户坐标,包括:

5.根据权利要求4所述的一种景点用户语音交互方法,其特征在于,获取所述景点内当前的用户坐标和用户朝向向量,还包括:

6.根据权利要求5所述的一种景点用户语音交互方法,其特征在于,将所述用户坐标和用户朝向向量输入至预构建的景点地图模型,匹配得到所述用户当前的视野内景物,包括:

7.根据权利要求6所述的一种景点用户语音交互方法,其特征在于,在景点地图模型中,匹配与三维空间投影区域视野一致的视野内景物,包括:

8.根据权利要求7所述的一种景点用户语音交互方法,其特征在于,构建所述视野内景物的视野描述特征向量,包括:

9.根据权利要求8所述的一种景点用户语音交互方法,其特征在于,预训练一旅游问答模型,包括:

10.一种景点用户语音交互装置,其特征在于,包括:


技术总结
本发明公开了一种景点用户语音交互方法、装置及相关设备,包括:获取所述景点内当前的用户坐标和用户朝向向量;将所述用户坐标和用户朝向向量输入至预构建的景点地图模型,匹配得到所述用户当前的视野内景物;构建所述视野内景物的视野描述特征向量;预训练一旅游问答模型;接收所述视野描述特征向量和用户提问作为所述旅游问答模型的输入,生成个性化回答;本发明的一种景点用户语音交互方法,通过蓝牙耳机获取用户位置和朝向,进而得到用户的视野描述特征向量,将视野描述特征向量与用户提问输入至预训练后的旅游问答模型,能够得到当前景点个性化且实时的语音播报,从而提升了旅游体验。

技术研发人员:陈启熙
受保护的技术使用者:广州显生宙科技有限公司
技术研发日:
技术公布日:2024/12/17
转载请注明原文地址:https://xbbs.6miu.com/read-29439.html