一种基于大语言模型增强的文本-行人检索方法

专利2026-02-11  12


本发明属于计算机和互联网领域,特别涉及一种基于大语言模型增强的文本-行人检索方法。


背景技术:

1、文本-行人检索技术广泛应用于人员识别方面,例如用于寻找走失儿童、协助警方寻找犯罪人员等。当给出关于人员的具体文本描述时,文本-行人检索模型可以根据所输入的文本寻找出对应的图片,实现人员识别。

2、例如,在搜索场景中,用户输入查询文本:一个穿着灰色短裤,灰色鞋子和腰间挂着白色钱包的女人,即可通过文本-行人检索技术查找该文本对应的包含该女人的图片。该技术极大地提高了用户寻找目标人员的速度,协助用户准确判断目标人员的位置。

3、相较于直接使用图像进行人员识别,基于文本进行人员检索有着更加简易的搜索格式,有效提升了搜索速度,也可以进一步保护相关人员的隐私。

4、但是,现有相关技术的数据集规模较小,且人工标注的文本信息风格差异较大,使得基于文本的行人检索技术这一从文本到图像的跨模态学习任务从大规模的跨模态训练中收益甚微。


技术实现思路

1、为了解决文本-行人检索领域数据集规模较小、标注风格不统一、质量不高的难题,本发明提供了一种基于大语言模型增强的文本-行人检索方法,显著提升了模型的检索性能,实现了更为精准的匹配。

2、所述基于大语言模型增强的文本-行人检索方法,具体步骤如下:

3、步骤一、针对现有数据集中图像和文本的组合对,将原始文本数据划分为测试集和训练集;同时调用大语言模型对文本数据进行增强,生成增强文本;

4、步骤二、将增强文本数据送入过滤模型,计算增强文本与原始文本之间的文本相似度;

5、原始文本和增强文本相似度的计算公式为:

6、

7、tiori为原始文本,tiaug为增强文本,使用sentence transformers模型fst(·)分别对原始文本和增强文本进行编码后得到fst(tiori)和fst(tiaug)。

8、步骤三、当文本相似度大于设定的阈值时,保留增强文本;反之,舍弃增强文本或重新生成文本。

9、步骤四、将保留的增强文本数据集用于文本-行人检索模型的训练或测试,并将测试后的文本-行人检索模型用于进行人员识别。

10、若用于模型训练,增强文本数据通过文本编码器得到文本特征值ftext(tiaug),与该文本对应的图像经图像编码器得到的图像特征值fimg(vi)进行计算,得到文本图像相似度矩阵s(vi,tiaug),并通过模型的损失函数进行训练;

11、具体的计算公式如下:

12、s(vi,ti)=ftext(ti)·fimg(vi)t

13、vi为原始图像,fimg(·)为图像编码器,ftext(·)为文本编码器;

14、若用于模型测试,增强文本和原始文本均通过文本编码器获取相应的文本特征值,分别与图像特征值计算各自的文本图像相似度矩阵s(vi,tiaug)和s(vi,tiori),通过加权求和计算两个文本图像相似度矩阵,得到新的文本图像相似度矩阵值s:

15、s=λ·s(vi,tiaug)+(1-λ)·s(vi,tiori)

16、其中λ是指[0,1]之间的均匀分布的随机数。

17、本发明的优点在于:

18、1)、本发明一种基于大语言模型增强的文本-行人检索方法,训练文本-行人检索模型时通过引入大语言模型重写的多样化的文本增强了检索模型的泛化能力;测试文本-行人检索模型时综合原始文本和增强文本进行测试,增强了检索模型的鲁棒性;为后续的检索匹配提供更全面和准确的依据。

19、2)、本发明一种基于大语言模型增强的文本-行人检索方法,通过引入大语言模型进行文本数据增强,扩充了现有的基于文本的行人检索数据集;大语言模型可以抽取文本内容的关键信息,保持句子结构和语义的完整性,统一文本风格。

20、3)、本发明一种基于大语言模型增强的文本-行人检索方法,通过过滤模型可以有效去除文本相似度较低的增强文本,增加增强文本的多样性及可靠性。

21、4)、本发明一种基于大语言模型增强的文本-行人检索方法,通过加权平均原始文本及增强文本分别与图像间的文本图像相似度矩阵,可以有效平衡原始文本和测试文本在检索模型的测试过程中发挥的作用。



技术特征:

1.一种基于大语言模型增强的文本-行人检索方法,其特征在于,具体步骤如下:

2.如权利要求1所述的一种基于大语言模型增强的文本-行人检索方法,其特征在于,所述原始文本和增强文本相似度的计算公式为:


技术总结
本发明公开了一种基于大语言模型增强的文本‑行人检索方法,属于计算机和互联网领域;具体为:针对现有数据集中图像和文本的组合对,将原始文本数据划分为测试集和训练集;同时调用大语言模型对文本数据进行增强,生成增强文本;然后,将增强文本数据送入过滤模型,计算增强文本与原始文本之间的文本相似度;当文本相似度大于设定的阈值时,保留增强文本;反之,舍弃增强文本或重新生成文本。最后,将保留的增强文本数据集用于文本‑行人检索模型的训练或测试,并将测试后的文本‑行人检索模型用于进行人员识别。本发明显著提升了模型的检索性能,实现了更为精准的匹配。

技术研发人员:郭彩丽,李政,司丽佳,杨洋,胡林
受保护的技术使用者:北京邮电大学
技术研发日:
技术公布日:2024/12/17
转载请注明原文地址:https://xbbs.6miu.com/read-29645.html