本发明属于交互控制，具体涉及一种基于大语言模型辅助的交互控制方法及系统。
背景技术：
1、人机交互控制（human-machine interaction, hmi）是指人与计算机系统或机器之间的相互作用和通信，涉及用户界面、用户体验以及人与机器之间交互方式等多个方面。
2、随着计算机科学、人工智能和传感技术的不断突破，人机交互控制领域经历了从简单的命令行界面到复杂的多模块态交互的演变。在这个背景下，人机交互控制技术正日益成为人们日常生活和工作中不可或缺的一部分。它不仅改变了我们与机器的互动方式，还极大地提升了操作效率和用户体验。
3、目前人机交互控制大部分还是需要用户去操作，例如：通过鼠标键盘来输入控制指令等人工操作，而对于部分用户存在操作困难时，往往无法顺利完成交互操作。随着自然语言、计算机视觉等技术的发展，大语言模型能够处理多种自然语言任务，如文本分类、问答、对话等，计算机视觉技术能够完成图像的识别任务。
4、而现有技术中，未能将自然语言识别技术和视觉技术应用到人机交互控制中，来降低用户的操作困难。
技术实现思路
1、本发明的目的是提供一种基于大语言模型辅助的交互控制方法及系统，用以解决现有技术未能将自然语言识别技术和视觉技术应用到人机交互控制中的问题。
2、为了实现上述目的，本发明采用以下技术方案：
3、第一方面，本发明提供了一种基于大语言模型辅助的交互控制方法，所述方法包括：
4、获取操作对象的交互界面的图像信息；
5、对交互界面的图像信息进行识别和文本转化，得到交互界面的自然语言描述；
6、基于自然语言描述构建交互界面的交互操作命令集；
7、获取用户的自然语言，基于大语言模型对用户的自然语言进行意图识别，得到用户的操作意图；
8、根据用户的操作意图从交互界面的交互操作命令集中匹配出交互操作命令，以交互操作命令控制操作工具对操作对象执行交互操作。
9、优选地，对交互界面的图像信息进行识别和文本转化，得到交互界面的自然语言描述，包括：
10、基于机器视觉目标检测算法对交互界面的图像信息进行特征提取，得到区域特征和网格特征，并提取区域特征对应的第一位置编码和网格特征对应的第二位置编码；
11、基于自注意力机制构建图像描述模型，以区域特征和第一位置编码与网格特征和第二位置编码作为图像描述模型的输入，所述图像描述模型输出交互界面的图像信息对应的文本描述，以交互界面的图像信息对应的文本描述作为交互界面的自然语言描述。
12、优选地，所述图像描述模型包括：两个编码单元和一个解码单元；
13、其中一个编码单元用于以区域特征和第一位置编码为输入，基于自注意力机制对区域特征和第一位置编码进行编码，输出区域特征编码；
14、另一个编码单元用于以网格特征和第二位置编码为输入，基于自注意力机制对网格特征和第二位置编码进行编码，输出网格特征编码；
15、解码单元用于以区域特征编码和网格特征编码为输入，对区域特征编码和网格特征编码进行融合解码，输出交互界面的图像信息对应的文本描述。
16、优选地，第一个编码单元包括依次相连的第一注意力模块、第一前馈网络模块、第二注意力模块和第二前馈网络模块；第二个编码单元包括依次相连的第三注意力模块、第三前馈网络模块、第四注意力模块和第四前馈网络模块。
17、优选地，所述方法还包括：基于两个编码单元分别对区域特征和第一位置编码以及网格特征和第二位置编码进行编码，得到区域特征编码和网格特征编码，包括：
18、基于区域特征和第一位置编码构建第一注意力模块的三元组矩阵，以及基于网格特征和第二位置编码构建第三注意力模块的三元组矩阵；
19、基于第一注意力模块的三元组矩阵计算第一注意力模块的注意力输出，以第一注意力模块的注意力输出作为第一前馈网络模块的输入，所述第一前馈网络输出第一特征输出；
20、基于第三注意力模块的三元组矩阵计算第三注意力模块的注意力输出，以第三注意力模块的注意力输出作为第三前馈网络模块的输入，所述第三前馈网络输出第二特征输出；
21、将第二特征输出融入到第一特征输出中，基于经融入第二特征输出的第一特征输出构建第二注意力模块的三元组矩阵；
22、基于第二注意力模块的三元组矩阵计算第二注意力模块的注意力输出，以第二注意力模块的注意力输出作为第二前馈网络的输入，所述第二前馈网络输出区域特征编码；
23、将第一特征输出融入到第二特征输出中，基于经融入第一特征输出的第二特征输出构建第四注意力模块的三元组矩阵；
24、基于第四注意力模块的三元组矩阵计算第四注意力模块的注意力输出，以第四注意力模块的注意力输出作为第四前馈网络的输入，所述第四前馈网络输出网格特征编码。
25、优选地，第一注意力模块的三元组矩阵、第二注意力模块的三元组矩阵、第三注意力模块的三元组矩阵和第四注意力模块的三元组矩阵均包括：查询矩阵、键矩阵和值矩阵；第一注意力模块、第二注意力模块、第三注意力模块和第四注意力模块在分别计算各自的注意力输出时，均采用相同的计算方法，所述计算方法包括：
26、将查询矩阵、键矩阵和值矩阵输入至注意力函数，得到输出矩阵；
27、计算输出矩阵与查询矩阵之间的相似度，得到相似性矩阵；
28、对相似性矩阵进行线性变换，得到第一线性矩阵；
29、对第一线性矩阵进行非线性变换，得到非线性矩阵；
30、对输出矩形进行线性变换，得到第二线性矩阵；
31、将非线性矩阵与第二线性矩阵进行相乘，得到注意力输出矩阵。
32、优选地，基于自然语言描述构建交互界面的交互操作命令集，包括：
33、收集交互界面中的元素以及各元素对应的交互命令；
34、定义交互命令的结构；
35、提取自然语言描述中的文本特征；
36、将自然语言描述中的文本特征映射到交互命令的结构中，得到交互界面的交互操作命令集。
37、优选地，所述方法还包括：以自然语言描述中的文本特征作为样本输入，以交互界面的交互操作命令集为标签，对神经网络模型进行训练，得到训练好的神经网络模型，以训练好的神经网络模型作为操作指令预测模型。
38、优选地，根据用户的操作意图从交互界面的交互操作命令集中匹配出交互操作命令，包括：
39、提取用户的操作意图的意图特征；
40、将意图特征输入至操作指令预测模型，得到交互操作命令。
41、第二方面，本发明提供了一种基于大语言模型辅助的交互控制系统，所述系统用于实现上述的基于大语言模型辅助的交互控制方法，所述系统包括：
42、数据获取模块，用于获取操作对象的交互界面的图像信息；
43、文本转换模块，用于对交互界面的图像信息进行识别和文本转化，得到交互界面的自然语言描述；
44、指令构建模块，用于基于自然语言描述构建交互界面的交互操作命令集；
45、意图识别模块，用于获取用户的自然语言，基于大语言模型对用户的自然语言进行意图识别，得到用户的操作意图；
46、指令生成模块，用于根据用户的操作意图从交互界面的交互操作命令集中匹配出交互操作命令，以交互操作命令控制操作工具对操作对象执行交互操作。
47、有益效果：
48、本发明可以通过获取操作对象的图像信息，将操作对象的图像信息转换为自然语言描述，然后建立操作对象的自然语言描述与交互操作指令之间的对应关系，然后采集用户的自然语言（例如：语音数据），利用大语言模型来对用户的意图进行识别，确定出用户的操作意图，再根据操作意图确定出对应的交互操作命令，通过交互操作指令可以完成对交互界面中的元素进行控制，简化了人工操作，提高了交互操作的便捷性，有利于向存在操作困难的客户群体推广应用。
1.一种基于大语言模型辅助的交互控制方法，其特征在于，所述方法包括：
2.根据权利要求1所述的基于大语言模型辅助的交互控制方法，其特征在于，对交互界面的图像信息进行识别和文本转化，得到交互界面的自然语言描述，包括：
3.根据权利要求2所述的基于大语言模型辅助的交互控制方法，其特征在于，所述图像描述模型包括：两个编码单元和一个解码单元；
4.根据权利要求3所述的基于大语言模型辅助的交互控制方法，其特征在于，第一个编码单元包括依次相连的第一注意力模块、第一前馈网络模块、第二注意力模块和第二前馈网络模块；第二个编码单元包括依次相连的第三注意力模块、第三前馈网络模块、第四注意力模块和第四前馈网络模块。
5.根据权利要求4所述的基于大语言模型辅助的交互控制方法，其特征在于，所述方法还包括：基于两个编码单元分别对区域特征和第一位置编码以及网格特征和第二位置编码进行编码，得到区域特征编码和网格特征编码，包括：
6.根据权利要求5所述的基于大语言模型辅助的交互控制方法，其特征在于，第一注意力模块的三元组矩阵、第二注意力模块的三元组矩阵、第三注意力模块的三元组矩阵和第四注意力模块的三元组矩阵均包括：查询矩阵、键矩阵和值矩阵；第一注意力模块、第二注意力模块、第三注意力模块和第四注意力模块在分别计算各自的注意力输出时，均采用相同的计算方法，所述计算方法包括：
7.根据权利要求1所述的基于大语言模型辅助的交互控制方法，其特征在于，基于自然语言描述构建交互界面的交互操作命令集，包括：
8.根据权利要求7所述的基于大语言模型辅助的交互控制方法，其特征在于，所述方法还包括：以自然语言描述中的文本特征作为样本输入，以交互界面的交互操作命令集为标签，对神经网络模型进行训练，得到训练好的神经网络模型，以训练好的神经网络模型作为操作指令预测模型。
9.根据权利要求8所述的基于大语言模型辅助的交互控制方法，其特征在于，根据用户的操作意图从交互界面的交互操作命令集中匹配出交互操作命令，包括：
10.一种基于大语言模型辅助的交互控制系统，所述系统用于实现权利要求1-9中任一项所述的基于大语言模型辅助的交互控制方法，其特征在于，所述系统包括：
