一种基于Mamba-GPT模型的电力设备知识图谱补全方法及系统与流程

专利2025-04-24  19


本发明涉及电力设备巡检,具体为一种基于mamba-gpt模型的电力设备知识图谱补全方法及系统。


背景技术:

1、近年来,随着人工智能技术的快速发展,大语言模型在自然语言处理领域取得了显著进展。其中,基于transformer架构的gpt(generative pre-trained transformer)模型因其强大的语言理解和生成能力而备受关注。然而,传统的gpt模型在处理长序列输入时存在计算复杂度高、内存消耗大等问题。为解决这些问题,mamba块应运而生,它通过引入选择性状态空间模型(s4)和结构化状态空间序列(ssm)等创新机制,大幅提高了模型的效率和性能。与此同时,知识图谱作为一种结构化的知识表示方法,在电力设备巡检等专业领域中发挥着越来越重要的作用。知识图谱不仅能够有效地组织和管理复杂的领域知识,还能为智能决策和故障诊断提供强有力的支持。

2、然而,现有的电力设备巡检知识图谱构建方法仍存在一些不足之处。首先,传统的知识图谱构建过程往往依赖于人工标注和专家知识,这不仅耗时耗力,而且难以保证知识的全面性和时效性。其次,现有的知识图谱补全方法大多基于浅层神经网络或传统机器学习算法,难以充分利用大规模预训练语言模型的语义理解能力。再者,在电力设备巡检这样的专业领域中,如何有效地融合领域特定的先验知识,提高知识图谱补全的准确性和可解释性,仍是一个亟待解决的问题。最后,现有的方法在处理长序列、复杂关系的知识图谱时,往往面临效率低下、推理能力有限等挑战。

3、目前,电力设备巡检知识图谱补全技术还存在知识获取效率低、领域知识融合不足、推理能力有限等问题。本发明提出了一种基于mamba-gpt模型的电力设备知识图谱补全方法,旨在解决上述问题。该方法属于人工智能和知识工程技术领域,通过结合mamba块的高效序列处理能力和gpt模型的强大语言理解能力,同时引入电力设备专用的先验知识注入机制,实现了电力设备巡检知识图谱的高效、准确补全。


技术实现思路

1、鉴于现有的电力设备巡检知识图谱构建和补全方法存在知识获取效率低、领域知识融合不足,以及在处理长序列和复杂关系时效率低下的问题存在的问题,提出了本发明。

2、因此,本发明解决的技术问题是:引入mamba-gpt模型和电力设备专用的先验知识注入机制,提升模型对领域知识的理解能力和长序列处理效率,分阶段动态更新补全后的电力设备巡检知识图谱,使系统根据不同时间尺度和数据的新旧程度,及时地更新知识图谱以适应不同的应用场景和更新需求。

3、为解决上述技术问题,本发明提供如下技术方案:一种基于mamba-gpt模型的电力设备知识图谱补全方法,包括收集电力设备巡检相关的数据并进行预处理,根据预处理后电力设备巡检相关的数据构建电力设备巡检知识图谱,并对知识图谱中的文本信息进行编码;构建mamba-gpt模型,引入电力设备专用的先验知识注入机制,优化mamba块的选择机制;将编码后的知识图谱中的文本信息输入mamba-gpt模型,对电力设备巡检知识图谱进行补全,分阶段动态更新补全后的电力设备巡检知识图谱并输出。

4、作为本发明的基于mamba-gpt模型的电力设备知识图谱补全方法的一种优选方案,其中:构建电力设备巡检知识图谱,并对知识图谱中的文本信息进行编码包括,定义实体,实体包括电力设备、部件、故障类型、维护操作,并建立实体间的关系,组成三元组;将三元组转化为文本序列,通过标记区分不同类型的实体和关系;使用word2vec算法,生成词向量;根据词向量在文本序列中的位置,进行位置编码,并将位置编码作为输入。

5、作为本发明的基于mamba-gpt模型的电力设备知识图谱补全方法的一种优选方案,其中:使用word2vec算法,生成词向量包括,在skip-gram模型中,通过一个给定的中心词来预测上、下文词语,skip-gram模型的损失函数的计算公式如下:

6、

7、其中,l表示损失函数,t表示文本序列长度,k表示窗口大小,j未求和变量没有实际物理含义,p(wt+j|wt)表示输入的词为wt时,词wt+j出现的概率;

8、其中,p(wt+j|wt)通过软最大化函数来计算,p(wt+j|wt)的计算公式如下:

9、

10、其中,和分别表示输出词和输入词的嵌入向量,v表示词汇表,vw表示词w的嵌入向量,w表示词汇。

11、作为本发明的基于mamba-gpt模型的电力设备知识图谱补全方法的一种优选方案,其中:将位置编码作为输入的公式如下:

12、pe(pos2i)=sin(pos/100002i/d)

13、pe(pos,2i+1)=cos(pos/100002i/d)

14、其中,pe表示位置嵌入的输出值,pos表示文本中单词的位置,d表示词向量长度的最大值,i表示文本位置。

15、作为本发明的基于mamba-gpt模型的电力设备知识图谱补全方法的一种优选方案,其中:构建mamba-gpt模型,引入电力设备专用的先验知识注入机制,优化mamba块的选择机制包括,构建基于mamba块的mamba-gpt模型结构,建立mamba块输入和输出序列之间的关系,mamba块输入和输出序列之间关系的计算公式如下:

16、

17、yt=cht

18、其中,xt表示输入序列中的第t个矢量,ht表示隐式状态空间,c均为矩阵,yt表示模型输出;构建电力设备领域的专用知识图谱,引入相关领域的知识图谱数据,通过迁移学习,将知识图谱的节点表示和关系整合到电力设备领域的知识图谱中;设计迁移学习策略,使知识图谱能够从其他领域的知识中学习到通用的特征和模式;在mamba块的输入层引入基于动态注意力机制的先验知识选择模块;将通过迁移学习得到的跨领域知识图谱的节点表示与作为输入的位置编码进行融合;在mamba-gpt模型的损失函数中加入一致性约束,一致性约束包括节点一致性约束和边一致性约束,节点一致性约束的公式如下:

19、

20、其中,lnode表示节点一致性损失,υi表示知识图谱中的一个节点,vi表示模型生成的节点υi的向量表示,表示知识图谱中节点υi的真实向量表示;边一致性约束的公式如下:

21、

22、其中,ledge表示边一致性损失,(υi,υj)表示知识图谱中连接节点υi和υj的一个边,eij表示模型生成的边(υi,υj)的向量表示,表示知识图谱中边(υi,υj)的真实向量表示;将节点一致性损失和边一致性损失结合起来作为总体知识一致性损失,总体知识一致性损失的计算公式如下:

23、lconsistency=λnodelnode+λedgeledge

24、其中,lconsistenyc表示总体知识一致性损失,λnode表示用于平衡节点一致性损失的权重参数,λnode表示用于平衡边一致性损失的权重参数,lnode表示节点一致性损失,ledge表示边一致性损失;在mamba块中引入选择机制,使和c均能够随输入xt变化,且映射关系能够学习,映射关系的公式如下:

25、δ=sδ(x)=softplus(linear(x))

26、c=sc(x)=linear(x)

27、b=sb(x)=linear(x)

28、

29、其中,linear(.)表示线性函数,δ表示采样间隔,sδ(x)表示δ是输入x的函数,softplus(linear(x))表示组合函数,sc(x)表示c是输入x的函数,sb(x)表示b是输入x的函数,表示矩阵,表示矩阵,δa表示δ与a的乘积,i表示单位矩阵,δb表示δ与b的乘积;

30、softplus(x)=log(1+ex)

31、其中,softplus(x)表示激活函数,x表示描述函数的任意自变量;将多层mamba块组成mamba-gpt模型。

32、作为本发明的基于mamba-gpt模型的电力设备知识图谱补全方法的一种优选方案,其中:对电力设备巡检知识图谱进行补全包括,将预处理后电力设备巡检相关的数据输入mamba-gpt模型;通过多层mamba块将输入的文本序列转化为矢量序列;解码矢量序列,生成补全后的文本信息;将补全后的文本信息转化为新的知识图谱三元组,实现知识图谱的补全。

33、作为本发明的基于mamba-gpt模型的电力设备知识图谱补全方法的一种优选方案,其中:分阶段动态更新补全后的电力设备巡检知识图谱包括,分别收集日常巡检报告中的短期数据、中期数据和长期数据,对收集到的短期数据、中期数据和长期数据分别进行预处理;根据预处理后的短期数据、中期数据和长期数据,分别生成新的知识三元组,并分别计算损失函数;短期更新过程中损失函数的公式如下:

34、

35、其中,lshort表示短期更新使用的损失函数,t表示总时刻数,f(·)表示根据短期预测数据xt和当前参数θt生成的新知识三元组,yt表示第t时刻的实际数据点,xs表示短期数据,θt表示当前参数,γ表示正则化参数,m表示参数θt的总数,θt,j表示第t时刻的第j个参数,θt-1,j表示第t-1时刻的第j个参数;中期更新过程中损失函数的公式如下:

36、

37、其中,lmid表示中期更新使用的损失函数,t表示总时刻数,g(·)表示根据中期预测数据xm和当前参数θt生成的新知识三元组,yt表示第t时刻的实际数据点,xm表示中期数据,θt表示当前参数,β和λ均表示正则化参数,m表示参数θt的总数,θt,j表示第t时刻的第j个参数,θt-1,j表示第t-1时刻的第j个参数,conflict(·)表示冲突函数,h,r,t分别表示知识三元组的三元组元素,k表示更新后的知识图谱;长期更新过程中损失函数的公式如下:

38、

39、其中,llong表示长期更新使用的损失函数,t表示总时刻数,h(·)表示根据长期预测数据xl和参数集合θ生成的新知识三元组,yt表示第t时刻的实际数据点,xl表示长期数据,θ表示参数集合,α和κ均表示正则化参数,m表示参数θ的总数,θj表示第j个参数,conflict(·)表示冲突函数,h,r,t分别表示知识三元组的三元组元素,k表示更新后的知识图谱;计算更新时需要使用的损失函数的梯度,使用优化算法,更新补全后的电力设备巡检知识图谱中的参数。

40、本发明的另外一个目的是提供一种基于mamba-gpt模型的电力设备知识图谱补全系统,包括,编码模块,用于收集电力设备巡检相关的数据并进行预处理,根据预处理后电力设备巡检相关的数据构建电力设备巡检知识图谱,并对知识图谱中的文本信息进行编码;模型构建模块,用于构建mamba-gpt模型,引入电力设备专用的先验知识注入机制,优化mamba块的选择机制;补全模块,用于将编码后的知识图谱中的文本信息输入mamba-gpt模型,对电力设备巡检知识图谱进行补全,分阶段动态更新补全后的电力设备巡检知识图谱并输出。

41、一种计算机设备,包括存储器和处理器,存储器存储有计算机程序,其特征在于,处理器执行计算机程序时实现如上基于mamba-gpt模型的电力设备知识图谱补全方法的步骤。

42、一种计算机可读存储介质,其上存储有计算机程序,其特征在于,计算机程序被处理器执行时实现如上基于mamba-gpt模型的电力设备知识图谱补全方法的步骤。

43、本发明的有益效果:本发明通过系统化的数据处理和知识图谱构建,为电力设备巡检领域提供了高质量的知识基础。引入mamba-gpt模型和电力设备专用的先验知识注入机制,显著提升了模型对领域知识的理解能力和长序列处理效率,使用知识迁移和一致性约束方法,确保了知识图谱补全的准确性和可靠性,采用多层mamba块结构的应用,实现了高效的知识图谱补全过程。通过这些步骤的协同作用,不仅提高了电力设备巡检知识图谱的完整性和准确性,还增强了知识图谱在设备故障诊断、维护决策和知识管理中的应用价值。分阶段动态更新补全后的电力设备巡检知识图谱并输出,能够根据不同时间尺度和数据的新旧程度,及时地更新知识图谱以适应不同的应用场景和更新需求。


技术特征:

1.一种基于mamba-gpt模型的电力设备知识图谱补全方法,其特征在于,包括:

2.如权利要求1所述的基于mamba-gpt模型的电力设备知识图谱补全方法,其特征在于:所述构建电力设备巡检知识图谱,并对知识图谱中的文本信息进行编码包括,

3.如权利要求2所述的基于mamba-gpt模型的电力设备知识图谱补全方法,其特征在于:所述使用word2vec算法,生成词向量包括,

4.如权利要求3所述的基于mamba-gpt模型的电力设备知识图谱补全方法,其特征在于:所述将位置编码作为输入的公式如下:

5.如权利要求4所述的基于mamba-gpt模型的电力设备知识图谱补全方法,其特征在于:所述构建mamba-gpt模型,引入电力设备专用的先验知识注入机制,优化mamba块的选择机制包括,构建基于mamba块的mamba-gpt模型结构,建立mamba块输入和输出序列之间的关系,mamba块输入和输出序列之间关系的计算公式如下:

6.如权利要求5所述的基于mamba-gpt模型的电力设备知识图谱补全方法,其特征在于:所述对电力设备巡检知识图谱进行补全包括,

7.如权利要求6所述的基于mamba-gpt模型的电力设备知识图谱补全方法,其特征在于:所述分阶段动态更新补全后的电力设备巡检知识图谱包括,

8.一种采用如权利要求1~7任一所述的基于mamba-gpt模型的电力设备知识图谱补全方法的系统,其特征在于,包括:

9.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的基于mamba-gpt模型的电力设备知识图谱补全方法的步骤。

10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的基于mamba-gpt模型的电力设备知识图谱补全方法的步骤。


技术总结
本发明公开了一种基于Mamba‑GPT模型的电力设备知识图谱补全方法及系统,涉及电力设备巡检技术领域,包括:收集电力设备巡检相关的数据并进行预处理,根据预处理后电力设备巡检相关的数据构建电力设备巡检知识图谱,并对知识图谱中的文本信息进行编码;构建Mamba‑GPT模型,引入电力设备专用的先验知识注入机制,并优化Mamba块的选择机制;将编码后的知识图谱中的文本信息输入Mamba‑GPT模型,对电力设备巡检知识图谱进行补全,并输出补全后的电力设备巡检知识图谱。本发明不仅提高了电力设备巡检知识图谱的完整性和准确性,还增强了知识图谱在设备故障诊断、维护决策和知识管理中的应用价值。

技术研发人员:郭丽娟,谢国汕,罗传胜,李路,梁生源,宋冠军,秦永伦,肖远平
受保护的技术使用者:广西电网有限责任公司电力科学研究院
技术研发日:
技术公布日:2024/12/17
转载请注明原文地址:https://xbbs.6miu.com/read-23773.html