一种面向多分析任务的电力时间序列表征模型无监督构建方法

专利2025-06-24  17


本发明属于时间序列表征学习领域,更具体地,涉及一种面向多分析任务的电力时间序列表征模型无监督构建方法。


背景技术:

1、在实际应用场景中,一个复杂的现实时间序列分析任务往往需要分解为多个基础时间序列分析任务,多个子任务分别执行,共同完成复杂任务。目前,针对不同任务通常建立不同算法模型,并固化在各个相互独立的系统中,导致出现模型孤岛现象,难以协同处理复杂任务。不同方法之间最多只能实现数据共享,即使数据完全相同,在完成不同任务时也无法实现模型共享。随着各种场景的出现,时间序列任务变得越来越复杂,亟待解决的问题往往存在多种子任务的需求。因此,传统的数据共享已无法满足未来应用的发展趋势,不同时间序列分析任务间共享模型将成为必然。

2、时间序列分析任务具有多样性,而不同的任务对数据特征的需求不一致。例如时间序列预测任务需要在特定时间戳上推断目标,更注重细粒度的样本上下文信息。而分类任务的目标是区分不同类别样本,优先考虑样本的实例级特征。将相同的数据用于不同的任务时,单一模型所学习的表征具有较强的局限性,对于不同的任务往往需要针对性的设计算法,导致模型的泛化性能受到限制,无法适应目标任务的变化。因此面向时间序列多任务提出一个通用的表征学习方法十分有必要。

3、随着模型表征学习能力的提升,许多研究方法已开始探索多任务学习,以进一步验证模型的表征学习能力。timesnet基于时间序列的多周期性,对时间序列周期内和周期间变化进行建模,进行了预测、缺失值填充、分类等五个任务。ts2vec在时间戳级和实例级分别实现分层对比学习,在时间序列分类、预测和异常检测的任务上都进行了实验。simmtm从多个随机被屏蔽的时间序列中恢复原始时间序列,在预测和分类任务中进行了实验。尽管上述模型可适用于多种任务,但它们并非真正实现了一个统一的多任务模型,因为在不同任务中使用的模型各不相同。


技术实现思路

1、针对现有技术的缺陷和改进需求,本发明提供了一种面向多分析任务的电力时间序列表征模型无监督构建方法,其目的在于实现不同电力时间序列分析任务间共享模型的问题。

2、为实现上述目的,按照本发明的一个方面,提供了一种面向多分析任务的电力时间序列表征模型无监督构建方法,包括:

3、对每个初始电力时间序列数据进行掩蔽处理,生成掩蔽部分互补且长度均同原始电力时间序列数据的一对掩蔽数据;每对掩蔽数据作为一个训练样本;

4、构建自编码器架构,包括待训练的深层表征编码模块和已训练的解码器;采用所述训练样本训练所述自编码器架构中的深层表征编码模块,训练后的深层表征编码模块作为面向多分析任务的时间序列表征模型;

5、其中,在训练过程中,将每对掩蔽数据中的两个掩蔽数据分别输入参数共享的两个所述自编码器架构中;所述深层表征编码模块包括:数据嵌入层,用于生成每个掩蔽数据的潜在表征;编码器,用于基于所述潜在表征提取包含整体深层表征和细节深层表征的数据深层表征;所述解码器用于基于所述数据深层表征对其对应的初始电力时间序列数据进行重建操作;每次迭代后基于所述潜在表征和所述整体深层表征计算如下损失:基于重建的回归损失、基于上下文一致性的对比损失和基于时间一致性的对比损失。

6、进一步,采用掩蔽策略执行所述掩蔽处理,具体为:

7、生成一个尺寸与待掩蔽的原始电力时间序列数据一致的0-1序列,作为一个掩码序列;其中,“0”的位置随机分布,比例预设;“1”位置表示对应位置数据为保留数据,“0”对应位置表示原始数据被掩蔽;对所述掩码序列取反,调换“0”和“1”的位置,得到互补的另一个掩码序列;

8、将原始电力时间序列数据分别与两个掩码序列相乘,得到两个掩蔽后的数据,作为所述一对掩蔽数据。

9、进一步,所述数据嵌入层模块结构为卷积层,所述编码器为transformer编码器,和/或,所述解码器为线性层。

10、进一步,所述训练过程的总损失函数l为:

11、

12、式中,和分别为参数共享的两个所述自编码器架构s、w对应的基于重建的回归损失,采用掩蔽部分对应的初始数据与重建数据之间的均方误差作为所述回归损失;为在同一个初始电力时间序列数据对应的一对掩码数据输入下自编码器架构w中编码器所输出的整体深层表征与自编码器架构s中数据嵌入层所输出的潜在表征之间的基于时间一致性的对比损失;为在同一个初始电力时间序列数据对应的一对掩码数据输入下自编码器架构s中编码器所输出的整体深层表征与自编码器架构w中数据嵌入层所输出的潜在表征之间的基于时间一致性的对比损失;lcc为基于上下文一致性的对比损失,该对比损失计算中,将同一初始电力时间序列数据对应的两个整体深层表征作为计算该对比损失时的一个正样本,将同一训练批次中任两个初始电力时间序列数据对应的两个整体深层表征作为一个负样本;α、β和γ分别表示三种损失的权重。

13、进一步,所述基于重建的回归损失具体为:

14、

15、

16、其中,x表示初始电力时间序列数据,xs'和xw'分别表示参数共享的两个所述自编码器架构s、w中解码器所重建输出的x对应的重建结果,masks和maskw分别表示x的一对掩蔽数据所对应的0-1掩码序列;

17、所述基于上下文一致性的对比损失具体为:

18、

19、其中,cs和cw表示参数共享的两个所述自编码器架构s、w中编码器所输出的整体深层表征,exp(*)表示以e为底的指数函数,表示第i个初始电力时间序列数据对应的两个整体深层表征和的乘积;表示第i个初始电力时间序列数据对应的其中一个整体深层表征与同一训练批次中第j个初始电力时间序列数据对应的其中一个整体深层特征之间的乘积;n表示同一训练批次中的训练样本数目;

20、所述基于时间一致性的对比损失具体为:

21、

22、

23、其中,zs和zw分别为参数共享的两个所述自编码器架构s、w中数据嵌入层所输出的潜在表征,projection(*)t表示投影转换,将潜在表征投影转换到与整体深层表征相同的维度,和分别为第i个初始电力时间序列数据对应的zs和zw。

24、本发明还提供一种电力时间序列分析模型的构建方法,包括:

25、根据不同类型的分析任务,构建对应的解码器网络;并将所述解码器网络和经过无监督预训练的电力时间序列表征模型构成待训练的电力时间序列分析模型;其中,所述电力时间序列表征模型为由如上所述的一种面向多分析任务的电力时间序列表征模型无监督构建方法所构建得到;

26、根据所述解码器网络的分析任务,选择确定所述电力时间序列表征模型所表征输出的表征类型,用于所述解码器网络的输入,以训练所述电力时间序列分析模型,其中所述训练的过程能实现对所述电力时间序列表征模型进行微调。

27、进一步,当分析任务为分类任务或者异常检测任务时,所述表征类型为所述电力时间序列表征模型中编码器所输出的整体深层表征以及对所述编码器所输出的细节深层表征进行池化后的特征;

28、当分析任务为预测任务或者缺失值填充任务时,所述表征类型为所述电力时间序列表征模型中编码器所输出的细节深层表征。

29、本发明还提供一种电力时间序列分析方法,采用如上所述的一种电力时间序列分析模型的构建方法所构建得到的电力时间序列分析模型,进行时间序列分析。

30、本发明还提供一种电子设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现如上所述的一种面向多分析任务的电力时间序列表征模型无监督构建方法、如上所述的一种电力时间序列分析模型的构建方法或如上所述的一种电力时间序列分析方法。

31、本发明还提供一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现如上所述的一种面向多分析任务的电力时间序列表征模型无监督构建方法、如上所述的一种电力时间序列分析模型的构建方法或如上所述的一种电力时间序列分析方法。

32、总体而言,通过本发明所构思的以上技术方案,能够取得以下有益效果:

33、(1)本发明方法是一种面向多分析任务的电力时间序列表征模型无监督构建方法,旨在构建一个针对电力时间序列数据的多分析任务通用模型,基于该模型可以用于处理某一电力时间序列数据的不同任务,真正实现了统一多任务模型。本方法首先对每个初始电力时间序列数据进行掩蔽处理,生成掩蔽部分互补且长度均同原始时间序列数据的一对掩蔽数据,作为训练样本,然后采用数据嵌入层和编码器,生成多种表征,包括潜在表征、整体深层表征和细节深层表征,之后在迭代时,结合基于重建的回归损失、基于上下文一致性的对比损失和基于时间一致性的对比损失,共同约束模型全面学习数据表征的能力,使模型具有较强的泛化能力,适用于多任务分析。因此,本发明是面向时间序列多任务提出了一种无监督表征学习方法来构建多分析任务模型,能够全面学习电力时间序列在多个层面的特征,包括潜在表征、整体深层表征和细节深层表征,下游任务可以根据实际任务需要,选择一种或多种表征来执行分析任务,也就是合理选择更符合任务需求的特征,从而为不同下游任务提供了一个统一的预训练模型,使模型在不同任务中都表现出强大的有效性。

34、(2)本发明还提出了一种电力时间序列分析模型的构建方法,在不同下游任务中实现了特征选择功能,使构建出的分析模型能够对当前提取的全面数据特征进行组合,并合理选择更符合当前任务需求的特征,针对性的选择出最佳特征。本发明在不同电力时间序列分析任务中都可以表现出强大的性能,具有通用性和有效性。


技术特征:

1.一种面向多分析任务的电力时间序列表征模型无监督构建方法,其特征在于,包括:

2.根据权利要求1所述的电力时间序列表征模型无监督构建方法,其特征在于,采用掩蔽策略执行所述掩蔽处理,具体为:

3.根据权利要求1所述的电力时间序列表征模型无监督构建方法,其特征在于,所述数据嵌入层模块结构为卷积层,所述编码器为transformer编码器,和/或,所述解码器为线性层。

4.根据权利要求1所述的电力时间序列表征模型无监督构建方法,其特征在于,所述训练过程的总损失函数l为:

5.根据权利要求4所述的电力时间序列表征模型无监督构建方法,其特征在于,所述基于重建的回归损失具体为:

6.一种电力时间序列分析模型的构建方法,其特征在于,包括:

7.根据权利要求6所述的构建方法,其特征在于,当分析任务为分类任务或者异常检测任务时,所述表征类型为所述电力时间序列表征模型中编码器所输出的整体深层表征以及对所述编码器所输出的细节深层表征进行池化后的特征;

8.一种电力时间序列分析方法,其特征在于,采用如权利要求6或7所述的一种电力时间序列分析模型的构建方法所构建得到的电力时间序列分析模型,进行时间序列分析。

9.一种电子设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至5中任一项所述的一种面向多分析任务的电力时间序列表征模型无监督构建方法、如权利要求6或7所述的一种电力时间序列分析模型的构建方法或如权利要求8所述的一种电力时间序列分析方法。

10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至5中任一项所述的一种面向多分析任务的电力时间序列表征模型无监督构建方法、如权利要求6或7所述的一种电力时间序列分析模型的构建方法或如权利要求8所述的一种电力时间序列分析方法。


技术总结
本发明属于时间序列表征学习领域,具体涉及一种面向多分析任务的电力时间序列表征模型无监督构建方法,包括:对每个初始电力时间序列数据进行掩蔽处理,生成掩蔽部分互补且长度均同原始数据的一对掩蔽数据作为一个训练样本;训练数据嵌入层、编码器得到时间序列表征模型;在训练过程中将每对掩蔽数据中的两个掩蔽数据分别输入参数共享的两个网络架构中:数据嵌入层用于生成每个掩蔽数据的潜在表征;编码器用于基于潜在表征提取包含整体深层表征和细节深层表征的深层表征;解码器用于基于数据深层表征对对应初始数据重建;基于潜在表征和整体深层表征计算重建损失和基于上下文一致性和时间一致性的对比损失。本发明实现不同分析任务间模型共享。

技术研发人员:王非,周思颖
受保护的技术使用者:华中科技大学
技术研发日:
技术公布日:2024/12/17
转载请注明原文地址:https://xbbs.6miu.com/read-25692.html