本技术涉及计算机，尤其涉及一种长文本处理方法、装置、电子设备及存储介质。
背景技术：
1、随着基于大规模语料库的预训练语言模型(large language model，llm)的兴起，其在长文本处理上的应用场景也越来越得到重视，包括但不限于以下几个方面：
2、1、专业文献阅读与分析：在科研、医学、法律等领域，专业人士需要阅读和理解大量的专业文献和报告，这些文献往往篇幅很长，需要模型能够处理和理解长文本。
3、2、长篇书籍和文档：对于需要快速获取长篇书籍或文档摘要的用户，长文本处理能力可以帮助他们迅速把握核心内容。
4、3、内容创作与编辑：在内容创作领域，如小说创作、剧本编写等，长文本处理能力可以帮助作者整理思路、生成创意或校对文稿。
5、传统的llm基座transformer架构在处理长文本时存在以下问题：资源开销大：每个token对应一组q、k、v特征，导致计算和存储成本高昂；长上下文难以处理：随着序列长度增加，计算复杂度呈平方级增长，难以处理超长文本。
技术实现思路
1、为了解决上述技术问题或者至少部分地解决上述技术问题，本技术提供了一种长文本处理方法、装置、电子设备及存储介质。
2、第一方面，本技术提供了一种长文本处理方法，包括：
3、获取目标长文本中当前词元对应的当前键特征、当前值特征和当前查询特征，以及，上一词元对应的第一全局状态特征；
4、将所述当前键特征、所述当前值特征和所述第一全局状态特征输入编码器中，以使所述编码器输出第二全局状态特征，所述第二全局状态特征包括：所述当前词元及所述当前词元之前所有词元的高层语义信息；
5、将所述第二全局状态特征与所述当前查询特征输入解码器中，以使所述解码器输出所述当前词元对应的词元表示。
6、可选地，所述第一全局状态特征包括：第一全局键特征和第一全局值特征，将所述当前键特征、所述当前值特征和所述第一全局状态特征输入编码器中，以使所述编码器输出第二全局状态特征，包括：
7、所述编码器基于所述当前键特征、所述当前值特征、所述第一全局键特征和第一全局值特征确定所述当前词元及所述当前词元之前所有词元的高层语义信息，以作为所述第二全局状态特征，并输出。
8、可选地，所述编码器基于所述当前键特征、所述当前值特征、所述第一全局键特征和第一全局值特征确定所述当前词元及所述当前词元之前所有词元的高层语义信息，以作为所述第二全局状态特征，包括：
9、所述编码器将所述当前键特征和所述第一全局键特征进行拼接处理，得到拼接键特征；
10、所述编码器将所述当前值特征和所述第一全局值特征进行拼接处理，得到拼接值特征；
11、所述编码器将所述拼接键特征和所述拼接值特征输入第一多层感知机模块，得到所述第二全局状态特征。
12、可选地，所述第二全局状态特征包括：第二全局键特征和第二全局值特征，将所述第二全局状态特征与所述当前查询特征输入解码器中，以使所述解码器输出所述当前词元对应的词元表示，包括：
13、所述解码器根据所述当前查询特征和所述第二全局键特征确定当前词元对应的高层语义信息权重；
14、所述解码器基于所述高层语义信息权重与所述第二全局值特征确定所述当前词元对应的词元表示。
15、可选地，所述解码器根据所述当前查询特征和所述第二全局键特征确定当前词元对应的高层语义信息权重，包括：
16、所述解码器将所述当前查询特征和所述第二全局键特征进行拼接处理，得到拼接特征；
17、所述解码器将所述拼接特征输入第二多层感知机模块，得到所述当前词元对应的高层语义信息权重。
18、可选地，所述解码器基于所述高层语义信息权重与所述第二全局值特征确定所述当前词元对应的词元表示，包括：
19、所述解码器将所述高层语义信息权重与所述第二全局值特征按位相乘，得到所述当前词元对应的词元表示。
20、可选地，获取目标长文本中当前词元对应的当前键特征、当前值特征和当前查询特征，包括：
21、获取目标长文本，对所述目标长文本进行分词，得到多个词元；
22、确定每个所述词元对应的特征向量；
23、将每个所述词元对应的特征向量与键矩阵进行矩阵运算，得到所述当前键特征；
24、将每个所述词元对应的特征向量与值矩阵进行矩阵运算，得到所述当前值特征；
25、将每个所述词元对应的特征向量与查询矩阵进行矩阵运算，得到所述当前查询特征。
26、第二方面，本技术提供了一种长文本处理装置，包括：
27、获取模块，用于获取目标长文本中当前词元对应的当前键特征、当前值特征和当前查询特征，以及，上一词元对应的第一全局状态特征；
28、编码器输入模块，用于将所述当前键特征、所述当前值特征和所述第一全局状态特征输入编码器中，以使所述编码器输出第二全局状态特征，所述第二全局状态特征包括：所述当前词元及所述当前词元之前所有词元的高层语义信息；
29、解码器输入模块，用于将所述第二全局状态特征与所述当前查询特征输入解码器中，以使所述解码器输出所述当前词元对应的词元表示。
30、可选地，所述第一全局状态特征包括：第一全局键特征和第一全局值特征，所述编码器输入模块包括：
31、第一确定单元，用于所述编码器基于所述当前键特征、所述当前值特征、所述第一全局键特征和第一全局值特征确定所述当前词元及所述当前词元之前所有词元的高层语义信息，以作为所述第二全局状态特征，并输出。
32、可选地，所述第一确定单元还用于：
33、所述编码器将所述当前键特征和所述第一全局键特征进行拼接处理，得到拼接键特征；
34、所述编码器将所述当前值特征和所述第一全局值特征进行拼接处理，得到拼接值特征；
35、所述编码器将所述拼接键特征和所述拼接值特征输入第一多层感知机模块，得到所述第二全局状态特征。
36、可选地，所述第二全局状态特征包括：第二全局键特征和第二全局值特征，所述解码器输入模块包括：
37、第二确定单元，用于所述解码器根据所述当前查询特征和所述第二全局键特征确定当前词元对应的高层语义信息权重；
38、第三确定单元，用于所述解码器基于所述高层语义信息权重与所述第二全局值特征确定所述当前词元对应的词元表示。
39、可选地，所述第二确定单元还用于：
40、所述解码器将所述当前查询特征和所述第二全局键特征进行拼接处理，得到拼接特征；
41、所述解码器将所述拼接特征输入第二多层感知机模块，得到所述当前词元对应的高层语义信息权重。
42、可选地，所述第三确定单元还用于：
43、所述解码器将所述高层语义信息权重与所述第二全局值特征按位相乘，得到所述当前词元对应的词元表示。
44、可选地，所述获取模块，包括：
45、获取单元，用于获取目标长文本，对所述目标长文本进行分词，得到多个词元；
46、第四确定单元，用于确定每个所述词元对应的特征向量；
47、第一运算单元，用于将每个所述词元对应的特征向量与键矩阵进行矩阵运算，得到所述当前键特征；
48、第二运算单元，用于将每个所述词元对应的特征向量与值矩阵进行矩阵运算，得到所述当前值特征；
49、第三运算单元，用于将每个所述词元对应的特征向量与查询矩阵进行矩阵运算，得到所述当前查询特征。
50、第三方面，本技术提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
51、存储器，用于存放计算机程序；
52、处理器，用于执行存储器上所存放的程序时，实现第一方面任一所述的长文本处理方法。
53、第四方面，本技术提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有长文本处理方法的程序，所述长文本处理方法的程序被处理器执行时实现第一方面任一所述的长文本处理方法的步骤。
54、本技术实施例提供的上述技术方案与现有技术相比具有如下优点：
55、本技术实施例编码器对当前词元的当前键特征和当前值特征进行降维压缩，节省存储及计算资源，解码器可以有效解析高层语义信息，通过编码器-解码器结构能够有效融合长距离的上下文信息，提升模型对长文本的理解能力，可以显著节约训练资源和推理开销。
1.一种长文本处理方法，其特征在于，包括：
2.根据权利要求1所述的长文本处理方法，其特征在于，所述第一全局状态特征包括：第一全局键特征和第一全局值特征，将所述当前键特征、所述当前值特征和所述第一全局状态特征输入编码器中，以使所述编码器输出第二全局状态特征，包括：
3.根据权利要求2所述的长文本处理方法，其特征在于，所述编码器基于所述当前键特征、所述当前值特征、所述第一全局键特征和第一全局值特征确定所述当前词元及所述当前词元之前所有词元的高层语义信息，以作为所述第二全局状态特征，包括：
4.根据权利要求1所述的长文本处理方法，其特征在于，所述第二全局状态特征包括：第二全局键特征和第二全局值特征，将所述第二全局状态特征与所述当前查询特征输入解码器中，以使所述解码器输出所述当前词元对应的词元表示，包括：
5.根据权利要求4所述的长文本处理方法，其特征在于，所述解码器根据所述当前查询特征和所述第二全局键特征确定当前词元对应的高层语义信息权重，包括：
6.根据权利要求4所述的长文本处理方法，其特征在于，所述解码器基于所述高层语义信息权重与所述第二全局值特征确定所述当前词元对应的词元表示，包括：
7.根据权利要求1所述的长文本处理方法，其特征在于，获取目标长文本中当前词元对应的当前键特征、当前值特征和当前查询特征，包括：
8.一种长文本处理装置，其特征在于，包括：
9.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有长文本处理方法的程序，所述长文本处理方法的程序被处理器执行时实现权利要求1-7任一所述的长文本处理方法的步骤。
