本申请涉及自然语言处理，尤其涉及一种音乐描述文本生成方法、装置、电子设备、计算机可读存储介质及计算机程序产品。
背景技术：
1、音乐描述(music caption)文本是对音乐内容的文字描述，具体包括音乐的内容、情感、氛围等方面，在音乐搜索、为听障人士生成字幕、音乐推荐等场景有广泛应用。目前常用的音乐描述生成方案主要是通过使用端到端的神经网络架构的模型来根据输入的音乐输出生成对应的音乐描述文本。虽然端到端神经网络模型在音频特征提取和文本生成效率方面表现较好，但所输出的音乐描述文本的内容在情感和氛围描述的方面的准确性和生动性方面有所不足。
2、上述内容仅用于辅助理解本申请的技术方案，并不代表承认上述内容是现有技术。
技术实现思路
1、本申请的主要目的在于提供一种音乐描述文本生成方法、装置、电子设备、计算机可读存储介质及计算机程序产品，旨在解决传统的神经网络模型输出的音乐描述文本在情感和氛围的描述方面准确性和生动性不足的技术问题。
2、为实现上述目的，本申请提出一种音乐描述文本生成方法，所述的音乐描述文本生成方法包括：
3、获取音乐数据，并获取所述音乐数据对应的初始音乐描述文本；
4、根据所述初始音乐描述文本生成对应的提示词，其中，所述提示词用于表征所述初始音乐描述文本的内容以及对音乐描述文本的情感和/或氛围的描述要求；
5、将所述音乐数据和所述提示词分别对应的向量输入预设的目标多模态大语言模型，通过所述多模态大语言模型输出目标音乐描述文本。
6、在一实施例中，所述根据所述初始音乐描述文本生成对应的提示词的步骤包括：
7、获取音乐描述要求模板，其中，所述音乐描述要求模板用于表征对音乐描述文本的情感和/或氛围的描述要求；
8、将所述音乐描述要求模板与所述初始音乐描述文本进行结合，得到对应的提示词。
9、在一实施例中，所述音乐数据对应的向量为音频特征向量，所述提示词对应的向量为向量表示；
10、所述将所述音乐数据和所述提示词分别对应的向量输入预设的多模态大语言模型的步骤包括：
11、对所述音乐数据进行编码，生成音频特征向量；
12、提取所述提示词的向量表示；
13、将所述音频特征向量和所述向量表示输入到所述多模态大语言模型。
14、在一实施例中，所述获取所述音乐数据对应的初始音乐描述文本的步骤包括：
15、通过卷积神经网络提取所述音乐数据的音频特征向量；
16、将所述音频特征向量输入预设的编解码器架构网络，通过所述编解码器架构网络生成初始音乐描述文本。
17、在一实施例中，所述通过所述多模态大语言模型输出目标音乐描述文本的步骤包括：
18、通过所述多模态大语言模型的多模态变换器架构对所述音乐数据和所述提示词分别对应的向量进行融合，得到融合特征向量；
19、通过所述多模态大语言模型对所述融合特征向量进行识别处理，输出对应的目标音乐描述文本。
20、在一实施例中，所述音乐描述文本生成方法还包括：
21、获取多组训练音乐数据和对应的提示词以及真实音乐描述文本，将各组所述训练音乐数据、所述提示词以及所述真实音乐描述文本组成的数据集划分为训练集、验证集和测试集；
22、通过所述训练集对预设的初始多模态大语言模型进行训练，并通过所述验证集和所述测试集对训练后的初始多模态大语言模型进行性能评估和参数优化；
23、当所述初始多模态大语言模型输出的音乐描述文本的准确率达到预设阈值时，将所述初始多模态大语言模型置为目标多模态大语言模型。
24、此外，本申请还提供一种音乐描述文本生成装置，所述音乐描述文本生成装置包括：
25、数据获取模块，用于获取音乐数据，并获取所述音乐数据对应的初始音乐描述文本；
26、提示词生成模块，用于根据所述初始音乐描述文本生成对应的提示词，其中，所述提示词用于表征所述初始音乐描述文本的内容以及对音乐描述文本的情感和/或氛围的描述要求；
27、文本生成模块，用于将所述音乐数据和所述提示词分别对应的向量输入预设的目标多模态大语言模型，通过所述多模态大语言模型输出目标音乐描述文本。
28、此外，为实现上述目的，本申请还提出一种电子设备，所述设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序配置为实现如上文所述的音乐描述文本生成方法的步骤。
29、此外，为实现上述目的，本申请还提出一种存储介质，所述存储介质为计算机可读存储介质，所述存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上文所述的音乐描述文本生成方法的步骤。
30、此外，为实现上述目的，本申请还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，所述计算机程序被处理器执行时实现如上文所述的音乐描述文本生成方法的步骤。
31、本申请提出了一种音乐描述文本生成方法，在音乐描述文本生成方法中，首先获取音乐数据，并获取所述音乐数据对应的初始音乐描述文本，该初始音乐描述文本可以是需要进一步丰富情感和氛围等方面的描述的文本，再根据所述初始音乐描述文本生成对应的提示词，其中，所述提示词用于表征所述初始音乐描述文本的内容以及对音乐描述文本的情感和/或氛围方面的描述要求，提示词能很好地发挥出多模态大语言模型的潜力与性能，体现对本次生成的音乐描述文本的情感或氛围方面的描述要求，最后将所述音乐数据和所述提示词分别对应的向量输入预设的目标多模态大语言模型，通过所述多模态大语言模型输出目标音乐描述文本，本申请技术方案中结合音频和文本两种模态的信息，提高了多模态大语言模型对音乐数据的理解能力，生成的音乐描述文本会更加全面和有深度，其中的目标多模态大语言模型是预先训练好的能对输入的音乐数据的向量和提示词的向量进行融合和处理的多模态大语言模型，从而生成对音乐数据的情感和氛围方面的描述准确性和生动性更高的目标音乐描述文本，能够更好地反映音乐数据的情感和氛围，提高音乐描述文本的质量。
1.一种音乐描述文本生成方法，其特征在于，所述音乐描述文本生成方法包括：
2.如权利要求1所述的音乐描述文本生成方法，其特征在于，所述根据所述初始音乐描述文本生成对应的提示词的步骤包括：
3.如权利要求1所述的音乐描述文本生成方法，其特征在于，所述音乐数据对应的向量为音频特征向量，所述提示词对应的向量为向量表示；
4.如权利要求1所述的音乐描述文本生成方法，其特征在于，所述获取所述音乐数据对应的初始音乐描述文本的步骤包括：
5.如权利要求1所述的音乐描述文本生成方法，其特征在于，所述通过所述多模态大语言模型输出目标音乐描述文本的步骤包括：
6.如权利要求1至5任一项所述的音乐描述文本生成方法，其特征在于，所述音乐描述文本生成方法还包括：
7.一种音乐描述文本生成装置，其特征在于，所述音乐描述文本生成装置，包括：
8.一种电子设备，其特征在于，所述设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序配置为实现如权利要求1至6中任一项所述的音乐描述文本生成方法的步骤。
9.一种存储介质，其特征在于，所述存储介质为计算机可读存储介质，所述存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至6中任一项所述的音乐描述文本生成方法的步骤。
10.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6任一项所述的方法。
