本发明涉及歌曲创作,尤其涉及一种基于大模型的歌曲创作方法、系统及存储介质。
背景技术:
1、歌曲创作一直是小部分人的领域,对于没接受过音乐教育的人,即使有天分或者灵感,也较难创作出好听的歌曲。为解决这一问题,用于进行歌曲创作的歌曲生成软件应运而生,只需向歌曲生成软件输入部分歌曲信息,歌曲生成软件能自动进行歌曲创作。
2、现有的歌曲创作过程中,歌曲生成软件生成的歌曲风格较为随机,不能匹配用户自身适合的曲风,降低了用户的使用体验。
技术实现思路
1、本发明实施例的目的在于提供一种基于大模型的歌曲创作方法、系统及存储介质,以解决现有技术的歌曲创作过程中,用户使用体验低下的问题。
2、本发明实施例是这样实现的,一种基于大模型的歌曲创作方法,所述方法包括:
3、对用户进行音频采集,得到录入音频,并对所述录入音频进行特征提取,得到音频特征;
4、对所述用户进行歌唱采集,得到歌唱音频,并对所述歌唱音频进行曲风分析,得到曲风分析结果;
5、根据所述曲风分析结果确定目标曲风,并获取所述用户的歌曲描述;
6、将所述歌曲描述、所述音频特征和所述目标曲风输入预训练后的大模型进行歌曲创作,得到输出歌曲。
7、优选的,对所述录入音频进行特征提取,得到音频特征,包括:
8、对所述录入音频进行文本转换,得到音频文本,并分别获取所述音频文本中各文本字符的声母和韵母;
9、获取所述录入音频的音高,并根据所述录入音频的音高确定各文本字符的音高;
10、根据各文本字符的音高、声母和韵母生成字符三元组特征,并对所述字符三元组特征进行特征映射,得到所述音频特征。
11、优选的,对所述歌唱音频进行曲风分析,得到曲风分析结果,包括:
12、对所述歌唱音频进行音频分割,得到分割音频,并根据所述分割音频的时间标识确定原唱音频;
13、计算所述原唱音频与对应所述分割音频之间的音频相似度,并根据所述音频相似度确定所述分割音频的歌唱得分;
14、获取所述分割音频的曲风类型,并根据所述歌唱得分确定各曲风类型的曲风得分,得到所述曲风分析结果。
15、优选的,计算所述原唱音频与对应所述分割音频之间的音频相似度,包括:
16、获取所述分割音频的音调信息,并根据所述音调信息生成用户音轨;
17、计算所述用户音轨与所述原唱音频的标准音轨之间的相似度,得到所述音频相似度。
18、优选的,将所述歌曲描述、所述音频特征和所述目标曲风输入预训练后的大模型进行歌曲创作,得到输出歌曲之前还包括:
19、获取模型训练样本,并将所述模型训练样本中的样本描述、音频样本特征和样本曲风输入大模型进行卷积处理,得到描述卷积特征、音频卷积特征和曲风卷积特征;
20、对所述描述卷积特征、所述音频卷积特征和所述曲风卷积特征进行特征解码,得到预测特征;
21、根据所述预测特征和所述模型训练样本的样本标签确定模型损失,并根据所述模型损失对所述大模型进行参数更新,直至所述大模型收敛,得到所述预训练后的大模型。
22、优选的,对所述描述卷积特征、所述音频卷积特征和所述曲风卷积特征进行特征解码,得到预测特征,包括:
23、对所述描述卷积特征、所述音频卷积特征和所述曲风卷积特征进行特征映射,得到描述映射特征、音频映射特征和曲风映射特征;
24、对所述描述映射特征、所述音频映射特征和所述曲风映射特征进行残差处理,得到描述残差特征、音频残差特征和曲风残差特征;
25、对所述描述残差特征、所述音频残差特征和所述曲风残差特征进行自注意力机制处理,得到融合特征,并对所述融合特征进行反卷积,得到所述预测特征。
26、优选的,将所述歌曲描述、所述音频特征和所述目标曲风输入预训练后的大模型进行歌曲创作,得到输出歌曲之后,还包括:
27、获取用户的歌曲修改信息,并根据所述歌曲修改信息对所述输出歌曲进行修改;
28、将修改后的所述输出歌曲和对应的所述歌曲描述、所述音频特征和所述目标曲风设置为模型微调样本;
29、当所述模型微调样本的样本数量大于数量阈值时,根据所述模型微调样本对所述预训练后的大模型进行参数微调。
30、本发明实施例的另一目的在于提供一种基于大模型的歌曲创作系统,所述系统包括:
31、特征提取模块,用于对用户进行音频采集,得到录入音频,并对所述录入音频进行特征提取,得到音频特征;
32、曲风分析模块,用于对所述用户进行歌唱采集,得到歌唱音频,并对所述歌唱音频进行曲风分析,得到曲风分析结果;
33、根据所述曲风分析结果确定目标曲风,并获取所述用户的歌曲描述;
34、歌曲创作模块,用于将所述歌曲描述、所述音频特征和所述目标曲风输入预训练后的大模型进行歌曲创作,得到输出歌曲。
35、优选的,所述特征提取模块还用于:
36、对所述录入音频进行文本转换,得到音频文本,并分别获取所述音频文本中各文本字符的声母和韵母;
37、获取所述录入音频的音高,并根据所述录入音频的音高确定各文本字符的音高;
38、根据各文本字符的音高、声母和韵母生成字符三元组特征,并对所述字符三元组特征进行特征映射,得到所述音频特征。
39、本发明实施例,通过将歌曲描述、音频特征和目标曲风输入预训练后的大模型进行歌曲创作,能有效地基于用户的音频特征和适合的曲风进行歌曲创作,生成了具备用户个人特色的歌曲,提高了用户的使用体验。
1.一种基于大模型的歌曲创作方法,其特征在于,所述方法包括:
2.如权利要求1所述的基于大模型的歌曲创作方法,其特征在于,对所述录入音频进行特征提取,得到音频特征,包括:
3.如权利要求1所述的基于大模型的歌曲创作方法,其特征在于,对所述歌唱音频进行曲风分析,得到曲风分析结果,包括:
4.如权利要求3所述的基于大模型的歌曲创作方法,其特征在于,计算所述原唱音频与对应所述分割音频之间的音频相似度,包括:
5.如权利要求1所述的基于大模型的歌曲创作方法,其特征在于,将所述歌曲描述、所述音频特征和所述目标曲风输入预训练后的大模型进行歌曲创作,得到输出歌曲之前还包括:
6.如权利要求5所述的基于大模型的歌曲创作方法,其特征在于,对所述描述卷积特征、所述音频卷积特征和所述曲风卷积特征进行特征解码,得到预测特征,包括:
7.如权利要求1所述的基于大模型的歌曲创作方法,其特征在于,将所述歌曲描述、所述音频特征和所述目标曲风输入预训练后的大模型进行歌曲创作,得到输出歌曲之后,还包括:
8.一种基于大模型的歌曲创作系统,其特征在于,所述系统包括:
9.如权利要求8所述的基于大模型的歌曲创作系统,其特征在于,所述特征提取模块还用于:
10.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至7任一项所述方法的步骤。
