本发明属于农业信息，具体为一种基于多源信息融合的西瓜品质分级方法。
背景技术：
1、目前，市场上的西瓜种类繁多，质量参差不齐，其经济价值也会有所不同，对西瓜品质进行售前分级可以提升商品竞争力，促进消费者对西瓜的采购，如何准确识别西瓜品种和评估其质量等级成为亟待解决的问题。
2、现有技术是在采摘与销售过程中依靠人工经验和简单的测量工具进行分级分类，存在识别准确率低、效率低下的问题，智能化、机械化分级分类尚处于研究阶段。因此，迫切需要一种能够自动、准确地识别西瓜品种和评估质量等级的系统，以提高市场监管和消费者选择的效率和准确性。
技术实现思路
1、针对现有技术中存在的上述问题，本发明提出了一种基于多源信息融合的西瓜品质分级方法，设计合理，解决了现有技术的不足，具有良好的效果。
2、一种基于多源信息融合的西瓜品质分级方法，包括以下步骤：
3、s1、获取数据集，包括西瓜图像、敲击西瓜时的声音和振动信号、西瓜表皮温度数据、重量数据、品种、甜度、水分含量、硬度以及品质评分；
4、s2、对s1中的数据集进行数据预处理；
5、s3、构建西瓜品种识别模型、质量指标预测模型和综合评估模型，采用预处理后的数据集分别对三个模型进行训练；
6、所述西瓜品种识别模型的输入为西瓜图像，输出为西瓜品种；所述质量指标预测模型的输入为西瓜图像、敲击西瓜时的声音和振动信号、西瓜表皮温度数据、重量数据，输出为甜度、水分含量和硬度；所述综合评估模型的输入为西瓜品种识别结果和质量指标预测结果，输出为西瓜的品质评分；
7、s4、得到训练好的西瓜品种识别模型、质量指标预测模型和综合评估模型，利用得到的西瓜图像、敲击时的声音和振动信号、表皮温度数据、重量数据，进行西瓜的品质分级。
8、进一步地，所述s1中，分别采用摄像头、双通道麦克风、双通道加速度计、红外温度传感器、称重传感器、便携式糖度计、数显果实硬度计，采集不同品种西瓜的数据；
9、所述摄像头用于拍摄同一西瓜不同位置的三张图像；
10、所述双通道麦克风用于采集敲击西瓜时发出的双通道声音信号；
11、所述双通道加速度计用于采集敲击西瓜时的双通道振动信号；
12、所述红外温度传感器用于测量西瓜表皮温度数据；
13、所述称重传感器用于测量西瓜的重量数据；
14、所述便携式糖度计用于测量西瓜果肉的糖度，将测量结果记录为西瓜的甜度数据；
15、所述数显果实硬度计用于测量西瓜果肉的硬度，将测量结果记录为西瓜的硬度数据；
16、采用烘干法测量西瓜的水分含量，具体为将西瓜切割、称重，烘干至恒重后再次称重，计算水分含量；
17、利用西瓜的品种、甜度、水分含量和硬度，根据设定的西瓜分级标准，进行西瓜品质评分的分级。
18、进一步地，所述s1中，利用双通道麦克风采集声音信号时，设置两个麦克风，麦克风1放置在西瓜顶部和底部之间靠近中间的位置，麦克风2放置在麦克风1的对侧，最终获取两个独立的时间序列声音信号；
19、利用双通道加速度计采集振动信号时，设置两个加速度计，加速度计1和加速度计2分别放置在西瓜的顶部和底部，最终获取两个独立的时间序列振动信号；
20、利用红外温度传感器采集温度数据时，测量西瓜以剖面圆心为中心的四个对称点位置的西瓜表皮温度数据，最终获取4个温度值；
21、利用称重传感器采集重量数据时，连续三次测量西瓜的重量，最终获取3个重量值。
22、进一步地，所述s1中，获取的数据集中，西瓜的品种包括京欣西瓜、无籽西瓜、黑美人、花皮西瓜、黄肉西瓜、迷你西瓜、冬瓜西瓜、小玉西瓜、早春红玉、黑皮无籽西瓜、皇家马兰西瓜、小黄瓜西瓜、雪顶西瓜、喜糖西瓜和查理斯顿灰；
23、西瓜的甜度范围值为5到15°brix，水分含量为85％到95％，硬度1到5n之间；
24、西瓜的品质评分为1-10。
25、进一步地，所述s2具体为：将每个西瓜拍摄的三张图像调整大小为224*224*3；
26、对两个通道的声音信号分别进行时域、频域和时间频率特征提取，分别使用f值和主成分分析法选取两个通道的声音信号的前三个重要特征；
27、对两个通道的振动信号分别进行时域、频域和时间频率特征提取，分别使用f值和主成分分析法选取两个通道的振动信号的前三个重要特征；
28、其中，时域特征包括均值、方差、峰值、均方根值、偏度、峭度；频域特征包括频谱中心、频谱带宽、频谱峰值、频谱滚降点、频率平滑度；时间频率特征包括通过短时傅里叶变换得到的时频特征、梅尔频率倒谱系数、小波变换特征；故每个通道的信号共提取14个特征；
29、对每个西瓜的4个温度值和3个重量值分别求平均值，得到温度平均值和重量平均值。
30、进一步地，所述s3中，基于时间分布的卷积神经网络timedistributed cnn构建西瓜品种识别模型，包括输入层、timedistributed层、卷积块单元、特征融合层和输出层；
31、所述输入层接收三张不同位置的西瓜图像，每张图像大小为(224,224,3)，形成输入张量大小为(3,224,224,3)的rgb图像；利用timedistributed层将卷积操作应用到每一张图像上；
32、所述卷积块单元用于提取每张图像的特征，其包括四个卷积块，卷积块1包括64个卷积核大小为3*3的卷积层、relu激活函数、批量归一化层、大小为2*2的最大池化层；
33、卷积块2包括128个卷积核大小为3*3的卷积层、relu激活函数、批量归一化层、大小为2*2的最大池化层；
34、卷积块3包括256个卷积核大小为3*3的卷积层，relu激活函数、批量归一化层、大小为2*2的最大池化层；
35、卷积块4包括512个卷积核大小为3*3的卷积层，relu激活函数、批量归一化层、大小为2*2的最大池化层；
36、所述特征融合层包括flatten层、全连接层1、全连接层2；
37、所述flatten层用于将卷积块单元输出的三张图像的特征展平并融合，并通过全连接层进一步处理；
38、所述全连接层1包括512个神经元，relu激活函数，dropout层，dropout层的丢弃率为0.5；
39、所述全连接层2包括256个神经元，relu激活函数，dropout层，dropout层的丢弃率为0.5；
40、所述输出层使用softmax激活函数输出15种西瓜品种分别对应的概率，概率最大的为最终的西瓜品种。
41、进一步地，所述s3中，所述质量指标预测模型包括输入层、图像处理分支层、声音和振动特征处理分支层、温度和重量特征处理分支层、特征融合层和输出层；所述声音和振动特征处理分支层包括声音特征处理分支和振动特征处理分支层；
42、所述输入层接收三张不同位置的西瓜图像、两个通道的声音信号各自对应的三个特征、两个通道的振动信号各自对应的三个特征、温度的平均值和重量的平均值；
43、将三张不同位置的西瓜图像，形成张量大小为(3,224,224,3)的rgb图像，输入给图像处理分支层，将两个通道的声音信号对应的六个特征输入给声音特征处理分支层，将两个通道的振动信号对应的六个特征输入给振动特征处理分支层，将温度平均值和重量平均值输入给温度和重量特征处理分支层，将图像处理分支层、声音和振动特征处理分支层和温度和重量特征处理分支层的输出共同输入到特征融合层。
44、进一步地，所述s3中，所述图像处理分支层包括timedistributed层、五个卷积块、特征融合层，特征融合层包括flatten层、全连接层3和全连接层4；利用timedistributed层将卷积操作应用到每一张图像上；
45、卷积块5包括64个卷积核大小为3*3的卷积层、relu激活函数、批量归一化层、大小为2*2的最大池化层；
46、卷积块6包括128个卷积核大小为3*3的卷积层、relu激活函数、批量归一化层、大小为2*2的最大池化层；
47、卷积块7包括256个卷积核大小为3x3的卷积层、relu激活函数、批量归一化层、大小为2*2的最大池化层；
48、卷积块8包括512个卷积核大小为3*3的卷积层、relu激活函数、批量归一化层、大小为2*2的最大池化层；
49、卷积块9包括1024个卷积核大小为3*3的卷积层、relu激活函数、批量归一化层、大小为2*2的最大池化层；
50、所述flatten层用于将卷积块单元输出的三张图像的特征展平并融合；
51、所述全连接层3包括512个神经元、relu激活函数、dropout层，dropout层的丢弃率为0.5；
52、所述全连接层4包括256个神经元，relu激活函数、dropout层，dropout层的丢弃率为0.5；
53、所述声音和振动特征处理分支层包括声音特征分支层和振动特征分支层，所述声音特征分支层包括全连接层5和全连接层6，所述振动特征分支层包括全连接层7和全连接层8；
54、所述全连接层5和全连接层7均包括128个神经元、relu激活函数、dropout层，dropout层的丢弃率为0.3；
55、所述全连接层6和全连接层8均包括64个神经元、relu激活函数、dropout层，dropout层的丢弃率为0.3；
56、所述温度和重量特征处理分支层包括全连接层9，所述全连接层9包括64个神经元、relu激活函数；
57、所述特征融合层包括全连接层10、全连接层11和全连接层12，所述全连接层10包括512个神经元、relu激活函数、dropout层，dropout层的丢弃率为0.5；
58、所述全连接层11包括256个神经元、relu激活函数、dropout层，dropout层的丢弃率为0.5；
59、所述全连接层12包括128个神经元，relu激活函数，dropout层，dropout层的丢弃率为0.5；
60、所述输出层包括3个神经元和线性激活函数，用于输出西瓜的甜度、水分含量和硬度。
61、进一步地，所述s3中，所述综合评估模型包括输入层、多层全连接层和输出层；
62、所述输入层接收西瓜品种识别结果和质量指标预测结果；品种识别结果为由15个数字组成的数组，每个数字代表一种西瓜品种，采用"one-hot编码"的方法，确保数组每次只有一个数字是1，其余都是0；质量指标预测结果为一个由3个数据组成的数组，分别表示西瓜的甜度、水分含量和硬度。
63、所述多层全连接层包括全连接层13、全连接层14、残差连接层1、全连接层15、全连接层16、残差连接层2和全连接层17；
64、所述全连接层13包括512个神经元、relu激活函数、dropout层；
65、所述全连接层14包括256个神经元、relu激活函数、dropout层；
66、所述残差连接层1包括256个神经元、relu激活函数；
67、所述全连接层15包括128个神经元、relu激活函数、dropout层；
68、所述全连接层16包括64个神经元、relu激活函数、dropout层；
69、所述残差连接层2包括64个神经元、relu激活函数；
70、所述全连接层17包括32个神经元、relu激活函数、dropout层；
71、所述输出层包括1个神经元和线性激活函数，输出西瓜的品质评分。
72、本发明所带来的有益技术效果：
73、1、提高分级准确率：本发明通过融合多源信息，如图像信息、糖度数据和硬度信息等，对西瓜的品种和品质进行全面分析。相比于传统的人工经验分级方法，本发明大大提高了分级的准确率，减少了人为误差的影响。
74、2、提升分级效率：本发明采用智能化的算法，使西瓜的分级过程更加自动化和高效化，显著缩短了分级时间，适应大规模农业采摘和销售需求。
75、3、品质可视化：通过多源信息融合技术，本发明能够提供西瓜品质的直观可视化结果，帮助消费者更好地了解西瓜的品质信息，使消费过程更加透明。
76、4、助力市场监管：本发明系统化、标准化的分级方法为市场监管提供了可靠的技术支持，有助于建立统一的西瓜品质分级标准，促进市场的规范化发展。
77、5、增加经济效益：通过准确的品质分级，本发明提高了优质西瓜的市场竞争力，促进了销售量的提升，从而增加了生产者和销售者的经济效益。
1.一种基于多源信息融合的西瓜品质分级方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于多源信息融合的西瓜品质分级方法，其特征在于，所述s1中，分别采用摄像头、双通道麦克风、双通道加速度计、红外温度传感器、称重传感器、便携式糖度计、数显果实硬度计，采集不同品种西瓜的数据；
3.根据权利要求2所述的一种基于多源信息融合的西瓜品质分级方法，其特征在于，所述s1中，利用双通道麦克风采集声音信号时，设置两个麦克风，麦克风1放置在西瓜顶部和底部之间靠近中间的位置，麦克风2放置在麦克风1的对侧，最终获取两个独立的时间序列声音信号；
4.根据权利要求3所述的一种基于多源信息融合的西瓜品质分级方法，其特征在于，所述s1中，获取的数据集中，西瓜的品种包括京欣西瓜、无籽西瓜、黑美人、花皮西瓜、黄肉西瓜、迷你西瓜、冬瓜西瓜、小玉西瓜、早春红玉、黑皮无籽西瓜、皇家马兰西瓜、小黄瓜西瓜、雪顶西瓜、喜糖西瓜和查理斯顿灰；
5.根据权利要求4所述的一种基于多源信息融合的西瓜品质分级方法，其特征在于，所述s2具体为：将每个西瓜拍摄的三张图像调整大小为224*224*3；
6.根据权利要求5所述的一种基于多源信息融合的西瓜品质分级方法，其特征在于，所述s3中，基于时间分布的卷积神经网络timedistributed cnn构建西瓜品种识别模型，包括输入层、timedistributed层、卷积块单元、特征融合层和输出层；
7.根据权利要求6所述的一种基于多源信息融合的西瓜品质分级方法，其特征在于，所述s3中，所述质量指标预测模型包括输入层、图像处理分支层、声音和振动特征处理分支层、温度和重量特征处理分支层、特征融合层和输出层；所述声音和振动特征处理分支层包括声音特征处理分支和振动特征处理分支层；
8.根据权利要求7所述的一种基于多源信息融合的西瓜品质分级方法，其特征在于，所述s3中，所述图像处理分支层包括timedistributed层、五个卷积块、特征融合层，特征融合层包括flatten层、全连接层3和全连接层4；利用timedistributed层将卷积操作应用到每一张图像上；
9.根据权利要求8所述的一种基于多源信息融合的西瓜品质分级方法，其特征在于，所述s3中，所述综合评估模型包括输入层、多层全连接层和输出层；
