一种光谱处理及深度学习的光谱定量方法与流程

专利2025-11-03  1


本发明涉及光谱数据处理和建模,尤其是涉及一种光谱处理及深度学习的光谱定量方法。


背景技术:

1、光谱的定量建模即建立样本光谱与真实目标物质含量(组分数)的数学关系,光谱在定量建模过程中,一般都期望光谱的覆盖越全面越好,然而由于被检测的样本在生成和加工过程中,往往存在某一区域的样本很多,而其他的区域的样本非常少,甚至某些区域中没有样本的情况,这样在建模的过程中,往往会存在“长尾”效应。

2、目前光谱分析领域,定量模型一般使用回归的方法,建立光谱变量与真实物质含量之间的定标方程,常用的方法有主元分析(pca)、偏最小二乘(pls)、人工神经网络(ann)。一般对于简单的情况,利用pca提取的主成分的特殊数据,或者利用几个特征峰进行多元线性回归(mlr)即可得到定标方程,较复杂的可利用pls。对于一些非线性较强的光谱,其很难得到的合适的定标方程,此时人工神经网络就是一个不错的选择。定性分析也是近红外光谱分析的一个重要领域,即利用光谱对物质的类别进行判别,此时利用的化学计量学中模式识别的方法,较常用的方法有线性判别分析(lda)、k-最邻近法(knn)、簇类的独立软模式方法(simca)、支持向量机(svm)、ann等。


技术实现思路

1、有鉴于此,本发明提供一种基于pca和三次样条插值相结合的光谱处理方法,所述方法包括以下步骤:

2、步骤一,获取样品的训练光谱矩阵x(n*m)及单一性质矩阵y(n*1)。

3、步骤二,基于所述训练光谱矩阵及所述单一性质矩阵获取主成分光谱矩阵pc’(k*c)和性质向量y’(k*c)。

4、步骤三,建立主成分光谱矩阵pc’(k*c)和性质向量y’(k*1)的mobilenetv2模型。

5、步骤四,将验证数据集光谱数据输入所述mobilenetv2模型,对样品数据性质进行预测。

6、进一步的,所述获取主成分光谱矩阵,包括,

7、利用pca主成分分析方法对光谱协方差矩阵进行pca分解,所述pca分解公式为xxt=u*s*vt。

8、获取主成分光谱矩阵pc(n*c)。

9、利用三次样条插值法进行多式拟合,获取处理后的主成分光谱矩阵pc’(k*c)和性质向量y’(k*1)。

10、进一步的,所述获取主成分光谱矩阵pc(n*c),包括,pca分解后,利用得分矩阵获取前c个成分作为主成分,根据荷载矩阵和原始矩阵,获取其对应的光谱矩阵pc(n*c),计算公式为:pc=x*vt。

11、进一步的,所述利用三次样条插值法进行多式拟合,包括:

12、将性质向量y的每个性质值之间分成m等分,在每一个小区间上,采用分段三次hermite插值法导出插值函数p(x):

13、通过三次样条插值,将原来n个样本的数据,处理为k个样本组成的处理后的主成分光谱矩阵pc’(k*c)和性质向量y’(k*1)。

14、进一步的,所述样条插值法需满足以下条件:

15、(1)在主成分光谱矩阵pc每个小区间[pci-1,pci]上,多项式pi(x)不高于3次;

16、(2)在插值节点pci上,p(x)和被插函数f(x)重合p(x)=f(xi)=yi,即p(x)=f(xi)=yi,i=0,1,……n。

17、(3)在插值区间[a,b]上,p(x)有一阶和二阶连续导数。

18、进一步的,所述mobilenetv2模型的网络输入特征是一个单通道、高度为1、宽度为3的特征,使用二维卷积进行相应处理,所有瓶颈层均为倒残差瓶颈层,卷积核k均为每一层上非pw的卷积核,卷积核大小为1*3。

19、进一步的,所述mobilenetv2模型的全局池化层gap用来获取处理后的主成分光谱矩阵pc’(k*c)对应的输出特征,经过gap后,使用reshape函数变换,进行线性回归获取相应样品的性质值。

20、进一步的,所述对样品数据性质进行预测之后,还包括,建立样品化验值和预测值的回归曲线,对模型预测结果进行评价。

21、本发明还提供一种计算设备,包括:处理器、存储器、通信接口和通信总线,所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信。

22、所述存储器用于存放至少一可执行程序,所述可执行程序使所述处理器执行如前所述的光谱处理及深度学习的光谱定量方法对应的操作。

23、本发明还提供一种计算机存储介质,所述存储介质中存储有至少一可执行程序,所述可执行程序使处理器执行如前所述的光谱处理及深度学习的光谱定量方法对应的操作。

24、本发明通过使用pca和三次样条插值相结合进行光谱处理,并且结合深度学习的mobilenetv2网络,建立一种轻量化、运算速度快、并且可在嵌入式设备运行的定量模型的方法,为近红外光谱数据的泛化和定量模型的建立提供了新的思路。

25、上述说明仅是本发明技术方案的概述,为了能够更清楚了解本发明的技术手段,而可依照说明书的内容予以实施,并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂,以下特举本发明的具体实施方式。



技术特征:

1.一种光谱处理及深度学习的光谱定量方法,其特征在于,所述方法包括以下步骤:

2.根据权利要求1所述的方法,其特征在于,所述获取主成分光谱矩阵,包括,

3.根据权利要求2所述的方法,其特征在于,所述获取主成分光谱矩阵pc(n*c),包括,pca分解后,利用得分矩阵获取前c个成分作为主成分,根据荷载矩阵和原始矩阵,获取其对应的光谱矩阵pc(n*c),计算公式为:pc=x*vt。

4.根据权利要求2所述的方法,其特征在于,所述利用三次样条插值法进行多式拟合,包括:

5.根据权利要求4所述的方法,其特征在于,所述样条插值法需满足以下条件:

6.根据权利要求1所述的方法,其特征在于,所述mobilenetv2模型的网络输入特征是一个单通道、高度为1、宽度为3的特征,使用二维卷积进行相应处理,所有瓶颈层均为倒残差瓶颈层,卷积核k均为每一层上非pw的卷积核,卷积核大小为1*3。

7.根据权利要求6所述的方法,其特征在于,所述mobilenetv2模型的全局池化层gap用来获取处理后的主成分光谱矩阵pc’(k*c)对应的输出特征,经过gap后,使用reshape函数变换,进行线性回归获取相应样品的性质值。

8.根据权利要求1所述的方法,其特征在于,所述对样品数据性质进行预测之后,还包括,建立样品化验值和预测值的回归曲线,对模型预测结果进行评价。

9.一种计算设备,包括:处理器、存储器、通信接口和通信总线,所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信;

10.一种计算机存储介质,所述存储介质中存储有至少一可执行程序,所述可执行程序使处理器执行如权利要求1-8任一项所述的光谱处理及深度学习的光谱定量方法对应的操作。


技术总结
本发明提出一种光谱处理及深度学习的光谱定量方法,针对目前在定量建模过程中光谱较为稀疏和目前深度学习的广泛应用而给出了一种泛化和建模方法,将光谱在进行PCA分解后,通过三次样条插值的方法对主成分进行拟合处理,然后将处理后的主成分空间和性质空间代入MobileNetV2网络进行训练,最终得到一个深度学习的网络模型即为所建立的光谱定量模型,利用该模型可以实现快速轻量化的样品成分分析。

技术研发人员:杜彪,王瑞瑞,王家民,郝璐,周玉山,胡爱琴,徐晓雯,何津,钟子豪,吴抒悦
受保护的技术使用者:北京易兴元石化科技有限公司
技术研发日:
技术公布日:2024/12/17
转载请注明原文地址:https://xbbs.6miu.com/read-27480.html