小波多尺度分段直接校正法用于近红外光谱模型传递的研究
摘 要 分段直接校正(PDS)算法是目前最常用的近红外光谱模型传递方法,但它在对整个谱区进行校正时,始终依赖大小不变的传递窗口。为了提高传递效果,本研究在PDS基础上提出了一种新的算法——小波多尺度分段直接校正法(WMPDS),用于混胺的近红外光谱模型传递,并详细讨论了模型的传递参数和传递结果。本算法首先对混胺的近红外光谱进行小波分解,然后用PDS算法对每一层小波系数进行传递,PDS窗口随小波系数频率的提高进行动态调整,最后进行小波重构。本算法能有效消除不同仪器之间的大部分差异,大幅度地改善分析精度,与传统的PDS相比,传递效果明显提高。
关键词 近红外光谱; 模型传递; 小波多尺度分段直接校正
2010-05-21收稿;2010-12-11接受
本文系国防预研基金项目(No.9140A19050106JB1409)资助
* E-mail:juxiangw@163.com
1 引 言
模型传递也称仪器标准化,是指经过数学处理后,使一台仪器上的模型能够用于另一台仪器,从而减少重新建模所带来的巨大工作量,实现样品和数据资源的共享[1]。目前,模型传递大多使用的是有标模型传递算法,主要有S/B算法[2]、Shenk′s算法[3]、普鲁克算法[4]、直接校正(DS)算法[5]、分段直接校正(PDS)算法[6,7]和目标因子法[8]等,其中应用最为普遍和最为成功的方法是PDS算法。近年来,小波分析作为一种新的时频分析方法,广泛应用于多个领域。小波变换(WT)结合PDS用于模型传递的算法已有报道,田高友等[9]用小波变换对原始光谱进行压缩,然后对压缩后的光谱进行传递;谭超等[10]在PDS传递时,用小波对原始光谱进行分解,光谱去噪后对剩余小波系数进行逐个传递,最后进行重构与预测。他们强调的是小波在预处理中的压缩和去噪能力,小波主要起预处理的作用。本研究充分利用小波变换多分辨率分析的特点,建立了一种新的模型传递算法: 将WT和PDS充分融合,利用小波在空间域具有的表征信号局部特性的能力,将仪器间差异分解到各层小波系数中,调整各层的PDS窗口宽度实现最佳传递效果。
2 原理与算法
小波分析是由法国工程师J. Morlet在1974年提出的[11],它克服了短时傅里叶变换单分辨率上的缺陷,具有多分辨率分析的特点。PDS算法是一种多元全谱区模型传递算法,它的基本假设是实际光谱数据的变化只局限于一个小的区域,选择合适的窗口能对各个波长点的光谱进行校正。
小波多尺度分段直接校正法的基本思想:对于已知样品,在不同近红外光谱仪测得的近红外光谱存在较大差异。由于产生差异原因的多样性,这些差异强度及体现在谱区的范围有很大不同,有的尖锐,有的平缓,有些是局部性,有些是全谱区。由于小波变换的多分辨率分析的特点,因此可以利用小波变换将这些不同类型的差异分解到各层的小波系数中。在低频部分,小波系数比较相似,差异一般局限在一小块谱区内,可选择较小的PDS窗口宽度进行校正;在高频部分,小波系数差异较大,差异体现在较宽的谱区内,需选择较大的PDS窗口宽度进行校正。WMPDS算法就是根据需要,选择不同的小波函数和分解层数,将仪器间差异分解到各层小波系数中,然后动态调整PDS窗口宽度在各层小波系数进行校正。
小波多尺度分段直接校正法的具体步骤:(1)在校正集中选择有代表性的样品作为转换集样品,在光谱检测和建模的主仪器获得其光谱AM,在其它光谱仪(从仪器)上获得其光谱AS; (2)选定母小波和小波分解的层数n,则光谱信号x可分解为
x≈v0+w0+w1+……+wn(1)
根据(1)式,可以对AM和AS进行分解:
AM≈AM,v0+AM,w0+AM,w1+……+AM,wn(2)
AS≈AS,v0+AS,w0+AS,w1+……+AS,wn(3)
(3)用PDS算法计算AM,v0和AM,v0(v0项对应的矩阵)间的转换矩阵,PDS算法的窗口宽度选为f0。wi对应的矩阵也用PDS算法计算转换矩阵,窗口宽度由公式fi=2if0计算得到; (4)在从仪器上测定预测集的近红外光谱,按步骤(2)选择的参数进行分解,用步骤(3)中的转换矩阵对各层小波系数进行校正,然后对校正后的小波系数进行重构。
3 实验部分
3.1 样品性质的测定及光谱的采集
混胺是一种液体燃料,由三乙胺和二甲苯胺各约50%组成,易挥发、易吸湿,在贮存过程中各成分会发生变化。本研究从各化验室采集不同存贮周期的混胺样品68份,用0.5 mol/L HCl和0.5 mol/L NaOH标准溶液,采用返滴定电位分析测定二甲苯胺含量。
分别用两台TH2000型近红外光谱仪(分别记作TH2000a和TH2000b,北京英贤公司)测定采集到的混胺样品的光谱。近红外光谱配备2048 象元线形阵列CCD 检测器,分辨率优于1.5 nm,光谱采集范围700~1100 nm,数据间隔0.2 nm。测量时将混胺样品倒入5 cm玻璃样品池,稳定8 min,以空气为参比进行光谱扫描,扫描10次取平均值。
第6期王菊香等: 小波多尺度分段直接校正法用于近红外光谱模型传递的研究
3.2 评价参数
采用校正标准偏差(SEC)、预测标准偏差(SEP)和决定系数(R2)评价PLS模型的质量,当SEC和SEP较小且比较接近时,PLS模型精度较高,稳健性较好。采用光谱平均差异(ARMS)评价传递性能[9]。ARMS能反映不同仪器间的光谱差异,ARMS越大,仪器差异越明显。
4 结果与讨论
4.1 主仪器上PLS模型的建立
将68个混胺样品,按二甲苯胺的含量进行排序,然后每间隔4个选1个作为预测集样品,选出14个作为预测集,剩下54个作为校正集,两台仪器的校正集和验证集的样品相应一致。在两台仪器上分别建立PLS模型,对预测集的组分含量进行预测。建模过程中采用“留一”交叉验证法确定最佳主成分数,模型参数和预测结果如表1所示。由表1可知,两台仪器对混胺的各组分预测的R2都大于0.98,SEC和SEP比较小且比较接近,说明两台仪器的性能能达到分析要求。本实验选择TH2000b作为主仪器,TH2000a作为光谱模型传递从仪器。 4.2 转换集样品的选择
在有标样的模型传递中,需要选择转换集样品,根据所选样品计算转换矩阵。转换集样品数对模型传递效果有影响。转换集中样品数太少,转换矩阵包含的转换信息不充分;标样数太多,使实际应用变得复杂。本研究采用K/S算法,从主仪器的校正集中选取标准样品。通过ARMS对标样数作图确定合适的标样数。
图1为从仪器的光谱传递后的ARMS随标样数的变化趋势图。随着标样数的增多,ARMS逐渐下降;当标样数增至5时,ARMS变化幅度趋于平稳。因此,标样数选取5。
图1 预测集的ARMS随转换集样品数的变化
Fig.1 Changs of average of root mean square(ARMS) with standard sample numbers
4.3 模型传递参数的选择
采用“db4”作为母小波对混胺的近红外光谱进行小波分解,选择WMPDS算法的传递参数。对于WMPDS算法,参数的选择主要有小波的分解层数w 和PDS窗口宽度f(即WMPDS算法步骤(3)中的f0)。在PDS算法进行传递时,如果f过小,选定的光谱数据会遗漏仪器间的差异,传递性能较差;如果f过大,选定的光谱数据将含有与仪器无关的信息,不仅计算量大,而且存在“过校正”现象,传递性能变差。小波分解的层数与分析的精度要求及光谱的信噪比有关。本研究考察小波分解层数的变化范围为1~6,PDS窗口宽度的范围为3~17,间隔为2点。用WMPDS算法校正预测集在从仪器上测定的光谱,ARMS随两者的变化如表2所示。当固定w时,ARMS随f增加而减小,在某个宽度达到最小。然后, ARMS随f增加而增大;当固定f时,ARMS随w的变化也是先减小后增大,存在极小值。WMPDS的最佳参数为w=4,f=13。
4.4 模型传递结果分析 图2 WMPDS传递前后的近红外光谱图
Fig. 2 NIR spectra of mixed amine before and after calibration transfer by WMPDS
图2为混胺样品在主仪器和从仪器上测定的光谱及用WMPDS算法校正后的光谱,其中WMPDS的参数为w=4,f=13。观察在主、从仪器上测量得到的样品的光谱图,可以看出两台仪器测量的光谱之间的差异是非常明显的;经过WMPDS校正后,光谱差异不明显。
为了进一步说明WMPDS的传递效果,分别用主仪器模型对预测集在从仪器上测得的光谱和经过WMPDS算法校正过后的光谱进行预测,预测结果如表3所示。经WMPDS校正后,水分含量的SEP由0.110降到0.044,R2由0.365提高到0.894;三乙胺含量的SEP由0.881降到0.368,R2由0.605提高到0.933;二甲苯胺含量的SEP由0.769降到0.425,R2由0.799提高到0.938。结果表明: WMPDS能明显改善模型的分析精度。图3为经WMPDS传递前后三乙胺含量预测值与标准方法测定值的相关图。经WMPDS校正后,对预测集的预测效果明显提高。
Fig.3 Correlation of triethylamine between test and NIR predicted before and after calibration transfer by WMPDS
4.5 与PDS传递结果的比较
PDS算法的校正步骤:采用K/S算法在校正集中选择转换样品集,通过PDS算法计算转换矩阵,然后在对预测集的光谱进行校正,转换集大小和PDS宽度通过ARMS最小的原则选出。在PDS校正的过程中,选择的转换集大小为5,窗口宽度为13,与WMPDS的最优参数w=4,f=13比较可知,WMPDS的传递过程相对于PDS并未简化。分别用PDS算法和WMPDS算法对预测集在从仪器测得的光谱进行模型转移,然后在主仪器的模型上对混胺的各组分进行预测,预测结果如表4所示。
由表4可知,无论是对水分含量,还是对三乙胺含量或二甲苯胺含量的预测,WMPDS的传递精度均好于PDS。说明在WMPDS算法中,通过小波变换把不同差异(可以理解为频率)分解,用动态的窗口宽度进行转移后,传递结果优于固定窗口宽度PDS算法。
综上可知:(1)WMPDS算法用于混胺的近红外光谱模型传递,能有效扣除不同近红外光谱仪之间的差异,提高模型分析精度,实现不同仪器间模型的共享。(2)与传统的PDS算法相比,WMPDS的传递过程未得到优化,但传递精度显著提高。
References
1 ZHANG Xue-Bo, FENG Yan-Chuan, HU Chang-Qin(张学博,冯艳春,胡昌勤). Chin. J. Plarm. Anal.(药物分析杂志), 2009, 29(8): 1390~1399
2 CHU Xiao-Li, YUAN Hong-Fu, LU Wan-Zhen(褚小立,袁洪福,陆婉珍). Spectroscopy and Spectral Analysis(光谱学与光谱分析), 2001, 21(6): 881~885
3 LU Wan-Zhen(陆婉珍). Medern Analysis Technique of NIR(现代近红外光谱分析技术). Beijing(北京): Sinica Petro Chemistry Press(中国石化出版社), 2007: 89
4 CHU Xiao-Li, YUAN Hong-Fu, LU Wan-Zhen(褚小立,袁洪福,陆婉珍). Chinese J. Anal. Chem.(分析化学), 2002, 30(1): 114~119
5 LI Qing-Bo, ZHANG Guang-Jun, XU Ke-Xin, WANG Yan(李庆波,张广军,徐可欣,汪 彦). Spectroscopy and Spectral Analysis(光谱学与光谱分析), 2007, (5): 873~876
6 Griffiths M L, Svozil D, Worsfold P, Evans E H. Journal of Analytical Atomic Spectrometry, 2006, 21(10): 1045~1052
7 Tortajada-Genaro L A, Campins-Falco P. Talanta, 2007, 72(3): 1004~1012
8 WANG Yan-Bin, YUAN Hong-Fu, LU Wan-Zhen(王艳斌,袁洪福,陆婉珍). Spectroscopy and Spectral Analysis(光谱学与光谱分析), 2005, 25(3): 398~401
9 TIAN Gao-You, CHU Xiao-Li, YUAN Hong-Fu, LU Wan-Zhen(田高友,褚小立,袁洪福,陆婉珍). Chinese J. Anal. Chem.(分析化学), 2006, 34(7): 927~932
10 TAN Chao, QIN Xin, WU Tong(谭 超,覃 鑫,吴 同). Computers and Applied Chemistry(计算机与应用化学), 2009, 26(5): 645~648
11 ZHANG Rui-Feng(张瑞丰). Wavelet Analysis and Project Application with Matlab(Matlab小波分析与工程应用). Beijing(北京): National Defense Industry Press(国防工业出版社), 2008: 5~10
Application of Wavelet Multi-Scale Piecewise Direct Standardization on
Near Infrared Analysis Calibration
WANG Ju-Xiang1, LI Hua2, XING Zhi-Na1, GUO Heng-Guang1
1(Department of Airborne Vehicle Engineering, Naval Aeronautical and Astronautical, Yantai 264001)
2(The 91388th Unit PLA, Zhanjiang 524000)
Abstract Piecewise direct standardization (PDS) is the most popular method on near infrared analysis calibration transfer. One of the disadvantages of PDS is that the window widths are the same in the whole near infrared (NIR) spectral wavelengths as the window width is too large in some spectra region and too small in the others. A new calibration transfer method based on PDS was proposed to improve the calibrated results, the new method is wavelet multi-scale piecewise direct standardization (WMPDS). It was used for calibration transfer in NIR analysis of mixed amine. Wavelet transfer (WT) was conducted to discompose NIR data and then PDS was applied to correct the wavelet coefficients. The window widths of PDS were changed as the wavelet coefficients changed and the reconstruction of the coefficient was next to the correction of PDS. WMPDS can well correct the differences between instruments and improve analytical accuracy greatly. The performance of WMPDS is better than that of PDS in NIR calibration transfer.
Keywords Near infrared; Calibration transfer; Wavelet multi-scale piecewise direct standardization
(Received 21 May 2010; accepted 11 December 2010)
下一篇:工程测量在城市建设中的应用分析