一種基于稀疏表示及bp神經網絡技術的土壤近紅外光譜分析方法
【專利摘要】本發明涉及一種基于稀疏表示及BP神經網絡技術的土壤近紅外光譜分析方法，與現有技術相比解決了土壤分析方法無法滿足實際需要的缺陷。本發明包括以下步驟：訓練樣本土壤集的獲取和預處理；構造訓練樣本土壤數據的稀疏字典并獲取訓練樣本的特征向量；將訓練樣本的特征向量作為BP神經網絡的輸入，訓練網絡參數，構建BP神經網絡分類模型；測試樣本土壤集的獲取和預處理；利用訓練樣本土壤數據的稀疏字典構造測試樣本的特征向量，利用訓練好的BP神經網絡分類模型完成對測試樣本土壤成分的分類預測。本發明基于稀疏表示及BP神經網絡框架來進行土壤近紅外光譜分析預測，提高了近紅外光譜土壤主要成分預測的精度和模型的魯棒性。
【專利說明】
一種基于稀疏表示及BP神經網絡技術的土壤近紅外光譜分析 方法
技術領域
[0001] 本發明涉及數據分析技術領域，具體來說是一種基于稀疏表示及BP神經網絡技術 的土壤近紅外光譜分析方法。
【背景技術】
[0002] 我國傳統農業數千年來以精耕細作為核心，農田信息的獲取與解析是現代數字農 業的基礎，而土壤信息又是農田信息的最重要組成部分。可見無論是傳統農業還是現代農 業，都非常重視農田土壤信息的采集。為了合理施肥，近年來我國政府每年投入百億元左右 資金在全國范圍內實施測土配方施肥項目。
[0003] 該項目以土壤測試和肥料田間試驗為基礎，根據作物需肥規律、土壤供肥性能和 肥料效應，在合理施用有機肥料的基礎上，提出氮、隣、鉀及中、微量元素等肥料的施用數 量、施肥時期和施用方法。實施測土配方施肥可實現各種養分平衡供應，滿足作物的需要， 達到提高肥料利用率和減少用量，減少面源污染，減少對地下水的污染，提高作物產量，改 善農產品品質，節省勞力，節支增收的目的。據有關方面研究統計，測土配方施肥項目的實 施在增加產量、減少環境破壞、降低成本等方面都獲得了良好的經濟效益。
[0004] 但是目前該項目存在明顯的缺陷：一，樣本量太少，樣本的代表性令人懷疑;二，采 用傳統化學測試方法獲取土壤信息，費時且費力，檢測速度慢，檢測成本較高，也大大限制 了測土配方項目的推廣和測土配方項目的社會經濟效益。因此，如何能夠快速、實時、準確 獲取與解析農田土壤養分信息這個難題已是數字農業研究中首先要解決的問題。

【發明內容】

[0005] 本發明的目的是為了解決現有技術中土壤分析方法無法滿足實際需要的缺陷，提 供一種基于稀疏表示及BP神經網絡技術的土壤近紅外光譜分析方法來解決上述問題。
[0006] 為了實現上述目的，本發明的技術方案如下：
[0007] -種基于稀疏表示及BP神經網絡技術的土壤近紅外光譜分析方法，包括以下步 驟：
[0008] 訓練樣本土壤集的獲取和預處理;使用光譜儀采集不同訓練土壤樣本集的光譜數 據，對其進行預處理，形成訓練樣本土壤集的光譜特征矩陣；
[0009]構造訓練樣本土壤數據的稀疏字典并獲取訓練樣本的特征向量；
[0010]將訓練樣本的特征向量作為BP神經網絡的輸入，訓練網絡參數，構建BP神經網絡 分類模型；
[0011]測試樣本土壤集的獲取和預處理;使用光譜儀采集測試土壤樣本的光譜數據，對 測試樣本土壤掃描40次取平均值;對測試樣本土壤采用與訓練樣本相同的光譜數據預處理 方法，得到測試土壤樣本的光譜數據；
[0012]利用訓練樣本土壤數據的稀疏字典構造測試樣本的特征向量，利用訓練好的BP神 經網絡分類模型完成對測試樣本土壤成分的分類預測。
[0013] 所述的訓練樣本土壤集的獲取和預處理包括以下步驟：
[0014] 使用光譜儀采集不同訓練土壤樣本集的光譜數據，對各訓練樣本土壤分別掃描40 次取平均值；
[0015] 對光譜數據進行平滑處理；
[0016] 對光譜數據進行多元散射校正處理；
[0017] 對光譜數據進行歸一化處理，構成訓練樣本集的光譜特征矩陣。
[0018] 所述的構造訓練樣本土壤數據的稀疏字典包括以下步驟：
[0019] 采用K均值奇異值分解算法利用訓練樣本土壤數據訓練出適應其稀疏分解的稀疏 字典 DzEcUdydk];
[0020] 設Y為光譜數據矩陣，其每一列代表一個光譜樣本，共計N個樣本，利用K-SVD算法 在已知Y的前提下使目標函數最小：
[0022]稀疏分解過程使用0ΜΡ算法將每個樣本光譜按下式逐一求解其稀疏表示系數，
[0024]字典更新過程每次只更新字典中的一個原子，其他原子及對應稀疏表示系數固 定，此時目標函數的懲罰項變成下式所示：
[0027] 定義叫=!/| 1 r丨(/) # 〇;為所有光譜樣本{yi}在稀疏分解時用到原子dk的索 引群，定義Qk為NX I C0k|矩陣，在（C0k(i)，i)處值為1，其他都為〇;
[0028] 定義4 =卓\，拉=Γ/-Ω*，每=#Ωα-，三者分別為4，Γ/，茍去零收縮后結 果，進一步轉化為：
[0029] ||￡；Ω,-^Ω,||^|Ι^-^4Ι!2
[0030] 將馬進行奇異值分解，則鴰=￡M:rF，取u的第一列作為新的原子d ' k，取v的第一 列和A (1，1)乘積作為新的系數矢量;^ ;
[0031] 不斷重復稀疏分解和字典更新兩個步驟，直到滿足迭代次數或稀疏表示誤差達到 停止條件。
[0032] 所述的構建BP神經網絡分類模型包括以下步驟：
[0033] 根據訓練樣本土壤數據的稀疏字典及訓練樣本集數據獲取樣本的稀疏表示特征； [0034]確定BP神經網絡的輸入層、隱含層及輸出層節點的數目；
[0035 ]激活函數采用S i gmo i d函數，初始化網絡權重參數；
[0036]根據輸入特征不斷修正網絡參數，直至達到結束條件，獲得分類模型。
[0037]有益效果
[0038]本發明的一種基于稀疏表示及BP神經網絡技術的土壤近紅外光譜分析方法，與現 有技術相比基于稀疏表示及BP神經網絡框架來進行土壤近紅外光譜分析預測，提高了近紅 外光譜土壤主要成分預測的精度和模型的魯棒性。
【附圖說明】
[0039]圖1為本發明的順序流程圖。
【具體實施方式】
[0040] 為使對本發明的結構特征及所達成的功效有更進一步的了解與認識，用以較佳的 實施例及附圖配合詳細的說明，說明如下：
[0041] 如圖1所示，本發明所述的一種基于稀疏表示及BP神經網絡技術的土壤近紅外光 譜分析方法，包括以下步驟：
[0042]第一步，訓練樣本土壤集的獲取和預處理。使用光譜儀采集不同訓練土壤樣本集 的光譜數據，對其進行預處理，形成訓練樣本土壤集的光譜特征矩陣。其具體包括以下步 驟：
[0043] (1)使用光譜儀采集不同訓練土壤樣本集的光譜數據，對各訓練樣本土壤分別掃 描40次取平均值。可以采用ASD公司的FieldSpec Pro FR光譜儀獲取不同訓練土壤樣本集 的光譜數據，波長范圍350~2500nm，采樣間隔2nm，為了避免在測量過程中由于自然光造成 的影響，整個光譜檢測是在密封的暗室內進行的，對各訓練樣本土壤分別掃描40次取平均 值。
[0044] (2)對光譜數據進行平滑處理。分析土壤反射光譜發現，光譜曲線并不是光滑的， 這說明光譜數據帶有噪聲，引起的原因有樣品不均勻，暗電流和外界環境引影響等，因而需 對光譜數據進行平滑處理。數據平滑的基本思路是在平滑點的前后各取若干點來進行"平 均"或"擬合"以求得平滑點的最佳估計值。移動平均(Moving average)是一種經典的平滑 方法，替換每個相鄰的觀測對象(包括其本身)作為一個平均值，觀測的數量大小是用戶選 擇的"段大小"為參數。
[0045] (3)對光譜數據進行多元散射校正處理。多元散射校正(Multiplicative Scatter C〇rrecti〇n，MSC)提供了一種減弱由光在不均勾性樣本表面散射引起較大光譜變化差異的 特殊光譜變換方法。MSC是一種常用的光譜數據變換方法，用于補償光譜數據的分散效果， 減少基線漂移情況的發生。在多元散射校正對話框中選擇樣本和變量集矩陣大小以確定校 正的數據范圍領域。
[0046]多元散射校正方法目的是為了補償或者消除光譜數據的分散效果，校正光譜基線 漂移，校正過程如下：
[0047] A、平均光譜
[0049]其中j為波長位置，η為樣本數；
[0050] Β、線性回歸
[0051] At - a, A+b, , / - 1,2,·，"；
[0052] C、MSC 校正
[0054] 式中，A是校正集的光譜矩陣，:^是第j個波長處的光譜平均值，A為第i個樣本散 射校正后得到的光譜ddPh是第i個光譜A,與平均光譜j的線性問歸參數。光譜矩陣A應該 為原始光譜反射率或透射率經過l〇g(I/R)或Kubelka-Munk變換后得到的光譜數據。
[0055] (4)對光譜數據進行歸一化處理，構成訓練樣本集的光譜特征矩陣。標準正態變量 (Standard Normal Variate，SNV)是一種面向行的數學轉換函數，在原始光譜數據基礎上 被變換的新值根據以下公式計算：
[0056] 新值（New value)=(現值（Old value)-均值(mean value))/標準方差（STDEV)。 由于土壤顆粒大小不一，投射到土壤表面的光發生散射，引起光譜誤差，SNV可以消除因土 壤顆粒大小引起的光程變化和校正土壤基線漂移。
[0057]經過上述預處理最終構成訓練樣本土壤集的光譜特征矩陣。
[0058]第二步，構造訓練樣本土壤數據的稀疏字典并獲取訓練樣本的特征向量，構造出 訓練樣本土壤數據的稀疏字典后，輸入訓練樣本土壤集的光譜特征矩陣即可獲得訓練樣本 的特征向量。在此構造訓練樣本土壤數據的稀疏字典采用以下步驟進行：
[0059] (1)采用K均值奇異值分解算法利用訓練樣本土壤數據訓練出適應其稀疏分解的 稀疏字典DztcUdydk];
[0060] 設Y為光譜數據矩陣，其每一列代表一個光譜樣本，共計N個樣本，利用K-SVD算法 在已知Y的前提下使目標函數最小：
[0062]在此K-SVD算法的每一次訓練過程包括稀疏分解和字典更新兩個過程。
[0063] (2)稀疏分解過程使用0ΜΡ算法將每個樣本光譜按下式逐一求解其稀疏表示系數，
[0065] (3)字典更新過程每次只更新字典中的一個原子，其他原子及對應稀疏表示系數 固定，此時目標函數的懲罰項變成下式所示：
[0068] (4)定義砷=丨/丨丨^~^::⑴:^丨為所有光譜樣本丨…丨在稀疏分解時用到原子也 的索引群，定義Q k為NX | cok|矩陣，在（cok(i)，i)處值為1，其他都為〇。
[0069] 定義，三者分別為4，療，苺去零收縮后結 果，進一步轉化為：
[0070] ιιλω,-^ω,ΙΙΗΙ^-^λΙΙζ
[0071 ]將蹲進行奇異值分解，則每=，取1]的第一列作為新的原子(1'1{，取￥的第一 列和Δ (1，1)乘積作為新的系數矢量；4。
[0072] (5)不斷重復稀疏分解和字典更新兩個步驟，直到滿足迭代次數或稀疏表示誤差 達到停止條件。
[0073]第三步，將訓練樣本的特征向量作為ΒΡ神經網絡的輸入，訓練網絡參數，構建ΒΡ神 經網絡分類模型。其中，構建ΒΡ神經網絡分類模型包括以下步驟：
[0074] (1)根據訓練樣本土壤數據的稀疏字典及訓練樣本集數據獲取樣本的稀疏表示特 征。
[0075] (2)確定ΒΡ神經網絡的輸入層、隱含層及輸出層節點的數目。
[0076] (3)激活函數采用Sigmoid函數，初始化網絡權重參數。
[0077] (4)根據輸入特征不斷修正網絡參數，直至達到結束條件，獲得分類模型。
[0078]第四步，測試樣本土壤集的獲取和預處理。前步驟中已通過訓練樣本對相關參數、 環境進行分類、分析和學習，使用光譜儀采集測試土壤樣本的光譜數據，對測試樣本土壤掃 描40次取平均值。對測試樣本土壤采用與訓練樣本相同的光譜數據預處理方法，得到測試 土壤樣本的光譜數據。
[0079] 第五步，利用訓練樣本土壤數據的稀疏字典構造測試樣本的特征向量，利用訓練 好的BP神經網絡分類模型完成對測試樣本土壤成分的分類預測。
[0080] 以上顯示和描述了本發明的基本原理、主要特征和本發明的優點。本行業的技術 人員應該了解，本發明不受上述實施例的限制，上述實施例和說明書中描述的只是本發明 的原理，在不脫離本發明精神和范圍的前提下本發明還會有各種變化和改進，這些變化和 改進都落入要求保護的本發明的范圍內。本發明要求的保護范圍由所附的權利要求書及其 等同物界定。
【主權項】
1. 一種基于稀疏表示及BP神經網絡技術的±壤近紅外光譜分析方法，其特征在于，包 括W下步驟： 11) 訓練樣本±壤集的獲取和預處理;使用光譜儀采集不同訓練±壤樣本集的光譜數 據，對其進行預處理，形成訓練樣本±壤集的光譜特征矩陣； 12) 構造訓練樣本±壤數據的稀疏字典并獲取訓練樣本的特征向量； 13) 將訓練樣本的特征向量作為BP神經網絡的輸入，訓練網絡參數，構建BP神經網絡分 類模型； 14) 測試樣本±壤集的獲取和預處理;使用光譜儀采集測試±壤樣本的光譜數據，對測 試樣本±壤掃描40次取平均值;對測試樣本±壤采用與訓練樣本相同的光譜數據預處理方 法，得到測試±壤樣本的光譜數據； 15) 利用訓練樣本±壤數據的稀疏字典構造測試樣本的特征向量，利用訓練好的BP神 經網絡分類模型完成對測試樣本±壤成分的分類預測。2. 根據權利要求1所述的一種基于稀疏表示及BP神經網絡技術的±壤近紅外光譜分析 方法，其特征在于，所述的訓練樣本±壤集的獲取和預處理包括W下步驟： 21) 使用光譜儀采集不同訓練±壤樣本集的光譜數據，對各訓練樣本±壤分別掃描40 次取平均值； 22) 對光譜數據進行平滑處理； 23) 對光譜數據進行多元散射校正處理； 24) 對光譜數據進行歸一化處理，構成訓練樣本集的光譜特征矩陣。3. 根據權利要求1所述的一種基于稀疏表示及BP神經網絡技術的±壤近紅外光譜分析 方法，其特征在于，所述的構造訓練樣本±壤數據的稀疏字典包括W下步驟： 31) 采用K均值奇異值分解算法利用訓練樣本±壤數據訓練出適應其稀疏分解的稀疏 字典 D=[did2-，dk]; 設Y為光譜數據矩陣，其每一列代表一個光譜樣本，共計N個樣本，利用K-SVD算法在已 知Y的前提下使目標函數最小：32) 稀疏分解過程使用OMP算法將每個樣本光譜按下式逐一求解其稀疏表示系數，33) 字典更新過程每次只更新字典中的一個原子，其他原子及對應稀疏表示系數固定， 此時目標函數的懲罰項變成下式所示：其4表示去掉第k個原子dk后系數表示的誤差； 34) 定義巧=.!/!1.;/'<,^，^(/)*0!.為所有光譜樣本^1}在稀疏分解時用到原子(11^的索 引群，定義Ω功NX I c〇k|矩陣，在（c〇k(i)，i)處值為1，其他都為0; 定_^,Ξ者分別為4，璋，時去零收縮后結果， 進一步轉化為：將五!進行奇異值分解，則巧=1/Δ戶，取U的第一列作為新的原子d'k，取V的第一列和Δ (1，1)乘積作為新的系數矢量4 ; 35)不斷重復稀疏分解和字典更新兩個步驟，直到滿足迭代次數或稀疏表示誤差達到 停止條件。4.根據權利要求1所述的一種基于稀疏表示及BP神經網絡技術的±壤近紅外光譜分析 方法，其特征在于，所述的構建BP神經網絡分類模型包括W下步驟： 41) 根據訓練樣本±壤數據的稀疏字典及訓練樣本集數據獲取樣本的稀疏表示特征； 42) 確定BP神經網絡的輸入層、隱含層及輸出層節點的數目； 43) 激活函數采用Sigmoid函數，初始化網絡權重參數； 44) 根據輸入特征不斷修正網絡參數，直至達到結束條件，獲得分類模型。
【文檔編號】G06K9/62GK106096656SQ201610416843
【公開日】2016年11月9日
【申請日】2016年6月7日 公開號201610416843.9, CN 106096656 A, CN 106096656A, CN 201610416843, CN-A-106096656, CN106096656 A, CN106096656A, CN201610416843, CN201610416843.9
【發明人】王儒敬, 陳紅波, 謝成軍, 張潔, 李 瑞, 陳天嬌, 宋良圖, 汪玉冰
【申請人】中國科學院合肥物質科學研究院