本發明屬于遙感影像處理技術領域,具體涉及一種基于迭代聚類的多幅遙感影像共性顯著目標檢測方法。
背景技術:
近年來,衛星技術、遙感技術等不斷發展,人類已經實現了全方位、全天候、多角度的對地觀測。隨著高分辨率遙感衛星的迅速發展,遙感影像的數量也不斷增長。遙感影像目標檢測有助于合理分配后續處理的計算資源,減少后續處理的復雜度。因而成為遙感影像處理技術中的重點研究問題。
現有的遙感影像目標檢測方法可分為自頂向下和自底向上兩大類。一是自頂向下的方法。這類方法首先對已知目標物體的顏色、紋理、亮度等特征進行機器學習,然后根據學習到的特征進行目標檢測。自頂向下的方法需要利用大量先驗知識,因此計算復雜度較高,針對不同目標適應性較差。二是自底向上的方法。此類方法基于圖像的視覺顯著性分析,可以有效提高目標檢測效率。顯著性分析是受人類視覺系統的顯著性注意機制啟發而來,現有的顯著性分析方法可以分為基于生物模型的方法、基于計算模型的方法,以及基于混合模型的方法三類。itti方法(itti)是最為經典的基于生物模型的算法,也是諸多后續顯著性分析方法的基礎。該方法通過計算圖像線性中央-周邊差模仿人類視覺感受野,進行多尺度顏色、亮度和方向特征提取,隨后通過多尺度特征融合得到單一尺度的特征顯著圖,最后通過神經網絡進行特征點選取。基于計算模型的方法中,基于頻率調諧的方法(ft:frequencytuned)首先對圖像進行高斯差分濾波得到圖像低頻信息,然后通過計算圖像低頻信息與原圖像差值得到最終顯著圖。ft方法得到的顯著區域具有良好的邊界。基于混合模型的方法中,基于圖論的方法(gbvs:graphbasedvisualsaliency)通過對圖像的前景和背景元素進行相似性度量,并根據各元素與預設的種子或序列的相似性計算其顯著性。
基于單幅圖像的顯著性分析方法在自然景物圖像以及遙感影像的目標檢測中取得了較好的效果。由于基于單幅圖像的顯著性分析方法不能有效利用圖像間的共性信息,因而所獲得的顯著圖僅標示單張圖像中顯著值較高的區域。但對于一些圖像來說,顯著值較高的區域并不一定是所需的目標區域。尤其對于地物特征較為復雜的遙感影像而言,單幅圖像中很可能出現與目標區域具有相似特征的背景區域或者與目標區域相比具有更高顯著值的背景區域。而基于單幅圖像的顯著性分析方法無法對具有相似或者更高顯著值的背景區域進行有效抑制。
本發明的一個重要特點是:能夠對具有相似地物特征的多幅遙感影像完成共性顯著目標的準確、高效檢測。在具有相似地物特征的多幅遙感影像中,當大多數遙感影像都具有視覺顯著性較高的同一類目標區域時,這一類目標就被稱為共性顯著目標。將共性顯著目標檢測方法引入遙感影像處理領域,利用多幅影像所共有的顯著特征,互相給出參考信息,可以有效抑制這些影像中顯著性較高的背景干擾,從而準確、高效地檢測出多幅遙感影像的共性顯著目標。
本發明已獲得國家自然科學基金項目:“基于聯合顯著性分析的遙感影像感興趣區域提取關鍵技術研究”(編號:61571050)的大力資助。
技術實現要素:
針對以上技術中存在的問題,本發明提供了一種基于迭代聚類的多幅遙感影像共性顯著目標檢測方法。該方法首先計算多幅遙感影像的灰度共生矩陣,獲得灰度共生矩陣的對比度、能量、熵、相關性四個參數,結合遙感影像的長度與寬度,計算超像素數目;然后根據超像素數目對遙感影像完成超像素分割并對分割結果進行k-means聚類,計算類間顯著性,得到影像的初始顯著圖;其次對所有初始顯著圖進行目標分割,將分割結果再次進行基于超像素的k-means聚類并計算類間顯著性,得到影像的最終顯著圖;最后利用閾值分割獲得多幅遙感影像的共性顯著目標。本發明方法在有效抑制背景干擾的同時能夠準確提取多幅遙感影像的共性顯著目標,可用于環境監測、土地規劃等多個領域。本發明主要關注兩個方面:
1)準確地提取多幅遙感影像中的共性顯著目標,提升遙感影像目標檢測精度
2)有效抑制圖像中顯著值較高的背景信息
本發明所采取的技術方案為:首先對多幅遙感影像中的每幅影像分別計算灰度共生矩陣,根據灰度共生矩陣的對比度、能量、熵、相關性四個參數并結合影像的長度與寬度,計算出每幅遙感影像所需的超像素數目;其次,根據得到的超像素數目對多幅遙感影像中的每幅影像進行超像素分割,并對超像素分割結果進行k-means聚類,得到不同地物信息所對應的類,計算類間顯著性,得到多幅遙感影像中每一幅影像的初始顯著圖。再次,對所有初始顯著圖進行目標分割,并將目標分割結果再一次進行基于超像素的k-means聚類,計算類間顯著性,得到多幅遙感影像的最終顯著圖,最后利用閾值分割完成多幅遙感影像共性顯著目標的自動檢測。具體包括以下幾個步驟:
步驟一:對多幅遙感影像中的每幅影像計算灰度共生矩陣,然后利用灰度共生矩陣的對比度、能量、熵、相關性四個參數,同時結合影像的長度與寬度,計算每幅遙感影像所需的超像素數目k;
步驟二:根據步驟一得到的超像素數目對多幅遙感影像中的每幅影像進行超像素分割,得到超像素分割后的多幅遙感影像;
步驟三:計算超像素分割后每幅遙感影像中每個超像素的顏色平均值,將其作為該超像素的顏色均值,基于超像素的顏色均值對超像素分割后的所有遙感影像進行k-means聚類;
步驟四:利用k-means聚類結果統計每一類的顏色直方圖,然后根據顏色直方圖計算類間顏色距離,基于類間顏色距離與空間加權信息計算類間顯著性,最終得到多幅遙感影像中每幅影像的初始顯著圖;
步驟五:對每幅遙感影像的初始顯著圖使用最大類間方差法進行閾值分割,從而將這些初始顯著圖分割為目標區域與背景區域兩類,最終得到多幅遙感影像中每幅影像的初始目標分割影像;
步驟六:將超像素數目k減半,然后對每幅遙感影像的初始目標分割影像進行超像素分割,再次利用k-means算法對超像素分割后的所有初始目標分割影像進行聚類,統計聚類結果中每一類的顏色直方圖,然后根據顏色直方圖計算類間顏色距離,再次基于類間顏色距離與空間加權信息計算類間顯著性,得到多幅遙感影像中每幅影像的最終顯著圖;
步驟七:對每幅影像的最終顯著圖使用最大類間方差方法進行閾值分割,從而提取出多幅遙感影像的共性顯著目標。
本發明方法以超像素為基礎單位進行共性顯著目標檢測,最大限度地保證區域完整性,避免目標檢測碎片化;同時選擇更小的超像素進行基于超像素的迭代聚類,進一步抑制目標周邊具有相似特征的背景區域。
附圖說明
圖1為本發明的流程圖。
圖2為本發明所使用多幅遙感影像中的一幅示例影像。
圖3為本發明示例影像最終顯著圖與目標檢測結果,(a)為示例影像最終顯著圖,(b)為示例影像目標檢測結果。
圖4為本發明方法與ft方法、itti方法、gbvs方法示例影像最終顯著圖結果比較,(a)為ft方法顯著圖,(b)為itti方法顯著圖,(c)為gbvs方法顯著圖,(d)為本發明方法顯著圖。圖5為本發明方法與ft方法、itti方法、gbvs方法示例影像最終目標檢測結果比較,(a)為ft方法目標檢測結果,(b)為itti方法目標檢測結果,(c)為gbvs方法目標檢測結果,(d)為本發明方法目標檢測結果。
圖6為示例影像的地面實況(ground-truth)標識圖。
圖7為本發明方法與ft方法、itti方法、gbvs方法的受試者工作特征roc(roc:receiveroperatingcharacteristic)曲線圖。
具體實施方式
下面結合附圖對本發明做進一步詳細說明。本發明的總體框架如圖1所示,現介紹每一步實現細節。
步驟一:對多幅遙感影像中的每幅影像計算灰度共生矩陣glcm,然后利用灰度共生矩陣的對比度con、能量asm、熵ent、相關性corr四個參數值,同時結合影像的長度m與寬度n,計算遙感影像的超像素數目k;具體過程如下:
遙感影像p的灰度范圍為[0,g-]1,p(i,j)為遙感影像p中坐標為(i,j)i∈{1,…,m},j∈{1,…,n}的像素的灰度值。從圖像中灰度值為x的像素出發,統計與其距離d=1灰度值為y的像素(i+a,j+b)出現的頻度,記為灰度共生矩陣glcm(x,y),其中a2+b2=d2。灰度范圍為[0,g-1]的遙感影像,其灰度共生矩陣glcm(x,y)為g×g的矩陣,glcm(x,y)計算公式如下:
glcm(x,y)={(i,j),(i+a,j+b)∈m×n|p(i,j)=x,p(i+a,j+b)=y}
x∈{0,…,g-1},y∈{0,…,g-1}
灰度共生矩陣glcm的對比度con、能量asm、熵ent、相關性corr四個參數值計算公式如下:
其中μx和σx分別為該圖像灰度分布的均值和標準差且有μx=μy,σx=σy。
利用對比度con、能量asm、熵ent、相關性corr四個參數值,計算得到紋理特征權重w。
然后利用遙感影像長度m、寬度n與紋理特征權重w,計算得到超像素數目k。
步驟二:根據步驟一得到的超像素數目對多幅遙感影像中的每幅遙感影像進行超像素分割,在本發明中使用了slic(slic:simplelineariterativeclustering)超像素分割方法,對遙感影像每一個像素標記所屬超像素sp(i,j)=slick(p(i,j)),k表示超像素數目,得到超像素分割后的多幅遙感影像;
slic超像素分割方法首先在圖像中均勻選擇k個初始種子點,每個超像素以這些種子點為中心,初始大小為m×n/k,然后針對圖像中的其它像素,計算其與k個種子點的距離,并將其分配到距離最近的種子點所屬的超像素,最后更新種子點位置。重復上述過程,直到新的種子點與原種子點的距離小于設定的閾值,算法收斂,得到超像素分割結果。
步驟三:計算超像素分割后每幅遙感影像中每個超像素的顏色平均值,將其作為該超像素的顏色均值,基于超像素的顏色均值對超像素分割后的所有遙感影像進行k-means聚類,得到不同地物信息所對應的類;
k-means聚類方法首先在數據集中選取c個質心,然后對于數據集中的其它數據點,計算其與c個質心的距離,將其分配到距離最近的質心所屬的類,最后對已經得到的c個類重新計算質心。重復上述過程,直到新的質心與原質心的距離小于設定的閾值,算法收斂,得到聚類結果。在本發明方法中取c=3。
步驟四:利用k-means聚類結果統計每一類的顏色直方圖,然后根據顏色直方圖計算類間顏色距離,基于類間顏色距離與空間加權信息計算類間顯著性,最終得到多幅遙感影像中每幅影像的初始顯著圖;具體過程如下:
首先計算步驟三所得到的聚類結果中每一類的顏色直方圖,隨后根據顏色直方圖計算類間顏色距離d(ci,cj)。
其中l表示圖像中不同顏色總數目,fi,l是類ci中第l種顏色在l種顏色總數出現的頻率,fj,l類cj中第l種顏色在l種顏色總數在出現的頻率;
隨后計算空間加權信息
其中d(ci,cj)為類ci與類cj質心的歐式距離,σ2=0.4;r(cj)是類cj的像素數量與影像中像素總數之比。最終根據原遙感影像中每一像素所屬類獲得各個像素顯著值,得到多每幅遙感影像的初始顯著圖。
步驟五:對每幅遙感影像的初始顯著圖使用最大類間方差法進行閾值分割,得到每幅初始顯著圖的最佳分割閾值,從而將這些初始顯著圖分為目標區域與背景區域兩類,以二值圖像bw(i,j)表示。生成的二值圖像與原遙感影像相乘,最終得到多幅遙感影像中每幅影像的初始目標分割影像roi(i,j)。
步驟六:將超像素數目k減半,然后對每幅遙感影像的初始目標分割影像進行超像素分割,再次利用k-means算法對超像素分割后的所有初始目標分割影像進行聚類,統計聚類結果中每一類的顏色直方圖,然后根據顏色直方圖計算類間顏色距離,再次基于類間顏色距離與空間加權信息計算類間顯著性,得到多幅遙感影像中每幅影像的最終顯著圖;
步驟七:對每幅遙感影像的最終顯著圖使用最大類間方差方法進行閾值分割,得到每幅遙感影像最終顯著圖的最佳分割閾值,從而將這些最終顯著圖分為目標區域與背景區域兩類,以二值圖像表示。生成的二值圖像與原遙感影像相乘,得到多幅遙感影像的共性顯著目標。
本發明的效果可通過以下實驗結果與分析進一步說明:
1.實驗數據
實驗所用數據為來自spot5衛星的北京市郊區遙感影像,從影像中剪切若干512×512大小的影像作為實驗數據,對本發明所采用實驗數據示例如圖2所示:
2.對比實驗及實驗評價指標
本發明方法對示例影像的最終顯著圖結果與目標檢測結果如圖3所示。本發明方法對比了傳統的ft方法、itti方法和gbvs方法。從主觀上分別對比了不同方法生成的顯著圖和目標檢測結果,分別如圖4和圖5所示。圖4中,(a)為ft方法生成的顯著圖,(b)為itti方法生成的顯著圖,(c)為gbvs方法生成的顯著圖,(d)為本發明方法生成的顯著圖。圖5中,(a)為ft方法目標檢測結果,(b)為itti方法目標檢測結果,(c)為gbvs方法目標檢測結果,(d)為本發明方法目標檢測結果。
發明還使用roc(roc:receiveroperatingcharacteristic)曲線(又稱受試者工作特征曲線)從客觀上評價上述目標檢測方法。roc曲線是一個展現二值分類器效果的二維平面曲線,橫坐標為假陽性率(falsepositiverate,fpr),縱坐標為真陽性率(truepositiverate,tpr)。
fpr為圖像中被錯誤標記為目標區域的非目標區域所占總非目標區域的比例。tpr為圖像中被正確標記的目標區域所占總目標區域的比例。通過改變對顯著圖的切割閾值,使其在灰度范圍[0-255]內變化,得到一系列二值圖像
圖像的真實目標區域用gt(i,j)表示,fpr與tpr的計算公式為:
圖6為已標識的地面實況(ground-truth)。圖7為roc曲線圖。roc曲線圖中,當fpr值相同時,tpr值越高,表示方法正確檢測的區域越多。從圖中可以看出本發明的方法性能明顯優于ft方法、itti方法與gbvs方法。