一種非監督的基于超像素和目標發現機制的圖像分割方法
【技術領域】
[0001] 本發明涉及一種非監督的基于超像素和目標發現機制的圖像分割方法，適用
[0002] 于圖片的協同分割、用戶照片的感興趣目標提取以及圖片分類識別等領域。
【背景技術】
[0003] 在計算機視覺領域，自下而上的非監督圖像分割是一個基礎而又經典的難題，它 的解決能夠對其他諸如目標識別、物體分類等眾多圖像處理問題起到很好的輔助作用。在 實際應用中，智能監控、醫療診斷、機器人技術與智能機器、工業自動化乃至軍事制導等領 域都與圖像分割有著緊密的聯系。隨著互聯網浪潮的興起，處理大批量的多媒體數據（例 如圖像、視頻等）已成為人們迫切的需求。如何能夠從大量的圖像信息中提取出人們感興 趣的目標物體已經成為人們非常關心的問題。借助于互聯網，人們可以非常容易獲取包含 有相同物體或者同一類別物體的大量圖片，而如何從這類圖片中自動辨別并分割出人們感 興趣的共同物體成為我們研究的主要目的。通過圖像的底層信息（顏色、紋理等）可以分割 出感興趣的目標，但是僅僅依賴底層的圖像數據信息并不能得到想要的分割結果，而跨圖 片的隱含信息則能夠幫助辨別何為需要辨識的共同物體。這類利用包含相同物體或者相同 類別物體的多張圖片來完成對感興趣的共同物體進行分割的研究，稱之為協同分割。協同 分割是近些年興起的一個熱門研究主題，目前已存在較多的關于協同分割的研究工作。然 而，縱觀有關協同分割領域的研究和應用可知，目前的協同分割領域研究依舊存在諸多技 術難題如下：
[0004] 1)在不同圖片中，共同物體存在著顏色、光照條件、姿態、尺度等各種干擾因素，使 得現存的分割方法難以得到較高的精度。
[0005] 2)背景條件常常伴隨著噪聲、遮擋、信息丟失、背景混亂等，且在多張圖片中，背景 常常非常相似，這容易對自動處理系統造成前背景的混淆。
[0006] 3)大多數分割方法仍然依賴人工給出前背景的標注信息，而不能自動辨別出前背 景，這給大數據量的處理帶來困難。
[0007] 以上的技術難題為協同分割技術在多媒體領域的廣泛應用帶來了諸多困擾，開發 出一套非監督的高效目標分割方法具有較高的應用價值。

【發明內容】

[0008] 為了解決現有技術中存在的難題，本發明公開了一種非監督的基于超像素和目 標發現機制的圖像分割方法，該方法適用于具有復雜精細結構的共同物體的分割，目標發 現機制融合了顯著性特征以及重復性特征，能夠快速地從大量圖片集中發現共同的前景目 標，并引導計算資源向目標物體分配，而迭代分割算法引入了樹圖的結構化約束條件，從而 使得對物體的分割更為精確，且大大提高了計算效率。
[0009] 本發明采用以下技術方案：一種非監督的基于超像素和目標發現機制的圖像分割 方法，包含以下步驟：
[0010] (1)圖像預分割：對于包含共同目標物體的圖像數據集I = U1,...，IN}中的每一 幅圖像I1, i = 1，2......，N，進行過分割處理，得到超像素集
[0011] (2)自動目標發現：基于每幅圖像的超像素集：^，統計每個超像素的顯著性 值構:m和重復性值Wini，并計算超像素災的評價值
評價值小于〇· GXmax(Scorei)的超像素設置為背景，將評價值大于等于0· GXmax(Scorei) 的超像素設置為前景；max (scored為超像素集中評價值最大的超像素的評價值；
[0012] (3)目標建模：基于步驟⑵分類后的信息，對共同目標物體基于HSV顏色空間建 立目標模型和背景模型Wb。采用Hellinger距離度量方法分別計算超像素或超像素組 合與目標模型之間的相似程度<，超像素或超像素組合與背景模型之間的相似程度
[0013] 目標模型Wf的建立方法如下：將原圖像進行顏色空間的變換，得到HSV顏色空間 下的圖像；對HSV顏色空間下的圖像用H，S，V以及"G"四個顏色分量進行均勻量化，統計目 標物體在各個顏色分量上的分布，得到直方圖分布，即目標模型Ψ%按照相同方法，統計背 景圖像在各個顏色分量上的分布，得到直方圖分布，即背景模型其中"G"分量代表飽和 度低于5%的像素點的顏色量化值；
[0017] c為等分后的所有區間個數，&和h f分別為歸一化后的超像素或超像素組合R的 顏色直方圖和目標模型的顏色直方圖，hR .和hb分別為歸一化后的超像素或超像素組合R' 的顏色直方圖和背景模型的顏色直方圖。
[0018] (4)基于超像素的分割：利用目標模型Wf和背景模型Wb，采用組合優化的算法對 超像素進行前背景的再次分類，從而得到目標物體的最終分割；并且引入樹圖的約束，假設 每個超像素對應于一個頂點，最后的分割結果由多個超像素構成，且能夠表示為鄰接圖免 的子樹。通過建立鄰接圖免二< ε 來推斷子樹的方法確定最后的分割結果；具體 實現過程如下：
[0019] (4. 1)構建鄰接圖：假設圖像中的每個超像素對應于圖中的一個頂點，兩個相鄰 的超像素之間由一條邊連接，由此構成鄰接圖& 。對于最終的目標物體分 割結果，假設其由鄰接圖所包含的一個子樹構成；
[0020] (4. 2)建立數值模型求解：建立數值模型，將目標分割的問題轉換為組合優化問 題的求解，如下：
[0021]
[0024] 當R為前景中的超像素或超像素組合時，
；當W為背景中的超像素或超 像素組合時，= 1;:約束條件表示對于任意一個超像素 R只能屬于前背景中的一類。通 過推導可得，若要求解分割結果，實際上可轉換為求解最優子樹的方法，而要求最優子樹， 需要先估計最大生成樹；
[0025] (4. 3)推導最大生成樹：通過beam search的定向搜索方法來得到所有可能的候 選子樹集合C廣基于候選子樹集合·(?，.通過最大似然估計的方法得到最大生成樹1}%推導 如下：
[0026]
[0027] T(化>表示所有潛在的生成樹集合，P(Gir)表示數據似然概率，最終可導出，
[0028]
[0029] (?候選子樹集合，Cq e 4為某一子樹，Pm(CjT)表示對T5(Gi1T)的最大 似然估計，S (·)為指示函數，δ ((X，y) e Cq)指示邊（X，y)是否屬于某一子樹Cq;
為子樹Cq與目標模型的相似程度，指示邊是否屬于某一子樹，P (X，y)表示 邊（X，y)的概率，戶_,叉)為對P(x，y)的最大似然估計。通過上式可得最大生成樹77的 最大似然估計。
[0030] (4. 4)搜索分割子樹：基于最大生成樹77的最大似然估計求得7)'然后通過動態 規劃技術在中搜索得到最優子樹，即為所求分割結果。
[0031] (5)迭代分割：根據步驟4得到的分割結果更新步驟3中的目標模型，按照步驟4 所述的方法，進行再分割；
[0032] (6)重復步驟5,直至最終分割結果不再變化，即得到最終的分割結果。
[0033] 進一步地，所述步驟2中，超像素顯著性值私m,度量具體為：
[0034] 通過顯著性檢測技術，對第i幅圖像I1得到原始顯著性圖Φ i，然后計算每個超像 素包含的所有像素點的顯著性均值作為其度量，具體計算如下：
[0035]
[0036] 其中第i幅圖像I1中第m個超像素 Rini的平均顯著性值，供f表示第j個像 素點的顯著性值，area (Rim)為超像素 Rim包含的像素個數。
[0037] 超像素重復性值W1JS量，具體為：
[0038] 度量每個超像素與其他每幅圖像中所有超像素的距離最小值，得到N-I個最小距 離{d (Rini，Ik)} ^ i，進一步對N-I個最小距離{d (Rini，Ik)} ^ i求平均，得到平均最小值.(!_。： 其中距離度量d(Rini，Ik)由基于HSV顏色的矢量距離以及基于SIFT特征的詞袋模型距離加 權得到，具體如下：
[0040] 其中Cini和g 1Π1分別代表第i幅圖像I i中第m個超像素 R 1Π1的HSV顏色特征矢量和 SIFT詞袋模型特征矢量，Ckni,和gkni,分別代表第k幅圖像Ik中第V個超像素 Rkni,的HSV顏 色特征矢量和SIFT詞袋模型特征矢量；
[0041] 由sigmoid公式計算超像素重復性度量權重Wini:
[0043] 其中μ和〇是控制該sigmoid函數形態的參數，μ = 0· 5，〇 = 〇· 1。
[0044] 進一步地，步驟6具體為：
[0045] (6. 1)根據最新的分割結果，更新之前的前景目標模型，使之更加接近待分割目 標；