一種圖像視覺顯著性檢測擬合優化方法
【專利摘要】本發明涉及一種圖像視覺顯著性檢測擬合優化方法，包括以下步驟：S1：采用直方圖統計顯著性圖像集和標注圖像集中的顯著性數據，分別形成自變量點集和因變量點集；S2：采用相應的擬合函數模型對自變量點集和因變量點集數據進行擬合，得到擬合函數；S3：將擬合函數作用到新的顯著性圖中的顯著性數據上，得到擬合后的顯著性數據；S4：對擬合后的顯著性數據進行[0,255]約束處理，得到優化后的顯著性圖。該方法使各顯著性檢測算法優化后的顯著性圖比優化前更加接近用戶標注的標準圖，適用于多種顯著性檢測算法的優化。
【專利說明】
一種圖像視覺顯著性檢測擬合優化方法
技術領域
[0001] 本發明涉及圖像和視頻處理以及計算機視覺技術領域，特別是一種圖像視覺顯著 性檢測擬合優化方法。
【背景技術】
[0002] 研究發現，圖像中的一些關鍵區域往往提供了重要信息，這些區域我們稱為顯著 區域。視覺顯著檢測技術在圖像壓縮、圖像分類和圖像檢索等實際應用中都起到至關重要 的作用。因此，圖像顯著性檢測算法不斷地被提出。Cheng等人在2012年提出了基于全域對 比的顯著區域檢測方法。在2013年Jiang等人采用馬爾可夫鏈算法來提取顯著區域，Yan等 人則對輸入對象為復雜結構圖像的情況提出了關鍵性的解決方案。同年Yang等人采用基于 圖的流形排序算法來提取顯著性區域。在2014年Zhu等人通過測量大量背景信息和構建原 始優化框架，提出一種顯著區域優化算法。
[0003] 為了評估顯著性檢測算法的性能，精確率-召回率曲線（Precision-Recall curve, PR曲線）與受試者工作特征曲線(Receiver Operating Characteristic, ROC)等 傳統的顯著性評估標準被廣泛采用。但是近期Ran Margolin等人提出傳統的顯著性評估標 準有時不能正確地評估顯著性圖的問題。另外，研究發現全參考圖像質量評估標準可以用 來評估顯著性圖，即將用戶手工標注的標準圖作為參考圖像來評估顯著性圖的質量。因此， 本發明從圖像質量評估的角度對顯著性圖進行評估與優化，提出一種基于擬合的顯著性檢 測優化方法。

【發明內容】

[0004] 本發明的目的在于提供一種圖像視覺顯著性檢測擬合優化方法，該方法使各顯著 性檢測算法優化后的顯著性圖比優化前更加接近用戶標注的標準圖，適用于多種顯著性檢 測算法的優化。
[0005] 為實現上述目的，本發明的技術方案是:一種圖像視覺顯著性檢測擬合優化方法， 包括以下步驟： 步驟S1:采用直方圖統計顯著性圖像集和標注圖像集中的顯著性數據，分別形成自變 量點集和因變量點集； 步驟S2:采用相應的擬合函數模型對自變量點集和因變量點集數據進行擬合，得到擬 合函數； 步驟S3:將擬合函數作用到新的顯著性圖中的顯著性數據上，得到擬合后的顯著性數 據； 步驟S4:對擬合后的顯著性數據進行[0,255]約束處理，得到優化后的顯著性圖。
[0006] 進一步地，所述步驟S1中，采用直方圖統計顯著性圖像集和標注圖像集中的顯著 性數據，具體包括以下步驟： 步驟S11:統計圖像集合r中第i張圖像I,對應的標注圖像ft中顯著性值為255和0的像 素數，即顯著對象和非顯著對象的像素數，然后對圖像集合r中所有圖像的數據進行融合， 計算公式為：
其中，圖像集合r是參與擬合的所有原圖像的集合，和€&分別表示第i張圖像對 應的標注圖像中顯著對象和非顯著對象的像素數，i〈=i〈=| r|，I r|表示圖像集合沖的圖像 個數，綠|和分別表示圖像集合沖所有圖像的和的數據總和； 步驟S12:統計第i張圖像a對應的顯著性圖像&中與標注圖像&中顯著對象區域和非 顯著對象區域對應的區域內顯著性值的直方圖數據，然后對圖像集合r中所有圖像的數據 進行融合，計算公式為：
其中，和沒i分別表示第i張顯著性圖像中與標注圖像中顯著對象區域和非顯著 對象區域對應的區域的直方圖數據，後}和遵分別表示第i張顯著性圖像中與 標注圖像中顯著對象區域和非顯著對象區域對應的區域顯著性為女的像素數，〇〈=女〈= 255,好;;和K分別表示圖像集合r中所有圖像的和i/二.的直方圖數據總和； 步驟S13 :將進行擬合的點集中的每個點表示成(JTi，_Ti)，其中JTi是自變量，表示顯著性 圖像中像素 i的顯著性值，e [ 0，1，…，255 ]，7i是因變量，表示A對應的標注圖像中的像 素值，乃G {0，255}，則擬合點集包括(衫個U，255)和(幻個U，0); 步驟S14:設置一個縮放參數6對點集中數據點的個數進行縮放，提高求解擬合函數的 效率，即將擬合點集的U，255)和U，0)的個數分別縮小為)和 權卿_|_^議|/#j，其中，)為用于取整的四舍五入函數。
[0007]進一步地，所述步驟S2中，采用相應的擬合函數模型對自變量點集和因變量點集 數據進行擬合，得到擬合函數，具體包括以下步驟： 步驟S21:根據數據特征，選擇以下4種擬合函數模型:質量評估函數、有理函數、正弦函 數和一次多項式函數，模型分別如下：
其中，m見肩、為待定系數； 步驟S22:采用所述擬合函數模型對自變量點集和因變量點集進行數據擬合，并采用最 小二乘法調整與確定擬合函數模型中的系數，得到擬合函數，公式如下：
其中，擬合函數模型表示為/Cb爲，龜，爲，旗^。
[0008] 進一步地，所述步驟S3中，將擬合函數作用到新的顯著性圖中的顯著性數據上，得 到擬合后的顯著性數據，公式如下： :知 爲'爲~爲.鳥 5爲...I: 其中A，及，場，及，…，&表示擬合函數確定的參數值，石表示像素點i的顯著性值， m表示擬合后的顯著性值。
[0009] 進一步地，所述步驟S4中，對擬合后的顯著性數據進行[0,255]約束處理，得到優 化后的顯著性圖，具體包括以下步驟： 步驟S41:判斷擬合后顯著性數值的范圍，如果部分超出[0,255]范圍，先截斷處理再歸 一化處理，公式如下：
其中，:獄:=_._.255:，貧=.屬不顯著性圖中所有顯著值的集合，分別表不 擬合后，截斷處理后以及歸一化后的顯著性值，max()和min()分別表示計算括號中數據 的最大值和最小值； 步驟S42:判斷擬合后顯著性數值的范圍，如果全部在[0,255]范圍內或全部超過[0， 255]范圍，直接利用如下公式進行歸一化處理：
[0010] 相較于現有技術，本發明的有益效果是:針對現有的圖像視覺顯著性檢測算法，提 出了一種基于統計擬合的顯著性檢測擬合優化方法，該方法對標注圖像集合和顯著性圖像 集合中的數據分別進行統計，然后采用四種最符合數據特征的擬合函數模型對數據進行擬 合，擬合后的數據經過[0,255]約束處理生成擬合優化后的顯著性圖像，從而使本方法具有 以下三方面的優化效果:在傳統顯著性檢測評估方面，優化后的顯著性圖的性能優于或保 持原顯著性圖的性能；在圖像質量評估的方面，優化后的顯著性圖的性能明顯地優于原顯 著性圖的性能;在圖像檢索應用方面，算法優化后性能也有明顯的改進。該方法通過大量數 據的擬合作用使顯著性圖更加接近用戶手工的標注結果，適用于多種顯著性檢測算法的優 化。
【附圖說明】
[0011] 圖1是本發明方法的流程框圖。
[0012] 圖2(a)是本發明一實施例的原圖像。
[0013 ]圖2 (b)是本發明一實施例的標注圖像。
[0014]圖2(c)是本發明一實施例的顯著性圖像。
[0015]圖2(d)是本發明一實施例的顯著性圖像中與標注圖像中顯著對象區域對應的區 域內顯著性值的直方圖數據。
[0016] 圖2(e)是本發明一實施例的顯著性圖像中與標注圖像中非顯著對象區域對應的 區域內顯著性值的直方圖數據。
[0017] 圖3是本發明另一實施例的整體方法的實現流程圖（以圖像質量評估函數模型為 例）。
【具體實施方式】
[0018] 下面結合附圖及具體實施例對本發明作進一步說明。
[0019] 本發明提供一種圖像視覺顯著性檢測擬合優化方法，如圖1所示，包括以下步驟： 步驟S1:采用直方圖統計顯著性圖像集和標注圖像集中的顯著性數據，分別形成自變 量點集和因變量點集。具體包括以下步驟： 步驟S11:統計圖像集合r中第i張圖像IX如圖2 (a))對應的標注圖像&(如圖2 (b))中 顯著性值為255和0的像素數，即顯著對象和非顯著對象的像素數，然后對圖像集合沖所有 圖像的數據進行融合，計算公式為：
其中，圖像集合r是參與擬合的所有原圖像的集合，和分別表示第i張圖像對 應的標注圖像中顯著對象和非顯著對象的像素數，I〈=i〈=| r|，I r|表示圖像集合沖的圖像 個數，1^.和為J分別表示圖像集合沖所有圖像的和的數據總和； 步驟S12:統計第i張圖像I,對應的顯著性圖像&(如圖2(c))中與標注圖像&中顯著對 象區域和非顯著對象區域對應的區域內顯著性值的直方圖數據，然后對圖像集合r中所有 圖像的數據進行融合，計算公式為：
其中，如圖2(d))和好=(如圖2(e))分別表示第i張顯著性圖像中與標注圖像中 顯著對象區域和非顯著對象區域對應的區域的直方圖數據，和(幻分別表示 第i張顯著性圖像中與標注圖像中顯著對象區域和非顯著對象區域對應的區域顯著性為女 的像素數，〇〈= 1〈=255，丑=和分別表示圖像集合沖所有圖像的和的直方圖 數據總和； 步驟S13:將進行擬合的點集中的每個點表示成(JTi，/i)，其中JTi是自變量，表示顯著性 圖像中像素 i的顯著性值，f e [ 0，1，…，255 ]，乃是因變量，表示&對應的標注圖像中的像 素值，G {〇，255}，則擬合點集包括胃個U，255)和減二(齡個U，0); 步驟S14:設置一個縮放參數6對點集中數據點的個數進行縮放，提高求解擬合函數的 效率，即將擬合點集的U，255)和U，0)的個數分別縮小為j和 績)/|^，其中)為用于取整的四舍五入函數。
[0020]步驟S2:采用相應的擬合函數模型對自變量點集和因變量點集數據進行擬合，得 到擬合函數。具體包括以下步驟： 步驟S21:根據數據特征，選擇以下4種擬合函數模型:質量評估函數、有理函數、正弦函 數和一次多項式函數，模型分別如下：
其中，m見肩、肩為待定系數； 步驟S22:采用所述擬合函數模型對自變量點集和因變量點集進行數據擬合，并采用最 小二乘法調整與確定擬合函數模型中的系數，得到擬合函數，公式如下：
其中，擬合函數模型表示為肩知.歎> 美爲rh
[0021]步驟S3:將擬合函數作用到新的顯著性圖中的顯著性數據上，得到擬合后的顯著 性數據。具體公式如下： ；~ ；-/ > ^2 ' '^3 ? ^4 > -'： ： '! ^J3 I 其中A，及，及，氣…，&表示擬合函數確定的參數值，石表示像素點i的顯著性值， x/i表不擬合后的顯著性值。
[0022]步驟S4:對擬合后的顯著性數據進行[0,255]約束處理，得到優化后的顯著性圖。 具體包括以下步驟： 步驟S41:判斷擬合后顯著性數值的范圍，如果部分超出[0,255]范圍，先截斷處理再歸 一化處理，公式如下：
其中，羅= 25:5:，亥=0，^表示顯著性圖中所有顯著值的集合，m，hi，分別表示 擬合后，截斷處理后以及歸一化后的顯著性值，max()和min()分別表示計算括號中數據 的最大值和最小值； 步驟S42:判斷擬合后顯著性數值的范圍，如果全部在[0,255]范圍內或全部超過[0， 255]范圍，直接利用如下公式進行歸一化處理：
[0023] 本發明借鑒圖像質量評估的思想，提出一種基于統計擬合的顯著性檢測優化方 法。該方法以用戶手工標注的圖像作為參考圖像，采用擬合的方法提高顯著性檢測算法生 成的顯著性圖的質量。如圖3所示實施例的整體方法的實現流程，首先用直方圖統計顯著性 圖像集和標注圖像集中的顯著性數據，分別形成自變量點集和因變量點集;然后根據數據 特征，選擇合適的擬合函數模型，并對自變量點集和因變量點集數據進行擬合，計算得到擬 合函數的參數;接下來，將擬合函數模型和參數作用到新的顯著性圖中的顯著性數據上，得 到擬合后的顯著性數據。由于顯著性圖像的值的范圍為[0,255]，最后進行[0,255]約束處 理得到擬合優化后的顯著性圖。本發明求出的顯著性圖更加接近于用戶手工標注的結果， 適用于多種顯著性檢測算法的優化。
[0024] 以上是本發明的較佳實施例，凡依本發明技術方案所作的改變，所產生的功能作 用未超出本發明技術方案的范圍時，均屬于本發明的保護范圍。
【主權項】
1. 一種圖像視覺顯著性檢測擬合優化方法，其特征在于，包括W下步驟： 步驟SI:采用直方圖統計顯著性圖像集和標注圖像集中的顯著性數據，分別形成自變 量點集和因變量點集； 步驟S2:采用相應的擬合函數模型對自變量點集和因變量點集數據進行擬合，得到擬 合函數； 步驟S3:將擬合函數作用到新的顯著性圖中的顯著性數據上，得到擬合后的顯著性數 據； 步驟S4:對擬合后的顯著性數據進行[0,255]約束處理，得到優化后的顯著性圖。2. 根據權利要求1所述的一種圖像視覺顯著性檢測擬合優化方法，其特征在于:所述步 驟Sl中，采用直方圖統計顯著性圖像集和標注圖像集中的顯著性數據，具體包括W下步驟： 步驟Sll:統計圖像集合沖第i張圖像對應的標注圖像&中顯著性值為255和O的像素 數，即顯著對象和非顯著對象的像素數，然后對圖像集合r中所有圖像的數據進行融合，計 算公式為：其中，圖像集合^是參與擬合的所有原圖像的集合，和//^胃分別表示第巧長圖像對應 的標注圖像中顯著對象和非顯著對象的像素數，1<=於=| r|，I r|表示圖像集合沖的圖像個 數，和分別表示圖像集合沖所有圖像的/?和的數據總和； 步驟S12:統計第i張圖像么對應的顯著性圖像&中與標注圖像&中顯著對象區域和非 顯著對象區域對應的區域內顯著性值的直方圖數據，然后對圖像集合r中所有圖像的數據 進行融合，計算公式為：其中，好；;分別表示第i張顯著性圖像中與標注圖像中顯著對象區域和非顯著對 象區域對應的區域的直方圖數據，和丹^,.(是;分別表示第i張顯著性圖像中與標 注圖像中顯著對象區域和非顯著對象區域對應的區域顯著性為A的像素數，〇<= A <=255， 好^日巧^分別表示圖像集合沖所有圖像的/4和的直方圖數據總和； 步驟S13:將進行擬合的點集中的每個點表示成(&，7,)，其中Xj是自變量，表示顯著性 圖像中像素柏勺顯著性值，XjG [0，1，…，255]，7,是因變量，表示&對應的標注圖像中的像 素值，乃G{〇,25引，則擬合點集包括苗|^輯個U，255)和瑤蘇)個作，0); 步驟S14:設置一個縮放參數對點集中數據點的個數進行縮放，提高求解擬合函數的 效率，即將擬合點集的U，2 5 5 )和U，O )的個數分別縮小為和 故城減I;!幫深J/轉)，其中，r〇?c/()為用于取整的四舍五入函數。3. 根據權利要求1所述的一種圖像視覺顯著性檢測擬合優化方法，其特征在于:所述步 驟S2中，采用相應的擬合函數模型對自變量點集和因變量點集數據進行擬合，得到擬合函 數，具體包括W下步驟： 步驟S21:根據數據特征，選擇W下4種擬合函數模型：質量評估函數、有理函數、正弦函 數和一次多項式函數，模型分別如下：其中，瓜屋、瓜屋、扇、扇為待定系數； 步驟S22:采用所述擬合函數模型對自變量點集和因變量點集進行數據擬合，并采用最 小二乘法調整與確定擬合函數模型中的系數，得到擬合函數，公式如下： 其中，擬合4. 根據權利要求1所述的一種圖像視覺顯著性檢測擬合優化方法，其特征在于:所述步 驟S3中，將擬合函數作用到新的顯著性圖中的顯著性數據上，得到擬合后的顯著性數據，公 式如下：其中島，保，保，島，…，紀表示擬合函數確定的參數值，&表示像素點i的顯著性值， XC表示擬合后的顯著性值。5. 根據權利要求1所述的一種圖像視覺顯著性檢測擬合優化方法，其特征在于:所述步 驟S4中，對擬合后的顯著性數據進行[0,255]約束處理，得到優化后的顯著性圖，具體包括 W下步驟： 步驟S41:判斷擬合后顯著性數值的范圍，如果部分超出[0,255]范圍，先截斷處理再歸 一化處理，公式如下：其中，厭二2號，叛:=皆，域示顯著性圖中所有顯著值的集合，J化扣，姑分別表示擬 合后，截斷處理后W及歸一化后的顯著性值，max()和min()分別表示計算括號中數據的 最大值和最小值； 步驟S42:判斷擬合后顯著性數值的范圍，如果全部在[0,255]范圍內或全部超過[0， 25引范圍，直接利用如下公式進行歸一化處理：
【文檔編號】G06T7/00GK105913064SQ201610222896
【公開日】2016年8月31日
【申請日】2016年4月12日
【發明人】牛玉貞, 林文奇, 柯逍, 陳羽中
【申請人】福州大學