專利名稱：紅外與微光圖像融合方法
技術領域：
本發明涉及圖像融合處理技術領域，特別是一種紅外與微光圖像融合方法。
背景技術：
紅外/微光圖像融合技術已經廣泛地應用于軍事領域，它將微光圖像場景細節豐富、紅外圖像目標和背景對比度強的優點綜合到一幅圖像中，從而使觀察者能夠得到某一場景更準確、全面、可靠的圖像信息而大受重視。從上世紀九十年代起，各國軍方以及科研機構對紅外/微光圖像融合技術進行著深入細致的研究，取得了豐碩的成果。在此期間涌現出了一大批實用且優秀的算法，如:算術平均融合算法、主成分分析融合算法、多分辨率圖像融合算法、小波變換融合算法、NRL方法、TNO融合方法、MIT融合方法等等。然而，在融合運算過程中，由于圖像所有像素需要進行多次相乘以及累加操作，且單幅圖像具有龐大的信息量，這樣大大限制了融合運算的速度，所以在有限的時間內，融合圖像質量不變的條件下，提高圖像融合運算的效率是一個亟待解決的問題。紅外/微光圖像融合的質量和融合速度是一對相互矛盾的指標。在戰場上，光有好的圖像質量而不顧系統的運算速度將會給我方帶來毀滅性的打擊(如:導彈跟蹤系統、火控系統)，同樣，提高了系統的運算速度，而降低圖像質量將會使我方不能獲得敵方全面的情報(如:偵察系統)。但是，在已有算法基礎上和現有融合系統平臺上，想兼顧二者是一個相當困難的問題。專利1:壓縮感知框架下的多策略圖像融合方法(CN102096913B，申請日2011.01.25)采用傅里葉系數低頻全采的變密度采樣模型，減少了需要傳輸的數據量，降低了融合的復雜度，縮短了融合時間，但是存在信息損失的問題。專利2:圖像融合方法及設備(CN101887581B，申請日2010.06.17)對傳統PCA(Principal ComponentAnalysis)變換圖像融合方法進行了改進,通過對源圖像分塊處理，使融合后的圖像能夠充分反映源圖像各自的主要信息，但是該方法主要用于醫學圖像領域，處理過程不具備實時性。綜上所述，目前這些算法多運用與遙感和醫學領域，對圖像的融合時間沒有要求，無法使圖像的融合滿足實時性，從而阻礙對圖像進行實時融合偵察。

發明內容
本發明的目的在于提供一種融合質量高、速度快的紅外與微光圖像融合方法，從而實現紅外與微光圖像的實時融合。實現本發明目的的技術解決方案為:一種紅外與微光圖像融合方法，包括以下步驟:步驟一:利用紅外攝像頭采集原紅外圖像，利用微光攝像頭采集原微光圖像；步驟二:對采集到的原紅外圖像和原微光圖像分別進行分塊，將原紅外圖像和原微光圖像分割成N個相互對應的原圖像子塊；
步驟三:在并行處理系統中，使用圖像融合算法，將原紅外圖像和原微光圖像中各個相互對應的原圖像子塊同時進行圖像融合，得到融合后圖像子塊；步驟四:將融合后圖像子塊組合生成最終的融合圖像。本發明與現有技術相比，其顯著優點:(1)使用小波融合或拉普拉斯金字塔圖像融合算法等多分辨率圖像融合算法進行分塊加速，確保了圖像融合的質量；(2)采用并行融合系統，而且可以大大縮短圖像融合的時間，從而對圖像進行實時偵查；(3)有很好的工程運用價值，為紅外/可見光融合系統的改進提供參考，有效地改進了紅外/微光圖像融合系統。


圖1是本發明紅外與微光圖像融合方法的流程圖。圖2是本發明紅外與微光圖像融合方法的原圖像分塊個數估計流程圖。圖3是本發明紅外與微光圖像融合方法的圖像分塊示意圖。圖4是本發明紅外與微光圖像融合方法的小波分塊融合流程圖。圖5是本發明紅外與微光圖像融合方法的拉普拉斯金字塔分塊融合流程圖。圖6是本發明紅外與微光圖像融合方法的融合后圖像子塊的重組示意圖。圖7是本發明實施例中場景I的小波融合法圖像融合結果。圖8是本發明實施例中場景2的小波融合法圖像融合結果。圖9是本發明實施例中場景I的拉普拉斯金字塔融合法圖像融合結果。圖10是本發明實施例中場景2的拉普拉斯金字塔融合法圖像融合結果。圖11是本發明實施例中小波融合法圖像分塊個數和運算時間的關系曲線圖。圖12是本發明實施例中拉普拉斯金字塔融合法圖像分塊個數和運算時間的關系曲線圖。
具體實施例方式下面結合附圖對本發明做進一步詳細的說明。結合圖1，本發明的圖像融合分塊加速算法包括以下步驟:步驟一:利用紅外攝像頭采集原紅外圖像，利用微光攝像頭采集原微光圖像；步驟二:對采集到的原紅外圖像和原微光圖像分別進行分塊，將原紅外圖像和原微光圖像分割成N個相互對應的原圖像子塊；結合圖2，步驟二中所述原圖像子塊的數量N通過以下方法確定: (I)對圖像融合所用的時間T進行估計:
權利要求
1.一種紅外與微光圖像融合方法，其特征在于，所述方法包括以下步驟: 步驟一:利用紅外攝像頭采集原紅外圖像，利用微光攝像頭采集原微光圖像； 步驟二:對采集到的原紅外圖像和原微光圖像分別進行分塊，將原紅外圖像和原微光圖像分割成N個相互對應的原圖像子塊； 步驟三:在并行處理系統中，使用圖像融合算法，將原紅外圖像和原微光圖像中各個相互對應的原圖像子塊同時進行圖像融合，得到融合后圖像子塊； 步驟四:將融合后圖像子塊組合生成最終的融合圖像。
2.根據權利要求1所述的紅外與微光圖像融合方法，其特征在于，步驟二中所述對采集到的原紅外圖像和原微光圖像分別進行分塊，具體為: 將原微光圖像記為A、原紅外圖像記為B，把原紅外圖像A和原微光圖像B分割成N個相互對應的原圖像子塊，每個原圖像子塊的大小均為mXn并將原紅外圖像A和原微光圖像B相互對應的原圖像子塊做相同的標記,按順序標記為1，2，3，…，N,則: A = {AmnlI，B = {Bmnl} (I = 1，2，3，…，N) 式中，Amnl為原微光圖像A的第I個原圖像子塊，Bnml為原紅外圖像B的第I個原圖像子塊。
3.根據權利要求1所述的紅外與微光圖像融合方法，其特征在于，步驟三所述的圖像融合算法為小波融合法或拉普拉斯金字塔融合法。
4.根據權利要求3所述的紅外與微光圖像融合方法，其特征在于，所述小波融合法包括以下步驟: 第一、建立小波分解公式，對原紅外圖像和原微光圖像中各個原圖像子塊同時進行小波分解，得到各個原圖像子塊的低頻分量與高頻分量:設H為低通濾波器算子、G為高通濾波器算子，r和c分別對應圖像的行和列，即民為行方向上的高通算子、H。為列方向上的高通算子、4為行方向上的低通算子、G。為列方向上的低通算子，則小波分解公式如下:SCa = HcHrSCij -1 5D] =GcHrSCn^ IJJK SDjj =HcG,SCij-1SDfj=GcGrSQj-1 式中，δ表示原紅外圖像A或原微光圖像B，SCf1表示第I個原圖像子塊的第j-Ι層小波分解圖像，S Cu表示SC1H的低頻分量即第I個原圖像子塊的第j層小波分解圖像，叫表示S CljH的垂直方向上的高頻分量，表示SCf1的水平方向上的高頻分量，谷1 表示δ C1jm的對角方向上的高頻分量，j表示小波分解層數，j的最大值取3或4 ; 第二、將原紅外圖像子塊的各層低頻分量與對應的原微光圖像子塊的同層低頻分量融合、原紅外圖像子塊的各層高頻分量與對應的原微光圖像子塊的同層高頻分量融合，得到原圖像子塊的高頻融合分量和低頻融合分量； 第三、將每個原圖像子塊的高頻融合分量和低頻融合分量進行重構，得每個融合后圖像子塊，重構公式如下:
5.根據權利要求3所述的紅外與微光圖像融合方法，其特征在于，所述拉普拉斯金字塔融合法包括以下步驟: 第一、將A= (Anml)1B= (BnmlI (I = 1，2，3，...，Ν)中所有原圖像子塊同時作隔行隔列降采樣，并將每個原圖像子塊均分解成共包含k+Ι個圖層的高斯金字塔層，具體過程為:采用一個具有低通特性的窗口函數λ (u，V)對原微光圖像A的第I個原圖像子塊的第P-1層Anmllri和原紅外圖像B的第I個原圖像子塊的第p- 層Bmnllri進行卷積，得到原微光圖像A的第I個原圖像子塊的第P層Anmlp和原紅外圖像B的第I個原圖像子塊的第P層Bnmlp，公式如下:
6.根據權利要求1所述的紅外與微光圖像融合方法，其特征在于，步驟四所述將融合后圖像子塊組合生成最終的融合圖像，具體為:按照原圖像子塊所標記1，2，3，...，N的順序，對融合后圖像子塊進行拼接重構，生成最終的融合圖像，并且將該融合圖像輸出顯示。
全文摘要
本發明公開了一種紅外與微光圖像融合方法。該方法包括以下步驟(1)利用紅外攝像頭采集原紅外圖像，利用微光攝像頭采集原微光圖像；(2)對采集到的原紅外圖像和原微光圖像分別進行分塊，將原紅外圖像和原微光圖像分割成N個相互對應的原圖像子塊；(3)在并行處理系統中，使用圖像融合算法，將原紅外圖像和原微光圖像中各個相互對應的原圖像子塊同時進行圖像融合，得到融合后圖像子塊；(4)將融合后圖像子塊組合生成最終的融合圖像。本發明中所得到的融合圖像不僅具有高的圖像質量，還有較高的融合速度，從而在夜視偵察、安防監控等軍事和民事領域有著廣闊的應用前景。
文檔編號G06T5/50GK103177433SQ20131012188
公開日2013年6月26日 申請日期2013年4月9日 優先權日2013年4月9日
發明者張俊舉, 孫斌, 楊鋒, 韓博, 楊文彬, 李寧, 陶媛媛, 陳云川, 王文治 申請人:南京理工大學