專利名稱：用于多分辨率圖像濾波的金字塔式分解的制作方法
用于多分辨率困像濾波的金字塔式分解本發明涉及電子系統領域，具體地，涉及以多個分辨率對困像濾波 的圖像處理方法和系統.如在Peter J.Burt和Edward H. Adelson的"The Laplacian Pyramid as a Co寧ct Image Code", IBEE TRANSACTIONS ON COMMUNICATIONS, VOL. COM-31, NO. 4， 1983年4月中給出的，"The Laplacian Pyramid (拉普拉斯金字塔)"通常被使用于有效地編碼和發送 圖像，且允許以選擇的分辨率水平下栽圖像，使得帶寬利用最佳化.

圖1顯示用于編碼圖像和隨后解碼該圖像的拉普拉斯金字塔的搮 作。在IIO，困像信號IOI被下采樣或被限帶，以產生濾波的信號lll. 這個濾波的信號111例如是圖像101的2: 1減小，因此是圖像101的一 半尺寸和一半分辨率.在115，這個濾波的信號111被上采樣，以產生 完全尺寸的圖像116，但是是以減小的分辨率。減法器140從原始困像 101中減去減小分辨率的圖像116，以產生輸出信號141,這個輸出信號 141包括在該減小分辨率的圖像116缺少的高頻成分或高分辨率細節， 因此是輸入信號101的高通濾波的版本.也就是，拉普拉斯金字塔的第 一級11把輸入困像101分離成低通濾波的分量111和它的高通濾波的分 量141.特別要指出，分量111和141包含足夠的信息來精確地重新創 建圖像101,下一級12類似地把困像111分離成困像111的低通濾波的、即較低 分辨率的圖像121和髙通濾波的成分、即在較低分辨率困像121缺少的 較高分辨率細節.同樣地，每個隨后級提供先前級困像到較低分辨率困 像和較低分辨率困像中缺乏的較高分辨率細節的分離.最后級13的最低分辨率困像131和每個較高分辨率細節 161， ...， 151， 141包含對于重現原始圖像101所需要的所有信息，困像101的接收機/重組合器在圖1上被顯示為部件170-195.加法 器170把較高分辨率細節161加到最低分辨率圖像131的上采樣175副 本，以產生等于最后級13的輸入圖像129的困像171.把下一較高分辨 率細節加到這個困像171的上采樣副本，將產生一個困像，其等于高于 最后級13的水平的輸入圖像。以這種方式繼續，困像181相應于困像111，以及輸出困像191相應于圖像101.因此，把最低分辨率的圖像131 和每個高通濾波的成分161,151, 141傳送到接收機，允許接收機完全 重現原始困像IOI.另外，如果圖像131和成分161，…，151，141順序地 傳送，則接收機可以在任何時間終結傳輸，且僅僅產生原始困像101的 較低分辨率副本171,...,181.傳統上，每個逐步更小的下采樣困像111, 121, 131被稱為"高斯 金字塔"圖像，以及高通濾波的成分141， 151， ...， 161被稱為"拉普拉斯金 字塔"困像。由于困像被低通濾波，所以諸如邊緣那樣的陡峭改變被柔和 化.換句話說，拉普拉斯圖像通常包含有關諸如邊緣那樣的特性和其它 特性的細節.困像增強技術常常致力于改進困像的銳度.因為拉普拉斯金字塔逐 步分離邊緣的細節和其它特性，所以拉普拉斯困像常常被使用來提供圖 像增強，特別是在醫學圖像診斷領域.2001年1月9日授予Aach等的美國專利6173084, "NOISE REDUCTION IN AN IMAGE",教導根據較低分辨率的拉普拉斯圖像的內容 來濾波拉普拉斯困像，該專利在此引用以供參考，通常，陡邊緣在拉普 拉斯金字塔的許多或所有的級別上產生高頻成分，而噪聲通常只通過一 個或幾個級別來產生高頻成分.通過在拉普拉斯困像的多個級別上進行 濾波，邊緣特性被增強，且噪聲影響被平滑.2001年6月26日授予Aach等的美國專利6252931， "PROCESSING METHOD FOR AN ORIGINAL IMAGE",教導拉普拉斯圖像的非線性增強，以 增強對比度和減小噪聲，該專利在此引用以供參考.同樣地，2004年7 月6日授予Schmitz等的美國專利6760401, "APPARATUS AND METHOD FOR PROCESSING OF DIGITAL IMAGES",以及2004年5月27日公布的、 對于Langan的美國專利申請公布2004/0101207，每個都教導拉普拉斯 困像的修改，以增強榆入困像和/或減小噪聲.為了便于參考，這里使用 的圖像增強任選地包括噪聲減小.困2顯示處理器或處理過程的一般形式，其通過修改對應于輸入圖 像101的拉普拉斯圖像141,151,...,161而提供閨像增強。修改由通常被供濾波系數的適配部件210， 220，...， 230.在某些實施例中，濾波器還可 提供基于較低分辨率困像的特性的濾波.困上還顯示在濾波的拉普拉斯240， 250， ...， 260代表，這些濾波器具有提
圖像241， 251, ...，261與接收機/重組合器部件190, 180， ...，170之間的 可選的變換"L" 290， 280， ...， 270以及在下采樣的高斯田像131與上采樣 器175之間的可選的變換"G" 275.這些變換代表對已濾波的拉普拉斯困 像的簡單運算，諸如困像的振幅的歸一化，或另外地方便在編碼的圖像 與接收機/重組合器之間的接口.這些可選的變換不涉及到本發明，這里 不作進一步討論.困2的處理過程的運算可以在數學上描述為 B*=Q-C/D)H*D* = t^DH*其中k代表金字塔級別，Ht代表在每個級別處的輸入圖像 (101， 111, 121， ...131) ， D(llO, 120,…，130)代表下采樣，U代表上采 樣，Bk(141,151,...， 161)代表拉普拉斯圖像，A(210, 220，…，230)代表 被使用來得到自適應濾波系數Ck (211， 221, ..., 231)的變換， Dk (223, 233，...)代表基于較低分辨率困像的濾波系數， F(240， 250，…，260)代表濾波函數，以及Rk(241, 251,…，261)代表輸出 的濾波的拉普拉斯田像.然而，傳統的圖像增強過程的常見問題是由上采樣和下采樣功能產 生的混疊.在圖1的未修改的拉普拉斯金字塔中，混疊效應通過在接收 機/重組合器中的互補搮作被抵消.然而，當對于每個拉普拉斯困像施加 濾波時，在混疊的區域上的濾波動作阻礙了在接收機/重組合器中正確的 混疊抵消.另一個常見問趙在于，適配系數通常是基于其噪聲可以更容易地測 量的高斯困像，但適配是對拉普拉斯困像執行.這種分離需要確定在高 斯和拉普拉斯圖像的不同信號特性之間的正確變換，以及增加了適配過 程對于噪聲引起的誤差的敏感度.本發明的目的是改進和/或簡化在濾波的拉普拉斯金字塔中的自適 應濾波過程.本發明的另一個目的是減小在濾波的拉普拉斯金字塔中的 混疊效應.這些目的和其它目的是通過用來濾波高斯圖像和使用濾波的高斯困
像來產生拉普拉斯金字塔困像的、修改的拉普拉斯金字塔方法和系統而 達到的。高斯困像的濾波是自適應的，且至少部分地基于每一級處的高 斯困像的特性。在一個示例實施例中，在每一級使用兩個濾波器，以及 拉普拉斯圖像是基于高斯圖像的濾波版本和高斯圖像的下采樣的上采樣 的濾波版本.在另一個示例中，使用一個濾波器，以及拉普拉斯困像是 基于高斯圖像的濾波版本和高斯困像的濾波版本的上采樣的下采樣.下面參照附圖通過例子且更詳細地說明本發明，其中圖l顯示拉普拉斯金字塔困像編碼器和解碼器的示例性框困.圖2顯示基于困像的拉普拉斯金字塔編碼的困像處理器的示例性框圖.圖3顯示按照本發明的、基于圖像的修改的拉普拉斯金字塔編碼的 圖像處理器的示例性框困.困4顯示按照本發明的、基于困像的修改的拉普拉斯金字塔編碼的 圖像處理器的另 一個示例性框困.圖5A顯示示例性輸入困像.圖5B顯示使用傳統的現有技術拉普拉斯金字塔濾波器使得輸入困像 銳化的例子.圖5C顯示使用本發明的修改的拉普拉斯金字塔濾波器使得輸入圖像 銳化的例子.在困上，相同的參考數字表示相同的單元，或是執行基本上相同功 能的單元.包括附困是用于說明的目的，而不打算限制本發明的范圍。困3顯示按照本發明的、基于圖像的修改的拉普拉斯金字塔編碼的 田像處理器的示例性框困.在本實施例中，田像處理器的每一級 31, 32, ...， 33的濾波搮作被劃分到兩個濾波器Fl 340， 350,…，360和F2 345， 355,365.濾波器Fl被配置成濾波每一級31， 32， ...， 33的輸入 (高斯)困像101， 111， 121,…，129，以及濾波器F2被配置成對形成到 每個隨后級32, ...，33的輸入的下采樣的圖像(111,121，…，129)進行濾 波。濾波器F1提供與困2的濾波器F相同的功能性，只是它被加到基帶 高斯困像，而不是加到帶通拉普拉斯圖像.濾波器F2可以看作為Fl的 下采樣形式，即，例如，如果濾波器F1的外延(extent)可以從尺度參
數a得出，則濾波器F2的外延可以從尺度參數ct/2得出.優選地，濾波器F1,F2是自適應濾波器，且它們提供基于由自適應 部件310， 320,330提供的系數的濾波效果，是基于每個高斯困像的特 性.任選地，正如傳統的系統中那樣，濾波效果也可以基于金字塔中隨 后的較低分辨率級的特性.因為是在高斯圖像級別被確定的濾波系數被 加到相應的高斯困像，所以不需要確定和執行困2的、上述的高斯與拉 普拉斯困像的不同信號特性之間的變換，并且適配過程對于噪聲引起的 誤差的敏感度被減小.本實施例的帶通拉普拉斯圖像349， 359， ...，369在每一級 31， 32， ...， 33通過從濾波的高斯困像341, 351， ...， 361中減去濾波的下采 樣圖像346， 356,366的上采樣而被形成。因為拉普拉斯圖像的創建是 在濾波過程后進行的，所以，由本實施例產生的混疊大大地小于如在傳 統的拉普拉斯金字塔困像處理器中通過濾波創建的拉普拉斯困像而產生的混疊.圖3的過程的運算可以在數學上描述為 C,碼Rt -, *-1/尸2[加*,￡)(:*,加*或等價地R* = Fl[H*,C*,Dj，[H*+,，C*+1，D*+lj，其中k代表金字塔級別，Hk代表在每個級別處的輸入困像 (101, 111, 121， ...131 ) ， D代表下采樣，U代表上采樣， A (310， 320，...， 330)代表被使用來得到濾波系數Ck的變換，Dk代表基于 較低分辨率的困像的濾波系數，Fl (340, 350， ...， 360)和 F2 (345' 355， " 365)代表濾波函數，以及1U349， 359,…，369)代表基于 濾波的輸入圖像的修改的拉普拉斯圖像.圖4顯示按照本發明的、基于圖像的修改的拉普拉斯金字塔編碼的 困像處理器的另一個示例性框圖.在本實施例中，單個濾波器F 440， 450， ...， 460被使用來濾波基帶高斯圖像101， 111,…，129。濾波器F 提供與困2的示例性實施例的濾波器F相同的濾波功能，但濾波被施加 到基帶高斯圖像，而不是拉普拉斯圖像
在每一級41， 42,…，43處的濾波的高斯圖像441, 451,…，461被下 采樣445， 455，…，465，以產生下采樣的濾波的圍像446, 456,…，466. 在每一級41， 42,…，43處的帶通拉普拉斯圖像449， 459,…，469是通過 從濾波的高斯圖像441, 451，...，461中減去下采樣的濾波困像 446， 456，…,466的上采樣115， 125，…，135而被產生的.正如圖3的實施例中那樣，罔為濾波F是對于適配部件 410， 420,...， 430從其得出濾波系數的相同的高斯困像執行的，所以，上 迷的從高斯特性到拉普拉斯系數的變換被避免，以及自適應濾波過程對 于噪聲引起的誤差的敏感度被減小.也正如困3的實施例中那樣，因為 帶通拉普拉斯圖像449, 459，...， 469是從濾波的基帶高斯圖像 441, 451，...，461形成的，所以，由圖4的實施例產生的混疊大大地低于 由困2的傳統實施例產生的混疊.另外，圖4的實施例具有與田2的傳 統實施例近似相同的計算復雜度級別.困4的過程的運算可以通過使用困3的符號在數學上描述為C,碼Rt *，D*-W^[Ht,C*，D*]=a,F[H*,C*,Dt.圖5B和5C例示通過使用傳統的拉普拉斯金字塔困像處理過程(困 5B)和本發明的修改的拉普拉斯金字塔困像處理過程(田5C)的、榆入 圖像5A的示例性困像處理的比較.該例子例示施加到輸入困像5A的銳 化過程.正如可以看到的，傳統的困像處理過程的輸出5B呈現由傳統過 程的后拉普拉斯濾波的混疊效應產生的人工產物510,511.在本發明困4 的實施例的輸出5C中的人工產物520，521被大大地減小，以上僅僅說明本發明的原理.因此，將會看到，本領域技術人員將 能夠設計各種安排，雖然這里未明顯地描述或顯示，但其體現了本發明 的原理，且因此它們是在以下的權利要求的精神和范圍內.在解釋這些權利要求時，應當看到(a) 詞"包括，，不排除與給定權利要求中列出的那些不同的其它單元或行動的存在；(b) 單元前面的詞"一個"不排除多個這樣的單元的存在；(c) 在權利要求中的任何參考符號不限制它們的范閨；(d) 幾個"裝置，，可以由同一個項目或硬件或軟件實施的結構或功能代表；(e) 每個公開的單元可以由硬件部分(例如，包括分立和集成的電 子電路)、軟件部分(例如，計算機編程)、和它們的組合組成；(f) 硬件部分可以由模擬和數字部分之一或二者組成；(g) 任何的公開的設備或其組成部分可以組合在一起，或被分割成 另外的部分，除非另外地專門闡述；(h) 并不打算去要求行動的特定順序，除非專門指明；(i) 術語"多個，，單元包括兩個或更多個所要求的單元，它并不暗示 單元數目的任何具體范閨；即，多個單元可以少到兩個單元.
權利要求
1.一種圖像處理系統，包括多個級(31-33，41-43)，該多個級(31-33，41-43)的每一級包括下采樣器(110，120，130)，其被配置成接收輸入圖像(101，111，129)和由此產生一第一下采樣的圖像(111，121，131)，該第一下采樣的圖像被提供作為隨后級(32-33，42-43)的輸入圖像，濾波器(340-360，440-460)，被配置成對輸入圖像(101，111，129)進行濾波和由此產生濾波的圖像(341-361，441-461)，上采樣器(115，125，135)，被配置成接收一第二下采樣的圖像(346-366，446-466)和由此提供上采樣的圖像(116，126，136)，以及減法器(140，150，160)，被配置成從該濾波的圖像(341-361，441-461)中減去該上采樣的圖像(116，126，136)，由此根據該濾波的圖像(341-361，441-461)提供拉普拉斯圖像(349-369，449-469).
2. 權利要求l的圖像處理系統，其中 每一級還包括第二濾波器(345-365 )，其被配置成對第一下采樣的圖像 (111-131)進行濾波和由此產生該第二下采樣的困像(346-366, 446-466 ).
3. 權利要求1的圖像處理系統，其中 每一級還包括第二下采樣器(445-465 )，被配置成接收濾波的困像(441-461)和由此產生該第二下采樣的困像(446-466 ).
4. 權利要求1的田像處理系統，其中 每一級還包括自適應部件(310-330, 410-430 )，被配置成根據輸入困像 (101,111,129)確定由濾波器(340-360,440-460 )使用的系數.
5. 權利要求1的困像處理系統，其中濾波器(340-360, 440-460 )還被配置成根據第 一下采樣的圖像 (111,121,131)的一個或多個特性，對輸入圖像(101,111,129)進行濾波.
6. 權利要求1的困像處理系統，其中在該多個級(31-33, 41-43 )的至少一級處的濾波器("0-360, 440-460 )還被配置成根據在該多個級(31-33, 41-43 )的隨后級 (32-33, 42-43 )處的一個或多個輸入困像(111,129)的一個或多個特 性，對輸入困像(101,111,129)進行濾波，
7. 權利要求1的困像處理系統，還包括重組合器，被配置成接收來自每一級(31-33， 41-43 )的相應于拉普 拉斯困像(349-369,449-469 )的困像，以及該多個級(31-33, 41-43 ) 的最后級(33, 43 )的第一下采樣的困像，以及由此產生輸出圖像 (171,181,191).
8. —種處理困像的方法，包括在多個級(31-33, 41-43 )的第一級(31,41)處下采樣(110)輸 入圖像UOl)，以產生一第一下采樣的圖像(111)，該笫一下采樣的 圖像形成到該多個級(31-33, 41-43 )的笫二級(32, 42 )的榆入困像 (111);對該輸入田像(101)進行濾波(340, 440 )，以產生濾波的圖像 (341, 441 );上采樣(115) —笫二下采樣的圖像(346， 446 )，以提供上采樣的 閨像(116);以及從該濾波的圖像(341， 441)中減去(140 )該上采樣的困像(116 ), 由此根據該濾波的困像(341, 441 )提供拉普拉斯困像(349, 449 ).
9. 權利要求8的方法，還包括在第二級(32， 42 )處下采樣(120 )第二級(32, 42 )的輸入圖像(111 )， 以產生笫一下采樣的田像(121),該笫一下采樣的田像形成到該多個級 (31-33, 41-43 )的第三級的輸入圖像(121);在第二級(32, 42 )處對笫二級(32, 42 )的輸入困像(111)進行濾 波(350, 450 ),以產生濾波的圖像(342, 442 );在第二級(32, 42 )處上采樣(125 )第二下采樣的困像(356, 456 )， 以在笫二級(32, 42 )處提供上采樣的困像(l26);以及從在第二級(32, 42 )處的濾波的圖像(342,442 )減去(l50)在 笫二級(32, 42 )處的上采樣的圖像(126)，以根據在第二級(32, 42 ) 處的濾波的圖像(342, 442 )提供拉普拉斯圖像(359, 459 ).
10. 權利要求9的方法，還包括在該多個級(31-33, 41-43 )的第三級和隨后級(33, 43 )處重復進 行下采樣(130)、濾波(360 )、上采樣(135)、和相減(160)
11. 權利要求8的方法，還包括在該多個級(31-33 )的每一級處，對第一下采樣的圖像 (111， 121， 131 )進行濾波(345， 355， 365 )，以產生每一級的笫二下采 樣的圖像(346-366 ).
12. 權利要求8的方法，還包括在該多個級(41-43)的每一級處，下采樣(445-465 )該濾波的圖 像(441-461 )，以產生每一級的第二下采樣的圖像(446-466 ).
13. 權利要求8的方法，還包括在該多個級(31-33， 41-43 )的每一級處，根據在每一級的榆入圖像 (101,111,129)確定(310-330, 410-430 )濾波的系數.
14. 權利要求13的方法，還包括根據在每一級的笫一下采樣的困像(111-131)確定在每一級的用于 濾波(440-460)的附加系數.
15. 權利要求13的方法，還包括根據在該多個級(31-33, 41-43 )的一個或多個其它級(32-33, 42-43 )處的一個或多個輸入圖像(111,129)，確定在至少一級 (31,41)的用于濾波(440-460 )的附加系數.
16. 權利要求8的方法，還包括根據在一個或多個級處相應于拉普拉斯困像(349-369， 449-46" 的圖像和該多個級(31-33， 41-43)的最后級(33, 43 )的笫一下采樣的 困像(131)，重新組合輸出圖像(141,181,191)
全文摘要
修改的拉普拉斯金字塔方法和系統在金字塔的每一級別(31-33，41-43)濾波(340-360，440-460)高斯圖像和使用濾波的高斯圖像(341-361，441-461)來產生拉普拉斯金字塔圖像(349-369，449-469)。高斯圖像的濾波是自適應的，和至少部分基于每一級處的高斯圖像的特性。在一個示例實施例中，在每一級中使用兩個濾波器(F1，F2)，以及拉普拉斯圖像(349-369)是基于高斯圖像的濾波版本和高斯圖像的下采樣(346-366)的上采樣的濾波版本。在另一個示例中，使用一個濾波器，以及拉普拉斯圖像(449-469)是基于高斯圖像的濾波版本(441-461)和高斯圖像的濾波版本的上采樣的下采樣(446-466)。通過從濾波的高斯圖像(341-361，441-461)形成拉普拉斯圖像(349-369，449-469)，傳統上由濾波拉普拉斯圖像所產生的混疊被大大地減小。
文檔編號G06T5/00GK101111864SQ200680003668
公開日2008年1月23日 申請日期2006年1月27日 優先權日2005年1月31日
發明者C·薩姆森, M·皮卡德, R·弗洛倫特 申請人:皇家飛利浦電子股份有限公司