專利名稱：用于數字重新灌錄或修改電影或其他圖像序列數據的系統和方法
技術領域：
本發明廣義地涉及(但不限于)數字重新灌錄或修改電影內容的領域，尤其涉及一種為了以原始格式同時發行而以并行和流水線方式從整個電影中有效計算圖像數據的系統和方法，也涉及一種通過改善顯示的圖像分辨率和質量增強圖像的方法，通常用于包括寬幅投影環境的選擇格式。本發明也可應用于更寬范圍的圖像序列的增強，上述圖像序列源自膠片，錄像，光學設備，電子傳感器等等。它也可用于改善以原始格式顯示的圖像質量。
背景技術：
以35毫米膠片格式產生的電影打算在傳統格式電影院或者以其他更小格式比如家庭錄像和廣播電視中放映。保持足夠顯示質量所要求的顯示分辨率，可基于屏幕大小，電影院幾何形狀，觀眾座位位置以及最小視覺敏銳度來計算，上述視覺敏銳度需要被保持，以便傳送要求的圖像質量。在傳統電影院中，認為在屏幕寬度為2000像素左右的顯示分辨率足夠傳送滿意的圖像質量。該分辨率要求被35毫米膠片格式大力支持，以及被已有的從最初攝影，后期制作到洗印車間處理的膠片制作處理鏈支持。類似的顯示分辨率要求也被建議用于取代傳統膠片電影院的數字電影院。
在寬幅電影地點，觀眾希望明顯勝過傳統電影院的視覺體驗。在寬幅電影院的觀眾欣賞比傳統電影院大得多的視野。為了在寬幅電影院保持更好的視覺體驗，膠片制作鏈必須傳送比傳統電影院大得多的空間圖像分辨率。當前15/70膠片格式制作處理鏈足夠支持該更高空間分辨率要求。但是，當源自35毫米膠片格式的電影在寬幅電影地點放映時，已有的制作系統和處理不能傳送足夠的圖像質量。本發明定義了一種數字重新灌錄具有寬幅電影院體驗所要求的增強圖像分辨率和質量的35毫米電影的方法。
本發明的數字重新灌錄處理主要(但不專用)用于源自活人動作膠片攝影的運動圖像序列的圖像分辨率的增強。該處理可被應用于轉換為膠片的計算機產生的動畫或者單元動畫圖像的增強。數字重新灌錄處理也可用于增強光學圖像設備或者電子傳感器設備捕獲的運動圖像的分辨率和質量。
本發明的數字重新灌錄概念的一個方面是，活人動作電影序列中的每個圖像幀的空間分辨率可通過時間圖像處理增強。這不同于膠片恢復概念，在膠片恢復中“除掉”噪聲和“消除”假象是主要目的。在過去二十年中，有許多成功的膠片恢復投影，典型的例子是迪斯尼的白雪公主和七個小矮人的重新發行和隨后的喬治盧卡斯的星球大戰三部曲的重新發行。大多數的膠片恢復方法是補償膠片狀態劣化導致的圖像質量損失并且恢復圖像特性接近于原始形態。由于用于膠片恢復投影的目標重新發行平臺通常是電影原始放映的相同傳統電影院，或者甚至更小顯示格式比如家庭錄像或者電視，增強原始成像的空間分辨率不是膠片恢復的重點。
本發明的數字重新灌錄處理也不同于已有的重新灌錄動畫電影為寬幅發行的方法，比如迪斯尼的幻想曲2000和美女與野獸寬幅發行作品。在這些成果中，圖像數據最初以數字形式生成，不被膠片轉換處理破壞。結果，圖像幀的空間分辨率不能通過圖像處理方法進一步增強，除非這些圖像用更多些細節重新重放。在幻想曲2000和美女與野獸重新發行中使用的方法不能增強活人動作膠片攝影的圖像分辨率。
在寬幅電影院放映源于35毫米膠片的電影的最簡單的方法是，利用具有更大放大倍率的投影透鏡填充整個屏幕。由于在35毫米發行拷貝上的圖像沒有足夠的空間分辨率，該方法不能傳送足夠的視覺質量。一個更好的方法是，使用數字空間內插方法數字放大電影的每一幀，并將放大后的圖像數據記錄到寬幅膠片，比如15/70膠片格式，用于投影。已有空間內插方法不能改善空間分辨率，并且通常使圖像柔和。某些空間高通濾波方法可被用于改善感知的圖像清晰度，但是這些方法也突出了圖像中的噪聲，比如膠片顆粒。為了減少圖像噪聲，某些低通空間濾波器可被應用，但是這些濾波器不可避免消除了圖像細節。因此，傳統空間處理方法不能滿足噪聲減少和保持圖像清晰度的沖突要求。

發明內容
本發明的圖像重新灌錄方法提供一種同時獲得分辨率增強和噪聲減少的解決方案。該方法規定圖像空間分辨率可通過時間圖像處理增強。由于該方法應用在大多數有效方法中，處理要求原始形式的所有圖像細節被保持。對于源自膠片的圖像，基本單元是膠片顆粒。眾所周知，如抽樣定理所規定的，如果空間抽樣網格滿足尼奎斯特抽樣頻率，也就是圖像內容的空間頻率極限的兩倍，所有信息可被保持。當掃描攝像機底片時，相當于使用不大于6μm的像素間距，以便捕獲下至膠片顆粒級的圖像細節。對于35毫米膠片上的以0.825”*0.602”的學會標準片格窗(academy aperture)拍攝的圖像幀，要求至少3500*2550像素的掃描分辨率。
當每個圖像幀首先使用空間內插數字放大時，空間分辨率增強更有效。空間內插不能改善空間分辨率，但是擴展了頻域的圖像頻譜，以致額外空間對于將被添加到圖像的附加的高頻細節是可利用的。該分辨率增強概念如圖1所示。附加圖像細節可通過時間濾波處理恢復。在運動序列中，場景中的一個對象在連續幀中捕獲，每個幀包含對象的一個類似但不同的版本。關于在當前幀不明確的對象的某些圖像細節可在它的相鄰幀中捕獲。通過從相鄰幀收集關于對象的所有信息來改善當前幀，當前幀的合成的對象可顯示未在原始形式中顯示的改善的細節。這種概念可通過時間濾波方法來實現，在該時間濾波方法中，來自許多幀的信息被分析并組合，以致附加圖像細節可從運動序列的每一幀中恢復。各種時間濾波方法也可用于減少時間不相關噪聲，比如感知的圖像序列中的膠片顆粒度。通過MTF測量的增強來改善圖像清晰度的新方法也被描述。
時間處理方法要求計算量很大的運動估算算法。一種方法是開發一種高效率實現本發明的計算系統，以致重新灌錄一部完整的電影可在相對短的時間內完成。本發明描述了一個具有智能中央控制器的并行分布計算系統，上述智能中央控制器以最大效率管理圖像重放處理。智能中央控制器使用各種最優化方案自動操作圖像數據增強處理。計算系統有一個可縮放到任何吞吐量要求的獨特的結構。
另一種實現方法是定義一個提供滿足高質量電影重新灌錄作品的大范圍需求功能的處理過程。在本發明中，重新灌錄操作的整個處理過程包括各種階段和處理模塊。處理的核心部分可用自動模式實現，但是也允許用戶輸入和交互的最大靈活性。基于統計分析的用于最佳參數估計和自動質量估計的一組初始算法在本發明中進行了描述，這些算法被智能中央控制器管理，傳遞最大質量結果。
在本發明中描述的處理和系統被設計成滿足最嚴格的作品要求，包括原始發行的新電影重新灌錄格式的同時發行。該應用要求重新灌錄處理方法和系統能精確可靠的跟蹤流水線中的每個操作的狀態，以及每個圖像數據片斷的數據流的狀態。本發明描述的系統結構允許智能中央控制器跟蹤整個處理中每個設備的狀態，包括遙控定位的設備。智能中央控制器也提供最新的狀態報告并且響應用戶特定詢問。這些特性已經證實對于滿足電影重新灌錄方案的嚴格制作時間表非常重要。


本發明的教導可以通過下面的詳細描述和附圖更容易理解，附圖為圖1描述了頻域的空間分辨率增強的概念；圖2是描述電影和其他運動圖像的數字重新灌錄處理的處理流程圖；圖3描述了用于電影重新灌錄的圖像增強系統的數據處理階段的系統結構；圖4是預處理模塊的處理流程圖；圖5是重放模塊的處理流程圖；圖6描述了重放參數的自動預測算法；圖7描述了重放客戶機的流水線；圖8描述了典型的具有時間窗口的時間濾波器方案；圖9描述了用于噪聲減少的三個時間濾波器方案；圖10描述了用于重放工作分配的三個方案；圖11是驗證模塊的處理流程圖；圖12是后處理模塊的處理流程圖；圖13示出了被智能控制器跟蹤的制作信息的類型的例子。
具體實施例方式
本發明描述了一種從原始格式到選擇格式或者增強圖像質量的原始格式數字重新灌錄電影或任何電影序列的處理和方法，和一種該處理的執行系統。數字圖像重新灌錄處理在圖2中描述，處理的執行系統在圖3中描述。如在圖2中的描述，數字圖像重新灌錄處理包括四個階段格式轉換100，數據處理110，圖像輸出120，圖像認可130。該處理被中央控制系統140控制，中央控制的核心是智能控制器141。智能控制器141通過硬件和軟件的組合實現其控制和監控從跟蹤物理數據流到控制實際任務執行的處理的每一方面。
在第一階段格式轉換100，電影圖像或任何運動圖像被轉換為可被數據處理110階段處理的數字格式。大多數電影來自膠片(底片或者中間膠片)，需要通過稱為膠片掃描器的設備轉換為數字格式(SMPTE Journal，1994年3月，第3號，第103卷，Glenn Kennel的“數字膠片掃描和記錄技術和實踐”)。膠片掃描器是取樣設備，轉換每個圖像取樣從膠片密度到表示的紅，綠，藍(RGB)色成分的二進制位。掃描的數據需要有足夠的比特深度，以便保持膠片上圖像的全部動態范圍。在本發明的一個實施例中，每個圖像幀以不大于6μm的像素間距取樣，每個取樣量化到具有10比特比特深度的RGB通道。掃描的數據隨后壓縮為DPX(數字運動圖像交換)格式(SMPTE 268M)或者更早的Cineon格式的文件格式。對于源自除了膠片的非數字形式的圖像，數字處理需要支持保持原始圖像所有信息的取樣率和量化電平。由于電影日益以數字形式制作和發行，可利用的數字數據可以通過數字轉換處理102直接從原始格式轉換為任何其他格式。在本發明的一個實施例中，希望的格式是10比特DPX格式或者Cineon格式。格式轉換處理102包括操作比如色空間轉換，壓縮/解壓縮和位組合，本領域技術人員能夠很容易使描述的處理適應于任何數據格式。轉換的圖像數據必須通過數據檢查處理103檢查是正確的，以致轉換處理中膠片掃描器的錯誤設置和其他故障導致的圖像數據中的錯誤被識別。數據檢查103的另一個功能是確保轉換后的圖像數據滿足一系列預定義質量標準，上述質量標準包括動態范圍和圖像細節的保持。包含錯誤或者不滿足質量標準的圖像數據被拒絕，要重新掃描或重新轉換。
在圖像數據格式轉換階段100轉換的圖像數據稱為原始圖像數據。在下一個數據處理階段110，原始圖像數據通過圖像增強處理增強分辨率和視覺質量。圖像增強處理包括四個處理模塊，它們是預處理模塊111，重放模塊112，驗證模塊113，后處理模塊114。
預處理模塊111包括取決于用戶決定的處理，比如鏡頭分離，再成幀，彩色校正和場景分類。也包括識別和消除原始圖像數據中的假象的處理。在本發明的一個實施例中，所有要求做出決定的操作通過特殊用途軟件和允許用戶交互的用戶工作站的組合來實現。用戶的決定被智能控制器141收集，隨后命令用戶工作站將相應的預處理操作應用于原始圖像數據。在本發明的另一個實施例中，目前的預處理操作在下面的重放模塊中執行，作為重放客戶機流水線的一部分，那些操作全部由智能控制器141基于用戶決定地控制。在本發明的另一個實施例中，彩色校正和假象識別的決定由圖像分析算法作出，以致這些操作可以以完全自動模式執行而不需要人干涉。
重放模塊112負責圖像數據分辨率和視覺質量的增強。重放模塊112的系統實現是硬件和軟件的組合，達到高吞吐量和高計算效率。在本發明的一個實施例中，重放模塊主要對圖像數據執行三種增強操作分辨率增強，噪聲減少，銳化。在本發明的另一個實施例中，重放模塊也執行額外預處理操作，包括彩色校正，再成幀，假象消除。為了達到高吞吐量，重放系統實現采用具有由智能控制器141控制的多個計算重放客戶機的并行計算結構。
智能控制器141負責最大化重放效率和傳送最佳圖像質量。通過使用智能算法計算最佳分辨率來實現。在本發明的一個實施例中，重放模塊112的操作是完全自動化的。智能控制器確定在可利用的客戶機中如何分配圖像數據來達到最大效率。也確定用于獲得最佳重放質量的重放指令的最好設置。智能控制器不斷監視重放操作的執行并且修改它的指令。在本發明的實施例中，允許用戶輸入他們的首選項到智能控制器，用于做出重放決定，甚至覆蓋自動化方案做出的決定。在本發明的另一個實施例中，用戶根據他們的經驗和觀察發布重放指令，并且基于統計性能分析不斷改變指令。在本發明的兩個實施例中，增強圖像數據的質量在驗證模塊113中被視覺驗證，以確保它們滿足預定義質量和分辨率標準。
在驗證模塊113，不滿足預定義質量和分辨率標準的增強圖像數據被拒絕，返回到重放模塊112用一組修改后的指令重放，或者如果問題涉及預處理決定，則返回到預處理模塊111。在本發明的一個實施例中，智能控制器141基于在重放模塊112計算的某些統計質量標志決定如何修改重放指令。在本發明的另一個實施例中，用戶根據那些統計質量標志的幫助修改決定。通常，直到滿足預定義質量和分辨率標準，圖像數據才通過驗證模塊。在特殊情況下，也就是圖像數據包含可在后處理模塊114確定的某些假象時，在被返回到驗證模塊113作最終估算之前，圖像數據被發送到后處理模塊114用于確定。
后處理模塊114執行某些最終問題確定操作。在被發送到圖像輸出階段120之前，滿足所有質量標準的圖像數據被組織。在某些情況下，圖像數據可能需要被轉換為膠片輸出處理121或者數字輸出處理122指定的格式。增強圖像數據也被寫入到永久數據存儲器，比如數據磁帶或者光盤，用于數據傳送或者文件備份。
圖像輸出120是電影的增強圖像數據被記錄成選擇膠片格式或者為數字顯示而重新格式的階段。在膠片輸出121的情況下，膠片記錄器可用于傳送圖像數據到膠片，記錄后的膠片用標準實驗室處理來處理。具有正確同步(correct timing)的印片用膠片(print film)使用光學印刷機(optical printer)制作。在膠片輸出121的情況下，圖像數據必須被轉換為適于數字顯示的格式，轉換處理中涉及的操作可以要求調整大小，色空間轉換，再成幀和壓縮。本領域技術人員很容易將描述的數據轉換成任何輸出數據格式。
最終階段是圖像認可130，通過人檢查想要發行格式的電影執行。在膠片格式的情況下，印片用膠片(print film)在表示計劃發行電影的電影院的觀看環境中投影。可對電影分段執行或者整體執行認可處理。那些被拒絕的圖像段將被發送到處理的適當的更早階段，重新處理。在數字顯示的情況下，類似的投影處理通過典型的數字顯示系統執行。認可的圖像成為最終重新灌錄的圖像作品。
在本發明中，數字重新灌錄處理的每個階段必需的物理設備不必位于鄰近的位置。在本發明的一個實施例中，每個階段的設備位于分離地理位置。不同位置之間的圖像數據和其他信息的交換可以通過電子數據傳送和信使服務很容易實現。
圖3描述了在單獨位置實現的數據處理階段110的系統結構。該結構可分成兩個功能部件。第一個部件是操作系統150，支持預處理模塊111，驗證模塊113和后處理模塊114中的所有功能。操作系統150包括數據文件服務器151，具有足夠磁盤空間的中央數據存儲器152，配備用于用戶交互操作的特殊用途軟件工具的多個工作站153，在文件服務器和工作站之間提供高帶寬連接的網絡開關，作為數據輸入和輸出設備的多個磁帶驅動器(tape driver)155。
第二個部件是重放系統160，支持重放模塊112中的所有操作。重放系統160包括智能控制器服務器161，支持服務器的控制器數據存儲器162，多個成簇配置的重放客戶機計算設備163。考慮到每個圖像幀所需的處理時間，每個簇所允許的重放客戶機的數目被簇網絡開關165的帶寬所限制。中心開關164提供高帶寬連接到所有的簇網絡開關165，系統支持的簇的數目被中心開關164的帶寬所限制。操作系統150和重放系統160之間的數據傳送通過數據文件服務器151和智能控制器服務器161之間的高帶寬連接實現。圖3中描述的系統具有模塊設計，完全可從特定重新灌錄方案縮放到日常吞吐量要求。
在本發明的一個實施例中，智能控制器服務器也用作數據文件服務器，并且兩個數據存儲設備組合成一個中央數據存儲器。但是，本發明的優選實施例是圖3中描述的雙服務器結構。當智能控制器服務器161必須關閉電源進行維護時或者當重放系統160發生系統故障時，操作系統150與重放系統160的分離允許用戶交互操作繼續。類似的，操作系統150的維護或者數據文件服務器151的故障不對重放系統160的操作發生影響。在圖3描述的結構中，中央數據存儲器152存儲預處理，驗證和后處理需要的所有圖像數據。控制器數據存儲器162存儲智能控制器跟蹤的所有信息和數據，作為作品數據庫。也提供在傳送到中央數據存儲器152之前由重放客戶機產生的臨時存儲器。
智能控制器服務器161和控制器數據存儲器162是用于智能控制器141的基本硬件設備，上述智能控制器141控制數據處理階段110中的所有操作。智能控制器還監視數據處理階段的處理狀態，并且收集來自可能位于遠程位置的其他階段的信息數據。訪問來自智能控制器141的數據的任何設備或處理被作為智能控制器服務器的客戶機。這允許智能控制器對整個重新灌錄處理提供集中控制，跟蹤每個設備的所有操作的狀態，并且跟蹤所有圖像數據流。通過軟件和硬件的結合，智能控制器141執行下述功能·資源管理-考慮到項目進度，自動計算最小日常吞吐量，管理可利用的資源來滿足要求。
·質量最優化-自動確定每個重放作業最好結果時的重放參數的最佳設置。也使用統計方法自動操作質量估算處理，來確定重放結果是否可以接受。
·計算效率最優化-管理作業隊列，利用可利用的計算資源，以最有效的方式調度和分配每個作業到重放客戶機。基于可利用的存儲資源，提供中間數據和處理狀態的自動化系統范圍超高速緩存，來最小化必要的重新重放作業必需的時間。
·作品管理-跟蹤和更新涉及重放處理的所有信息和來自處理的每個階段的圖像數據流，并將數據組織成一個數據庫。產生產品處理中各個方面的最新的報告，通過查詢構造器回答用戶查詢。
·系統管理-管理所有重放客戶機和監視他們的狀態，并且監視系統性能和診斷問題。
·用戶交互-接受用戶決定，并且允許用戶覆蓋自動化方案的決定。還根據用戶指定的用途優選做出決定數據處理階段的四個處理模塊的細節在下文中詳細描述。
預處理模塊111設計為用戶交互處理，以致通過使用專門設計的軟件預覽圖像數據，用戶可以做出獨創的決定。特別當從膠片掃描時，原始圖像數據通常是場景變化時沒有中斷的長圖像序列形式。預處理模塊的主要任務是將數據分離成鏡頭，每個鏡頭代表某些鏡頭特性的連續性，比如運動或照明。每個鏡頭用開始和結束幀數標記，并分配一個唯一的鏡頭數。在本發明的一個實施例中，這些鏡頭進一步分組成更小數目的場景，使得屬于相同場景的所有鏡頭共享某些共同的特性。場景分組使得可以用相同參數來處理屬于同一場景的所有鏡頭。鏡頭分離決定由技術人員產生，但是也可以由軟件通過場景分析自動產生。
另一個需要用戶產生的關鍵決定是再成幀。重新灌錄方案通常需要該操作是因為以下兩個原因第一，掃描的數據通常包括圖像數據之外的空白電影區域，為了最終發行必須剪掉；第二，重新灌錄電影可以以與最初想要的不同的寬高比發行。再成幀決定可由技術人員產生。如果再成幀決定在一個鏡頭中幀到幀變化，搖鏡頭&掃描操作必須作為再成幀處理的一部分。本領域技術人員能夠很容易執行描述的操作來滿足任何再成幀決定。
圖4描述了預處理模塊的典型處理。用戶決定可以基于原始圖像數據的直接預覽產生，或者可以選擇預覽原始圖像數據的代替版本，以便減少圖像數據的數量和縮短數據加載時間，同時增加每個加載的運行時間。在本發明的一個實施例中，代替版本通過代替產生模塊200產生，該模塊包括縮小，比特深度減少和彩色校正。代替版本的大小必須適合用戶作出預處理決定，而小到足夠確保軟件預覽的高效率。在本發明的另一個實施例中，使用標準壓縮技術對代替版本施事合適的數據壓縮，進一步增加視覺預覽效果，而不影響觀看質量。通過預覽圖像序列的替代版本，用戶可以根據鏡頭編輯201(具有鏡頭數的每個連續場景的開始和結束幀)，再成幀202(基于預確定的寬高比的剪切和搖鏡頭&掃描)，彩色校正參數204產生快速和關鍵的決定。用戶也可以從每個鏡頭選擇少數關鍵幀203，將在下一個重放模塊用于場景分析。預處理還包括假象識別處理205，其中污垢，膠片劃痕，膠片老化，化學污點產生的假象，以及在數字作用階段引入的假象可被識別，并隨后消除。用戶確定的這些決定和數據被智能控制器141收集，該智能控制器應用適當的圖像處理軟件工具到原始圖像數據，基于鏡頭剪輯，將其分離成場景內容，為重放操作做準備。在本發明的一個實施例中，圖像處理工具包括鏡頭分離和文件重命名207，圖像剪輯208，彩色校正209，圖像調整大小210，假象消除211。
原始圖像的代替版本也用于場景分類206。場景分類處理的目的是將復雜的場景分組為相對小的類，以致屬于相同類的圖像共享某些使他們不同于其他類的圖像的唯一特性。場景分類使得可以應用不同的圖像處理方法和/或不同的重放參數到每個類，以致獲得最好結果。場景分類的一個例子包括快動作場景，慢動作場景，靜止攝像鏡頭，黑暗場景，明亮場景，具有大部分天空的場景，面部特寫鏡頭，廣角鏡頭，自然場景，等等。在本發明的一個實施例中，用戶執行場景分類206。在本發明的另一個實施例中，場景分類由自動算法基于場景分析執行。每個圖像用一個特征矢量表示，該特征矢量可以由一長列成分，包括彩色直方圖，梯度直方圖，方向邊緣，運動等等。當由特征矢量表示時，圖像作為多維特征空間的取樣。標準統計分組方法可用于分組取樣為初步的類。關預縮略圖的第二運動類似分析可以確保具有連續運動的取樣保持在同一個類中。可通過圖6中描述的重放參數預測220對每一類確定一組特定重放參數。
假象消除211對于要求高圖像質量的重新灌錄方案是必要的。對于從膠片掃描的原始圖像數據，由膠片上的污垢，灰塵和劃痕產生的假象是不可避免的。由于膠片老化和洗印室化學處理產生假象也發生，特別是對于更舊的庫存電影膠片。對于原始數據形式的可利用的原始圖像數據，可能在數字效果處理中存在不完整的假象。在本發明的一個實施例中，假象通過自動化處理消除。特殊搜索算法應用到包括當前幀的幀范圍，來識別具有已知唯一特性的假象。識別為由污垢，灰塵產生的假象的像素顯示與周圍正常像素不同的亮度值，這些像素與相鄰幀沒有時間相關性。周圍正常像素的運動估算被計算。由于污垢和灰塵假象被識別，他們被基于周圍正常像素的運動估算計算的預測像素值替代。識別為由膠片劃痕產生的假象的像素顯示與周圍正常像素不同的亮度值，并且這些像素通常形成細的垂直或者水平線(取決于膠片格式)。這些膠片劃痕像素可以與相鄰幀有很強的時間相關性。由于膠片劃痕假象被識別，他們可被基于周圍正常像素的內插算法計算的預測像素值替代。當假象的唯一特性可以清楚定義時，自動化方法有效。在本發明的另一個實施例中，假象通過半自動方法消除。在該方法中，用戶只需要通過專門設計的軟件205識別圖像數據中包含一個或者多個假象的小的圖像區域，那些圖像區域的位置發送到智能控制器141。接著，將搜索算法應用到這些假象所位于的識別的小區域，把不正常的象素定位到小區域中的不規則像素。由于假象像素定位，這些像素用預測像素值替代，與上文描述的本發明的自動化實施例相同的方式相同。由于運動估算限制在識別的小區域，搜索和消除算法可在很短時間內完成。對于那些不能用任何方法消除的假象，將由用戶使用標準修正軟件修正。
在本發明的一個實施例中，假象消除210同時在預處理模塊111和后處理模塊114中執行，并且大多數假象在后處理模塊中消除。在本發明的另一個實施例中，假象消除只在后處理模塊中執行。在后一種情況，如果一個鏡頭在認可階段130被拒絕，并且需要發送返回到重放模塊112重放，則假象消除操作必須被重復。如果使用手動和半自動方法，這將降低操作效率。
已被分離成鏡頭的圖像數據的增強，發生在重放模塊112。重放模塊的操作被智能控制器141控制，并且完全自動化。圖5描述了重放模塊的處理流程圖。重放模塊的硬件實現是重放系統160，具有多個配置到簇的計算客戶機163(如圖3所示)。每個計算客戶機是標準計算設備。在本發明的一個實施例中，每個計算客戶機是在Linux操作系統下運行的奔騰處理器計算機。當圖像鏡頭序列或者鏡頭正在經歷重放客戶機的一系列圖像增強操作時，稱為重放作業或者作業。作業可被分配到單個重放客戶機或者許多重放客戶機。每個圖像增強操作提供一個或者多個參數，上述參數可被調整來獲得希望的結果。來自每個增強操作的所有參數的收集形成重放參數設置，確定重放結果的性能和質量。對于具有不同特征的圖像鏡頭，重放參數設置必須被調整，以致獲得可能最好的視覺質量。
重放參數設置包括決定重放客戶機223的處理的參數，這些參數包括用于運動估算(支持的匹配區域，分層運動模型中的數目層，搜索范圍，決定校正匹配的閾值等等)，時間濾波(時間窗口大小，濾波器系數等等)，銳化的參數。這些參數可用多種方式確定。在本發明的一個實施例中，參數設置由經驗豐富的用戶基于每個圖像鏡頭的視覺檢查來預測。只有用戶的決定一致并且可靠時，該方法才有效。在本發明的另一個實施例中，重放參數設置通過基于圖像分析220的預測算法估算。
重放參數預測的算法在圖6中描述。為了減少計算，對從一個鏡頭序列中選出圖像幀的取樣執行圖像分析。這些取樣幀稱為關鍵幀，由用戶在預處理階段的關鍵幀識別處理步驟203選擇。在本發明的另一個實施例中，關鍵幀也可通過算法300確定，該算法計算鏡頭中每一幀的直方圖，并且根據直方圖一致性確定最具代表性的幀。
一系列圖像分析操作應用到選擇的關鍵幀。在本發明的一個實施例中，這些操作是為了初始運動估算設置301的估算，包括·圖像噪聲分布粒度的估算302；·基于估算噪聲粒度的支持匹配區域(MRS)的估算303；·通過計算關鍵幀之間的平均絕對運動的整體運動的估算304；·基于估算整體運動的搜索范圍的估算305。
使用估算的支持匹配區域和估算的搜索范圍，運動估算算法可應用到關鍵幀，從關鍵幀306計算運動估算。多種運動估算算法可應用到該應用程序中，這些算法在下面的出版物中描述IEEE信號處理雜志，1999年7月，第16卷，第4號，Christoph Stiller和Janusz Konrad的“估算圖像序列中的運動”。在本發明的一個實施例中，基于分層運動模型的運動估算算法的像素被實現。
基于多個分辨率層的計算運動矢量，根據圖像時間特性計算一些關鍵統計測量307，包括·瞬時信噪比(TSNR)308-TSNR測量關鍵幀之間的時間不相關噪聲的電平。在運動估算后計算TSNR，通過基于運動矢量彎曲一個關鍵幀到其他幀，隨后計算MSE(均方誤差)的倒數。TSNR用dB測度，類似于用于信號分析的傳統SNR。如果TSNR很大，則瞬時噪聲小，反之亦然。
·運動309-鏡頭中的運動量用兩種方式測量。在本發明的一個實施例中，運動由在關鍵幀之間可靠跟蹤的所有像素的運動矢量的平均絕對大小來測量。在本發明的另一個實施例中，運動根據特征點的平均運動測量。特征點通常比平均像素提供更可靠的運動估算。但是特征點的運動估算要求一種不同的算法，并且處理必須與基于像素運動估算分開實現。
·快速匹配分布(FMD)310-FMD是兩個關鍵幀之間的直接像素匹配(快速匹配)的百分比分布對匹配閾值。當在預定義小搜索區域存在匹配時，兩個幀之間的像素直接匹配發生。FMD是運動估計量的性能的標志。對于一個給定FMD，有一組傳遞希望性能的相應閾值。
預測算法311基于FMD，TSNR和運動預測重放參數。在本發明的一個實施例中，預測以一組相應于給定FMD的匹配閾值開始。當TSNR大或者運動大時，那組閾值加權減小，當TSNR小或者運動小時，那組閾值加權增大。
重放參數預測器220的操作被智能控制器141控制。用戶輸入可以反饋到參數預測器311，來根據用戶首選修改預測器。預測器220也允許用戶用首選重放參數來重寫預測。
回到圖5，一旦一個圖像鏡頭的重放參數設置確定，可以提交給重放隊列221，作為一個重放作業。智能控制器141檢查提交的有效性，將作業添加到作業隊列221。隨后發送作業提交到一個或多個可利用的重放客戶機，根據預先確定的作業分布方案222進行處理。重放客戶機223根據指令和計算統計質量標志323處理數據。客戶機也頻繁向智能控制器141報告它們的當前情況和狀態。一旦作業完成，智能控制器收集來自相應客戶機的分布的結果，臨時存儲在控制器數據存儲器162。隨后檢查數據的完整性和作業的完整性225。如果智能控制器141發現某些幀丟失或者某些幀不完整，則要求重放客戶機重新處理那些幀。如果作業完成的滿意，執行估算226，來測量重放質量。如果要求的質量未達到，控制器嘗試修改重放參數設置230，發送作業返回到作業隊列。在特殊情況下，要求某些時間濾波選項(參見圖7和圖9)被指定231。對于每個作業重新提交，作業的版本通過版本控制方案232更新。如果智能控制器滿意重放結果，發送圖像數據到中央數據存儲器152，并且發送驗證通知227到數據文件服務器151。
每個重放客戶機223對圖像鏡頭數據執行的處理由圖7描述的一系列圖像處理操作組成。主要操作包括時間濾波322，調整大小326和銳化327。重放客戶機也計算統計質量標志323，該統計質量標志323包括像素匹配率(PMR)和絕對靜止率(ASR)。這些質量標志用于在圖3的質量估算階段226估算重放質量。另外，建立增強圖像鏡頭的代替版本，用于圖2的驗證模塊113的視覺檢查。一旦作業完成，重放客戶機通知智能控制器141，它將在控制器數據存儲器162存儲結果并釋放重放客戶機。重放客戶機的處理流水線中的步驟在下文中討論。不是所有的步驟必須用在每個應用中。圖7描述了一個實施例中處理步驟的優選順序。
時間濾波322是重放客戶機處理流水線實現的計算量最大的操作。提供兩個功能分辨率增強340和噪聲減少341。分辨率增強的概念是基于來自感光膠片的圖像開發的，但是基于該概念開發的方法不限于基于膠片的圖像應用。實際上，本發明描述的分辨率增強方法應用到使用光學設備捕獲的任何圖像序列，比如光電檢測器，電子傳感器和已傳送為上述媒體的計算產生的圖像。
感光膠片包括對弱光敏感的鹵化銀晶體。當膠片被顯影時，這些晶體變成微小的金屬銀細絲。在彩色膠片中，顯影處理中微小的著色塊與銀一起形成。隨后銀從膠片化學消除，只留下著色圖像。這些小著色微粒形成膠片顆粒。膠片顆粒的大小和形狀可以改變，并且隨機分布。但是隨機分布的膠片顆粒實際上是在膠片上形成圖像的基礎建筑塊。
包含在單幀圖像中的信息可通過它的頻域內容完全描述。當圖像幀被數字化時，保持在數字版本中的信息受抽樣理論限制。用調整大小方法數字放大數字圖像幀不增加更多的信息，但是構成頻率空間，以致附加圖像細節可被添加到圖像幀，如果這些細節可用其他方法恢復。分辨率增強的概念在圖1中描述。圖1(A)示出了以尼奎斯特頻率Fs≥Fmax取樣的頻帶限制圖像信號的頻率響應；圖1(B)示出了具有從分辨率增強處理恢復的附加高頻成分的同一圖像信號的頻率響應。圖像信號以Fs’≥Fmax，可以添加從其他圖像幀恢復的高頻細節。增強圖像信號的空間分辨率現在變成Fmax’＞Fmax。
在本發明的一個實施例中，通過時間濾波從相鄰幀恢復附加圖像細節。在時間濾波中，圖像幀的內容通過數學算法增強，該數學算法使用來自相鄰圖像幀的信息，如圖8所述。在時間濾波器中使用的相鄰幀的數目(包括當前幀)稱為“時間窗口”。例如，圖8中時間濾波器400使用的時間窗口401的大小是2N+1。通過移動時間窗口401，連續圖像幀被時間濾波器400增強。
本發明描述的分辨率增強方法340由三個主要步驟組成運動估算，運動場調整，細節恢復。具有足夠精確性和穩定性的運動估算算法是第一個基本步驟。攝影圖象中不同大小和形狀的隨機膠片顆粒的存在向任何運動估算算法挑戰。運動估算算法必須可以從隨機膠片顆粒細節中識別真實圖像內容。眾所周知的運動估算算法可用于該應用，大多數算法在下面的出版物中描述IEEE信號處理雜志，1999年7月，第16卷，第4號，Christoph Stiller和Janusz Konrad的“估算圖像序列中的運動”。在本發明的一個實施例中，基于分層運動模型的算法用于達到可靠性和精確性。在該方法中，運動以多個細節程度模型化，可以首先發現主要運動特性，并且隨后改進估算。在分層運動模型中，每個圖像幀用多級數據結構表示，每個表示圖像細節的特定級。電影膠片細節通常用最低分層級表示。在最高分層級計算的運動估算表示真實圖像內容。在每個分層級，每個像素的運動估算用對于一個時間窗口內所有幀的可變大小塊匹配算法計算。在塊匹配中使用的搜索策略不同于窮舉搜索和次優快速搜索。在窮舉搜索中，在預定義搜索范圍內的所有候選被檢查，最佳匹配是最小化預測誤差的一個。在快速搜索中，“最佳匹配”標準用“第一次匹配”標準代替，該“第一次匹配”標準將具有在某組域值標準之下的預測誤差的第一個候選作為估算。在最高級獲得的“粗略”運動估算被計算作為所有候選中的最佳匹配。該運動估算連續改進隨后的分層級。該分層搜索策略限制在每一級相對更小的范圍內搜索，以致計算復雜性明顯減少。在最底層，膠片顆粒結構變得明顯，必須應用對膠片顆粒變化加強的搜索策略。由于膠片顆粒大小根據生膠片，照明條件，洗印車間處理等等改變，支持的匹配區域必須充分大于最大膠片顆粒大小。
運動場調整是必需的，因為運動估算是一個不適當的問題，并且多個解決辦法存在給定一組搜索標準。大部分估算誤差發生在圖像的平滑區域，可能的解空間的大小急劇增加。該方法使用高頻特性，平滑性和質量測量限制解空間。高頻特性是“視覺有效”圖像特性，可通過特性分析識別，他們表示像素亮度，像素彩色或者像素運動的顯著改變。從表示高頻特性的像素獲得的運動估算比從平滑區域像素獲得的運動估算更可靠和更精確。平滑性限制狀態，平滑區域的相鄰像素很可能分享相似的運動估算。對于高頻特性，平滑性應該應用到特性取向的方向。每個運動估算被分配一個指示估算可靠性的可靠性測量。運動估算的可靠性測量與估算相關的解空間大小成反比。對于具有低可靠性測量值的像素，應考慮運動場調整，應該對解空間施加更多限制，以致減少估算誤差。
為了在給定幀間隔獲得子像素精確性，通過基于相應的運動估算，映射每個相鄰幀到當前幀間隔構造一組合成幀。計算每個合成幀和當前幀之間的誤差映射。對于那些具有大估算誤差的像素，它們的運動估算被修改，直到誤差最小化。估算精確性的進一步改進可以使用更復雜的運動模型獲得，比如六參數仿射模型或者八參數射影線性模型。根據修改后的運動估算重建合成幀，并在細節恢復步驟使用。
分辨率增強圖像403通過在時間窗口401內合成幀的自適應時間內插構造。FIR(有限脈沖響應)結構的自適應時間濾波器400應用到每個像素位置。濾波器系數基于每個像素相關的運動估算可靠性測量確定。如果運動估算非常可靠，濾波器系數與每個幀間隔的可靠性測量成比例加權。另一方面，如果運動估算不可靠，濾波器系數更側重對當前幀加權。
盡管前面描述的時間濾波基于攝影圖像，也同樣應用到使用某些光學設備捕獲的圖像，包括光電檢測器和電子傳感器，以及已被傳送到上述媒體的計算產生的圖像。
分辨率增強340的直接結果是，增強圖像序列403中“沸騰”膠片顆粒的視覺減少。如前所述，膠片顆粒大小和形狀不同，在空間和時間上隨機分布。當圖像被運動觀看時，該隨機圖案產生“沸騰”顆粒現象。在寬幅電影中，觀眾通常比在常規電影院坐的更靠近屏幕，以致圖像覆蓋視場的更寬部分。這導致“沸騰”膠片顆粒變得顯然討厭的，被感知為不希望的噪聲。時間濾波方法400抑制“沸騰”膠片顆粒噪聲，因為它改進序列中相鄰圖像幀之間的時間相關性。進一步的，作為增強空間分辨率的結果，膠片顆粒也被減少。
由于每個輸出幀可獨立計算，圖8中描述的單通時間濾波算法可用并行處理模式實現。對于大多數圖像鏡頭，單通時間濾波在噪聲減少方面非常有效。但是，對于特別躁雜的圖像，或者對于噪聲級是主要關注的作業，可應用其他噪聲減少算法341。在本發明的一個實施例中，噪聲減少341用圖9中描述的三種多通時間濾波方法之一實現。為了描述清楚，實際時間濾波設備400在圖9中省略，本領域技術人員很容易實現描述的這些算法。
圖9(A)描述了多通時間濾波算法410。多通算法基本上重復單通方案多次。圖6中描述的重放參數預測在每個通道之前應用。多通時間濾波在特別躁雜的圖像中對抑制噪聲是有效的。
圖9(B)描述了基于時間錐形的多通算法411。在第一通道“時間”取樣是粗略的，時間窗口內每N個幀被使用。對于下一個通道的時間取樣率增加，直到時間窗口內的每個相鄰幀在最終通道中使用。時間錐形濾波有助于減少圖9(A)描述的方案所要求的計算量。
圖9(C)描述了連續時間濾波算法412，可作為迭代處理實現。先前處理的幀立即用于處理下一個幀。自圖9中描述的算法通常在噪聲減少方面執行得更好，但是與圖8的單通道算法相比，他們易于減少圖像細節。在時間濾波選項處理231(如圖5所示)中，某些標準可被定義，基于在處理308計算的TSNR表示的圖像噪聲級，為時間濾波選擇最合適的選項。
圖5示出重放質量估算處理226被實現，基于在時間濾波323期間由重放客戶機計算的統計質量標志來估算重放性能。在本發明的一個實施例中，質量估算算法基于PMR(像素匹配率)和ASR(絕對靜止率)。PMR和ASR測量對每個圖像幀執行的實際時間濾波操作的影響，他們是正常范圍之外的重放參數預測的有益的標志。PMR和ASR用于預測獲得更好結果所要求的重放參數修改。
PMR測量在時間窗口的幀范圍內被可靠估算的像素的百分比。在時間濾波中，不是每個像素可以在時間窗口內的每一幀找到對應。一些像素只能在少數幀被跟蹤，一些像素根本不能被跟蹤。PMR是可被跟蹤的幀范圍內每種類型像素的百分比的分布。到達最高點(更多的幀)的PMR指示在整個時間窗口內大多數像素被可靠跟蹤。另一方面，到達最低點(較少的幀)的PMR指示運動估算算法在跟蹤圖像時有問題。高PMR分布暗示當前圖像幀相對干凈，但是也可以指示不適當的重放參數設置(例如匹配閾值太高，MSR太小)。低PMR分布可能暗示真正的噪聲圖像，但是也可以指示不正確的參數設置(例如低匹配閾值，MSR太大)。
ASR測量幀范圍內沒有重大搜索努力而易被跟蹤的像素分布。在時間窗口的全部范圍內那些保持在相同位置的像素被稱為“絕對靜止像素”。在本發明的另一個實施例中，絕對靜止像素包括那些在他們的位置有很小改變的像素。對于很少運動的圖像，ASR的峰值很高，對于具有明顯運動量的圖像，ASR的峰值很低。如果對于具有合理運動量的圖像，ASR的峰值很高，它可以指示重放參數(閾值太高，搜索范圍太小等等)的不適當設置。
在本發明的一個實施例中，重放質量估算處理226是一個自動化的處理。對于在場景分類處理206確定的每一類場景，PMR分布的標準分布被預先確定，該標準分布表示相同類中場景的平均PMR分布。類似的，ASR的標準分布也被確定。估算算法226比較當前作業的PMR和ASR與那些標準分布，確定應用到作業的時間重放是否在正常范圍內。如果與標準分布相比，當前作業有不同的PtR或ASR分布，則作業被拒絕，并且發送回同一重放客戶機，用一組修改后的重放參數來重新重放。
參數預測器220估算的重放參數對于圖像特征的局部變化可能不是最佳的。一個例子是噪聲分布。眾所周知，膠片顆粒有不均勻的分布和膠片密度。膠片顆粒在印刷的中間影調最明顯，表示大約0.6到0.9的密度范圍。當攝像機曝光減少時，膠片顆粒也易于增加。類似的不均勻存在于使用電子攝像機捕獲的圖像中，其中在暗色區域噪聲級易于很高。噪聲分布的不均勻也可以是在文件格式變換中普通使用的非線性變換(對數，伽馬等等)的結果。
回到圖7，為了有效抑制暗色區域的噪聲，同時不影響其它區域的圖像質量，對圖像應用噪聲均衡算法321，在時間濾波前保持噪聲分布均勻。算法包括以下步驟。第一步是計算噪聲直方圖。用一組相對大的閾值對從關鍵幀選擇的一對幀執行全搜索運動估算。隨后對每個像素計算塊匹配誤差。對于那些具有低塊匹配誤差的像素，計算直方圖，并與標準直方圖比較。噪聲直方圖是噪聲和像素亮度關系的有效表示。計算噪聲直方圖和均勻分布直方圖之間的MSE。如果MSE值很大，圖像的噪聲分布被認為不均勻。找到一個可以均衡噪聲直方圖的變換(以查找表的形式)，并且確保也有一個反變換。最后，在時間濾波前將變換應用于圖像。在時間濾波后，反變換324必須應用到圖像，以便保持它的原始彩色。
運動估算算法的加下劃線假設是，相鄰幀之間沒有突然的彩色改變。當場景中有照明改變時，比如閃電，閃爍營火，移動陰影等等，該假設打破。如果沒有適當的補償，時間濾波322的效果將被減少。在本發明的一個實施例中，照明補償算法320以選擇最亮的幀作為參考開始，隨后設法找到對于每一幀的變換，來匹配參考。那些變換包括伽馬曲線，直方圖拉伸或者其他單調非線性變換。變換可通過匹配一幀的直方圖與最亮幀的直方圖建立。為了保持幀之間的平滑轉變，必須對時間濾波器應用變換，以確保時間一致性。一旦建立對于每一幀的變換被建立，在時間濾波前將其應用到每個幀，隨后將反變換325應用到增強數據，以保持它們的原始彩色。該方法對于具有頻繁但是相對小照明改變的序列是適當的。
在本發明的另一個實施例中，照明改變補償也可作為時間濾波322的自適應機制實現。在該方法中，時間窗口內每一幀的直方圖與相鄰幀的直方圖比較。隨后所有相鄰幀相對作為參考的當前幀以類似方法補償，如前面的段落所述。由于算法總是使用當前幀作為參考幀，該自適應照明補償算法不需要反變換。該方法對于包含強照明改變稀少但是強烈的場景是適當的。
如果對于重放作業，噪聲均衡321和照明改變補償320都是需要的，照明改變補償320應在噪聲均衡321之前應用。在本發明的另一個實施例中，兩個階段的變換被合成為一個變換，以致可以只被應用一次。
銳化327是重放客戶機流水線的最后步驟，它強調圖像的高頻成分。由于來自分辨率增強的恢復圖像細節主要是高頻成分，銳化可以明顯改進圖像質量。銳化也可被模型化為一個處理，來恢復圖像形成處理中的MTF丟失。MTF表示調制變換函數，它用于分析圖像系統的質量。例如，在膠片上形成的圖像質量可被模型化為處理中單個設備的MTF的乘法。這些設備可以包括攝象機光學器件，底片，印片用膠片，印刷機和掃描儀光學器件。由于大多數設備具有低通MTF，圖像形成處理的合成MTF必須具有低通MTF。因此，希望的銳化算法應顯示高通MTF特征，以便修正圖像質量的降低。
標準鈍化掩模濾波器是這樣一種銳化算法，可以被描述為y(x，y)＝f(x，y)+g(x，y)·[f(x，y)-LP(f(x，y))](1)其中，LP(f(x，y))是低通濾波器。項f(x，y)-LP(f(x，y))示出了高通特征，鈍化掩模濾波器通過乘以一個銳化增益g(x，y)來提高它。提高的高頻成分添加到原始圖像f(x，y)。濾波器增益g(x，y)通常是常數，但是它可以基于局部特征變成自適應的。在平滑區域，應選擇小的濾波器增益，以致不希望的特征，比如膠片顆粒，不被強調。
標準鈍化掩模濾波器的一個問題是，被強調的高頻成分的范圍，被等式(1)中低通濾波器的內核尺寸限制。通過改變低通濾波器的內核尺寸，圖像細節的不同級，對應于MTF曲線的不同部分，可被選擇性強調。對于通常包含相對大范圍的圖像細節的電影圖像，銳化在相對寬范圍的細節級中改進系統MTF是很重要的。為了達到上述目的，本發明推廣了等式(1)中的鈍化掩模濾波器，通過下面的描述來支持細節的多個級y(x,y)=f(x,y)+1k{Σkgk(x,y)[f(x,y)-LPk(f(x,y))}---(2)]]>在等式(2)中，第K個細節級的銳化增益值gk可被選擇來補償在該特定細節級的MTF降低。在本發明的一個實施例中，在等式(2)中使用高斯低通濾波器，一直到內核尺寸的六個級被開發。本領域技術人員將認識到本發明不限于高斯低通濾波器和六個細節級。遵循本發明教導的其他類型的低通濾波器和多個細節級是可能的。
圖5描述的重放模塊是為獲得要求時間操作的圖像處理任務的高效率而專門設計的。智能控制器141管理重放任務分配，并且基于預先確定的負載平衡方案將作業分布到專門的重放客戶機。如果有多個可利用的候選，智能控制器檢查重放客戶機簇163中的網絡通信負載分布，并且從一個簇(或多個簇)選擇一個具有最低通信負載的重放客戶機(或者多個重放客戶機)。對于隊列中的每一個作業，可以分配到單個重放客戶機，特別是當在隊列中等待的作業多余可利用的重放客戶機的數目時，或者可能分配一個作業到多個重放客戶機時，特別是當作業需要盡可能快地完成時。在本發明的一個實施例中，作業分配處理222按照圖10描述的三個方案之一。
在方案A 420中，每個鏡頭分配給單個重放客戶機，它將被發送到具有最短等待時間的一個重放客戶機。例如，如果兩個重放客戶機是可利用的，作業將被分配給在等待處理的具有更少幀的重放客戶機。如果兩個重放客戶機具有相同的等待時間，作業將被發送給簇有最少負載的重放客戶機。在方案B 421中，單個鏡頭被分成許多片斷，每個片斷至少包括最小數目的幀。每個片斷被分配給一個重放客戶機，遵循同樣的“最短等待時間和最少負載”標準。片斷之間應該有足夠的幀重疊，以致每一個片斷被時間濾波器正確重放。需要的重疊幀的數目由時間窗口大小確定。智能控制器141必須總是知道在時間濾波中使用的當前時間窗口大小，并且計算要求的重疊幀。在方案C 420中，每個幀進一步分成多個區域，每個區域分配給一個重放客戶機。由于運動估算的特性，每個區域必須允許足夠的重疊行和列，以便適應運動估算算法開發的搜索策略。本領域技術人員將認識到本發明不限于圖10描述的三種方案，遵循本發明教導的其他作業分配方案也是可能的。
一旦被指示運行一個作業，每個重放客戶機負責從中央數據存儲器152采集要求的所有圖像數據，對每個幀運行必需的操作，將增強圖像數據送到控制器數據存儲器的臨時位置。對于分配到多個重放客戶機的一個作業，智能控制器負責匯編224來自重放客戶機的重放片斷，使其成為一個連續的鏡頭。智能控制器也檢查匯編數據的完整性225，檢查鏡頭中臨時丟失的幀或者不完全的幀。如果臨時丟失的幀或者不完全的幀被發現，智能控制器發送請求到相同重放客戶機，重放那些幀。智能控制器和重放客戶機之間的通信對于重放效率是決定性的。智能控制器跟蹤每個重放客戶機的當前狀態，并且不斷監視可利用的處理器。在重放客戶機發生故障時，智能控制器發出修理警報。它改道發送作業到其他可利用的客戶機處理。診斷處理確保傳送中沒有數據丟失。如果智能控制器服務器遇到故障，故障之前系統的狀態被保存。在本發明的一個實施例中，智能控制器服務器重新啟動，取消正在重放客戶機運行的所有處理，并且重新分配作業到每個重放客戶機。在本發明的另一個實施例中，智能控制器探詢重放客戶機他們的狀態，找到它們的當前狀態，并且恢復控制。這是一個更復雜的重新啟動方案，但是不需要數據的重新重放。
如前面章節所述，重放操作的性能通過估算統計質量標識來估算，比如PMR和ASR，由重放客戶機計算。但是，標準PMR或者ASR測量不能保證最佳視覺質量。需要通過人類視覺檢查來確保最終視覺質量，該處理由驗證模塊113實現，圖11所述。增強圖像的代替版本，在重放客戶機流水線(圖7)的代替產生處理328產生，用于視覺檢查。代替圖像的大小應足夠用戶發現存在的重放問題，但是小到足夠確保軟件觀看效率。通過觀看專用軟件實時顯示的代替版本，用戶可以確定圖像質量。
在本發明的一個實施例中，用戶首先檢查每個作業是否完成240。重放模塊中的自動化完整性檢查處理225不捕獲所有重放問題，那些被完整性檢查225遺漏的幀將在該階段被捕獲。那些發現問題的幀被重新提交到原始重放客戶機進行處理。一旦一個作業被認為完成，用戶將檢查下面的用戶最關心的質量方面·驗證是否全部圖像和局部區域的噪聲電平是可接受的244；·驗證是否視覺清晰度是適當的245；·驗證是否足夠圖像細節被保持和增強246；·驗證是否再成幀決定是正確的247；·驗證是否進一步的彩色校正是必需的248；·驗證是否存在必須被消除的假象249；·驗證是否鏡頭中的運動導致觀看不舒適250。
圖像細節的檢查要求用戶以高分辨率觀看圖像。在這種情況下，增強圖像數據和原始參考對用戶都是可利用的。在本發明的一個實施例中，專用軟件在相同觀看窗口顯示兩個圖像數據，以致用戶可以用數字擦功能比較兩個圖像。
如果用戶發現作業的噪聲電平太高，或者作業的視覺清晰度不適當，或者存在不能接受的圖像細節丟失，作業將重新提交到具有用修改后的重放參數的重放模塊251。在本發明的一個實施例中，用戶與測量的統計質量標志協商作出決定。智能控制器141通過專用軟件在工作站153向用戶提供那些統計測量(PMR，ASR，TSNR，運動等等)的圖形化顯示。基于可利用的統計數據，用戶作出必需的參數修改的決定。在本發明的另一個實施例中，自動化算法在處理251中執行，基于相同統計測量，計算重放參數的必需的修改。
如果用戶發現再成幀的問題，圖像鏡頭應被發送回預處理模塊，獲得新的再成幀決定。關于彩色248，假象249和運動校正250的問題，用戶作出校正決定252，發送圖像數據到后處理以修正，并且沒有通過標志。具有可接受圖像質量的每個圖像鏡頭從智能控制器獲得一個通過標志254，并且也被發送到下一個后處理模塊，用于數據輸出。
如圖12所示，在后處理模塊中，要求修正的圖像鏡頭被發送，用于假象消除265，或者彩色校正266，或者運動校正267。假象消除和彩色校正的方法與預處理模塊111中的處理非常類似。修正鏡頭被發送回驗證113，獲得通過標志254。沒有通過標志的任何圖像鏡頭不允許通過檢查點260。認可的圖像鏡頭以與電影中相同的順序組織261，并且在被發送到圖像輸出階段120之前轉變為要求的輸出格式。后處理階段的所有這些操作被智能控制器141控制和跟蹤。
運動校正267是專用于寬幅投影要求的處理。當傳統電影在寬幅電影院放映時，其中在該寬幅電影院中，圖像覆蓋了觀眾視場的更大部分，電影中的運動感覺也被放大。對于包含快速攝像機運動(fast camera motion)或者嚴格對象運動(rigorous object motion)的場景，放大的運動感覺可能導致某些觀眾觀看不舒服。運動校正是一種通過減少角運動來減少與運動有關的觀看不舒服的方法。
在本發明的一個實施例中，運動校正方法減少兩種運動問題運動選通(motion strobing)和極度攝像機抖動(extreme camera shaking)。運動選通是修正的投影幀速率導致感覺的運動不連續。減少運動選通的方法是對圖像增加運動模糊，同時不增加投影幀速率。運動模糊可通過在運動像素的運動方向上應用定向低通濾波器產生。運動方向可從已在時間濾波處理322計算的運動估算得到。
極度攝像機抖動可通過局部攝像機穩定減少。攝像機的運動可通過跟蹤位于圖像背景的多個特征點計算得到。從很多特征開始，例如幾千，跟蹤算法排除大部分特征，直到只有最可靠的特征被留下。接著在后來的幀中重復處理，直到鏡頭結束。這樣，大部分普通特征在整個序列中找到。對于每個特征，相鄰幀之間的運動矢量被定義。統計分組方法被用于將特征分組為規則運動特征和不規則運動特征。全局攝像機運動曲線通過平均所有規則運動特征計算得到。攝像機穩定通過基于跟蹤特征減少全局運動曲線和計算全部場景獲得。運動減少量是減少觀看不舒服和保持電影制片者最初想要的相同運動感覺之間的折衷結果。
在本發明的一個重要方面是，智能控制器141提供作品管理的功能，該功能對于動畫重新灌錄方案的成功是非常重要的。由于訪問來自智能控制器141的數據的每個設備和處理被作為一個客戶機，客戶機-服務器結構允許智能控制器管理整個重新灌錄方案的進行，并且跟蹤處理的每個階段的每個操作的狀態。
在本發明的一個實施例中，被智能控制器141跟蹤的信息的類型在圖13中列出。被跟蹤的作品數據的例子包括；·原始圖像數據的狀態；·場景/鏡頭列表和將來的修改；·每個鏡頭的預處理決定；·處理的不同階段的每個鏡頭的狀態；
·應用到處理的每個階段的每個鏡頭的操作；·用于每個鏡頭的重放操作的參數；·每個鏡頭的版本狀態；·每個鏡頭的驗證決定；·每個鏡頭的圖像輸出處理的狀態；·與每個鏡頭相關的用戶首選和用戶決定；·與每個鏡頭的處理相關的用戶通知；·每個鏡頭的認可決定，等等。
基于上述信息，智能控制器提供關于作品狀態的最新報告。報告的形式是用戶指定的。報告的例子包括·掃描和接收的膠片百分比；·多少鏡頭已被處理；·基于當前吞吐量的方案完成日期估算；·已被認可的鏡頭百分比；·用特定參數重放后的鏡頭列表；·每個鏡頭有多少版本；·每日，每周，每月吞吐量報告；·系統利用報告，等等。
智能控制器也允許用戶通過詢問系統創立他們自己的報告。詢問系統支持的信息的例子包括·鏡頭數目；·鏡頭長度；·鏡頭版本；·重放參數；·驗證狀態；和·認可狀態，等等。
前述提供了用于舉例說明、解釋和描述本發明的實施例。對這些實施例的進一步的修改和改編對本領域技術人員是顯而易見的，可在不脫離本發明的范圍或者精神的情況下作出。
權利要求
1.一種數字重新灌錄具有增強的圖像分辨率和質量的圖像序列的方法，包括將圖像序列轉換為一種包含原始圖像數據的數字格式；使用時間處理來處理原始圖像數據，產生具有增強的分辨率和質量的增強圖像數據。
2.根據權利要求1的方法，進一步包括將增強的圖像數據轉換為一種選擇格式。
3.根據權利要求1的方法，進一步包括檢查圖像序列的適當分辨率和質量。
4.根據權利要求1的方法，其中圖像序列是源自35毫米膠片格式的電影，并且將圖像序列轉換為數字格式包括用膠片掃描器數字化膠片。
5.根據權利要求1的方法，其中圖像序列是源自數字格式的電影，并且將圖像序列轉換為數字格式包括原始數字格式的數據轉換。
6.根據權利要求1的方法，其中圖像序列是包含用光學設備或者電子傳感器捕獲的圖像的任何圖像序列格式。
7.根據權利要求2的方法，其中選擇格式是具有增強的分辨率和質量的膠片格式，并且將增強的圖像數據轉換為選擇格式包括使用膠片記錄器的膠片記錄。
8.根據權利要求2的方法，其中選擇格式是具有增強的分辨率和質量的數字顯示格式，并且將增強的圖像數據轉換為選擇格式包括轉換為數字顯示格式的數據變換。
9.根據權利要求2的方法，其中選擇格式是具有增強分辨率和質量的原始電影的同時發行。
10.根據權利要求1的方法，其中使用時間處理來處理原始圖像數據包括預處理過程，重放過程，驗證過程，后處理過程。
11.根據權利要求10的方法，其中預處理過程包括產生代替圖像數據；接收對原始圖像數據的預處理決定，包括鏡頭分離，再成幀，彩色校正，假象識別和場景分類；基于預處理決定，使用圖像處理工具來為重放處理準備原始圖像數據。
12.根據權利要求11的方法，其中場景分類由自動算法基于場景分析執行。
13.根據權利要求11的方法，其中假象識別和假象消除由自動算法執行，假象用來自當前幀和相鄰幀的他們的唯一特征識別，并且通過基于幀間運動估算或幀內內插計算得到的預測像素值消除。
14.根據權利要求11的方法，其中假象識別和假象消除由半自動算法執行，利用時間處理交互定位假象，并且自動消除。
15.根據權利要求10的方法，其中重放過程包括接收分離成具有圖像鏡頭數據的鏡頭的原始圖像數據，其中每個鏡頭是一個重放作業；為每個重放作業預測重放參數設置；在多個計算重放客戶機中分配重放作業；處理重放作業來產生重放結果；匯編分配的重放結果；檢查匯編重放結果的完整性；估算匯編的重放結果的時間處理重放質量；如果必要的話，修改重放參數來改進重放結果并且重新處理。
16.根據權利要求15的方法，其中為每個鏡頭預測重放參數設置包括定位關鍵幀；計算初始運動估算設置；通過使用初始運動估算設置和將運動估算算法應用到關鍵幀，來計算運動估算；基于計算的運動估算來計算統計時間測量，產生重放參數設置。
17.根據權利要求16的方法，其中統計時間測量包括TSNR，運動和FMD。
18.根據權利要求17的方法，其中重放參數設置通過產生一組相應于給定FMD的匹配閾值以及基于TSNR和運動的進一步修改來產生。
19.根據權利要求15的方法，其中處理重放作業包括時間濾波；圖像大小的調整；圖像銳化。
20.根據權利要求19的方法，其中處理重放作業進一步包括照明改變補償；噪聲均衡；計算統計質量標志；代替產生。
21.根據權利要求15的方法，其中處理重放作業包括一種提供增強的圖像分辨率和減少噪聲的時間濾波方法，包括計算運動估算；調整運動場；恢復細節。
22.根據權利要求21的方法，其中時間濾波方法進一步包括使用一種多通時間濾波方法，一種時間錐形濾波方法或者一種連續時間濾波方法來減少噪聲。
23.根據權利要求21的方法，其中照明改變補償用于改進時間濾波方法的性能。
24.根據權利要求21的方法，其中噪聲均衡用于改進時間濾波方法的性能。
25.根據權利要求20的方法，其中統計質量標志包括PMR和ASR。
26.根據權利要求15的方法，其中時間處理質量的估算基于PMR和ASR。
27.根據權利要求15的方法，其中基于PMR和ASR修改重放參數。
28.根據權利要求19的方法，其中圖像銳化基于圖像細節多個級的增強。
29.根據權利要求15的方法，其中在多個計算重放客戶機中分配重放作業通過以下方式執行，分配全部圖像鏡頭到單個重放客戶機，將圖像鏡頭分成重疊片斷并將他們分配到重放客戶機，或者將圖像幀分成重疊區域并將他們分配到重放客戶機。
30.根據權利要求15的方法，其中驗證過程包括視覺檢查增強圖像數據的代替版本的完整性；視覺驗證圖像噪聲電平，清晰度和細節保持，如果基于統計測量需要的話，修改重放參數來重新提交；視覺驗證彩色，假象和運動舒服程度；如果重放圖像鏡頭滿足質量標準，則發出通過標記。
31.根據權利要求10的方法，其中后處理過程包括最終假象消除；最終彩色校正；運動校正；組織圖像；輸出圖像數據轉換。
32.根據權利要求31的方法，其中運動校正通過以下方式實現，通過增加運動模糊來減少運動選通和通過局部攝像機穩定減少極端攝像機抖動。
33.一種用于數字重新灌錄具有增強的圖像分辨率和質量的圖像序列的系統，包括中央控制計算機服務器；圖像數據文件服務器，配置為中央控制服務器的客戶機設備；多個計算重放設備，配置為中央控制服務器的客戶機設備，用于使用時間處理來處理原始圖像數據，產生具有增強分辨率和質量的增強圖像數據；多個工作站，用于涉及原始圖像數據處理的用戶交互操作，配置為中央控制服務器的客戶機設備；數據存儲設備，用于存儲圖像數據和處理數據；圖像數據輸入和輸出設備；計算機網絡，提供中央控制服務器和所有客戶機設備之間的通信。
34.根據權利要求33的系統，其中計算重放設備是并行配置的標準計算機，并且分配結構設計為同時支持多個圖像序列的時間處理。
35.根據權利要求33的系統，其中中央控制計算機服務器能夠資源管理，質量最優化，計算效率最優化，作品管理，系統管理，用戶交互。
36.一種通過時間濾波方法來數字重新灌錄具有增強圖像分辨率和質量的圖像序列的方法，包括計算運動估算；調整運動場；恢復細節。
37.根據權利要求36的方法，其中時間濾波方法進一步包括使用一種多通時間濾波方法，一種時間錐形濾波方法或者一種連續時間濾波方法來減少噪聲。
38.根據權利要求36的方法，其中照明改變補償用于改進時間濾波方法的性能。
39.根據權利要求36的方法，其中噪聲均衡用于改進時間濾波方法的性能。
40.一種基于圖像細節的多個級的增強使用圖像銳化方法來數字重新灌錄具有增強圖像分辨率和質量的圖像序列的方法。
全文摘要
本發明公開了一種電影和其他運動圖像序列的數字增強的過程和方法，用于以包括寬幅影院的選擇的顯示格式放映。本發明通過時間濾波過程有效增強了圖像分辨率和質量，并使用自動或交互統計質量估算方法獲得了高性能。也公開了一種專用于并行有效時間計算和具有多種最優化方案的分配計算結構的系統。方法和系統的性能通過智能控制器最優化，并且可縮放地支持以原始格式以及任何選擇格式同時電影發行所要求的任何吞吐量要求。
文檔編號H04N5/21GK1650622SQ03810057
公開日2005年8月3日 申請日期2003年3月13日 優先權日2002年3月13日
發明者周葉平 塞繆爾, 朱迪肯斯 保羅 申請人:圖象公司