專利名稱：圖像處理裝置、攝像裝置、圖像處理方法、程序的制作方法
技術領域：
本發明涉及一種進行圖像處理的圖像處理裝置、圖像處理方法、以及程序。此外， 本發明涉及數字相機等攝像裝置。
背景技術：
提出有如下方法，即，從圖25所示的動態圖像900的各幀中切取正在運動的對象物體，將切取出的對象物體的圖像按順序覆蓋在背景圖像中，由此來制作圖26所示的圖像。這樣的圖像也被稱為頻閃圖像(strobe light image)，也利用于運動的姿勢檢查用途等中。在圖沈中，作為頻閃圖像，示出作為對象物體的人物揮動高爾夫球棒的樣子。在圖 26以及后述的圖27中，斜線部分表示顯示頻閃圖像等的顯示裝置的框體部分。此外，也提出有如下方法，S卩，如圖27所示，將顯示畫面分割成多個顯示區域，使用多個分割顯示區域來對形成動態圖像的多個幀進行多重顯示(例如，參照下述專利文獻 1以及2)專利文獻1 JP特許第4460688號公報專利文獻2 JP特許第3535736號公報在對象物體是揮動高爾夫球棒的人物的情況等、在動態圖像上對象物體的位置幾乎不變化的情況下，如圖26所示，由于不同時刻的對象物體在頻閃圖像上相互重疊，所以難以確認對象物體的運動的樣子。根據圖27所示的多重顯示方法，雖然不會發生這樣的對象物體的重疊，但是由于各個對象物體的顯示尺寸變小，結果，采用圖27的方法也難以確認對象物體的運動的樣子。因此，本發明的目的在于，提供一種有助于使關注物體的運動的樣子的確認容易化的圖像處理裝置、攝像裝置、圖像處理方法、以及程序。

發明內容
本發明所涉及的圖像處理裝置，其特征在于，具備區域設定部，其基于由多個輸入圖像構成的輸入圖像列的圖像數據來設定作為各輸入圖像上的圖像區域的切取區域；切取處理部，其從上述多個輸入圖像中所包含的多個對象輸入圖像的每一個中提取上述切取區域內的圖像作為切取圖像；以及圖像合成部，其對提取出的多個切取圖像進行排列結合。如果按照將多個切取圖像排列結合的方式來形成圖像合成部，則即使在應該收容在切取區域中的關注物體的位置在輸入圖像列上幾乎不發生變化的情況下，不同時刻的關注物體也不會在合成結果圖像上相互重疊。結果，能夠期待，例如，相比圖沈所示的頻閃圖像，易于確認關注物體的運動的樣子。而且，如果不直接對輸入圖像彼此之間進行結合，而是對切取圖像進行結合，則在合成結果圖像上，關注物體被較大地映出。結果，能夠期待，相比圖27所示的方法，易于確認關注物體的運動的樣子。即，例如可以是，上述圖像合成部在對上述多個切取圖像進行結合時，按照上述多個切取圖像相互不重疊的方式來排列上述多個切取圖像。此外，例如可以是，上述多個對象輸入圖像包含第一對象輸入圖像以及第二對象輸入圖像，上述第一對象輸入圖像上的上述切取區域和上述第二對象輸入圖像上的上述切取區域相互重疊，上述圖像合成部在對上述多個切取圖像進行結合時，按照基于上述第一對象輸入圖像的切取圖像和基于上述第二對象輸入圖像的切取圖像相互不重疊的方式來排列上述多個切取圖像。此外，具體來說，例如可以是，上述區域設定部基于上述輸入圖像列的圖像數據來檢測存在運動物體或特定種類的物體的圖像區域，并基于檢測出的圖像區域來設定上述切取區域。此外，具體來說，例如可以是，通過對上述多個切取圖像進行排列結合來生成合成結果圖像，上述圖像合成部基于針對上述合成結果圖像規定的縱橫比或圖像尺寸來決定上述多個切取圖像的排列方式。此外，例如可以是，將相互不同的多個輸入圖像列作為上述輸入圖像列提供給該圖像處理裝置，上述區域設定部按每個上述輸入圖像列來設定上述切取區域，上述切取處理部按每個上述輸入圖像列來提取上述切取圖像，上述圖像合成部進一步在規定方向上對通過按每個上述輸入圖像列來進行上述結合而得到的、針對上述多個輸入圖像列的多個合成結果圖像進行排列結合。由此，例如，能夠在第一輸入圖像列中的關注物體和第二輸入圖像列中的關注物體之間詳細比較運動的樣子。本發明的攝像裝置，根據利用了攝像元件的依次拍攝的結果來取得由多個輸入圖像構成的輸入圖像列，所述攝像裝置的特征在于，具備抖動補償部，其基于該攝像裝置的運動的檢測結果，來減小基于上述運動的上述輸入圖像間的被攝體的抖動；區域設定部，其基于上述運動的檢測結果，來設定作為各輸入圖像上的圖像區域的切取區域；切取處理部， 其從上述多個輸入圖像中所包含的多個對象輸入圖像的每一個中，提取上述切取區域內的圖像作為切取圖像；以及圖像合成部，其對提取出的多個切取圖像進行排列結合。如果按照將多個切取圖像排列結合的方式來形成圖像合成部，則即使在應該收容在切取區域中的關注物體的位置在輸入圖像列上幾乎不發生變化的情況下，不同時刻的關注物體也不會在合成結果圖像上相互重疊。結果，能夠期待，例如，相比圖沈所示的頻閃圖像，易于確認關注物體的運動的樣子。而且，如果不直接對輸入圖像彼此之間進行結合，而是對切取圖像進行結合，則在合成結果圖像上，關注物體被較大地映出。結果，能夠期待，相比圖27所示的方法，易于確認關注物體的運動的樣子。具體來說，例如，在上述攝像元件上成像的整體像之中，抖動補償用區域內的圖像相當于上述輸入圖像，上述抖動補償部通過基于上述運動的檢測結果來設定針對各輸入圖像的上述抖動補償用區域的位置，從而降低上述抖動，上述區域設定部基于上述運動的檢測結果來檢測針對上述多個對象輸入圖像的多個抖動補償用區域的重疊區域，并根據上述重疊區域來設定上述切取區域。根據這樣的構成，拍攝者的關注物體被收容在重疊區域中的可能性變高，結果，能夠期待，關注物體收容在切取區域內。本發明所涉及的圖像處理方法，其特征在于，執行如下步驟區域設定步驟，基于由多個輸入圖像構成的輸入圖像列的圖像數據來設定作為各輸入圖像上的圖像區域的切取區域；切取處理步驟，從上述多個輸入圖像中所包含的多個對象輸入圖像的每一個中提取上述切取區域內的圖像作為切取圖像；以及圖像合成步驟，對提取出的多個切取圖像進行排列結合。并且，可以形成用于使計算機執行上述區域設定步驟、切取處理步驟、以及圖像合成步驟的程序。根據本發明，能夠提供有助于使關注物體的運動的樣子確認容易化的圖像處理裝置、攝像裝置、圖像處理方法、以及程序。


圖1是本發明的第一實施方式的攝像裝置的整體框圖。圖2是表示二維圖像空間和二維圖像之間的關系的圖。圖3是設置在圖1的攝像裝置中的圖像處理部的內部框圖。圖4是本發明的第一實施方式的攝像裝置的工作流程圖。圖5是表示輸入圖像列的構成的圖。圖6是表示合成開始幀以及合成結束幀選擇時的顯示畫面的樣子的圖。圖7是用于說明合成開始幀、合成結束幀、以及合成對象期間的意義的圖。圖8是表示從輸入圖像列中提取多個對象輸入圖像的樣子的圖。圖9是切取區域的設定處理的流程圖。圖10是用于說明背景圖像生成處理的圖。圖11是基于背景圖像和各對象輸入圖像來從各對象輸入圖像中檢測運動物體區域的樣子的圖。圖12是用于說明檢測出的運動物體區域的利用方法的圖。圖13是切取區域的設定處理的變形流程圖。圖14是表示在各對象輸入圖像中設定切取區域的樣子的圖(a)、和2張對象輸入圖像中的2個切取區域相互重疊的樣子的圖(b)。圖15是表示本發明的第一實施方式的輸出合成圖像的例子的圖。圖16是使合成張數增大的方法的處理概念圖。圖17是使合成張數增大的其他方法的處理概念圖。圖18是表示本發明的第二實施方式的輸出合成圖像的生成處理的流程的圖。圖19是用于說明本發明的第二實施方式的滾動顯示的圖。圖20是表示通過為了進行滾動顯示而生成的多個滾動用圖像來形成動態圖像的樣子的圖。圖21是用于說明本發明的第三實施方式的電子式手抖動補償的圖。圖22是參與電子式手抖動補償的部位的框圖。圖23是用于說明與電子式手抖動補償聯動的切取區域的設定方法的圖。圖M是表示與圖23(a) (c)的對象輸入圖像相對應的切取區域的圖。圖25是表示現有技術的動態圖像的例子的圖。圖沈是表示顯示現有的頻閃圖像的樣子的圖。
圖27是表示現有的多重顯示畫面的圖。符號說明1攝像裝置33攝像元件51區域設定部52切取處理部53圖像合成部61裝置運動檢測部62抖動補償部
具體實施例方式以下，參照附圖具體說明本發明的實施方式的例子。在參照的各圖中，對相同部分附加相同符號，原則上省略關于相同部分的重復說明。(第一實施方式)說明本發明的第一實施方式。圖1是本發明的第一實施方式的攝像裝置1的整體框圖。攝像裝置1具有通過符號11 觀來參照的各部位。攝像裝置1是數字攝像機，可以拍攝動態圖像以及靜止圖像，并且可以在動態圖像拍攝中拍攝靜止圖像。攝像裝置1內的各部位經由總線M或25進行各部位間的信號(數據)的交換。另外，顯示部27及/或揚聲器觀可以設置在攝像裝置1的外部裝置(未圖示)中。攝像部11除了攝像元件(圖像傳感器)33以外，還具備未圖示的光學系統、光圈以及驅動器。攝像元件33通過在水平以及垂直方向上排列多個受光像素而形成。攝 ft 7Π # 33 ^ ^ CCD (Charge Coupled Device) CMOS(Complementary Metal Oxide Semiconductor)圖像傳感器等構成的固體攝像元件。攝像元件33的各受光像素對經由光學系統以及光圈而入射的被攝體的光學像進行光電變換，將通過該光電變換而得到的電信號輸出至AFE12 (Analog Front End)。構成光學系統的各透鏡使被攝體的光學像成像在攝像元件33上。AFE12對從攝像元件33 (各受光像素)輸出的模擬信號進行放大，將放大后的模擬信號變換為數字信號后輸出至影像信號處理部13。AFE12中的信號放大的放大程度由 CPU (Central Processing Unit)23來控制。影像信號處理部13對AFE12的輸出信號所表示的圖像實施必要的圖像處理，并生成針對圖像處理后的圖像的影像信號。麥克風14將攝像裝置1的周邊聲音變換為模擬的聲音信號，聲音信號處理部15將該模擬的聲音信號變換為數字的聲音信號。壓縮處理部16使用規定的壓縮方式對來自影像信號處理部13的影像信號以及來自聲音信號處理部15的聲音信號進行壓縮。內部存儲器17由DRAM (Dynamic Random Access Memory)等構成，暫時保存各種數據。作為記錄介質的外部存儲器18是半導體存儲器或磁盤等非易失性存儲器，在將由壓縮處理部16壓縮后的影像信號以及聲音信號相互關聯的狀態下進行記錄。解壓處理部19對從外部存儲器18讀出的壓縮后的影像信號以及聲音信號進行解壓。由解壓處理部19解壓后的影像信號或來自影像信號處理部13的影像信號經由顯示處理部20被送至由液晶顯示器等構成的顯示部27后作為圖像被顯示。此外，由解壓處理部 19解壓后的聲音信號經由聲音輸出電路21被送至揚聲器觀后作為聲音被輸出。TG (定時發生器timing generator) 22生成用于控制攝像裝置1整體的各工作定時的定時控制信號，并將生成的定時控制信號提供給攝像裝置1內的各個部分。定時控制信號包括垂直同步信號Vsync和水平同步信號Hsync。CPU23對攝像裝置1內的各部位的工作進行統一控制。操作部26具有用于指示動態圖像的拍攝以及記錄的開始/結束的錄像按鈕、用于指示靜止圖像的拍攝以及記錄的快門按鈕^b以及操作鍵26c等，受理用戶的各種操作。對操作部26的操作內容被傳達給CPU23。在攝像裝置1的工作模式中包括能拍攝以及記錄圖像(靜止圖像或動態圖像) 的拍攝模式；和在顯示部27中對記錄在外部存儲器18中的圖像(靜止圖像或動態圖像) 進行再現顯示的再現模式。按照對操作鍵26c的操作來實施各模式間的轉換。在拍攝模式中，相繼進行被攝體的拍攝，并依次獲取被攝體的拍攝圖像。也將表示圖像的數字影像信號稱為圖像數據。另外，圖像數據的壓縮以及解壓由于與本發明的本質無關，所以在以下的說明中， 無視圖像數據的壓縮以及解壓的存在(即，例如，將記錄壓縮后的圖像數據僅表達為記錄圖像數據)。此外，在本說明書中，有時也將某圖像的圖像數據僅稱為圖像。此外，在本說明書中，在僅僅稱為顯示或顯示畫面的情況下，指的是顯示部27中的顯示或顯示畫面。圖2中示出二維的圖像空間XY。圖像空間XY是具有X軸以及Y軸作為坐標軸的空間區域(spatial domain)上的二維坐標系。任意的二維圖像300都可以認為是配置在圖像空間XY上的圖像。X軸以及Y軸分別是沿著二維圖像300的水平方向以及垂直方向的軸。二維圖像300通過分別在水平方向以及垂直方向上將多個像素排列成矩陣狀而形成， 用(χ，y)來表示作為二維圖像300上的任意像素的像素301的位置。在本說明書中，也將像素的位置僅稱為像素位置。χ以及y分別是像素301的X軸以及Y軸方向的坐標值。在二維坐標系XY中，如果某像素的位置向右側偏移1個像素，則該像素的X軸方向上的坐標值增大1，如果某像素的位置向下側偏移1個像素，則該像素的Y軸方向上的坐標值增大1。 因此，在像素301的位置是(X，y)的情況下，在像素301的右側、左側、下側、以及上側相鄰的像素的位置分別用(x+l，y)、(x_l，y)、(x，y+l)、以及(χ, y-1)來表示。在攝像裝置1中設置有對在時間序列上排列的多個輸入圖像進行合成的圖像合成功能。圖3中示出承擔圖像合成功能的圖像處理部(圖像處理裝置)50的內部框圖。可以將圖像處理部50預先包括在圖1的影像信號處理部13中。或者，也可以通過影像信號處理部13以及CPU23來形成圖像處理部50。圖像處理部50具備通過符號51 53來參照的各部位。將輸入圖像列的圖像數據提供給圖像處理部50。以輸入圖像列為代表的圖像列是指，在時間序列上排列的多個圖像的集合。因此，輸入圖像列由在時間序列上排列的多個輸入圖像構成。圖像列也可以稱為動態圖像。例如，輸入圖像列是具有在時間序列上排列的多個輸入圖像作為多個幀的動態圖像。輸入圖像例如是由AFE12的輸出信號本身表現的拍攝圖像、或對由AFE12的輸出信號本身表現的拍攝圖像實施規定的圖像處理(去馬賽克處理、降噪處理等)而得到的圖像。可以將記錄在外部存儲器18中的任意的圖像列作為輸入圖像列從外部存儲器18中讀出，并提供給圖像處理部50。例如，可以通過攝像裝置1將被攝體揮動高爾夫球棒或棒球球棒的樣子作為動態圖像來拍攝，并記錄在外部存儲器18中， 之后將記錄的動態圖像作為輸入圖像列提供給圖像處理部50。另外，輸入圖像列也可以由外部存儲器18以外的任意部位提供。例如，從攝像裝置1的外部設備(未圖示)通過通信將輸入圖像列提供給圖像處理部50。區域設定部51基于輸入圖像列的圖像數據來設定作為輸入圖像上的圖像區域的切取區域，生成并輸出表示切取區域的位置以及大小的切取區域信息。由切取區域信息表示的切取區域的位置例如是切取區域的中心位置或重心位置。由切取區域信息表示的切取區域的大小例如是水平以及垂直方向上的切取區域的大小。在切取區域為矩形以外的區域的情況下，在切取區域信息中，包含還能夠確定切取區域的形狀的信息。切取處理部52基于切取區域信息從輸入圖像中提取切取區域內的圖像作為切取圖像(換言之，從輸入圖像中將切取區域內的圖像作為切取圖像來切取)。切取圖像是輸入圖像的一部分。以下，將基于切取區域信息根據輸入圖像來生成切取圖像的處理稱為切取處理。切取處理針對多個輸入圖像來執行，由此，能夠得到多個切取圖像。與多個輸入圖像相同，由于多個切取圖像也在時間序列上排列，所以也可以將多個切取圖像稱為切取圖像列。圖像合成部53對多個切取圖像進行合成，并將通過合成而得到的圖像作為輸出合成圖像來輸出。既可以將輸出合成圖像顯示在顯示部27的顯示畫面上，也可以將輸出合成圖像的圖像數據記錄在外部存儲器18中。能夠通過再現模式來實現圖像合成功能。實現圖像合成功能時的再現模式被細分為多個合成模式。通過將用戶選擇多個合成模式中的哪一個的指示提供給攝像裝置1，來執行選擇的合成模式中的工作。用戶能夠經由操作部26將任意指示提供給攝像裝置1。也可以將所謂觸摸面板包含在操作部沈中。在多個合成模式中可以包括第一合成模式，該第一合成模式也可以稱為多窗口合成模式。在第一實施方式中，以下，說明第一合成模式中的攝像裝置1的工作。圖4是第一合成模式中的攝像裝置1的工作流程圖。在第一合成模式中，依次執行步驟Sll S18的處理。在步驟Sll中，用戶進行輸入圖像列的選擇。用戶能夠從記錄在外部存儲器18中的動態圖像之中選擇希望的動態圖像，并將選擇的動態圖像作為輸入圖像列提供給圖像處理部50。另外，也可以在進行了作為輸入圖像列的動態圖像的選擇后， 進行從多個合成模式之中選擇第一合成模式的操作。現在，假設提供給圖像處理部50的輸入圖像列是圖5所示的輸入圖像列320。由記號F[i]來表示形成輸入圖像列320的第i個幀，即形成輸入圖像列320的第i個輸入
圖像。輸入圖像列320包含輸入圖像F[l]、F[2]、F[3]........F[n]、F[n+1]........
F[n+m].......而形成。i、n、以及m是自然數。時刻、是輸入圖像F[i]的拍攝時刻，時
刻是時刻、之后的時刻。因此，輸入圖像F[i+1]是在輸入圖像F[i]之后拍攝的圖像。 時刻、以及間的時間差At相當于作為輸入圖像列320的動態圖像的幀周期。雖然圖 5并未明示，但假設輸入圖像列320是拍攝了被攝體揮動高爾夫球棒的樣子的動態圖像。在步驟S12中，用戶使用操作部沈來選擇合成開始幀。在選擇合成開始幀時，例如，如圖6(a)所示，按照對操作部沈的用戶操作，將形成輸入圖像列320的輸入圖像中的某一個用戶希望的輸入圖像顯示在顯示部27中，并將用戶進行決定操作的時間點的顯示圖像選擇為合成開始幀即可。在圖6(a)中，斜線部分表示顯示部27的框體部分(對于后述的圖6(b)也同樣)。在接下來的步驟S13中，用戶使用操作部沈來選擇合成結束幀。在選擇合成結束幀時，例如，如圖6(b)所示，按照對操作部沈的用戶操作，將形成輸入圖像列320的輸入圖像中的某一個用戶希望的輸入圖像顯示在顯示部27中，并將用戶進行決定操作的時間點的顯示圖像選擇為合成結束幀即可。合成開始幀以及合成結束幀是形成輸入圖像列320的某一個輸入圖像，作為合成結束幀的輸入圖像是在合成開始幀之后拍攝到的輸入圖像。現在，如圖7所示，假設分別將輸入圖像F[n]以及F[n+m]選擇為合成開始幀以及合成結束幀。將從合成開始幀的拍攝時刻即時刻tn開始至合成結束幀的拍攝時刻即時刻tn+m為止的期間稱為合成對象期間。例如，與合成開始幀對應的時刻tn是被攝體即將開始揮動高爾夫球棒之前(參照圖6 (a))，與合成結束幀對應的時刻tn+m是被攝體剛剛結束揮動高爾夫球棒之后(參照圖6(b))。認為時刻tn以及時刻tn+m也包含在合成對象期間中。因此，屬于合成對象期間的輸入圖像是輸入圖像F [η] F[n+m]。在合成開始幀以及合成結束幀的選擇后，在步驟S14中，用戶能夠使用操作部沈來指定合成條件。例如，能夠指定為了得到輸出合成圖像而合成的圖像的張數(以下，稱為合成張數Cnum)等。合成條件可以預先設定，在該情況下，也可以省略步驟S14中的指定。關于合成條件的意義根據后述的說明會更明確。也可以在步驟S12以及S13的處理之前執行步驟S14的處理。屬于合成對象期間的輸入圖像F[n] F[n+m]并不一定都有助于輸出合成圖像的形成。將輸入圖像F[n] F[n+m]之中有助于形成輸出合成圖像的輸入圖像特別稱為對象輸入圖像。對象輸入圖像存在多個，第1個對象輸入圖像是輸入圖像F[n]。用戶能夠在步驟 S14中，指定作為合成條件的一種的采樣間隔。但是，采樣間隔也可以預先設定。采樣間隔是時間上相鄰的2張對象輸入圖像間的拍攝時刻間隔。例如，在采樣間隔是(AtXi)的情況下(也參照圖5)，以輸入圖像F[n]為基準，按照采樣間隔(AtXi)從輸入圖像F[n] F[n+m]中對對象輸入圖像進行采樣(i是整數)。更具體來說，例如，在m = 8且采樣間隔是(AtX2)的情況下，如圖8所示，將輸入圖像F[n]、F[n+2]、F[n+4]、F[n+6]、以及F[n+8] 作為對象輸入圖像來提取。由于m的值通過步驟S12以及S13的處理來確定，因此只要確定了采樣間隔就自動確定合成張數 υΜ。也可以在確定m的值和合成張數Cnih后，基于確定的m的值和合成張數Cnum來設定采樣間隔以及對象輸入圖像。例如，如果確定了 m = 8且Cnum = 5，則采樣間隔被設定為 AtX (m/(CNUM-l))，即(AtX2)，結果，輸入圖像 F[n]、F[n+2]、F[n+4]、F[n+6]、以及 F[n+8]作為對象輸入圖像被提取。在步驟S12 S14的處理后，依次執行步驟S15 S17的處理。S卩，在步驟S15中由區域設定部51來執行切取區域的設定處理，在步驟S16中由切取處理部52來執行切取處理，在步驟S17中由圖像合成部53來執行合成處理，由此生成輸出合成圖像(也參照圖 3)。在步驟S17中生成的輸出合成圖像在步驟S18中被顯示在顯示部27的顯示畫面上。也可以將輸出合成圖像的圖像數據記錄在外部存儲器18中。下面，詳細說明步驟S15 S17 中的處理內容。
[S15 切取區域的設定]說明步驟S15中的切取區域的設定處理。圖9是切取區域的設定處理的流程圖。 區域設定部51依次執行步驟S21 S23的處理，由此能夠設定切取區域。首先，在步驟S21中，區域設定部51進行背景圖像的提取或生成。可以將形成輸入圖像列320的輸入圖像之中不屬于合成對象期間的輸入圖像捕獲為背景候選圖像，并將多個背景候選圖像之中的任意一個作為背景圖像來提取。多個背景候選圖像中可以包括輸
入圖像F[l] F[n-1]，并且可以包括輸入圖像F[n+m+l]、F[n+m+2]........區域設定部
51能夠基于輸入圖像列320的圖像數據從多個背景候選圖像之中選擇背景圖像。用戶也可以從多個背景候選圖像之中手動選擇背景圖像。優選將不存在運動物體區域的輸入圖像選擇作為背景圖像。將在由多個輸入圖像構成的動態圖像上運動的物體稱為運動物體，存在運動物體的圖像數據的圖像區域稱為運動物體區域。例如，預先形成區域設定部51，以便能夠執行運動檢測處理。在運動檢測處理中， 基于時間上相鄰的2張輸入圖像的圖像數據來導出該2張輸入圖像間的光流(optical flow)。眾所周知，2張輸入圖像間的光流是該2張輸入圖像間的物體的運動向量的束。2 張輸入圖像間的某物體的運動向量表示2張輸入圖像間的該物體的運動的方向以及大小。與運動物體區域相對應的運動向量的大小比運動物體區域以外的區域的運動向量的大小要大。因此，能夠根據針對多個輸入圖像的光流來推定在多個輸入圖像上是否存在運動物體。因此，例如，可以對輸入圖像F[l] F[n-1]執行運動檢測處理，導出輸入圖像
F[l]以及F[2]間的光流、輸入圖像F[2]以及F[3]間的光流........以及輸入圖像F[n_2]
以及F[n-1]間的光流，并基于導出的光流，從輸入圖像F[l] F[n-1]中提取推定為不存在運動物體的輸入圖像。可以將提取出的輸入圖像(推定為不存在運動物體的輸入圖像) 選擇為背景圖像。此外，例如，也可以通過使用了多個輸入圖像的背景圖像生成處理來生成背景圖像。參照圖10(a)以及(b)來說明背景圖像生成處理的方法。在圖10(a)中，示出成為背景圖像的生成源的多個輸入圖像G[l] G[5]。圖像330是根據輸入圖像G[l] G[5]而生成的背景圖像。在圖10(a)的各輸入圖像中，斜線區域表示運動物體區域。輸入圖像G[l] G[5]是從形成輸入圖像列320的輸入圖像之中提取出的5張輸入圖像。在m = 4的情況下，多個輸入圖像G[l] G[5]例如是輸入圖像F[n] F[n+m](參照圖7)。或者，例如，在 m>4的情況下，多個輸入圖像G[l] G[5]是輸入圖像F[n] F[n+m]之中的任意5張輸入圖像。又或者，例如，在輸入圖像G[l] G[5]之中可以包括輸入圖像F[l] F[n-1]中
的任意1個或者輸入圖像F[n+m+l]、F[n+m+2].......中的任意1個。又或者，例如，可以
只使用不屬于合成對象期間的輸入圖像來形成輸入圖像G[l] G[5]。在背景圖像生成處理中，按每個像素位置來進行背景像素提取處理。下面，說明針對像素位置(x，y)的背景像素提取處理。在背景像素提取處理中，區域設定部51首先將輸入圖像G[l]設定為基準圖像，并且將輸入圖像G[2] G[5]的每一個設定為非基準圖像， 在此基礎上，按每個非基準圖像來進行差分運算。這里的差分運算是指，求取基準圖像的像素位置(x，y)上的像素信號、和非基準圖像的像素位置(x，y)上的像素信號之間的差分的絕對值作為差分要素值的運算。像素信號是指像素所具有的信號，將像素信號的值也稱為像素值。作為差分運算中的像素信號，例如可以使用亮度信號。在輸入圖像G[l]是基準圖像時，通過每個非基準圖像的差分運算來求取如下值 基于輸入圖像G[l]的像素位置(x，y)上的像素信號以及輸入圖像G[2]的像素位置(x，y) 上的像素信號的差分要素值VAL[1，2]；基于輸入圖像G[l]的像素位置(X，y)上的像素信號以及輸入圖像G[3]的像素位置(X，y)上的像素信號的差分要素值VAL[1，3]；基于輸入圖像G[l]的像素位置(x，y)上的像素信號以及輸入圖像G[4]的像素位置(x，y)上的像素信號的差分要素值VAL[1，4]；以及基于輸入圖像G[l]的像素位置(X，y)上的像素信號以及輸入圖像G[5]的像素位置(x，y)上的像素信號的差分要素值VAL[1，5]。區域設定部51將設定為基準圖像的輸入圖像從輸入圖像G[l]依次切換為輸入圖像G[2]、G[3] ,G[4],以及G[5]，同時進行每個非基準圖像的差分運算(將基準圖像以外的輸入圖像設定為非基準圖像)。由此，針對滿足1 < i < 5且1 < j < 5的變量i以及j 的所有組合來求取基于輸入圖像G[i]的像素位置(x，y)上的像素信號以及輸入圖像G[j] 的像素位置(X，y)上的像素信號的差分要素值VAL[i，j](其中，i以及j是相互不同的整數)。區域設定部51求取在將輸入圖像G[i]設定為基準圖像的狀態下求出的4個差分要素值VAL[i，j]的合計，作為差分累計值SUM[i]。差分累計值SUM[i]的導出是針對輸入圖像G[l] G[5]的每一個來進行的。因此，針對像素位置(x，y)能夠求出5個差分累計值 SUM[1] SUM[5]。區域設定部51確定差分累計值SUM[1] SUM[5]之中的最小值，并將與該最小值相對應的輸入圖像的像素位置U，y)上的像素以及像素信號設定為背景圖像 330的像素位置(X，y)上的像素以及像素信號。即，例如，在差分累計值SUM[1] SUM[5] 之中，差分累計值SUM[4]最小的情況下，將與差分累計值SUM[4]相對應的輸入圖像G[4] 的像素位置(x，y)上的像素以及像素信號設定為背景圖像330的像素位置(x，y)上的像素以及像素信號。圖10(a)所示的例子的運動物體區域在輸入圖像G[l]以及G[2]中位于像素位置 &，7)，在輸入圖像6[3] G[5]中沒有位于像素位置(x，y)。因此，差分累計值SUM[1]以及SUM[2]取較大的值，另一方面，差分累計值SUM[3] SUM[5]取較小的值。因此，與運動物體區域內的像素不同的像素(即，背景的像素)作為背景圖像330的像素而被采用。如上所述，在背景圖像生成處理中，按每個像素位置來進行背景像素提取處理。因此，針對像素位置(χ，y)以外的像素位置也依次進行與上述相同的處理，并最終決定背景圖像330的所有像素位置上的像素信號(即，背景圖像330的生成結束)。另外，根據上述說明的工作，雖然個別地計算差分要素值VAL[i，j]和差分要素值VAL[j，i]，但是由于這些值相同，所以實際上只要計算出一個就足夠了。此外，在圖10(a)以及(b)所示的例子中， 根據5張輸入圖像來生成背景圖像，但是也可以根據2張以上的任意張數的輸入圖像來生成背景圖像。在步驟S22 (參照圖9)中，圖3的區域設定部51基于背景圖像以及各對象輸入圖像的圖像數據來檢測運動物體區域。在圖11中，圖像340是背景圖像的例子，圖像341 343是對象輸入圖像的例子。為了使說明具體化，假設背景圖像是圖像340且從輸入圖像 F[η] F[n+m]中提取出的多個對象輸入圖像是圖像341 343，來說明運動物體區域的檢測方法以及后述的步驟S23的處理內容。
區域設定部51按每個對象輸入圖像來生成背景圖像以及對象輸入圖像間的差分圖像，并且對生成的差分圖像進行二值化，由此來生成二值化差分圖像。在圖11中，圖像 351是基于背景圖像340以及對象輸入圖像341的二值化差分圖像，圖像352是基于背景圖像340以及對象輸入圖像342的二值化差分圖像，圖像353是基于背景圖像340以及對象輸入圖像343的二值化差分圖像。第一以及第二圖像間的差分圖像是指具有第一以及第二圖像間的像素信號的差分作為像素信號的圖像。例如，第一以及第二圖像間的差分圖像中的像素位置(x，y)的像素值是第一圖像中的像素位置(x，y)的亮度值、和第二圖像中的像素位置(x，y)的亮度值之差的絕對值。在背景圖像340以及對象輸入圖像341間的差分圖像中，通過對具有規定的閾值以上的像素值的像素給予像素值“1”，另一方面對具有不足該閾值的像素值的像素給予像素值“0”，由此能夠得到僅僅具有像素值“1”或“0”的二值化差分圖像351。對于二值化差分圖像352以及353也是同樣。在包括圖11在內的示出二值化差分圖像的圖中，用白色表示具有像素值“1”的圖像區域(即，差分大的圖像區域)，用黑色表示具有像素值“0”的圖像區域(即，差分小的圖像區域)。在二值化差分圖像351中，將具有像素值“ 1，，的圖像區域檢測為運動物體區域361。同樣地，在二值化差分圖像352中， 將具有像素值“ 1，，的圖像區域檢測為運動物體區域362，在二值化差分圖像353中，將具有像素值“1”的圖像區域檢測為運動物體區域363。在二值化差分圖像中，白色區域相當于運動物體區域(在后述的圖12(a)等中也是同樣)。在圖11中，雖然在二值化差分圖像351 353上示出了運動物體區域361 363， 但是可以認為運動物體區域361 363分別是對象輸入圖像341 343上的運動物體區域。 在圖11中，點361C、362C、36;3C分別表示對象輸入圖像341上的運動物體區域361的中心位置或重心位置、對象輸入圖像342上的運動物體區域362的中心位置或重心位置、對象輸入圖像343上的運動物體區域363的中心位置或重心位置。之后，在步驟S23(參照圖9)中，圖3的區域設定部51基于在步驟S22中檢測出的運動物體區域來設定切取區域。參照圖12(a) (e)，來說明根據運動物體區域361 363來設定切取區域的方法。如圖12 (a)所示，區域設定部51可以求取運動物體區域361 363的邏輯加區域即區域(白色區域)401。在圖12(a)中，圖像400是通過圖像351 353的邏輯加運算而得到的二值化圖像。即，二值化圖像400的像素位置(x，y)上的像素值是圖像351的像素位置(x，y)上的像素值、圖像352的像素位置(x，y)上的像素值、和圖像353的像素位置(x， y)上的像素值的邏輯加。在二值化圖像400中，具有像素值“1”的圖像區域是區域401。如圖12(b)所示，區域設定部51可以求取運動物體區域361 363之中具有最大的大小的運動物體區域作為區域(白色區域)411。圖12(b)中的二值化圖像410在區域 411為運動物體區域361時是圖像351，在區域411為運動物體區域362時是圖像352，在區域411為運動物體區域363時是圖像353。如圖12(c)所示，區域設定部51可以將運動物體區域361 363之中任意的1個區域設定為區域(白色區域)421。圖12(c)中的二值化圖像420在區域421為運動物體區域361時是圖像351，在區域421為運動物體區域362時是圖像352，在區域421為運動物體區域363時是圖像353。如圖12(d)所示，區域設定部51可以將與任意一個運動物體區域外接的矩形區域設定為區域(白色區域)431。也可以將與將圖12(a)的區域401外接的矩形區域設定為區域431。即，區域431是能夠包含區域401、411、或421的最小的矩形圖像區域。圖12(d) 的圖像430是在區域431內只具有像素值“1”，在除此以外的圖像區域中只具有像素值“0”
的二值化圖像。圖12(e)的區域(白色區域)441是按照規定比率對矩形區域431進行放大或縮小后得到的圖像區域。或者，按照規定比率對區域401、411、或421進行放大或縮小后得到的圖像區域也可以是區域441。生成區域441時的放大或縮小能夠分別在水平以及垂直方向上進行。圖12(e)的圖像440是在區域441內只具有像素值“1”，在除此以外的圖像區域中只具有像素值“0”的二值化圖像。在步驟S23(參照圖9)中，區域設定部51可以將區域401、411、421、431、或441設定為切取區域。雖然在圖9的步驟S21 S23的方法中，在設定切取區域時利用背景圖像，但是也可以不使用背景圖像地設定切取區域。即，例如，基于輸入圖像列320的圖像數據，通過運動檢測處理來導出輸入圖像F[i]以及F[i+1]間的光流。在應該被導出的光流中至少包括基于合成對象期間中的輸入圖像的光流，根據需要，還導出基于合成對象期間外的輸入圖像的光流(例如，輸入圖像F[n-2]以及F[n-1]間的光流)。然后，基于導出的光流分別從輸入圖像F[n] F[n+m]中檢測運動物體區域即可。基于光流的運動物體以及運動物體區域的檢測方法是公知的。運動物體區域檢測后的工作按照上述那樣來進行。或者，例如，也可以代替圖9的步驟S21 S23的處理，通過執行圖13的步驟S31 以及S32的處理來設定切取區域。圖13相當于切取區域的設定處理的變形流程圖。在步驟S31中，區域設定部51基于對象輸入圖像的圖像數據從對象輸入圖像中檢測存在特定種類的物體的圖像區域，作為特定物體區域(特定被攝體區域)。可以按每個對象輸入圖像來進行特定物體區域的檢測。特定種類的物體是指預先登錄的種類的物體，例如，是任意的人物或登錄人物。在特定種類的物體是登錄人物的情況下，能夠通過基于對象輸入圖像的圖像數據的臉部認證處理來進行特定物體區域的檢測。在臉部認證處理中，在對象輸入圖像上存在人物的臉部的情況下，能夠嚴格區分該臉部是否是登錄人物的臉部。 作為特定物體區域的檢測方法，能夠利用包括公知的檢測方法在內的任意檢測方法。例如， 只要利用臉部檢測處理和區域分割處理就能檢測出特定物體區域，其中該臉部檢測處理從對象輸入圖像中檢測人物的臉部，該區域分割處理利用臉部檢測處理的結果，將存在人物整體的圖像數據的圖像區域與其他圖像區域進行區分。在步驟S32中，區域設定部51基于在步驟S31中檢測出的特定物體區域來設定切取區域。基于特定物體區域的切取區域的設定方法與上述基于運動物體區域的切取區域的設定方法相同。即，例如，在從輸入圖像F[n] F[n+m]中提取出的多個對象輸入圖像是圖 11的圖像341 ；343的情況下，如果從對象輸入圖像341 ；343中檢測出區域361 363 作為特定物體區域，則區域設定部51能夠將圖12(a)等所示的區域401、411、421、431、或 441設定為切取區域。另外，由于在利用合成模式時關注的特定種類的物體通常是運動物體，所以也可以將特定物體區域捕獲為運動物體區域。以下，為了說明的方便，假設特定物體區域也作為運動物體區域的一種來捕獲，并且從對象輸入圖像341 343中檢測出的特定物體區域分別與運動物體區域361 363 —致。此外，以下，只要沒有特別記述，就設切取區域為矩形區域。[S16:切取處理]下面，說明圖4的步驟S16中的切取處理。在切取處理中，將如上所述那樣求出的切取區域分別設定于對象輸入圖像，并從各對象輸入圖像中提取切取區域內的圖像作為切取圖像。對象輸入圖像上的切取區域的位置、大小、以及形狀原則上在所有對象輸入圖像中是公共的。但是，對象輸入圖像上的切取區域的位置也可以在不同的對象輸入圖像間相互不同。對象輸入圖像上的切取區域的位置是指，對象輸入圖像上的切取區域的中心位置或重心位置。切取區域的大小是水平以及垂直方向上的切取區域的大小。假設在從輸入圖像F[n] F[n+m]中提取出的多個對象輸入圖像中包括圖11的圖像341 343，并且對象輸入圖像341是合成開始幀，下面，更具體地說明步驟S16的切取處理。在該假設下，切取處理部52如圖14(a)所示，在對象輸入圖像341、342、以及343 中分別設定切取區域471、472、以及473，并將切取區域471內的圖像、切取區域472內的圖像、以及切取區域473內的圖像作為3張切取圖像來提取。由于切取區域471 473是相同的切取區域，所以對象輸入圖像341上的切取區域471的大小以及形狀、對象輸入圖像342 上的切取區域472的大小以及形狀、和對象輸入圖像343上的切取區域473的大小以及形狀是相同的。在圖14 (a)中，點471C、472C、47!3C分別表示對象輸入圖像341上的切取區域471的中心位置或重心位置、對象輸入圖像342上的切取區域472的中心位置或重心位置、對象輸入圖像343上的切取區域473的中心位置或重心位置。位置47Ic與對象輸入圖像341上的運動物體區域361的中心位置或重心位置即圖11的位置361。一致。并且，基本上，使位置 47 以及47 與位置471c相同。因此，如圖14(b)所示，在按照對象輸入圖像341上的像素位置(x，y)和對象輸入圖像342上的像素位置(x，y)相互重疊的方式來將對象輸入圖像 341以及342配置在公共的圖像區間XY中時，切取區域471以及472完全相互重疊。對于切取區域471以及473也是同樣。但是，也可以使圖14(a)的位置47 以及47 分別與圖11的位置36 以及36 一致。在此情況下，位置471c、472c、以及47 可能相互不同。[S17:合成處理]下面，說明圖4的步驟S17中的合成處理。在合成處理中，按照多個切取圖像相互不重疊的方式在水平或垂直方向上對多個切取圖像進行排列結合，生成通過該結合而得到的圖像作為輸出合成圖像。在水平方向(即，圖2的X軸方向)上排列的切取圖像的張數以及在垂直方向(即，圖2的Y軸方向)上排列的切取圖像的張數分別用Hnum以及Vnih來表示。與切取圖像的張數一致的上述合成張數Cnum是Hnih和Vnih之積。圖15 (a)的圖像500是Cnum = 10、Hnih = 5且Vnum = 2時的輸出合成圖像的例子。 在圖15(b)中示出輸出合成圖像500的具體例子。在生成輸出合成圖像500的情況下，根據第1 第10對象輸入圖像來生成第1 第10切取圖像。第i切取圖像是從第i對象輸入圖像中提取出的。第(i+Ι)對象輸入圖像的拍500[6] 500[10]也依次從左向右連續配置(關于左右的定義參照圖2)。在i = 1、2、3、 4、或5時，圖像區域500[i]和500[i+5]在垂直方向上相鄰。在i以及j是相互不同的整數的情況下，圖像區域500[i]以及500[j]相互不重疊。在輸出合成圖像500的圖像區域 500 [1] 500 [10]中分別配置第1 第10切取圖像。因此，輸出合成圖像500是將第1 第10切取圖像在水平或垂直方向上排列結合后得到的合成結果圖像。圖15(a)所示這樣的輸出合成圖像上的切取圖像的排列方式是一個例子，圖3的圖像合成部53可以按照合成張數Cnih和輸出合成圖像的縱橫比(aspect ratio)或圖像尺寸等來決定切取圖像的排列方式。在攝像裝置1中，可以預先設定輸出合成圖像的縱橫比或圖像尺寸。下面，說明按照輸出合成圖像的縱橫比來決定切取圖像的排列方式的方法(即， 在固定了輸出合成圖像的縱橫比的狀態下決定切取圖像的排列方式的方法)。輸出合成圖像的縱橫比是指，輸出合成圖像的水平方向上的像素數和輸出合成圖像的垂直方向上的像素數之比。現在，設輸出合成圖像的縱橫比是4 3。即，輸出合成圖像的水平方向上的像素數是輸出合成圖像的垂直方向上的像素數的4/3倍。此外，在圖4的步驟S15中設定的切取區域的水平以及垂直方向上的像素數分別用Hcutsize以及Vcutsize來表示。這樣，圖像合成部53能夠按照下式(1)來求取張數Hnum以及V_。(HnumX Hcutsize) · (VNUM X VCUTS ιζΕ) — 4.3 ......(1)例如，在(Hcutsize,Vcutsize)= (128 240)時，根據式(1)得到 Hnum V麗=5 2。 在此情況下，假設Cnum = HnihXVnih = 10，則Hnih = 5且Vnih = 2，從而生成圖15 (a)的輸出合成圖像500，假設Cnum = HnumXVnih = 40，則Hnih = 10且Vnih = 4，從而生成將切取圖像在水平方向上每次排列10張并且在垂直方向上每次排列4張而得到的輸出合成圖像。在按照輸出合成圖像的縱橫比來決定切取圖像的排列方式的情況下，輸出合成圖像的圖像尺寸可能發生各種變化。下面，說明按照輸出合成圖像的圖像尺寸來決定切取圖像的排列方式的方法 (即，在固定了輸出合成圖像的圖像尺寸的狀態下決定切取圖像的排列方式的方法)。輸出合成圖像的圖像尺寸通過輸出合成圖像的水平方向上的像素數Hcbize以及輸出合成圖像的垂直方向上的像素數Vcbize來表現。圖像合成部53能夠按照下式O)以及C3)來求取張數
Hnum 以及 VNUMoHnum 一 Hosize/Hcutsize......(2)Vnum 一 Vosize/VCUTSIZE......(3)例如，在Cnum = HnihXVnum = 10、(Hqsize，Vosize) = (640，480)且(Hcutsize, Vcutsize)= (128，240)的情況下，由 H。size/Hcutsize = 640/128 = 5,Vosize/Vcutsize = 480/240 = 2，得到 Hnum =5且Vnih = 2，從而生成圖15(a)的輸出合成圖像500。假設式⑵以及(3)的右邊是整數以外的實數的情況下，可以將對式(2)的右邊進行四舍五入后得到的整數值Hint以及對式(3)的右邊進行四舍五入后得到的整數值Vint 分別代入 Hnih 以及 Vnum 中，按照滿足“Hint = HcbizeAU■”且“VINT = V0SIZE/VCUTSIZE“的方式來再次設定切取區域(即，可以對暫時設定的切取區域進行放大或縮小)。例如，在Cnih = HnumXVnum= 10、(Hosize, Vosize) = (640,480)且暫時設定的切取區域滿足(HcutsizeJcutsize)= (130,235)的情況下，式(2)以及(3)的右邊分別是大約4. 92以及大約2. 04。在該情況下，
16將Him = 5代入H麗中，并且將Vint = 2代入Vnum中，按照滿足“Him = H0SIZE/HCUTSIZE”且“ Vint =V0SIZE/VCUTSIZE”的方式來再次設定切取區域。其結果，再次設定的切取區域的水平以及垂直方向上的像素數分別為128以及M0。在進行了切取區域的再次設定的情況下，使用再次設定后的切取區域來生成切取圖像，并生成輸出合成圖像。另外，在圖4的流程圖中，雖然在步驟S15以及S16中執行了切取區域的設定處理以及切取處理后，在步驟S17中執行包括切取圖像的排列方式的決定處理在內的合成處理，但是也可以考慮到可能再次設定切取區域，而在進行了切取圖像的排列方式的決定處理后，執行實際的切取處理。此外，Hnum以及Vnum的值是合成條件的一種，可以按照用戶的指定來設定Hnih以及Vnih的值(參照圖4的步驟S14)。[合成張數的增減]用戶能夠指示變更自己暫時指定的合成張數Cnum或在攝像裝置1側自動設定的合成張數CmM。用戶能夠在任意時刻進行合成張數Cnum的變更。例如，在生成并顯示了 Cnum = 10的狀態的輸出合成圖像后，在用戶希望生成并顯示Cnum = 20的狀態的輸出合成圖像的情況下，用戶能夠通過對操作部26的規定操作來使合成張數Cnih從10增大到20。反之，用戶也能夠指示合成張數Cnum的減少。下面，說明合成張數Cnum的第一增減方法。圖16是指示了合成張數Cnih的增大的情況下的第一增減方法的處理概念圖。在如圖7所示合成對象期間是從時刻tn至時刻tn+m 為止的期間的情況下，在用戶進行了合成張數Cnm的增大指示時，第一增減方法所涉及的圖像處理部50將合成對象期間維持在從時刻tn至時刻tn+m為止的期間不變，并以增大指示前的采樣間隔為基準來減小采樣間隔，由此來增大對象輸入圖像的張數(即，合成張數Cnum)。 反之，在如圖7所示合成對象期間是從時刻tn至時刻tn+m為止的期間的情況下，在用戶進行了合成張數Cnum的減少指示時，第一增減方法所涉及的圖像處理部50將合成對象期間維持在從時刻tn至時刻tn+m為止的期間不變，并以減少指示前的采樣間隔為基準來增大采樣間隔，由此來減少對象輸入圖像的張數(即，合成張數CnJ。基于由用戶指定的增大指示后或減少指示后的合成張數Cnum，來決定增大指示后或減少指示后的采樣間隔的具體數值。下面，說明合成張數Cnum的第二增減方法。圖17是指示了合成張數Cnih的增大的情況下的第二增減方法的處理概念圖。在如圖7所示合成對象期間是從時刻tn至時刻tn+m 為止的期間的情況下，在用戶進行了合成張數Cnm的增大指示時，第二增減方法所涉及的圖像處理部50通過將合成對象期間的開始時刻修正為比時刻tn早的時刻，或者將合成對象期間的結束時刻修正為比時刻tn+m晚的時刻，或者進行這兩種修正，來增大合成對象期間， 由此來增大對象輸入圖像的張數(即，合成張數CnJ。反之，在如圖7所示合成對象期間是從時刻tn至時刻tn+m為止的期間的情況下，在用戶進行了合成張數Cnum的減少指示時，第二增減方法所涉及的圖像處理部50通過將合成對象期間的開始時刻修正為比時刻tn晚的時亥IJ，或者將合成對象期間的結束時刻修正為比時刻tn+m早的時刻，或者進行這兩種修正，來減少合成對象期間，由此來減少對象輸入圖像的張數(即，合成張數Cnum)。基于由用戶指定的增大指示后或減少指示后的合成張數Cnum，來決定合成對象期間的開始時刻以及結束時刻的修正量。在第二增減方法中，不變更采樣間隔。但是，也可以對第一以及第二增減方法進行組合。即，例如，在用戶進行了合成張數Cnum的增大指示時，可以同時執行第一增減方法所涉及的采樣間隔的減少和第二增減方法所涉及的合成對象期間的增大，在用戶進行了合成張數Cnih的減少指示時，可以同時執行第一增減方法所涉及的采樣間隔的增大和第二增減方法所涉及的合成對象期間的減少。如上所述，在本實施方式中，通過在水平或垂直方向上對針對運動物體的切取圖像進行排列結合，來生成輸出合成圖像。因此，在運動物體是揮動高爾夫球棒的人物的情況下，即使在動態圖像上運動物體的位置幾乎不發生變化的情況下，不同時刻的運動物體在輸出合成圖像上相互也不重疊。結果，相比圖沈所示的頻閃圖像，易于確認運動物體的運動的樣子。而且，由于使用運動物體部分的切取圖像而不是使用形成動態圖像的幀本身來生成輸出合成圖像，所以在輸出合成圖像上運動物體被較大地映出。結果，相比圖27所示的方法，易于確認運動物體的運動的樣子。(第二實施方式)下面，說明本發明的第二實施方式。第二以及后述的第三實施方式是以第一實施方式為基礎的實施方式，在第二以及第三實施方式中，關于沒有特別記述的事項，只要沒有矛盾，則第一實施方式的記載也適用于第二以及第三實施方式。在第一實施方式所述的多個合成模式中，可以包括也能稱為同步合成模式的第二合成模式。在第二實施方式中，以下，說明第二合成模式中的攝像裝置1的工作。在第二合成模式中，在輸出合成圖像的生成中利用多個輸入圖像列。這里，為了使說明具體化，說明利用2個輸入圖像列的方法。圖18示出在第二合成模式中生成輸出合成圖像時的處理的流程。用戶能夠從記錄在外部存儲器18中的動態圖像之中選擇任意2個動態圖像，并將選擇出的2個動態圖像作為第一以及第二輸入圖像列551以及552提供給圖像處理部50。通常，輸入圖像列551以及552相互不同。在圖像處理部50中，對輸入圖像列551以及552個別地執行圖4的步驟S12 S17的處理。針對輸入圖像列551的步驟S12 S17的處理內容與第一實施方式所述的內容相同，針對輸入圖像列陽2的步驟S12 S17的處理內容也與第一實施方式所述的內容相同。將通過針對輸入圖像列551的步驟S12 S17的處理而生成的輸出合成圖像稱為中間合成圖像(合成結果圖像)561，將通過針對輸入圖像列552的步驟S12 S17的處理而生成的輸出合成圖像稱為中間合成圖像(合成結果圖像)562。在中間合成圖像561以及562的每一個中，設Hnih(在水平方向上排列的切取圖像的張數)為2以上，設Vnih(在垂直方向上排列的切取圖像的張數)為1。即，中間合成圖像 561是通過將基于輸入圖像列551的多個切取圖像在水平方向上排列結合而生成的，中間合成圖像562是通過將基于輸入圖像列552的多個切取圖像在水平方向上排列結合而生成的。基本上，雖假設采樣間隔以及合成張數Cnih在輸入圖像列551以及552間相同，但是也可以使采樣間隔以及合成張數Cnum在輸入圖像列551以及552間不同。在圖18所示的例子中，在中間合成圖像561以及562的每一個中，設定為Hnum= 10且Vnih= 1。另外，優選使在各輸入圖像中設定的切取區域的大小在輸入圖像列551以及552間相同。在切取區域的大小在輸入圖像列551以及552間不同的情況下，通過在根據切取區域內的圖像數據來生成切取圖像時執行分辨率變換，也能夠使基于輸入圖像列的切取圖像的圖像尺寸和基于輸入圖像列552的切取圖像的圖像尺寸一致。第三圖像合成部53通過將中間合成圖像(合成結果圖像)561以及562在垂直方向上排列結合，來生成最終的輸出合成圖像570。通過將輸出合成圖像570的整體圖像區域沿水平方向進行2分割，來設定第一以及第二圖像區域，并在輸出合成圖像570的第一以及第二圖像區域中分別配置中間合成圖像561以及562。另外，也可以不生成中間合成圖像 561以及562，而根據基于輸入圖像列551以及552的多個切取圖像直接生成輸出合成圖像 570。能夠將輸出合成圖像570顯示在顯示部27的顯示畫面上，由此，顯示畫面的鑒賞者能夠容易地對輸入圖像列551上的運動物體的運動的樣子和輸入圖像列552上的運動物體的運動的樣子進行比較。例如，能夠對前者以及后者的運動物體間的高爾夫揮棒姿勢詳細地進行比較。在顯示輸出合成圖像570時，可以根據需要利用分辨率變換等，一次顯示輸出合成圖像570的整體，但是也可以進行以下這樣的滾動顯示。例如，圖1的顯示處理部20承擔滾動顯示的執行。在滾動顯示中，如圖19所示，在輸出合成圖像570內設定提取框580， 從輸出合成圖像570中提取提取框580內的圖像作為滾動圖像。由于在水平方向上提取框 580比輸出合成圖像570小，所以滾動用圖像是輸出合成圖像570的一部分。可以使垂直方向上的提取框580的大小與輸出合成圖像570的相同。以使提取框580的左端與輸出合成圖像570的左端一致的狀態為起點，直到提取框580的右端與輸出合成圖像570的右端一致為止，按照固定間隔來依次移動提取框580 的位置，且每次移動時提取滾動用圖像。在滾動顯示中，按照時間序列順序來排列由此得到的多個滾動用圖像，并將其作為動態圖像585而顯示在顯示部27中(參照圖20)。雖然也取決于切取圖像的張數，但是如果想要一次顯示輸出合成圖像570的整體，則有時運動物體的顯示尺寸會變得過小。如果利用上述這種滾動顯示，則即使切取圖像的張數較多，也能夠避免運動物體的顯示尺寸變得過小。此外，也可以將在時間序列上排列的多個滾動用圖像作為動態圖像585而記錄在外部存儲器18中。另外，雖然在上述例子中，在垂直方向上對基于輸入圖像列551的中間合成圖像和基于輸入圖像列552的中間合成圖像進行排列結合，但是也可以在水平方向上對基于輸入圖像列551的中間合成圖像和基于輸入圖像列552的中間合成圖像進行排列結合。在此情況下，在水平方向上對通過在垂直方向上對基于輸入圖像列551的多個切取圖像進行排列結合而得到的中間合成圖像、和通過在垂直方向上對基于輸入圖像列陽2的多個切取圖像進行排列結合而得到的中間合成圖像進行排列結合，通過該結合來得到最終的輸出合成圖像即可。此外，也可以使用3個以上的輸入圖像列來得到輸出合成圖像。即，也可以將3個以上的輸入圖像列提供給圖像處理部50，并在水平或垂直方向上對按每個輸入圖像列而得到的中間合成圖像進行排列結合，由此來得到最終的輸出合成圖像。(第三實施方式)下面，說明本發明的第三實施方式。在通過拍攝來得到上述第一或第二實施方式中的輸入圖像時，也可以在攝像裝置1中執行所謂光學式手抖動補償或電子式手抖動補償。在第三實施方式中，在通過拍攝來得到輸入圖像時，假設在攝像裝置1中執行電子式手抖動補償，說明與電子式手抖動補償聯動的切取區域的設定方法。首先，參照圖21(a)以及(b)來說明在攝像裝置1中執行的電子式手抖動補償。在圖21 (a)等中，附加了符號600的實線矩形框內的區域表示攝像元件33的有效像素區域。 另外，也可以認為，區域600是排列有攝像元件33的有效像素區域中的各像素信號的、內部存儲器17上的存儲器空間。以下，認為區域600是攝像元件33的有效像素區域。在有效像素區域600中，設定比有效像素區域600小的矩形的提取框601，并讀出屬于提取框601內的各像素信號，由此生成輸入圖像。即，提取框601內的圖像是輸入圖像。 在以下的說明中，提取框601的位置以及移動是指，有效像素區域600上的提取框601的中心位置以及移動。在圖22中，示出可以預先設置在攝像裝置1中的裝置運動檢測部61以及抖動補償部62。裝置運動檢測部61通過公知的方法，根據攝像元件33的輸出信號來檢測攝像裝置1的運動。或者，也可以使用檢測攝像裝置1的框體的角加速度或加速度的傳感器來檢測攝像裝置1的運動。攝像裝置1的運動例如由于保持攝像裝置1的框體的人的手抖動而產生。攝像裝置1的運動也是攝像元件33的運動。如果在時刻tn以及tn+1間攝像裝置1運動，則即使在實際空間上關注被攝體靜止， 關注被攝體在攝像元件33以及有效像素區域600上也發生移動。S卩，攝像元件33以及有效像素區域600上的關注被攝體的位置在時刻tn以及tn+1間發生移動。在此情況下，如果假設提取框601的位置固定，則輸入圖像F[n+1]上的關注被攝體的位置從輸入圖像F[n] 上的關注被攝體的位置發生變化，在由輸入圖像F[n]以及F[n+1]構成的輸入圖像列上，關注被攝體看起來發生了移動。將這樣的移動、即由于攝像裝置1的運動而產生的輸入圖像間的關注被攝體的位置變化稱為幀間抖動。將裝置運動檢測部61所產生的攝像裝置1的運動的檢測結果也稱為裝置運動檢測結果。圖22的抖動補償部62基于裝置運動檢測結果來降低幀間抖動。在幀間抖動的降低中也包括幀間抖動的完全消失。通過檢測攝像裝置1的運動，可以求出表示攝像裝置1 的運動的方向以及大小的裝置運動向量。抖動補償部62基于裝置運動向量，按照降低幀間抖動的方式來使提取框601移動。圖21 (b)中的向量605是時刻tn以及tn+1間的裝置運動向量的逆向量，為了降低針對輸入圖像F[n]以及F[n+1]的幀間抖動，使提取框601按照向量605移動。提取框601內的區域也可以稱為抖動補償用區域。在攝像元件33的有效像素區域600上成像的整體像(整體光學像)之中，提取框601內的圖像(即，抖動補償用區域內的圖像)相當于輸入圖像。抖動補償部62通過基于裝置運動向量來對得到輸入圖像F[n] 以及F[n+1]時的提取框601的位置進行設定，由此來降低針對輸入圖像F[n]以及F[n+1] 的幀間抖動。針對其他的輸入圖像間的幀間抖動也是同樣。假設在進行了上述幀間抖動的降低的基礎上，生成了輸入圖像列320(圖幻，說明圖3的圖像處理部50的工作。可以將為了降低輸入圖像列320的幀間抖動而利用的、輸入圖像列320的拍攝期間中的裝置運動檢測結果與輸入圖像列320的圖像數據建立關聯并記錄在外部存儲器18中。例如，在將輸入圖像列320的圖像數據保存在圖像文件中的基礎上記錄在外部存儲器18中時，可以在該圖像文件的頭部區域中保存輸入圖像列320的拍攝期間中的裝置運動檢測結果。圖3的區域設定部51能夠基于從外部存儲器18中讀出的裝置運動檢測結果來設定切取區域。現在，參照圖23(a) (d)以及圖M，假設從輸入圖像F[n] F[n+m]中提取出的多個對象輸入圖像是圖像621 623，來說明切取區域的設定方法。在圖23(a) (c)中，用斜線填充的矩形區域631、632、以及633分別是在獲取對象輸入圖像621、622、以及623的圖像數據時設定的提取框601內的區域(抖動補償用區域)。圖23(d)的斜線區域640表示在有效像素區域600中矩形區域631 633相互重疊的重疊區域。區域設定部 51能夠基于從外部存儲器18中讀出的裝置運動檢測結果來識別有效像素區域600上的矩形區域631、632、以及633的位置關系，并且也能夠檢測重疊區域640的位置以及大小。區域設定部51在矩形區域631、632、以及633內的重疊區域640的位置上分別設定輸入圖像621、622、以及623內的切取區域。S卩，如圖M所示，將輸入圖像621上的重疊區域(斜線區域)640設定為輸入圖像621上的切取區域，將輸入圖像622上的重疊區域 (斜線區域)640設定為輸入圖像622上的切取區域，將輸入圖像623上的重疊區域(斜線區域)640設定為輸入圖像623上的切取區域。切取處理部52提取輸入圖像621中的切取區域內的圖像作為基于輸入圖像621的切取圖像，提取輸入圖像622中的切取區域內的圖像作為基于輸入圖像622的切取圖像，提取輸入圖像623中的切取區域內的圖像作為基于輸入圖像623的切取圖像。根據由此得到的多個切取圖像來生成輸出合成圖像的方法與第一或第二實施方式中所述的方法相同。拍攝者由于一面對應該收容在切取圖像內的關注運動物體給以注意一面進行拍攝方向的調整等，因此即使由于手抖動等而造成拍攝范圍發生變動，通常至少關注運動物體也會繼續被收容在拍攝范圍內，結果，在各對象輸入圖像的重疊區域640中存在關注運動物體的圖像數據的可能性較高。因此，在第三實施方式中，將重疊區域640設定為切取區域，通過在水平或垂直方向上對從各對象輸入圖像的切取區域中得到的切取圖像進行排列結合，來生成輸出合成圖像。因此，能夠得到與第一實施方式相同的效果。即，由于不同時刻的運動物體在輸出合成圖像上相互不重疊，所以相比圖26所示的頻閃圖像，易于確認運動物體的運動的樣子。而且，由于在輸出合成圖像上較大地映出運動物體，所以相比直接對動態圖像的各幀進行多重顯示的圖27的方法，易于確認運動物體的運動的樣子。(變形等)本發明的實施方式在權利要求書所示的技術思想的范圍內能夠適當進行各種變更。以上的實施方式只不過是本發明的實施方式的例子，本發明乃至各構成要件的用語的意義不限制于以上實施方式所記載的例子。上述說明文中所示的具體數值僅僅是例示，當然，可以將它們變更為各種數值。作為能夠應用于上述實施方式中的注釋事項，以下，記載注釋1 注釋3。各注釋所記載的內容只要不矛盾，就可以任意進行組合。[注釋1]可以按照能夠實現第一以及第二實施方式所涉及的第一以及第二合成模式以外的合成模式的方式來形成圖像處理部50。[注釋2]圖3的圖像處理部50可以設置在攝像裝置1以外的電子設備(未圖示)中，并可以在該電子設備上實現在第一或第二實施方式中說明了的各工作。電子設備例如是個人計算機、便攜式信息終端、便攜式電話機。另外，攝像裝置1也是電子設備的一種。[注釋3]能夠通過硬件、或硬件和軟件的組合來構成圖1的攝像裝置1以及上述電子設備。在使用軟件來構成攝像裝置1以及電子設備的情況下，針對由軟件實現的部位的框圖表示該部位的功能框圖。特別是，可以將由圖像處理部50實現的功能的全部或一部分記述為程序，并在程序執行裝置(例如，計算機)上執行該程序，由此來實現該功能的全部或一部分。
權利要求
1.一種圖像處理裝置，其特征在于，具備區域設定部，其基于由多個輸入圖像構成的輸入圖像列的圖像數據來設定作為各輸入圖像上的圖像區域的切取區域；切取處理部，其從上述多個輸入圖像中所包含的多個對象輸入圖像的每一個中提取上述切取區域內的圖像作為切取圖像；以及圖像合成部，其對提取出的多個切取圖像進行排列結合。
2.根據權利要求1所述的圖像處理裝置，其特征在于，上述圖像合成部在對上述多個切取圖像進行結合時，按照上述多個切取圖像相互不重疊的方式來排列上述多個切取圖像。
3.根據權利要求2所述的圖像處理裝置，其特征在于，上述多個對象輸入圖像包含第一對象輸入圖像以及第二對象輸入圖像， 上述第一對象輸入圖像上的上述切取區域和上述第二對象輸入圖像上的上述切取區域相互重疊，上述圖像合成部在對上述多個切取圖像進行結合時，按照基于上述第一對象輸入圖像的切取圖像和基于上述第二對象輸入圖像的切取圖像相互不重疊的方式來排列上述多個切取圖像。
4.根據權利要求1 3中任意一項所述的圖像處理裝置，其特征在于，上述區域設定部基于上述輸入圖像列的圖像數據來檢測存在運動物體或特定種類的物體的圖像區域，并基于檢測出的圖像區域來設定上述切取區域。
5.根據權利要求1 4中任意一項所述的圖像處理裝置，其特征在于， 通過對上述多個切取圖像進行排列結合來生成合成結果圖像，上述圖像合成部基于對上述合成結果圖像規定的縱橫比或圖像尺寸來決定上述多個切取圖像的排列方式。
6.根據權利要求1 4中任意一項所述的圖像處理裝置，其特征在于， 將相互不同的多個輸入圖像列作為上述輸入圖像列提供給該圖像處理裝置， 上述區域設定部按每個上述輸入圖像列來設定上述切取區域，上述切取處理部按每個上述輸入圖像列來提取上述切取圖像， 上述圖像合成部進一步對通過按每個上述輸入圖像列來進行上述結合而得到的、針對上述多個輸入圖像列的多個合成結果圖像在規定方向上進行排列結合。
7.一種攝像裝置，其根據利用了攝像元件的依次拍攝的結果來取得由多個輸入圖像構成的輸入圖像列，所述攝像裝置的特征在于，具備抖動補償部，其基于該攝像裝置的運動的檢測結果，來減小基于上述運動的上述輸入圖像間的被攝體的抖動；區域設定部，其基于上述運動的檢測結果，來設定作為各輸入圖像上的圖像區域的切取區域；切取處理部，其從上述多個輸入圖像中所包含的多個對象輸入圖像的每一個中，提取上述切取區域內的圖像作為切取圖像；以及圖像合成部，其對提取出的多個切取圖像進行排列結合。
8.根據權利要求7所述的攝像裝置，其特征在于，在上述攝像元件上成像的整體像之中，抖動補償用區域內的圖像相當于上述輸入圖像，上述抖動補償部通過基于上述運動的檢測結果來設定針對各輸入圖像的上述抖動補償用區域的位置，從而降低上述抖動，上述區域設定部基于上述運動的檢測結果來檢測針對上述多個對象輸入圖像的多個抖動補償用區域的重疊區域，并根據上述重疊區域來設定上述切取區域。
9.一種圖像處理方法，其特征在于，執行如下步驟區域設定步驟，基于由多個輸入圖像構成的輸入圖像列的圖像數據來設定作為各輸入圖像上的圖像區域的切取區域；切取處理步驟，從上述多個輸入圖像中所包含的多個對象輸入圖像的每一個中提取上述切取區域內的圖像作為切取圖像；以及圖像合成步驟，對提取出的多個切取圖像進行排列結合。
10.一種程序，用于使計算機執行權利要求9所述的區域設定步驟、切取處理步驟、以及圖像合成步驟。
全文摘要
為了易于觀察地顯示關注運動物體的運動的樣子，提供一種圖像處理裝置、攝像裝置、圖像處理方法、程序。基于由多個輸入圖像構成的輸入圖像列的圖像數據，來檢測存在運動物體或特定種類的物體的圖像區域，并根據檢測結果在各輸入圖像中設定切取區域。按照規定的采樣間隔從多個輸入圖像中提取多個對象輸入圖像，并從各對象輸入圖像中提取切取區域內的圖像作為切取圖像。通過在水平或垂直方向上對從多個對象輸入圖像中提取出的多個切取圖像進行排列結合，來生成輸出合成圖像(500)，并將其顯示在顯示畫面上。
文檔編號G06T7/20GK102469270SQ201110331588
公開日2012年5月23日 申請日期2011年10月27日 優先權日2010年10月29日
發明者橫畠正大, 畑中晴雄, 福本晉平 申請人:三洋電機株式會社