攝像設備和攝像設備的控制方法
【專利摘要】本發明涉及一種攝像設備和攝像設備的控制方法。檢測攝像設備的角速度以及圖像之間的運動矢量。基于角速度的變化量和運動矢量的變化量之間的比較來計算被攝體速度。然后，通過在曝光期間基于被攝體速度改變光軸，可以提供能夠應對各種平搖操作的搖攝輔助功能。
【專利說明】
攝像設備和攝像設備的控制方法
技術領域
[0001] 本發明設及一種攝像設備和攝像設備的控制方法，尤其設及用于輔助搖攝 (panning)的技術。
【背景技術】
[0002] 搖攝是表現移動被攝體的速度感的拍攝技術。搖攝是通過在根據被攝體的移動而 使照相機平搖的同時進行攝像、來獲得被攝體保持靜止而背景變模糊的圖像的技術。為了 通過使背景大幅模糊來有效地表現速度感，通常情況是在進行搖攝的情況下設置較長的曝 光時間。
[0003] 為了成功地進行搖攝，W攝像面上的被攝體不會移動的方式使照相機平搖很重 要，而運需要經驗和技術。因此，提出了通過使移位透鏡發生移位來抵消平搖速度和被攝體 速度之間的差的搖攝輔助功能（日本特開和日本特開)。
[0004] 日本特開公開了如下技術:基于巧螺儀傳感器所檢測到的照相機的 移動和圖像中的運動矢量來檢測移動被攝體，并且驅動移位透鏡，W使得該移動被攝體位 于攝像面的中央。然而，巧螺儀傳感器可W僅檢測照相機的轉動方向上的移動，因而如果在 平搖中包括平移方向上的移動，則可能無法充分減輕被攝體的模糊。
[0005] 日本特開公開了如下技術:基于從當前帖和先前帖檢測到的運動矢 量的時間變化(加速度)來預測后續帖中的被攝體的運動矢量，并且使校正光學系統發生移 位，使得后續帖中的被攝體相對于該被攝體在當前帖中的位置沒有移動。然而，由于基于帖 之間的位置的差異的時間變化來確定被攝體的加速度，因此如果平搖操作不恒定，則校正 精度下降。

【發明內容】

[0006] 本發明是有鑒于上述的傳統技術所遇到的問題而作出的，并且本發明提供可W提 供能夠應對各種平搖操作的搖攝輔助功能的攝像設備、W及用于控制該攝像設備的控制方 法。
[0007] 根據本發明的方面，提供一種攝像設備，包括:計算部件，用于基于用于檢測角速 度的第一檢測部件所檢測到的角速度的變化量與用于針對圖像的各區域檢測運動矢量的 第二檢測部件所檢測到的運動矢量的變化量之間的比較，來計算被攝體的被攝體速度；W 及控制部件，用于在曝光期間，基于所述被攝體速度來改變光軸。
[000引根據本發明的另一方面，提供一種攝像設備的控制方法，所述控制方法包括W下 步驟:基于用于檢測角速度的第一檢測單元所檢測到的角速度的變化量與用于針對圖像的 各區域檢測運動矢量的第二檢測單元所檢測到的運動矢量的變化量之間的比較，來計算被 攝體的被攝體速度；W及在曝光期間，基于所述被攝體速度來改變光軸。
[0009]通過W下參考附圖對典型實施例的說明，本發明的其它特征將變得明顯。
【附圖說明】
[0010] 圖1是示出用作根據本發明實施例的攝像設備的示例的數字照相機的功能結構的 示例的框圖。
[0011] 圖2是示出根據實施例的搖攝輔助功能的操作概述的流程圖。
[0012] 圖3A~3C是示出平搖所引起的移動量的直方圖的變化的圖。
[0013] 圖4A和4B是示出根據第一實施例的用于計算被攝體速度的計算處理的流程圖。
[0014] 圖5A~5E是示出根據實施例的通過使用直方圖的針對被攝體的勻速運動的判斷 的圖。
[0015] 圖6A~抓是示出根據實施例的通過使用直方圖的針對平搖運動成分的判斷的圖。
[0016] 圖7是示出根據第二實施例的矢量判斷處理的流程圖。
[0017] 圖8A~8F是示出根據第二實施例的矢量判斷方法的圖。
[0018] 圖9A和9B是示出根據第二實施例的用于計算被攝體速度的計算處理的流程圖。
[0019] 圖10A~10D是示出根據第二實施例的矢量積分的圖。
[0020] 圖11A~UE是示出根據第二實施例的通過使用直方圖的針對平搖運動成分的判 斷的圖。
【具體實施方式】
[0021] 現在將根據附圖來詳細說明本發明的典型實施例。在下文，將說明本發明應用于 用作攝像設備的示例的數字照相機的實施例，但本發明還可應用于具有攝像功能的任何電 子裝置。電子裝置的示例包括但不限于移動電話、個人計算機、平板終端和游戲機。另外，在 W下實施例中，將說明使用光學式手動振動校正功能的結構，但還可W使用利用電子式手 動振動校正功能的結構。
[00剖第一實施例
[0023] 數字照相機的功能結構
[0024] 圖1是示出根據第一實施例的數字照相機100的基本功能結構的示例的框圖。光學 系統101包括透鏡、快口和光圈，并且在CPU 103的控制下，通過使用來自被攝體的光來在攝 像元件102上進行成像。光學系統101包括作為振動控制(光軸改變)所用的光學構件的移位 透鏡、W及用于驅動該移位透鏡的驅動電路。諸如CCD圖像傳感器或CMOS圖像傳感器等的攝 像元件102將光學系統101進行成像后的光轉換成圖像信號。
[0025] 諸如巧螺儀傳感器等的角速度傳感器105(第一檢測單元)檢測表示數字照相機 100的移動量的角速度，將所檢測到的角速度轉換成電氣信號，并且將該電氣信號發送至 CPU 103。一次存儲裝置104是例如RAM等的易失性存儲裝置，并且用作用于加載程序或臨時 存儲數據的工作區域。一次存儲裝置104中所存儲的數據由圖像處理單元106使用或者記錄 在記錄介質107中。
[0026] 二次存儲裝置108是例如邸PROM等的非易失性存儲裝置，并且用于存儲各種設置 信息和CPU 103為了控制數字照相機100所執行的程序（固件）XPU 103是可編程處理器的 示例，并且通過執行程序W控制數字照相機100中所包括的各單元，來實現數字照相機100 的包括搖攝輔助功能、振動控制功能W及拍攝、記錄和再現圖像的功能的各種功能。
[0027] 記錄介質107記錄一次存儲裝置104中所存儲的、諸如通過攝像所獲得的圖像數據 等的數據。記錄介質107例如可W是半導體存儲卡，并且從數字照相機100可移除，因而可W 通過將記錄介質107安裝至個人計算機等來讀取所記錄的數據。換句話說，數字照相機100 具有用于安裝和拆卸記錄介質107的機構W及讀/寫功能。
[0028] 顯示部109用于顯示攝像期間的取景器圖像、所拍攝圖像和交互操作所用的GUI圖 像等。操作部110是用于接收用戶操作并且將輸入信息發送至CPU 103的輸入裝置群，并且 操作部110例如包括按鈕、桿、觸摸面板，而且還可W包括使用音頻和視線的輸入裝置。
[0029] 根據本實施例的數字照相機100具有圖像處理單元106應用于所拍攝圖像的多個 圖像處理模式，并且應用與經由操作部110可W設置的攝像模式相對應的模式。圖像處理單 元106進行諸如所謂的顯像處理等的圖像處理、W及與拍攝模式相對應的色調調整處理等。 圖像處理單元106還進行諸如一次存儲裝置104中所存儲的圖像之間的運動矢量的檢測(第 二檢測單元）、關于圖像內的區域是背景區域還是主被攝體區域的識別、W及背景區域和主 被攝體區域中的運動矢量的計算等的處理操作。可W通過CPU 103執行程序，來利用軟件實 現圖像處理單元106的功能中的至少一個功能。
[0030] 搖攝輔助功能的操作概述
[0031] 圖2W流程圖的形式示出根據本實施例的數字照相機100所實現的搖攝輔助功能 的操作概述。搖攝輔助功能例如可W響應于檢測到半按下了操作部110中所包括的快口按 鈕（用W開始拍攝準備處理的指示）而開始，但還可W使用其它開始條件。假定在執行搖攝 輔助功能時，攝像元件102執行運動圖像拍攝(連續拍攝）。運動圖像拍攝可W獨立于搖攝輔 助功能而執行，從而例如獲取電子取景器上所顯示的圖像。此外，可W通過使用與實際進行 拍攝的攝像元件不同的諸如測光傳感器(未示出）等的攝像元件來替換所需的運動圖像拍 攝(連續拍攝)功能。
[0032] 首先，在S201中，CPU 103獲取角速度傳感器105所檢測到的數字照相機100的角速 度。
[0033] 接著，在S202中，圖像處理單元106檢測攝像元件102在不同時刻所拍攝到的兩個 帖圖像之間的運動矢量。運些運動矢量是在通過對帖圖像進行分割所形成的多個框區域各 自中檢測到的。沒有特別限制用于檢測圖像之間的運動矢量的方法，并且可W使用諸如使 用模式匹配的方法等的任何已知方法。可W針對攝像元件102所拍攝到的運動圖像的連續 兩個帖進行運動矢量檢測、或者可W針對所提取的兩個帖(例如，針對每預定數量的帖)進 行運動矢量檢測。
[0034] 在S203中，圖像處理單元106將S202中所檢測到的運動矢量轉換成攝像面上的移 動量，并且生成直方圖。
[00巧]在S204中，CPU 103將S201中所獲取到的數字照相機100的角速度ω [rad/sec]轉 換成攝像面上的移動量l[mm]。具體地，CPU 103通過使用W下給出的表達式1來將角速度ω [rad/sec]轉換成攝像面上的移動量l[mm]，其中：利用f [mm]來表示光學系統101的焦距，并 且利用巧S[打ame/sec(帖/秒）]來表示拍攝運動圖像所用的帖頻。
[0036] 表達式1
[0037] l = f 1:an( t>Vfps)
[0038] 在每秒進行運動矢量檢測的帖數小于拍攝運動圖像所用的帖頻的情況下，將表達 式1中的巧S的值改變為每秒進行運動矢量檢測的帖數。
[0039] 在S205中，圖像處理單元106(判斷單元)使用S202中所檢測到的運動矢量來判斷 表示被攝體的移動的矢量下稱為被攝體矢量)和表示背景的移動的矢量下稱為背景 矢量）。運里，假定被攝體矢量和背景矢量具有轉換成攝像面上的移動量的大小，并且除非 另外說明，否則通過使用轉換成移動量的值來進行矢量變化量的計算W及矢量之間的比 較。此外，利用例如日本特開所公開的使用運動矢量的方法等的已知方法來判 斷圖像中的被攝體和背景。
[0040] 圖3A~3C是各自示出在S203中圖像處理單元106所生成的直方圖的圖，其中按最 大頻度向該直方圖添加在S204中CPU 103轉換成移動量的角速度401。在W下說明中，除非 另外說明，否則假定與運動矢量相同，角速度具有轉換成攝像面上的移動量的值。在該直方 圖中，橫軸表示移動量(Ml)，并且縱軸表示相應的塊數。移動量沿移動方向進行縮放，其中 將時間上的先前帖圖像中的塊的位置設置為原點。
[0041] 現在將參考圖3A~3C來說明與平搖操作相對應的直方圖的變化。運里，假定通過 S205的判斷處理獲得了背景矢量402和被攝體矢量403。此外，為了便于說明和理解，假定被 攝體速度和平搖速度是適當的（因此，被攝體矢量403約為0)。
[0042] 圖3A示出數字照相機100的平搖操作僅包括轉動成分的情況的典型示例，并且在 運種情況下，在帖之間數字照相機100的角速度401與背景矢量402大致相等。
[0043] 圖3B示出數字照相機100的平搖操作包括除轉動成分W外的成分(移位成分等）的 情況的典型示例。在運種情況下，由于平搖操作不包括轉動成分，因此角速度401約為0。
[0044] 圖3C示出數字照相機100的平搖操作包括轉動成分和除轉動成分W外的成分運兩 者的情況的典型示例。在運種情況下，由于平搖操作包括轉動成分，因此盡管角速度401不 為0,但角速度401小于反映了轉動成分和除轉動成分W外的成分的背景矢量402。
[0045] 在S206中，CPU 103基于S204中所確定的移動量1、W及通過S205中圖像處理單元 106所進行的判斷處理所獲得的被攝體矢量和背景矢量的變化量，來計算被攝體速度。后面 將詳細說明用于計算被攝體速度的方法。
[0046] 在S207中，CPU 103判斷是否開始本實施例的拍攝操作(記錄所用的拍攝操作）。運 里，在全按下操作部110的快口按鈕的情況下，判斷為發出了用W開始拍攝操作的指示。如 果檢測到用W開始拍攝操作的指示，貝化PU 103使處理進入S208。如果沒有檢測到用W開始 拍攝操作的指示，則CPU 103使處理返回至S201。
[0047] 在S208中，CPU 103開始拍攝操作。CPU 103在攝像元件102的曝光期間，通過基于 S206中所計算出的被攝體速度與角速度傳感器105所獲得的數字照相機100的角速度之間 的差而驅動光學系統101的移位透鏡W改變光軸，來實現搖攝輔助功能。具體地，可W驅動 移位透鏡，W使得被攝體的移動速度達到0。用于驅動移位透鏡的控制是已知技術，因而運 里省略了針對該控制的詳細說明。
[004引被攝體速度計算處理
[0049] 接著，將參考圖4A和4B所示的流程圖來詳細說明S206中所進行的被攝體速度的計 算。W下假定將與步驟S201~S205中所獲取到的過去的帖a中的角速度和運動矢量有關的 信息存儲在一次存儲裝置104中來進行說明。
[0050] 在S301中，CPU 103將處理帖編號η初始化為0。運里，將最新帖的處理帖編號設置 為0,并且在每次使處理帖編號增加1時，運表示一個帖之前的帖。
[0051 ]在S302中，CPU 103將移位標志初始化為0,其中該移位標志表示在使數字照相機 100平遙時、除轉動成分W外的成分是否發生改變。如果移位標志為0,則運表示在平搖操作 中沒有發生改變、或者僅轉動成分發生了改變，并且如果移位標志為1，則運表示諸如移位 (平移)成分等的除轉動成分W外的要素發生了改變。
[0052] 在S303中，CPU 103將速度標志初始化為0,其中該速度標志表示被攝體速度的變 化。如果速度標志為0，則運表示被攝體處于勻速運動;如果速度標志為1，則運表示被攝體 處于勻加速運動;并且如果速度標志為2，則運表示被攝體處于除勻速運動和勻加速運動W 外的不規則運動。
[0053] 在S304中，CPU 103將變量初始化為0,其中該變量存儲被攝體加速度。運里，用于 對變量和標志進行初始化的初始化處理結束。在S305及其后續步驟中，進行用于判斷為了 獲得可靠的信息而在一次存儲裝置104中所存儲的多個帖中需要追溯多少個帖的處理、W 及用于基于可靠的信息來計算被攝體速度的處理。
[0054] 在S305中，CPU 103判斷針對一次存儲裝置104所存儲的多個帖所包括的信息中 的、預定數量的帖（運里，使用上述的帖a)中所包括的信息是否執行了S306之后的處理。如 果處理帖編號η的值為a-1，則CPU 103使處理進入S319。如果處理帖編號η的值小于a-1，則 CPU 103使處理進入S306。
[0055] 在S306中，CPU 103判斷移位標志是否為1、或者換句話說判斷諸如移位成分等的 除轉動成分W外的要素是否發生改變。如果判斷為添加了除轉動成分W外的要素，貝化PU 103使處理進入S319，W基于在添加除轉動成分W外的要素之前的帖中所包括的信息來計 算被攝體速度。如果判斷為沒有添加除轉動成分W外的要素，則CPU 103使處理進入S307。
[0056] 在S307中，CPU 103判斷速度標志是否為2、或者換句話說判斷被攝體是否處于不 規則運動。如果在被攝體的運動中沒有發現規則性、或者換句話說被攝體既非處于勻速運 動也非處于勻加速運動，則不必參考先前帖之前的帖中所包括的信息。因此，如果速度標志 為2,則CPU 103使處理進入S322W計算被攝體速度。如果速度標志不為2,則為了通過參考 先前帖中所包括的信息來提高被攝體速度的計算精度，CPU 103使處理進入S308。
[0化7] 在S322中，如果處理帖編號η小于1，則CPU 103使處理進入S323,并且將被攝體速 度設置為0。如此，在拍攝操作的曝光期間，進行正常手動振動校正而非搖攝輔助功能。另一 方面，如果η為上，則CPU 103使處理進入S319。
[005引如果在S307中判斷為被攝體處于勻速運動或勻加速運動，則在S308中，CPU 103判 斷速度標志是否為1、或者換句話說是否已判斷為被攝體處于勻加速運動。如果速度標志為 1，則CPU 103使處理進入S313。如果速度標志為0 (存在被攝體處于勻速運動的可能性），則 CPU 103使處理進入S309。
[0059] 在S309中，CPU 103通過使用表達式2來進行比較，W判斷先前帖和當前帖之間的 被攝體矢量的變化量與背景矢量的變化量之間的差是否小于或等于闊值。
[0060] 表達式2
[0061] (被攝體矢量n+l-被攝體矢量η)-(背景矢量n+l-背景矢量η) | ^闊值ν
[0062] 闊值V是定義被攝體矢量的變化量和背景矢量的變化量被視為相等的范圍（或者 換句話說，判斷為被攝體處于勻速運動的范圍）的闊值，并且可W是預先設置的。如果判斷 為表達式2成立，則CPU 103使處理進入S310。如果判斷為表達式2不成立，則CPU 103使處理 進入S313。
[0063] 將參考圖5A~祀來說明通過使用直方圖的與被攝體處于勻速運動有關的判斷。假 定圖5A示出當前帖（處理帖編號η)、并且圖5B(或圖加)示出先前帖（處理帖編號n+1)。如果 被攝體處于勻速運動，則被攝體矢量403和背景矢量402之間的差501W及被攝體矢量403和 背景矢量402之間的差503幾乎不變。因此，與數字照相機100的平搖操作中所包括的方向成 分無關地，在當前帖和先前帖之間被攝體矢量的變化量505與背景矢量的變化量(移動量） 506大致相等(參見圖5C和祀）。
[0064] 在S310中，CPU 103通過使用表達式3來進行比較，W判斷在先前帖和當前帖之間 所產生的角速度的變化量與背景矢量的變化量之間的差是否小于或等于闊值。如運里所使 用的，角速度是S204中轉換成了攝像面上的移動量的值。
[00化]表達式3
[0066] I (加速度n+l-加速度η)-(背景矢量n+l-背景矢量η) I ^闊值g
[0067] 闊值g是定義角速度的變化量和背景矢量的變化量被視為相等的范圍的闊值，并 且可W是預先設置的。如果表達式3成立，則判斷為在帖之間數字照相機100的平搖狀態不 變、或者僅轉動成分發生改變，并且CPU 103使處理進入S311。如果表達式3不成立，則CPU 103使處理進入S312。
[0068] 將參考圖5A~5E來說明通過使用直方圖的針對數字照相機100的平搖操作的判 斷。注意，為了便于說明和理解，在圖5A、抓和5E中角速度401不變，但角速度401實際可W改 變。
[0069] 假定圖5A示出當前帖（處理帖編號η)、并且圖5B示出先前帖（處理帖編號n+1)。如 果除轉動成分W外、在平搖狀態中不存在變化，則角速度401和背景矢量402之間的差502W 及角速度401和背景矢量402之間的差504幾乎不變。因此，在當前帖和先前帖之間，角速度 的變化量(移動量)507和背景矢量的變化量(移動量)506大致相等。
[0070] 因此，如果在S310中判斷為表達式3成立，則可W判斷為被攝體處于勻速運動并且 數字照相機100的平搖狀態穩定(僅轉動成分發生改變）。因而，CPU 103將處理帖編號η更新 為作為下一帖編號的η+1。
[0071] 另一方面，假定圖5Α示出當前帖（處理帖編號η)、并且圖加示出先前帖（處理帖編 號η+1)。如果在平搖狀態中發生了改變、或者換句話說除轉動成分W外的成分發生了改變， 則角速度401和背景矢量402之間的差502 W及角速度401和背景矢量402之間的差508明顯 變大(〉闊值g)。
[0072] 因此，如果在圖4B的S310中判斷為表達式3不成立，則可W判斷為被攝體處于勻速 運動，但數字照相機100的平搖狀態不穩定(諸如移位成分等的除轉動成分W外的要素發生 改變）。由于該原因，在S312中，CPU 103將移位標志設置為1，并且使處理進入被攝體速度計 算。
[0073] 在判斷為被攝體不是處于勻速運動的情況下、或者換句話說在判斷為被攝體處于 勻加速運動或處于速度的變化不恒定的運動的情況下，進行S313的處理。
[0074] 在S313中，與S310相同，CPU 103通過使用表達式3來進行比較，W判斷在先前帖和 當前帖之間所產生的角速度的變化量和背景矢量的變化量之間的差是否小于或等于闊值。 如果判斷為表達式3成立，貝化PU 103使處理進入S314。如果如圖5A和6C所示的帖之間的關 系那樣、除轉動成分W外的成分發生改變，則判斷為表達式3不成立。運可W根據W下事實 來進行判斷:在圖6D中，背景矢量402的變化量607大于角速度401的變化量。在運種情況下， CPU 103使處理進入S315。
[0075]在S314中，CPU 103通過使用表達式4來判斷被攝體加速度的變化量是否小于或等 于闊值。在處理帖編號η為0的情況下，由于不能計算被攝體加速度的變化量，因此始終判斷 為表達式4成立。
[007引 表達式4
[0077] 如果η Μ，則
[0078] I被攝體加速度η-(背景矢量n+l-被攝體矢量n+l)-(背景矢量η-被攝體矢量η) I <闊 值a
[0079] 作為被攝體加速度n，使用S317中所計算出的值。
[0080] 闊值a是用于判斷是否存在被攝體處于勻加速運動的可能性的闊值，并且可W是 預先設置的。如果判斷為表達式4成立，則CPU 103使處理進入S316。如果判斷為表達式4不 成立，則CPU 103使處理進入S315。
[0081 ]將參考圖5A~5E和圖6A~6D來說明通過使用直方圖的與被攝體處于勻加速運動 有關的判斷。假定圖5A示出當前帖(處理帖編號η)、并且圖6A示出先前帖(處理帖編號n+1)。 如果被攝體速度發生了改變，則被攝體矢量403和背景矢量402之間的差501與被攝體矢量 403和背景矢量402之間的差601不同。在圖6B中，利用背景矢量402的差值605來表示速度的 變化。
[0082] 為了便于說明和理解，圖6B示出針對被攝體的運動進行適當平搖的情況。因此，被 攝體矢量403約為0,并且背景矢量的變化量603與差值605(= I差601-差5011)看似相等。
[0083] 如果在先前帖和該先前帖之前的帖(處理帖編號n+2)之間、被攝體矢量403和背景 矢量402之間的差(差501 -差601)大致相同，則可W判斷為被攝體處于勻加速運動。
[0084] 如果在S314中判斷為存在被攝體處于勻加速運動的可能性，則在S316中，CPU 103 將速度標志的值設置為作為表示該判斷結果的值的1。
[0085] 在S317中，CPU 103根據W下給出的表達式5來計算被攝體加速度。
[0086] 表達式5
[0087] 被攝體加速度n=被攝體加速度n-l+差值605/( l^ps)
[0088] 在S318中，CPU 103通過使處理帖編號η增加1來更新處理帖編號n，并且使處理返 回至S305。
[0089] 在S313中判斷為通過平搖導致除轉動成分W外的要素發生了改變的情況下、并且 在S314中判斷為被攝體不是處于勻加速運動的情況下，不能期望通過參考當前帖之前的過 去的帖中所包括的信息來提高被攝體速度的精度。因此，在S315中，CPU 103將速度標志的 值設置為作為表示被攝體處于不規則運動的值的2,并且使處理返回至S305。如此，可W基 于直到當前帖為止的信息來計算被攝體速度。
[0090] W下將說明在S319及其后續步驟中所進行的用于計算被攝體速度的處理。
[0091] 在S319中，CPU 103判斷速度標志是否為1。運與用于判斷被攝體處于勻加速運動 還是被攝體處于勻速運動(或者處于非恒定運動）的處理相對應。如果速度標志為1(如果判 斷為被攝體處于勻加速運動），則CPU 103使處理進入S320。如果速度標志為0(如果判斷為 被攝體處于勻速運動），則CPU 103使處理進入S321。在速度標志為2、并且處理帖編號η大于 或等于1的情況下，CPU 103也使處理進入S321。
[0092] 運里，如果利用l[mm]來表示攝像面上的移動量、利用f [mm]來表示光學系統101的 焦距并且利用巧S[打ame/sec]來表示拍攝運動圖像所用的帖頻，則可W通過使用W下給出 的表達式6來將移動量l[mm]轉換成角速度〇x[rad/sec]。
[0093] 表達式6
[0094] c〇x=fpsX1:an-i(]Vf)
[00M] 在S320中，CPU 103通過使用W下給出的表達式7來計算被攝體角速度c〇2[rad/ sec]，其中，利用w〇[rad/sec]來表示拍攝最新帖時的角速度，利用ω i[rad/sec]來表示通 過使用W上給出的表達式6對在最新帖中檢測到的被攝體矢量的移動量進行轉換所獲得的 角速度，利用a[rad/sec]來表示被攝體的角加速度，利用d[mm]來表示差值605,并且利用t kec]來表示開始曝光所需的時間。還可W通過使用被攝體的角加速度a[rad/sec]來在更 新曝光時間內的被攝體的角速度的情況下進行校正。
[0096] 表達式7
[0097] a = fpsX 化 n-i(cVf)
[009引 c02=( w0+c0i) + (aXt)
[0099]另一方面，在S321中，CPU 103通過使用W下給出的表達式8來計算被攝體角速度 c〇3[rad/sec]，其中，利用w〇[rad/sec]來表示獲取各帖時的角速度，并且利用c〇i[rad/ sec]來表示通過使用表達式6對帖中的被攝體矢量的移動量進行轉換所獲得的角速度。
[0…0] 表達式8
[0101]
[0102] 如運里所使用的，"各帖"是指從處理帖編號0起、直到緊挨在判斷為速度標志=2 或移位標志=1之前的帖為止的運些帖中的一個帖，并且最多包括帖a。
[0103] 如上所述，根據本實施例，基于攝像設備的角速度和在圖像之間所檢測到的運動 矢量來判斷移動被攝體的速度變化的趨勢W及平搖操作的方向成分。然后，基于利用與該 判斷結果相對應的方法所計算出的被攝體速度來在曝光期間進行振動控制，從而實現了對 平搖操作進行適當輔助的搖攝輔助功能。此外，在適當的情況下不進行搖攝輔助，因此可W 抑制搖攝輔助功能所引起的圖像質量的下降。
[0…4] 第二實施例
[0105]接著，將說明本發明的第二實施例。除矢量判斷處理（圖2、S205)和被攝體速度檢 測處理(S206)不同于第一實施例的處理W外，本實施例可W與第一實施例相同。因此，W下 將主要說明與第一實施例的不同之處。
[0酒]矢量判斷處理
[0107]圖7是詳細示出根據本實施例的矢量判斷處理的流程圖、并且更具體是在僅檢測 到被攝體矢量或背景矢量的情況下所進行的處理。在W下說明中，與第一實施例相同，假定 已將數字照相機100的角速度和圖像處理單元106所檢測到的運動矢量轉換成攝像面上的 移動量。因此，w下說明中的"角速度"的值和"矢量"的值是已轉換成攝像面上的移動量的 值。
[010引在S1201中，CPU 103判斷第一個帖(第一個圖像）（圖8A)的角速度401是否在闊值 范圍905內。在闊值范圍905中，將0設置為中屯、，并且如果角速度401在闊值范圍905外，則即 使考慮到角速度傳感器105的偏移，也判斷為檢測到了大到足W檢測帖之間的角速度的變 化的角速度。如果第一個帖的角速度401在闊值范圍905外，貝化PU 103使處理進入S1208。否 貝1J，CPU 103使處理進入S1202。
[0109] 在S1202中，CPU 103W與S1201相同的方式判斷第二個帖（第二個圖像）（圖8B)的 角速度401是否在闊值范圍905內。如果同樣在第二個帖中角速度401在闊值范圍905內、并 且沒有檢測到足夠的角速度，則難W檢測帖之間的角速度的變化907 (圖8C)和運動矢量的 變化906(圖8C)。因此，CPU 103使處理進入S1203,并且將所檢測到的運動矢量801判斷為非 恒定矢量（圖8C)dS1201和S1202中所使用的闊值范圍905可能不是相同范圍，并且在S1201 中可W將闊值范圍設置得更寬，從而與使用相同闊值范圍的情況相比，將更難將所檢測到 的運動矢量判斷為非恒定矢量。
[0110] 另一方面，如果在S1202中判斷為在第二個帖檢測到了足夠的角速度(如果判斷為 可W檢測到帖之間的角速度和運動矢量的變化），則CPU 103使處理進入S1204。在S1204中， CPU 103比較帖之間的角速度的變化方向和運動矢量之間的變化方向（增加方向或減少方 向）。
[0111] 如果角速度的變化方向和運動矢量的變化方向不同，則可W判斷為運動矢量還包 括與數字照相機100的平搖操作不相關的運動。因此，CPU 103使處理進入S1205,并且將所 檢測到的運動矢量判斷為被攝體矢量。
[0112] 另一方面，如果判斷為角速度的變化方向和運動矢量的變化方向相同，貝化PU 103 使處理進入S1206,并且判斷運動矢量的變化量是否小于角速度的變化量。如果運動矢量的 變化量小于角速度的變化量，則可W判斷為運動矢量還包括與數字照相機100的平搖操作 不同的運動。因此，CPU 103使處理進入S1205,并且將所檢測到的運動矢量判斷為被攝體矢 量。
[0113] 此外，如果運動矢量的變化量大于或等于角速度的變化量，則可W判斷為數字照 相機100的平搖操作導致背景變模糊。因此，CPU 103使處理進入S1207,并且將所檢測到的 運動矢量判斷為背景矢量。
[0114] 接著，將說明S1208及其后續步驟中所進行的處理。例如在如圖8E所示、在第一個 帖中檢測到了足夠的角速度401 (角速度401在闊值范圍702外）的情況下，執行S1208。
[0115] 在S1208中，CPU 103判斷所檢測到的角速度401是否大于或等于運動矢量可檢測 范圍701(圖8D)的上限。如果如圖8D所示、角速度401的大小大于或等于運動矢量可檢測范 圍701的上限，則可W判斷為背景矢量在運動矢量可檢測范圍701外。因此，CPU 103使處理 進入S1209,并且將所檢測到的運動矢量判斷為被攝體矢量。
[0116] 另一方面，如果在S1208中判斷為角速度401不大于或等于運動矢量可檢測范圍 701的上限，則CPU 103使處理進入S1210,并且判斷角速度是否大于運動矢量。如上所述，在 平搖操作僅包括轉動成分的情況下，角速度和背景矢量具有相同的大小。然而，如果平搖操 作包括諸如移位成分等的除轉動成分W外的成分，則角速度所產生的移動量與除轉動成分 W外的要素的影響所產生的移動量之和是背景矢量的移動量。因此，如果如圖8E所示、判斷 為角速度401大于運動矢量403,則CPU 103使處理進入S1209,并且將所檢測到的運動矢量 403判斷為被攝體矢量。另一方面，如果如圖8F所示、判斷為運動矢量402的大小大于或等于 角速度401，則CPU 103使處理進入S1211，并且將所檢測到的運動矢量402判斷為背景矢量。
[0117] 被攝體速度計算處理
[0118] 接著，將參考圖9A和9B所示的流程圖來詳細說明根據本實施例的被攝體速度計算 處理。向與根據第一實施例的被攝體速度計算處理的處理步驟相同的處理步驟賦予與圖4A 和4B中所使用的附圖標記相同的附圖標記，并且省略了重復的說明。
[0119] 步驟S301是與圖4A的處理相同的處理，因而省略了針對該處理的說明。
[0120] 在S1301中，CPU 103將積分標志初始化為0。積分標志取0或1的值，并且積分標志 表示:在值為0的情況下，沒有進行積分，并且在值為1的情況下，進行了積分。
[0121] 步驟S303~S305是與圖4A的處理相同的處理，因而省略了針對運些處理的說明。
[0122] 如果在S307中判斷為速度標志不為2,則CPU 103使處理進入S1302。
[0123] 在S1302中，CPU 103判斷在上述的矢量判斷處理中運動矢量是否已被判斷為非恒 定矢量。如果判斷為運動矢量已被判斷為非恒定矢量，則CPU 103使處理進入S323。如果判 斷為運動矢量沒有被判斷為非恒定矢量，貝化PU 103使處理進入S1303。在S323中，CPU 103 將被攝體速度設置為0。如此，在拍攝操作的曝光期間進行正常手動振動校正。
[0124] 在S1303中，CPU 103判斷在上述的矢量判斷處理中運動矢量是否已被判斷為被攝 體矢量。如果判斷為運動矢量已被判斷為被攝體矢量，則CPU 103使處理進入S308。如果判 斷為運動矢量沒有被判斷為被攝體矢量，則CPU 103使處理進入S313。
[01巧]如果在S308中判斷為速度標志為1，則CPU 103使處理進入S314。如果判斷為速度 標志不為1，則CPU 103使處理進入S1304。
[01%]在S1304中，CPU 103通過使用表達式9來判斷在當前帖和先前帖之間所產生的角 速度的變化量與被攝體矢量的變化量之間的差是否小于或等于闊值。
[0127] 表達式9
[0128] I (角速度n+l-角速度η)-(被攝體矢量n+l-被攝體矢量η) I含闊值W
[0129] 闊值W是定義角速度的變化量和被攝體矢量的變化量被視為相等的范圍（或者換 句話說，判斷為被攝體處于勻速運動、并且平搖狀態穩定或僅角速度成分發生改變的范圍） 的闊值，并且可W是預先設置的。如果判斷為表達式9成立，貝化PU 103使處理進入S311，其 中在該S311中，CPU 103通過使處理帖編號η增加1來更新處理帖編號η，并且使處理返回至 S305。如果判斷為表達式9不成立，則CPU 103使處理進入S314。在表達式9不成立的情況下， 可W跳過S314中的勻加速運動的判斷并且處理可W直接進入S315。
[0130] 在S314中，CPU 103通過使用表達式10來判斷被攝體加速度的變化量是否小于或 等于闊值。在處理帖編號η為0的情況下，由于不能計算被攝體加速度的變化量，因此始終判 斷為被攝體加速度的變化量小于或等于闊值。
[0131] 表達式10
[0132] 如果η Μ，則
[0133] I被攝體加速度η-(角速臨+1-被攝體矢量η+1)-(角速度η-被攝體矢量η) I <闊值a
[0134] 作為被攝體加速度n，使用S317中所計算出的值。
[0135] 闊值a是用于判斷是否存在被攝體處于勻加速運動的可能性的闊值，并且可W是 預先設置的。如果判斷為表達式10成立，則CPU 103使處理進入S316。如果判斷為表達式10 不成立，則CPU 103使處理進入S315。
[0136] 步驟S315~S318是與圖4B的處理相同的處理，因而省略了針對運些處理的說明。
[0137] 在所檢測到的運動矢量已被判斷為背景矢量的情況下，執行步驟S313。在S313中， CPU 103通過使用表達式3來進行比較，W判斷在先前帖和當前帖之間所產生的角速度的變 化量與背景矢量的變化量之間的差是否小于或等于闊值。如果判斷為表達式3成立，貝化PU 103使處理進入S1305。如果判斷為表達式3不成立，貝化PU 103使處理進入S315eS315是與圖 4B的處理相同的處理，因而省略了針對該處理的說明。
[0138] 僅在可W判斷為在帖之間的平搖狀態中沒有發生改變或者僅轉動成分發生改變 的情況下，才判斷為表達式3成立。在運種情況下，在S1305中，CPU 103將積分標志的值設置 為1，并且在其中存儲表示進入了用于檢測被攝體矢量的被攝體矢量檢測模式(積分模式） 運一事實。
[0139] 在S1306中，CPU 103通過使用各帖的角速度作為偏移來與被攝體矢量的位置(移 動量)進行匹配，并且對兩個帖的直方圖進行積分。
[0140] 將參考圖10A~10D來說明S1306中所進行的積分操作。如果假定圖10A示出要進行 積分的兩個帖的運動矢量和角速度的直方圖，則作為積分結果所獲得的直方圖如圖10B所 示最大頻度對背景矢量402進行剪切）。如果諸如運動矢量1101等、頻度小于闊值1103， 則不能檢測到被攝體矢量和背景矢量。然而，通過對多個帖的直方圖進行積分，積分之后的 運動矢量1102的頻度增加得大于闊值1103,因此可W將運動矢量視為被攝體矢量，結果可 W計算出被攝體速度。
[0141] 然而，在對具有圖10A所示的直方圖的帖和具有圖10C所示的直方圖的帖進行積分 的情況下，運動矢量1101的位置不匹配，因而積分結果如圖10D所示。在運種情況下，積分之 后的運動矢量1104的頻度仍小于闊值1103，因而無法將運動矢量1104視為被攝體矢量。
[0142] 在S1307中，CPU 103通過使處理帖編號η增加1來更新處理帖編號n，并且使處理返 回至S305。
[0143] W下將說明在S1308及其后續步驟中所進行的被攝體速度計算處理。
[0144] 在S1308中，CPU 103判斷積分標志是否為1、或者換句話說是否對運動矢量的頻度 進行了積分。如果積分標志為1，則CPU 103使處理進入S1309。如果積分標志為0,則CPU 103 使處理進入S319dS319~S321是與圖4A的處理相同的處理，因而省略了針對運些處理的說 明。
[0145] 圖11A~11E示出在沒有檢測到背景矢量的情況下的直方圖的示例，并且1001表示 矢量可檢測范圍的上限。在圖11A和11B中，假定轉換成移動量的角速度401和被攝體矢量 403之間的差1002與運兩者之間的差1003相等。在運種情況下，如圖11C所示，圖11A和11B之 間的角速度401的變化量1004與被攝體矢量403的變化量1005相等。在運種情況下，推定為 被攝體處于勻速運動，并且在平搖操作中沒有發生改變或者僅平搖操作的轉動成分發生了 改變。
[0146] 然而，可能存在如下情況:將差1002與具有不同于差1002的值的差（如圖11D所示 的、轉換成移動量的角速度401和被攝體矢量403之間的差1006等)進行比較。在運種情況 下，如圖llE所示，圖llA和IID之間的角速度401的變化量不等于被攝體矢量403的變化量 1007。在角速度401的變化量和被攝體矢量403的變化量不相等的情況下，難W正確地判斷 為被攝體速度發生了改變或者向平搖操作添加了諸如移位成分等的除轉動成分W外的要 素。
[0147] 在S1309中，CPU 103將除背景矢量W外的具有最大頻度的運動矢量設置為積分矢 量。
[0148] 在S1310中，CPU 103判斷S1309中所設置的積分矢量的頻度是否大于或等于闊值。 如果判斷為積分矢量的頻度小于闊值，則CPU 103使處理進入S323,并且將被攝體速度設置 為0。如此，在拍攝操作的曝光期間進行了正常手動振動校正。
[0149] 另一方面，如果判斷為積分矢量的頻度大于或等于闊值，貝化PU 103使處理進入 S1311，其中在該S1311中，CPU 103確定將積分矢量視為被攝體矢量，并且在S1312中計算被 攝體角速度。
[0150] CPU 103通過使用W下給出的表達式11來計算被攝體角速度c〇3[rad/sec]，其中： 利用w〇[rad/sec]來表示獲取當前帖（最新帖）時的角速度，并且利用〇i[rad/sec]來表示 根據積分矢量所計算出的被攝體矢量的角速度的轉換值。
[0巧1] 表達式η
[0152] ω 3 = ω 0+ ω 1
[0153] 如果在S322中判斷為η小于1，則CPU 103使處理進入S1313。如果判斷為η大于或等 于1，則CPU 103使處理進入S1308。
[0154] 在S1313中，CPU 103判斷積分標志是否為1、或者換句話說是否對運動矢量的頻度 進行了積分。如果判斷為積分標志為1，則CPU 103使處理進入S1309。如果積分標志為0,則 CPU 103使處理進入S323dS323是與圖4A的處理相同的處理，因而省略了針對該處理的說 明。
[0155] 如上所述，根據本實施例，除第一實施例的結構外，還使用如下結構：如果檢測到 僅一個運動矢量，則基于攝像設備的角速度和在圖像之間所檢測到的運動矢量來判斷所檢 測到的運動矢量是被攝體矢量還是背景矢量。因此，即使檢測到僅一個運動矢量，也可W實 現與第一實施例的效果相同的效果。
[015引其它實施例
[0157] 在W上給出的實施例中，說明了通過在曝光期間驅動移位透鏡W校正移動被攝體 的成像位置(改變光軸)來實現搖攝輔助和手動振動校正的結構。然而，還可W通過諸如使 用除移位透鏡W外的構件等使用其它形式(諸如用于驅動攝像元件102的光學手動振動校 正機構等)并且控制電子手動振動校正技術中的剪切位置來(大致)改變光軸，從而實現本 發明。
[0158] 本發明的實施例還可W通過如下的方法來實現，即，通過網絡或者各種存儲介質 將執行上述實施例的功能的軟件(程序)提供給系統或裝置，該系統或裝置的計算機或是中 央處理單元(CPU)、微處理單元(MPU)讀出并執行程序的方法。
[0159] 盡管已經參考典型實施例說明了本發明，但是應當理解，本發明不限于所公開的 典型實施例。所附權利要求書的范圍符合最寬的解釋，W包含所有運類修改、等同結構和功 能。
【主權項】
1. 一種攝像設備，包括： 計算部件，用于基于用于檢測角速度的第一檢測部件所檢測到的角速度的變化量與用 于針對圖像的各區域檢測運動矢量的第二檢測部件所檢測到的運動矢量的變化量之間的 比較，來計算被攝體的被攝體速度；以及 控制部件，用于在曝光期間，基于所述被攝體速度來改變光軸。2. 根據權利要求1所述的攝像設備，其中，還包括： 判斷部件，用于從所述第二檢測部件所檢測到的運動矢量中，對被攝體矢量和背景矢 量進行判斷， 其中，所述計算部件通過使用所述角速度的變化量、所述被攝體矢量的變化量、所述背 景矢量的變化量、以及所述背景矢量與所述被攝體矢量之間的差的變化量至少之一來判斷 所述被攝體的運動的規則性，并且利用基于該判斷的方法來計算所述被攝體速度。3. 根據權利要求2所述的攝像設備，其中， 所述運動的規則性包括勾速運動、勾加速運動和非恒定運動至少之一。4. 根據權利要求3所述的攝像設備，其中， 在所述被攝體矢量的變化量和所述背景矢量的變化量之間的差小于或等于預先設置 的第一閾值的情況下，所述計算部件判斷為所述被攝體處于勻速運動。5. 根據權利要求3所述的攝像設備，其中， 在基于所述背景矢量與所述被攝體矢量之間的差的變化量所檢測到的所述被攝體的 加速度的變化量小于或等于預先設置的第二閾值的情況下，所述計算部件判斷為所述被攝 體處于勻加速運動。6. 根據權利要求3所述的攝像設備，其中， 在判斷為所述被攝體既非處于勻速運動也非處于勻加速運動的情況下，所述計算部件 判斷為所述被攝體處于非恒定運動。7. 根據權利要求3所述的攝像設備，其中， 在判斷為所述被攝體處于勻加速運動的情況下，所述計算部件基于拍攝最新圖像時所 述第一檢測部件所檢測到的角速度、以及通過對所述判斷部件在所述最新圖像中判斷出的 被攝體矢量進行轉換所獲得的角速度，來計算所述被攝體速度。8. 根據權利要求3至7中任一項所述的攝像設備，其中， 在判斷為所述被攝體處于勻速運動的情況下，所述計算部件基于通過對所述判斷部件 在包括最新圖像的多個圖像中判斷出的被攝體矢量進行轉換所獲得的角速度，來計算所述 被攝體速度。9. 根據權利要求8所述的攝像設備，其中， 所述多個圖像不包括被判斷為所述被攝體處于非恒定運動的圖像。10. 根據權利要求3所述的攝像設備，其中， 所述計算部件還基于所述角速度的變化量和所述背景矢量的變化量，來判斷所述攝像 設備的運動是否包括除轉動成分以外的方向成分。11. 根據權利要求10所述的攝像設備，其中， 在所述角速度的變化量與所述背景矢量的變化量之間的差小于或等于預先設置的第 三閾值的情況下，所述計算部件判斷為所述攝像設備的運動不包括除轉動成分以外的方向 成分。12. 根據權利要求10或11所述的攝像設備，其中， 在判斷為所述被攝體處于勻速運動的情況下，所述計算部件基于通過對所述判斷部件 在包括最新圖像的多個圖像中判斷出的被攝體矢量進行轉換所獲得的角速度，來計算所述 被攝體速度，以及 所述多個圖像不包括被判斷為所述攝像設備的運動包括除轉動成分以外的方向成分 的圖像。13. 根據權利要求3所述的攝像設備，其中， 在判斷為所述被攝體處于非恒定運動的情況下，所述計算部件將所述被攝體速度設置 為0〇14. 根據權利要求2所述的攝像設備，其中， 在所述第二檢測部件所檢測到的運動矢量中存在被判斷為被攝體矢量或背景矢量的 一個運動矢量的情況下，如果所述角速度大于預先設置的閾值范圍的上限并且所述角速度 大于或等于運動矢量能夠檢測范圍的上限、或者如果所述角速度大于所述一個運動矢量， 則所述判斷部件將所述一個運動矢量判斷為所述被攝體矢量。15. 根據權利要求2所述的攝像設備，其中， 在所述第二檢測部件所檢測到的運動矢量中存在被判斷為被攝體矢量或背景矢量的 一個運動矢量的情況下，如果所述角速度大于預先設置的閾值范圍的上限、所述角速度小 于運動矢量能夠檢測范圍的上限、并且所述角速度不大于所述一個運動矢量，則所述判斷 部件將所述一個運動矢量判斷為所述背景矢量。16. 根據權利要求2所述的攝像設備，其中， 在所述第二檢測部件所檢測到的運動矢量中存在被判斷為被攝體矢量或背景矢量的 一個運動矢量的情況下，如果拍攝第一個圖像時的角速度不大于預先設置的閾值范圍的上 限并且拍攝第二個圖像時的角速度大于所述預先設置的閾值范圍，并且如果所述第一個圖 像和所述第二個圖像之間的所述角速度的變化方向和所述運動矢量的變化方向不相等、或 者所述運動矢量的變化量小于所述角速度的變化量，則所述判斷部件將所述一個運動矢量 判斷為所述被攝體矢量。17. 根據權利要求2所述的攝像設備，其中， 在所述第二檢測部件所檢測到的運動矢量中存在被判斷為被攝體矢量或背景矢量的 一個運動矢量的情況下，如果拍攝第一個圖像時的角速度不大于預先設置的閾值范圍的上 限并且拍攝第二個圖像時的角速度大于所述預先設置的閾值范圍，并且如果所述第一個圖 像和所述第二個圖像之間的所述角速度的變化方向和所述運動矢量的變化方向相等、并且 所述運動矢量的變化量不小于所述角速度的變化量，則所述判斷部件將所述一個運動矢量 判斷為所述背景矢量。18. 根據權利要求2所述的攝像設備，其中， 在所述第二檢測部件所檢測到的運動矢量中存在被判斷為被攝體矢量或背景矢量的 一個運動矢量、并且所述判斷部件將所述一個運動矢量判斷為所述背景矢量的情況下，如 果所述角速度的變化量和所述背景矢量的變化量之間的差小于或等于第四閾值，則對所述 第二檢測部件所檢測到的運動矢量進行積分，并且使用積分后的運動矢量中的除所述背景 矢量以外的最大運動矢量作為所述被攝體矢量。19. 根據權利要求18所述的攝像設備，其中， 在所述被攝體矢量是積分后的運動矢量的情況下，所述計算部件基于在拍攝最新圖像 時所述第一檢測部件所檢測到的角速度和通過對所述被攝體矢量進行轉換所獲得的角速 度，來計算所述被攝體速度。20. 根據權利要求1所述的攝像設備，其中， 所述控制部件通過改變光軸來實現搖攝輔助功能。21. -種攝像設備的控制方法，所述控制方法包括以下步驟： 基于用于檢測角速度的第一檢測單元所檢測到的角速度的變化量與用于針對圖像的 各區域檢測運動矢量的第二檢測單元所檢測到的運動矢量的變化量之間的比較，來計算被 攝體的被攝體速度；以及 在曝光期間，基于所述被攝體速度來改變光軸。
【文檔編號】H04N5/232GK106060379SQ201610217282
【公開日】2016年10月26日
【申請日】2016年4月8日 公開號201610217282.X, CN 106060379 A, CN 106060379A, CN 201610217282, CN-A-106060379, CN106060379 A, CN106060379A, CN201610217282, CN201610217282.X
【發明人】朽木洋晃
【申請人】佳能株式會社