專利名稱：圖像處理裝置以及使用它的攝像裝置的制作方法
技術領域：
本發明涉及對所拍攝的運動圖像進行編碼、再現、編輯或保持的圖像處理裝置以及搭載該圖像處理裝置的攝像裝置。
背景技術：
近年來，一般用戶能夠簡單拍攝運動圖像的數字電影攝像機正逐漸普及，這其中有能夠拍攝高HD(high definition 高清晰度)(1920X1080像素)畫質的運動圖像的數字電影攝像機。由這樣的數字電影攝像機拍攝的運動圖像，可用于各種用途。例如，在電視機或PC中鑒賞、附加到電子郵件中發送、上傳到互聯網上的運動圖像共享網頁、博客網頁或SNS(Social Networking krvice 社交網絡服務)網頁。此外，近年來的數字電影攝像機趨于多功能化，而現狀卻是用戶不能完全使用那些功能。特別是，對于不習慣使用數字電影攝像機的用戶以及本來就不善于整體使用被高度電子化的照相機等電子設備的用戶而言，讓其完全使用數字電影攝像機所搭載的功能是極難的事情。例如，以手抖動補償功能為一例，這些用戶會關閉該功能來進行拍攝，或相反地，總以最大強度來使用該功能，因此會浪費掉超出所需的耗電。本發明的方式之一的圖像處理裝置，是應搭載于用于拍攝運動圖像的攝像裝置的圖像處理裝置，具有第一獲取部，其從用于拍攝記錄用的運動圖像的第一攝像部獲取圖像；第二獲取部，其從用于拍攝攝像者的第二攝像部獲取圖像；判定部，其根據由所述第二獲取部獲取到的圖像，判定所述攝像者是否正在觀察顯示著所述記錄用的運動圖像的監視器；和控制部，其根據所述判定部的判定結果，使所述攝像裝置的狀況變化。本發明的另一方式是攝像裝置。該裝置具有用于拍攝記錄用運動圖像的第一攝像部；用于拍攝攝像者的第二攝像部；和上述圖像處理裝置。本發明的另一方式的圖像處理裝置，具有第一獲取部，其從用于拍攝記錄用的運動圖像的第一攝像部獲取圖像；圖像編碼部，其對由所述第一獲取部獲取到的圖像進行編碼，以生成運動圖像編碼數據；第二獲取部，其從用于拍攝攝像者的第二攝像部獲取圖像； 判定部，其根據由所述第二獲取部獲取到的圖像，判定所述攝像者是否正在觀察顯示著所述記錄用的運動圖像的監視器；和附加部，其將所述運動圖像編碼數據與用于確定所述攝像者是否正在觀察所述監視器的攝像者視線信息建立關聯。本發明的另一方式是攝像裝置。該裝置具有用于拍攝上述記錄用運動圖像的第一攝像部；用于拍攝攝像者的第二攝像部；和圖像處理裝置。本發明的另一方式是圖像處理裝置，該裝置用于再現由圖像處理裝置所生成的與攝像者視線信息建立了關聯的運動圖像編碼數據，具有解碼部，其對運動圖像編碼數據進
4行解碼；和控制部，其控制為對由所述解碼部所解碼的運動圖像，直到由攝像者視線信息所確定的攝像者在已開始觀察監視器的位置為止找出起始點，或者將攝像者在觀察監視器的期間相接合來進行再現。本發明的另一方式還是圖像處理裝置。該裝置用于編輯由圖像處理裝置生成的與攝像者視線信息建立了關聯的運動圖像編碼數據，具有解碼部，其對運動圖像編碼數據進行編碼；和控制部，其控制為在由解碼部解碼后得到的運動圖像之中，刪除由攝像者視線信息所確定的攝像者未正在觀察監視器期間的部分，或者當由解碼部解碼后得到的運動圖像中包括由攝像者視線信息所確定的攝像者未正在觀察監視器的期間時，刪除運動圖像整體。本發明的另一方式還是圖像處理裝置。該裝置用于保持由圖像處理裝置所生成的與攝像者視線信息建立了關聯的運動圖像編碼數據，具有比率計算部，其按照多個運動圖像編碼數據的每一個，計算由攝像者視線信息所確定的攝像者正在觀察監視器的期間與未正在觀察監視器的期間的比率；和排序部，其按照由比率計算部計算出的比率高或低的順序，對多個運動圖像編碼數據進行排序。本發明的另一方式是攝像裝置。該裝置至少具有一個上述圖像處理裝置。而且，即使在方法、裝置、系統、記錄介質、計算機程序等之間變換了本發明的表現，以上的結構要素的任意組合作為本發明的形態也是有效的。


圖1是本發明的實施方式1、2的攝像裝置的外觀概略圖。圖2是搭載了本發明的實施方式1的圖像處理裝置的攝像裝置的結構圖。圖3是表示分支部所輸入的幀圖像、由第一圖像編碼部所編碼的幀圖像以及由第二圖像編碼部所編碼的幀圖像的關系的圖。圖4是表示基于HD畫質的單一編碼模式與基于HD畫質以及SD畫質的雙重編碼模式的切換時刻的示例的圖。圖5是表示基于SD畫質的單一編碼模式與基于HD畫質以及SD畫質的雙重編碼模式的切換時刻的示例的圖。圖6(a) (C)是表示基于手抖動補償部的手抖動補償的一個示例的圖。圖7(a) (C)是表示基于自動閃光處理部的自動閃光處理的一個示例的圖。圖8是搭載了本發明的實施方式2的圖像處理裝置的攝像裝置的結構圖。圖9是具備本發明的實施方式3的圖像處理裝置的圖像顯示系統的結構圖。圖10是用于說明由實施方式3的控制部進行的找出起始點再現控制的圖。圖11是用于說明由實施方式3的控制部進行的摘錄再現控制的圖。圖12是用于說明由實施方式3的控制部進行的自動編輯控制的圖。圖13是表示動作例3的控制部的結構的結構圖。圖14(a)、(b)是用于說明由實施方式3的控制部進行的文件排序的圖。圖15(a) (c)是表示由實施方式3的控制部的自動閃光再現處理的一個示例的圖。
具體實施例方式以下，通過參照優選實施方式來詳細說明本發明。但優選實施方式僅是本發明的示例而已，并不是對本發明的技術方案的范圍的限定。圖1是本發明的實施方式1、2的攝像裝置200的外觀概略圖。在該攝像裝置200 中，設置第一攝像部210、第二攝像部220以及監視器230。第一攝像部210是用于拍攝人物、風景、構造物(鐵路車輛等)等被攝體的運動圖像的主攝像機。第二攝像部220是用于拍攝攝像者，更具體而言是攝像者的眼睛的副攝像機。監視器(也稱為觀察器、取景器)230 主要顯示由第一攝像部210所拍攝到的運動圖像。第二攝像部220不是所謂用于進行自拍來記錄的攝像機，而是用于判定拍攝者是否正在觀察或正在看監視器230的攝像機。因此，由第二攝像部220拍攝的圖像基本不被記錄，而被廢棄。相對于此，第一攝像部210是用于拍攝記錄用的運動圖像的照相機。第二攝像部220被設置在能夠拍攝用于判定攝像者是否正在觀察監視器230的圖像的位置。具體而言，優選被設置在以攝像裝置200的攝像者的通常的平均持有的位置能夠拍攝到攝像者的臉的位置。例如，可以在監視器230的周圍邊緣的任意位置設置第二攝像部220。通過判定攝像者是否正在觀察監視器230，能夠如以下那樣來推測攝像者的行動或心理狀態。首先，當攝像者正在觀察監視器230時，以下的推測成立。1.攝像者認為絕對不能錯過(不想拍攝出錯)當前正在拍攝的場景。2.正在變更該作為目標的被攝體或構圖。3.正在變更變焦倍率。4. 一旦稍微移動照相機，目標就會從幀內偏移，因此比通常更專注于攝像。接著，當攝像者并沒在觀察監視器230時，以下的推測成立。1.沒打算拍攝。2.由于要變更構圖等緣故，以不通過攝像機的方式正在努力把握拍攝空間整體。3.迷失目標，以不通過照相機的方式正在搜索目標。以下，以這些見解為前提，針對本發明的實施方式1具體地進行說明。圖2是搭載了本發明的實施方式1的圖像處理裝置100的攝像裝置200的結構圖。攝像裝置200具有第一攝像部210、第二攝像部220、監視器230、聲音獲取部M0、操作部250以及圖像處理裝置100。針對第一攝像部210進一步具體地進行說明。第一攝像部210連續地獲取幀圖像，并作為運動圖像而供給圖像處理裝置100。第一攝像部210具有CXD (Charge Coupled Devices 電荷耦合器件)傳感器或 CMOS (Complementary Metal Oxide Semiconductor :互補金屬氧化物半導體)圖像傳感器等未圖示的固體攝像元件、以及對從該固體攝像元件輸出的信號進行處理的未圖示的信號處理電路。該信號處理電路能夠將從上述固體攝像元件輸出的模擬三原色信號R、G、B變換為數字亮度信號Y以及色差信號Cr、Cb。第二攝像部220雖然與第一攝像部210基本相同，但能夠使用比第一攝像部210 規格低的器件。而且，當按每固定時間(例如，間隔5秒)執行上述攝像者是否正在觀察監視器230的判定時，第二攝像部220不必搭載有拍攝運動圖像的功能，只要有在該每固定時間能夠拍攝靜止圖像的能力即可。而且，就分辨率或視角而言，第二攝像部220也可以使用比第一攝像部210規格低的器件。聲音獲取部240將從外部獲取到的聲音變換為電信號，并作為聲音信號輸出給圖像處理裝置100。操作部250接受用戶的指示，生成基于該指示的控制信號，并輸出給圖像處理裝置100。 圖像處理裝置100具有第一獲取部11、第二獲取部12、臉檢測部13、判定部14、控制部20、手抖動補償部21、自動閃光處理部22、分支部31、分辨率/視角變換部32、圖像編碼部40、聲音編碼部45、復用部50、記錄部51以及輸入輸出部52。圖像編碼部40包括第一圖像編碼部41以及第二圖像編碼部42。圖像處理裝置100的結構，硬件上能夠由任意處理器、存儲器、其它LSI來實現，軟件上通過安裝在存儲器中的程序等來實現，但在此，對由它們聯合協作來實現的功能模塊進行了描述。因此，本領域技術人員能理解這些功能模塊能夠通過僅由硬件、僅由軟件或由它們的組合以各種形式來實現。第一獲取部11從第一攝像部210獲取圖像，并提供給分支部。第二獲取部12從第二攝像部220獲取圖像，并提供給臉檢測部13。臉檢測部13從由第二攝像部220拍攝的幀圖像內檢測出人物的臉。臉檢測部13 能夠采用已經存在的一般的臉檢測技術。例如，能夠采用用于識別臉圖像的識別器，而從幀圖像內檢測出臉圖像。在本實施方式中，由于需要判定攝像者是否正在觀察監視器230，因此，臉檢測部13對是否存在正對監視器230的臉圖像進行掃描，并將該掃描結果提供給判定部14。判定部14根據通過第二獲取部12獲取到的圖像，來判定攝像者是否正在觀察顯示著由第一獲取部獲取到的記錄用的運動圖像的監視器230。具體而言，從臉檢測部13獲取臉圖像的掃描結果，在檢測出正對監視器230的臉圖像時，判定為攝像者正在觀察監視器230，在未檢測出正對監視器230的臉圖像時，判定為攝像者未正在觀察監視器230。而且，由于在臉檢測部13中是一邊放大以及縮小幀圖像，一邊反復執行掃描，因此還會檢測出幀圖像內的臉圖像的大小。因此，能夠根據該臉圖像的大小，來推定攝像者與監視器230的距離。此外，若采用能夠識別表情的認真度的識別器，則還能夠判別正在觀察監視器230的攝像者是很認真還是很放松。此外，若采用拍攝特定人物而生成的識別器，則還能夠判定是否是該人物正在觀察監視器230。此時，即使是其他人正在觀察監視器230， 也被判定為未正在觀察。控制部20根據由判定部14所判定的判定結果，使攝像裝置200的狀況發生變化。 對于該狀況變化的具體例，在后面進行描述。分支部31按照基于來自控制部20的控制信號的指示，將從第一獲取部11提供的運動圖像輸出給第一圖像編碼部41，或輸出給分辨率/視角變換部32，或輸出給雙方。分辨率/視角變換部32能夠對構成從分支部31所輸入的運動圖像的幀圖像的分辨率和/或視角進行變換。例如，既能夠使該幀圖像的分辨率降低，也能夠截取該幀圖像的中央區域，并刪除其周邊區域，從而縮小視角。此外，可以對該幀圖像內的像素進行間隔剔除，從而降低分辨率，并且縮小視角。分辨率/視角變換部32，將由使分辨率和/或視角變換后的幀圖像構成的運動圖像輸出給第二圖像編碼部42。
7
而且，也可以在分辨率/視角變換部32與第二圖像編碼部42之間，設置未圖示的超分辨處理部。該超分辨處理部，也可以通過超分辨處理而使通過分辨率/視角變換部32 來縮小調整視角后得到的幀圖像的分辨率提高，并恢復到原來的幀圖像的尺寸。由此，能夠以原來的分辨率將為了放大關注區域而縮小調整了視角后得到的幀圖像的尺寸恢復為原來的尺寸。圖像編碼部40能夠以第一畫質以及與該第一畫質不同的第二畫質這兩種畫質， 并列或同時對由第一攝像部210拍攝的運動圖像進行編碼。即，能夠對一種運動圖像進行雙重編碼。在圖2中，第一圖像編碼部41能夠對從分支部31輸入的運動圖像并列或同時進行編碼，第二圖像編碼部42能夠對從分辨率/視角變換部32輸入的運動圖像并列或同時進行編碼。上述第一畫質的運動圖像與上述第二畫質的運動圖像，以不同的分辨率和/或視角被編碼。例如，上述第一畫質的運動圖像的分辨率與上述第二畫質的運動圖像的分辨率的組合，能夠為各種組合。例如，可以是1920X1080像素尺寸、1觀0 X 720像素尺寸、 640 X 480像素尺寸、448 X 336像素尺寸以及192 X 108像素尺寸中任意兩者的組合。此外，上述第一畫質的運動圖像與上述第二畫質的運動圖像，也可以以不同的分辨率和/或視角被編碼，并且以不同的幀率被編碼。例如，可以是60fps、30fps以及15fps 中任意兩者的組合。此外，在是448 X 336像素尺寸以及192 X 108像素尺寸等低分辨率時， 可分配240fps或600fps等高幀率。圖像編碼部40按照規定的規格，對該第一畫質的運動圖像以及該第二畫質的運動圖像進行壓縮編碼。例如，能夠按照H. 264/AVC, H. 264/SVC, MPEG-2或MPEG-4等規格進行壓縮編碼。圖像編碼部40，既可以通過一個硬件編碼器或基于通用處理器的軟件處理，對上述第一畫質的運動圖像和上述第二畫質的運動圖像進行分時編碼，也可以通過兩個硬件編碼器，對該第一畫質的運動圖像和該第二畫質的運動圖像進行平行編碼。圖像編碼部40將已編碼的第一畫質的運動圖像的編碼數據(也稱為編碼流)以及第二畫質的運動圖像的編碼數據輸出給復用部50。聲音編碼部45對從聲音獲取部240提供的聲音信號進行編碼。例如，按照AAC、 MP3等規格進行壓縮編碼。聲音編碼部45將已編碼的聲音的編碼數據輸出給復用部50。復用部50，對從第一圖像編碼部41輸入的上述第一畫質的運動圖像的編碼數據、 從第二圖像編碼部42輸入的上述第二畫質的運動圖像的編碼數據、以及從聲音編碼部45 輸入的聲音的編碼數據進行復用，生成一個運動圖像文件。例如，能夠生成按照MP4文件格式的內容文件。在該內容文件中，能夠包含記述有各編碼數據的頭信息、元數據(meta data)、時刻信息等內容。在解碼側通過參照該內容文件，能夠容易地取得上述第一畫質的運動圖像、上述第二畫質的運動圖像以及上述聲音間的同步、或容易地進行隨機訪問 (random access)0記錄部51在規定的記錄介質中記錄由復用部50復用的運動圖像文件。作為該記錄介質，能夠采用內置存儲器以及可裝卸的可移動存儲器的至少一種。例如，作為內置存儲器，能夠采用半導體存儲器或硬盤。此外，作為可移動存儲器，能夠采用存儲卡、移動硬盤或
ο
輸入輸出部52經由規定接口與外部設備進行通信。例如，通過USB電纜與PC或外設硬盤連接，能夠將記錄在上述記錄介質中的運動圖像文件傳輸給PC或外設硬盤。此外， 通過D端子、S端子或HDMI端子與電視機連接，能夠在電視畫面中顯示上述第一畫質的運動圖像以及上述第二畫質的運動圖像。圖3是表示輸入分支部31的幀圖像F1、由第一圖像編碼部41編碼的幀圖像F2以及由第二圖像編碼部42編碼的幀圖像F3的關系的圖。在圖3中，以上述第一畫質的運動圖像是由HD(U80X720像素)尺寸的幀圖像構成的運動圖像，以及上述第二畫質的運動圖像由SD(640X480像素)尺寸的幀圖像構成的運動圖像的情況為例進行說明。在該示例中， 向分支部31輸入HD尺寸的幀圖像F1。分支部31將HD尺寸的幀圖像Fl輸出給第一圖像編碼部41以及分辨率/視角變換部32。分辨率/視角變換部32將HD尺寸的幀圖像Fl變換為SD尺寸的幀圖像F3。第一圖像編碼部41將從分支部31輸入的HD尺寸的幀圖像Fl直接進行編碼。第二圖像編碼部42對從分辨率/視角變換部32輸入的SD尺寸的幀圖像F3進行編碼。由第一圖像編碼部41編碼的HD尺寸的幀圖像F2的縱橫比是16 9，由第二圖像編碼部42編碼的SD尺寸的幀圖像F3的縱橫比是4 3。SD尺寸的幀圖像F3是通過留下 HD尺寸的幀圖像F2的中央區域而刪除其周邊區域而生成的。以下，對基于控制部20的上述狀況變化的具體例進行說明。在具體例1中，對雙重編碼功能的開啟/關閉進行控制。即，控制部20基于判定部14的判定結果，控制為當攝像者正在觀察監視器230時，根據由第一獲取部11獲取到的運動圖像，以分別不同的畫質生成多個運動圖像編碼數據，當攝像者未正在觀察監視器230時，根據由第一獲取部11 獲取到的運動圖像，生成一種運動圖像編碼數據。如上所述，圖像編碼部40既能夠以第一畫質以及比該第一畫質低的第二畫質雙方，也能以第一畫質以及第二畫質之一對由第一獲取部11獲取到的運動圖像進行編碼。利用該功能，控制部20能夠基于判定部14的判定結果而控制為當攝像者正在觀察監視器 230時，根據由第一獲取部11獲取到的運動圖像，以第一畫質以及第二畫質生成兩種運動圖像編碼數據，當攝像者未正在觀察監視器230時，根據由第一獲取部11獲取到的運動圖像，以第二畫質生成一種運動圖像編碼數據。此外，也可以控制為當攝像者未正在觀察監視器230時，根據由第一獲取部11獲取到的運動圖像，以第一畫質生成一種運動圖像編碼數據。以下，與圖3同樣，以對上述第一畫質的運動圖像是由HD(1觀0X720像素)尺寸的幀圖像構成的運動圖像，以及上述第二畫質的運動圖像是由SD(640X480像素)尺寸的幀圖像構成的運動圖像的情況為例進行說明。圖4是表示基于HD畫質的單一編碼模式與基于HD畫質以及SD畫質的雙重解碼模式的切換時刻的示例的圖。該示例，在整個拍攝期間對HD畫質的運動圖像進行編碼，在該整個拍攝期間之中由判定部14判定為攝像者正在觀察監視器230期間(以下稱為關注期間)，對HD畫質的運動圖像和SD畫質的運動圖像雙方進行編碼。即，圖像編碼部40對所拍攝的運動圖像以HD畫質連續地進行編碼，并且以SD畫質斷續地進行編碼。該示例應用于以為了利用PC或電視機進行觀賞用而保存高品質運動圖像為主要目的，且將其一部分關注的場景附加到郵件中進行發送、或投稿到互聯網上的網頁為從屬目的的情況。在圖4中，在整個拍攝期間中，設定有兩個關注期間。在拍攝開始時刻TsO開始拍攝，并開始基于HD畫質的單一編碼。接著，在第一關注期間開始時刻Tsl，開始基于HD畫質以及SD畫質的雙重解碼。接著，在第一關注期間結束時刻Tel結束基于HD畫質以及SD 畫質的雙重解碼，并開始基于HD畫質的單一編碼。接著，在第二關注期間開始時刻Ts2開始基于HD畫質以及SD畫質的雙重解碼。接著，在第二關注期間結束時刻Te2結束基于HD 畫質以及SD畫質的雙重解碼，并開始基于HD畫質的單一編碼。最后，在拍攝結束時刻TeO 結束拍攝，并結束基于HD畫質的單一編碼。圖5是表示基于SD畫質的單一編碼模式與基于HD畫質以及SD畫質的雙重解碼模式的切換時刻的示例的圖。該示例，在整個拍攝期間對SD畫質的運動圖像進行編碼，在該整個拍攝期間之中的上述關注期間，對HD畫質的運動圖像和SD畫質的運動圖像雙方進行編碼。即，圖像編碼部40對所拍攝的運動圖像以SD畫質連續地進行編碼，并且以HD畫質斷續地進行編碼。該示例應用于以將所拍攝的運動圖像的全篇附加到郵件中進行發送、或投稿到互聯網上的網頁為主要目的，且以將其一部分關注的場景為了利用PC或電視機進行觀賞用而保存為從屬目的的情況。圖5所示的切換示例與圖4所示的切換示例的對HD畫質和SD畫質進行切換的例子相同，因此省略其說明。接著，對基于控制部20的上述狀況變化的具體例2進行說明。在具體例2中，對手抖動補償功能的開啟/關閉或其強度進行控制。即，控制部20基于判斷部14的判定結果，當攝像者正在觀察監視器230時，關閉手抖動補償功能或減弱其強度，當攝像者未正在觀察監視器230時，開啟手抖動補償功能或增加其強度。返回圖2，手抖動補償部21根據來自控制部20的指示，執行已有的一般的電子式手抖動補償。即，暫時保持從第一獲取部11獲取到的拍攝范圍整體的幀圖像，并從該幀圖像內，選擇應輸出給分支部31的有效區域。更具體而言，計算出時間上先后的幀間的偏移量，并以消除該偏移量的方式使有效區域移動。圖6(a) (c)是表示基于手抖動補償部的手抖動補償的一個示例的圖。圖6(a) 表示當前幀圖像的一幀之前的幀圖像。圖6(b)表示補償前的當前的幀圖像。圖6(c)表示補償后的當前的幀圖像。經整個拍攝期間，拍攝范圍P是恒定的。在圖6(a)所示的有效區域El內，作為被攝體而映現了人物圖像。其中，幀圖像的特征點FPl中設定了人物的左眼。圖6(b)所示的有效區域E2b的幀圖像的特征點FP2與前一幀的幀圖像比較，并向右方向移動了規定的距離。因此，如圖6(c)所示，為了消除該移動，使當前幀的有效區域E2a向左方向移動該距離d。由此，補償手抖動。而且，針對該偏移量的補償量不需要完全一致，也可以以50%、80%等調整其補償強度。例如，控制部20基于判定部14的判定結果，當拍攝行為不熟練的被預先登錄的特定的攝像者正在觀察監視器230時，也可以以50%以上的強度將手抖動補償功能設定為開啟ο接著，對基于控制部20的上述狀況變化的具體例進行說明。在具體例3中，對自動閃光功能的開啟/關閉進行控制。即，控制部20基于判斷部14的判定結果，當攝像者正在觀察監視器230時，關閉自動閃光功能，當攝像者未正在觀察監視器230時，開啟自動閃光功能。返回圖2，自動閃光處理部22根據來自控制部20的指示，執行已有的一般的自動閃光處理。即，固定從幀圖像中被裁剪的區域內應作為目標的被攝體的位置。更具體而言， 控制為即使在幀畫面內被攝體發生了移動、或照相機的朝向發生了變化時，也通過適應性地移動從幀圖像中應裁剪的區域，而將在幀圖像內最初檢測出的被攝體的位置維持在記錄用圖像內。在本實施方式中，暫時保持從第一獲取部11獲取到的幀圖像，并從該幀圖像之中，選擇應輸出給分支部31的裁剪區域。圖7(a) (c)是表示基于自動閃光處理部22的自動閃光處理的一個示例的圖。 圖7(a)表示當前幀圖像F13的兩幀之前的幀圖像F11。圖7 (b)表示當前幀圖像F13的一幀之前的幀圖像F12。圖7(c)表示當前幀圖像F13。在圖7(a) (C)中，表示應作為被攝體的人物向右方向移動的示例。裁剪區域 Tl T3，以在該區域內應作為被攝體的人物位于中央的方式，配合該人物的移動而向右方向移動。由此，能夠對該人物映現于中央的運動圖像進行記錄。接著，對基于控制部20的上述狀況變化的具體例4進行說明。在具體例4中，對在應記錄的聲音中是否具有指向性進行控制。即，控制部20，基于判定部14的判定結果，當攝像者正在觀察監視器230時，使聲音具有指向性地記錄聲音數據，當攝像者未正在觀察監視器230時，使聲音不具有指向性地記錄聲音數據。更具體而言，當攝像者正在觀察監視器230時，控制部210在聲音編碼部45對所采集到的聲音進行編碼，以使來自第一攝像部210所朝向的方向的聲音等級大于來自其以外方向的聲音等級。例如，使從第一攝像部210所朝向的方向以外的方向采集到的聲音的等級衰減。另一方面，當攝像者未正在觀察監視器230時，控制部20對從全方位采集到的聲音均等地進行處理，并在聲音編碼部45中進行編碼。接著，對基于控制部20的上述狀況變化的具體例5進行說明。在具體例5中，對是否進行所拍攝的運動圖像的編碼和/或記錄進行控制。即，控制部20，基于判定部14的判定結果，當攝像者未正在觀察監視器230時，停止所拍攝的運動圖像的編碼和/或記錄。 或者，關閉攝像裝置200整體的電源，或轉移至省電模式。另一方面，當攝像者正在觀察監視器230時，控制部20再次開始運動圖像的編碼和/或記錄。或者，將攝像裝置200整體的電源從關斷置為接通，或從省電模式恢復到通常模式。接著，對基于控制部20的上述狀況變化的具體例6進行說明。在具體例6中，控制對運動圖像進行編碼時的比特率。即，控制部20基于判定部14的判定結果，當攝像者正在觀察監視器230時，維持或提高所拍攝的運動圖像的編碼比特率，當攝像者未正在觀察監視器230時，降低運動圖像的編碼比特率。而且，在對比特率進行控制時，也可以參考由臉檢測部13檢測出的上述表情的認真度。當攝像者正在觀察監視器230時，控制部20也可以控制為該認真度越高，越提高比特率。例如，也可以在該認真度與該比特率之間具有比例關系。接著，對基于控制部20的上述狀況變化的具體例7進行說明。在具體例7中，對監視器230的電源的接通/關斷進行控制。即，控制部20基于判定部14的判定結果，當攝像者正在觀察監視器230時，將監視器230的電源控制為接通，當攝像者未正在觀察監視器230時，將監視器230的電源控制為關斷。例如，當監視器230為液晶監視器時，對其背景燈進行接通/關斷控制。如以上所說明，根據實施方式1，根據攝像者是否正在觀察監視器230，通過使攝像裝置200的狀況變化，能夠輔助攝像者的拍攝行為。例如，在上述具體例1中進行拍攝時，通過對運動圖像進行雙重編碼，能夠生成兩種畫質的運動圖像編碼數據，但此時，能夠無需用戶操作而自動地滿足以兩種畫質記錄所需要的場景的要求、和抑制數據容量增加的要求。針對上述具體例2 7，也能夠無需用戶操作而自動地設定與拍攝時的狀況匹配的模式。以上，以實施方式1為基礎對本發明進行了說明。該實施方式僅是示例，這些各結構要素或各處理過程的組合能夠有各種變形例，此外，這些變形例也在本發明的范圍內，這對于本領域技術人員而言，是應當理解的。在上述實施方式1中，對圖像編碼部40具有兩個編碼部的示例進行了說明。這點也可以是圖像編碼部40具有一個編碼部的結構。此時，雖然具體例1不能適用，但具體例 2 7能夠適用。圖8是搭載了本發明的實施方式2的圖像處理裝置100的攝像裝置200的結構圖。攝像裝置200具有第一攝像部210、第二攝像部220、監視器230、聲音獲取部M0、操作部250以及圖像處理裝置100。圖像處理裝置100具有第一獲取部11、第二獲取部12、臉檢測部13、判定部14、控制部20、分支部31、分辨率/視角變換部32、圖像編碼部40、聲音編碼部45、復用部50、記錄部51以及輸入輸出部52。圖像編碼部40包括第一圖像編碼部41以及第二圖像編碼部 42。對于與實施方式1中的圖像處理裝置100相同的結構要素，適當省略說明。控制部20根據基于判定部14的判定結果，生成用于確定攝像者是否正在觀察監視器230的攝像者視線信息，并附加到由圖像編碼部40生成的運動圖像編碼數據中。如以上所說明，根據實施方式2，通過在運動圖像編碼數據中附加表示攝像者是否正在觀察監視器230的信息，能夠向解碼再現側賦予有益的信息。而且，在圖8所示的圖像處理裝置100中，雖然對圖像編碼部40具有兩個編碼部的示例進行了說明，但也可以構成為圖像編碼部40具有一個編碼部。即，也可以是在圖像處理裝置100中僅生成一種運動圖像編碼數據的結構。圖9是具有本發明的實施方式3的圖像處理裝置500的圖像顯示系統700的結構圖。圖像顯示系統700具有圖像處理裝置500、顯示裝置610以及操作部620。圖像顯示系統700可由各種硬件構成。例如，能夠通過與上述攝像裝置200以電纜連接的電視機來構筑圖像顯示系統700。此時，圖像處理裝置500能夠由攝像裝置200的控制功能，操作部620能夠由攝像裝置200的操作部250、以及顯示裝置610能夠由該電視機的顯示功能來構筑。此外，能夠通過接收由實施方式2的圖像處理裝置100生成的運動圖像的文件的 PC來構筑圖像顯示系統700。此時，能夠通過PC的控制功能、操作功能以及顯示功能來分別構筑圖像處理裝置500、操作部620、以及顯示裝置610。代替PC而采用移動電話、智能電話、便攜式音樂播放器、游戲機等的情況也同樣。此外，能夠用上述攝像裝置200單體來構筑圖像顯示系統700。此時，能夠通過攝像裝置200的控制功能、操作功能以及顯示功能來分別構筑圖像處理裝置500、操作部620 以及顯示裝置610。在該攝像裝置200中，也包括實施方式2中的圖像處理裝置100。顯示裝置610顯示從圖像處理裝置500提供的運動圖像。操作部620接受用戶的指示，生成基于該指示的控制信號，并輸出給圖像處理裝置500。實施方式3中的圖像處理裝置500，是對由實施方式2的圖像處理裝置100生成的與上述攝像者視線信息建立了關聯的運動圖像編碼數據進行再現、編輯或保持的裝置。實施方式2的圖像處理裝置500包括緩存器510、解碼部520、控制部530以及記錄部MO。圖像處理裝置500的結構，在硬件上，能通過任意的處理器、存儲器、以及其它LSI 來實現，在軟件上，能通過安裝在存儲器的程序等來實現，但在此，對由它們的組合協作而實現的功能模塊進行了描述。因此，對本領域技術人員而言，應能夠理解這些功能模塊可僅通過硬件、僅通過軟件、或通過它們的組合，以各種形式來實現。緩存器510暫時存儲由實施方式2的圖像處理裝置100生成的運動圖像編碼數據。該運動圖像編碼數據既可以從圖像處理裝置100內的記錄部51輸入，也可以從存在于攝像裝置200以及圖像處理裝置500的外部的外部存儲裝置(例如，存儲卡、外接硬盤等) 輸入，也可以從圖像處理裝置500內的記錄部540輸入。緩存器510在規定的時刻將上述運動圖像編碼數據提供給解碼部520。解碼部520對從緩存器510提供的運動圖像編碼數據進行解碼，并供給控制部 530。記錄部540主要對運動圖像編碼數據進行記錄。還能夠記錄由實施方式2的圖像處理裝置100生成的與上述攝像者視線信息建立了關聯的運動圖像編碼數據。此外，還能夠記錄通過控制部530編輯后的運動圖像編碼數據。控制部530能夠進行與上述攝像者視線信息建立了關聯的運動圖像編碼數據的再現控制的編輯、刪除、文件管理等各種處理。首先，針對基于控制部530的動作例1進行說明。在動作例1中，控制部530，對由解碼部520解碼的運動圖像，直到由上述攝像者視線信息所確定的攝像者開始觀察監視器230的位置為止找出起始點。或者，控制為將攝像者正在觀察監視器230的期間相接合來進行摘錄再現。圖10是用于說明由實施方式3的控制部530進行的找出起始點再現控制的圖。圖 10所示的運動圖像由第1場景Sl至第12場景S12構成。圖10內的各片段，表示各場景開頭的片段。在各片段內所標記的“eO”以及“el”，分別表示各個攝像者在拍攝場景時是否觀察了監視器230的信息。“eO”表示未觀察，“el”表示觀察過。而且，在此，將在各場景內攝像者觀察了監視器的狀況以及未觀察監視器的狀況不發生變化作為前提。當然，由實施方式3的控制部530進行的各種處理，也能夠對應以幀單位來切換攝像者是否觀察了監視器 230的結構。在圖10所示的示例中，直至第4場景S4為止，表示攝像者在拍攝該場景時未觀察監視器230。因此，控制部530判定為直至第4場景S4均不是重要場景，且控制為從第5場景S5開始進行再現。圖11是用于說明由實施方式3的控制部進行的摘錄再現控制的圖。在圖11所示的示例中，從第1場景Sl至第3場景S3、以及從第7場景S7至第9場景S9表示攝像者在拍攝這些場景時未觀察監視器230。第4場景S4至第6場景S6、以及第10場景SlO至第12場景S12表示攝像者在拍攝這些場景時觀察了監視器230。因此，控制部530判定為第1場景Sl至第3場景S3、以及第7場景S7至第9場景S9不是重要場景，控制為跳過這些場景，并將第4場景S4至第6場景S6、以及第10場景 SlO至第12場景S12相接合來進行摘錄再現。接著，對基于控制部530的動作例2進行說明。在動作例2中，控制部530，在由解碼部520解碼的運動圖像中，刪除由上述攝像者視線信息所確定的攝像者未正在觀察監視器230期間的部分。或者，在由解碼部520解碼的運動圖像中包括由上述攝像者視線信息所確定的攝像者未正在觀察監視器230的期間時，刪除運動圖像整體。圖12是用于說明由實施方式3的控制部530進行自動編輯控制的圖。在圖12所示的示例中，與圖11所示的示例相同，第1場景Sl至第3場景S3、以及第7場景S7至第9 場景S9表示攝像者未觀察監視器230，第4場景S4至第6場景S6、以及第10場景SlO至第12場景S12表示攝像者觀察了監視器230。因此，控制部530判定為從第1場景Sl至第3場景S3、以及從第7場景S7至第9 場景S9均不是重要場景，并刪除這些場景。通過將留下的第4場景S4至第6場景S6、以及第10場景SlO至第12場景S12進行接合而生成新的運動圖像文件。該運動圖像文件，與編輯前相比削減了數據容量。此時，根據動作例2，能夠以盡量留下重要的場景的方式進行編輯。而且，在圖12所示的示例中，雖然僅刪除攝像者未觀察監視器230的場景，但當在運動圖像內攝像者未觀察監視器230的場景一個都不包含時，也可以刪除該運動圖像整體。在需要從多個運動圖像文件中刪除任一個時，通過采用該方法，能夠刪除比較不重要的運動圖像文件。接著，針對基于控制部530的動作例3進行說明。圖13是表示動作例3的控制部 530的結構的結構圖。該控制部530包括比率計算部532以及排序部534。比率計算部532 按照記錄部540所保持的多個運動圖像編碼數據的每一個，計算出由上述攝像者視線信息所確定的攝像者正在觀察監視器230的期間與未正在觀察監視器230的期間的比率。該比率也可以考慮為相對于整個拍攝期間的攝像者正在觀察監視器230的期間或未正在觀察的期間。排序部534按照由比率計算部532計算出的比率高或低的順序，對上述多個運動圖像編碼數據進行排序。圖14(a)、(b)是用于說明由實施方式3的控制部530進行文件排序的圖。在圖 14(a)、(b)中，以在記錄部MO中存儲有四個運動圖像文件為前提。圖14(a)表示按照所記錄的時刻為舊或新的順序存儲了四個運動圖像文件的狀況。在這種情況下，在顯示裝置 610的畫面中顯示這四個運動圖像文件時，按照運動圖像文件1—運動圖像文件2—運動圖像文件3 —運動圖像文件4的順序來顯示。比率計算部532，計算出上述四個運動圖像文件的每一個的、攝像者正在觀察監視器230的期間相對于整個拍攝期間的比例。在圖14(a)中，運動圖像文件1是70%，運動圖像文件2是90 %，運動圖像文件3是40 %以及運動圖像文件4是80 %。圖14(b)表示排序部534對上述四個運動圖像文件進行排序后的狀況。在圖14(b) 中，按上述比例高的順序，將上述四個運動圖像文件排序為運動圖像文件2—運動圖像文件4 —運動圖像文件1 —運動圖像文件3的順序。在這種情況下，在顯示裝置610的畫面中顯示這四個運動圖像文件時，按運動圖像文件2 —運動圖像文件4 —運動圖像文件1 — 運動圖像文件3的順序被顯示。即，能夠按被推定為重要度或關注度高的順序，來顯示運動圖像文件。接著，針對基于控制部530的動作例4來進行說明。在動作例4中，控制部530，在由解碼部520所解碼后得到的運動圖像之中，在由上述攝像者視線信息確定的攝像者正在觀察監視器230的期間，放大音量進行再現，在攝像者未正在觀察監視器230的期間，縮小音量進行再現。例如，在所設定的兩種音量之中，前者的期間選擇大的一方，后者的期間，選擇小的一方。此外，控制部530，在由解碼部520所解碼而得到的運動圖像之中，在由上述攝像者視線信息所確定的攝像者正在觀察監視器230的期間，放大正對第一攝像部210的正面的聲音，并以降低正面以外的聲音的變焦模式進行再現，在攝像者未正在觀察監視器230 的期間，以不基于方向進行放大以及降低的廣角模式進行再現。由此，能夠進一步強調正面映現的人物的發言的再現等。接著，針對基于控制部530的動作例5來進行說明。在動作例5中，控制部530，在由解碼部520所解碼而得到的運動圖像之中，在由上述攝像者視線信息所確定的攝像者正在觀察監視器230期間，以強調畫面內的應作為目標的物體的方式進行再現，在攝像者未正在觀察監視器230期間，以盡可能顯示拍攝圖像整體的方式進行再現。例如，控制部530能夠進行變焦再現。在攝像者正在觀察監視器230期間，對更遠景的圖像進行再現，在攝像者未在觀察監視器230期間，對更廣角的圖像進行再現。例如， 在所設定的兩種視角之中，在前者的期間，選擇遠景一方，在后者的期間，選擇廣角一方。而且，在通過上述實施方式2的圖像處理裝置100的臉檢測部13而檢測出臉圖像的區域被設定為關注區域時，即按照每個幀圖像來確定該關注區域的位置以及尺寸，并在運動圖像編碼數據中附加了該信息時，能夠進行以下的處理。即，控制部530在攝像者正在觀察監視器 230的期間，再現該關注區域，在攝像者未正在觀察監視器230期間，再現整個區域。而且， 也可以將關注區域設定為包含臉以外的物體。此外，控制部530能夠進行自動閃光再現。在攝像者正在觀察監視器230期間，將自動閃光再現功能設為開啟，在攝像者未正在觀察監視器230期間，將自動閃光再現功能設為關閉。圖15(a) (c)是表示由實施方式2的控制部530進行的自動閃光再現處理的一個示例的圖。圖15(a)表示當前的幀圖像F13的兩幀之前的幀圖像F11。圖15(b)表示當前的幀圖像F13的一幀之前的幀圖像F12。圖15(c)表示當前幀圖像F13。在圖15(a) (c)中，表示應作為被攝體的人物向右方向移動的示例。剪裁區域 Tl T3配合該人物的移動而向右方向移動，以使在該區域內應作為被攝體的人物位于中央。這些剪剪區域Tl T3被設定為再現區域。由此，能夠再現使該人物映現于中央的運動圖像。如以上所說明，根據實施方式3，通過利用表示攝像者是否在觀察監視器230的信息，能夠輔助由攝像裝置200所拍攝的運動圖像的再現或編輯，并減輕它們的費事的處理。以上，以實施方式2、3為基礎對本發明進行了說明。本領域的技術人員應當理解， 該實施方式是例示，這些各結構要素或各處理工序的組合能夠有各種變形例，此外，這些變形例也包含在本發明的范圍內。在上述實施方式3中，主要假設了由圖像處理裝置100生成一種運動圖像編碼數據的情況。該點在由圖像處理裝置100生成多個種類的運動圖像編碼數據時，能夠進行以下處理。即，控制部530，在由解碼部520所解碼的運動圖像之中，在由上述攝像者視線信息所確定的攝像者正在觀察監視器230期間，對多個種類的運動圖像編碼數據之中的畫質高(例如，HD畫質)的數據進行再現，在攝像者未正在觀察監視器230期間，對低于該畫質 (例如，SD畫質)的數據進行再現。由此，能夠一邊以高畫質再現重要度或關注度高的場景，一邊作為整體而減輕解碼部的負荷。
權利要求
1.一種圖像處理裝置，是應搭載于用于拍攝運動圖像的攝像裝置的圖像處理裝置，具有第一獲取部，其從用于拍攝記錄用的運動圖像的第一攝像部獲取圖像； 第二獲取部，其從用于拍攝攝像者的第二攝像部獲取圖像；判定部，其根據由所述第二獲取部獲取到的圖像，判定所述攝像者是否正在觀察顯示著所述記錄用的運動圖像的監視器；和控制部，其根據所述判定部的判定結果，使所述攝像裝置的狀況變化。
2.根據權利要求1所述的圖像處理裝置，其特征在于， 所述控制部，基于所述判定部的判定結果，控制為當所述攝像者正在觀察所述監視器時，從由所述第一獲取部獲取到的運動圖像中，以分別不同的畫質生成多個運動圖像編碼數據，當所述攝像者未正在觀察所述監視器時，從由所述第一獲取部獲取到的運動圖像中， 生成一種運動圖像編碼數據。
3.根據權利要求2所述的圖像處理裝置，其特征在于， 還具有編碼部，其既能夠以第一畫質以及低于該第一畫質的第二畫質這兩種畫質，對由所述第一獲取部獲取到的運動圖像進行編碼，也能夠以所述第一畫質以及所述第二畫質中的一種畫質進行編碼，所述圖像處理裝置基于所述判定部的判定結果，控制為當所述攝像者正在觀察所述監視器時，從由所述第一獲取部獲取到的運動圖像中，以所述第一畫質以及所述第二畫質生成兩種運動圖像編碼數據，當所述攝像者未正在觀察所述監視器時，從由所述第一獲取部獲取到的運動圖像中， 以所述第一畫質或所述第二畫質生成一種運動圖像編碼數據。
4.根據權利要求1所述的圖像處理裝置，其特征在于，所述控制部，基于所述判定部的判定結果，當所述攝像者正在觀察所述監視器時，關閉手抖動補償功能或減弱其強度，當所述攝像者未正在觀察監視器時，開啟手抖動補償功能或加強其強度。
5.一種攝像裝置，具有第一攝像部，其用于拍攝記錄用的運動圖像； 第二攝像部，其用于拍攝攝像者；和權利要求1中所述的圖像處理裝置。
6.一種圖像處理裝置，具有第一獲取部，其從用于拍攝記錄用的運動圖像的第一攝像部獲取圖像； 圖像編碼部，其對由所述第一獲取部獲取到的圖像進行編碼，以生成運動圖像編碼數據；第二獲取部，其從用于拍攝攝像者的第二攝像部獲取圖像；判定部，其根據由所述第二獲取部獲取到的圖像，判定所述攝像者是否正在觀察顯示著所述記錄用的運動圖像的監視器；和附加部，其將所述運動圖像編碼數據與用于確定所述攝像者是否正在觀察所述監視器的攝像者視線信息建立關聯。
7.一種攝像裝置，具有第一攝像部，其用于拍攝記錄用的運動圖像；第二攝像部，其用于拍攝攝像者；和權利要求6所述的圖像處理裝置。
8.一種圖像處理裝置，用于再現由權利要求6所述的圖像處理裝置所生成的與所述攝像者視線信息建立了關聯的運動圖像編碼數據，該圖像處理裝置具有解碼部，其對所述運動圖像編碼數據進行解碼；和控制部，其控制為對由所述解碼部所解碼的運動圖像，直到由所述攝像者視線信息所確定的所述攝像者已開始觀察所述監視器的位置為止找出起始點，或者將所述攝像者正在觀察所述監視器的期間相接合來進行再現。
9.一種圖像處理裝置，用于編輯由權利要求6所述的圖像處理裝置生成的與所述攝像者視線信息建立了關聯的運動圖像編碼數據，該圖像處理裝置具有解碼部，其對所述運動圖像編碼數據進行編碼；和控制部，其控制為在由所述解碼部解碼后得到的運動圖像之中，刪除由所述攝像者視線信息所確定的所述攝像者未正在觀察所述監視器期間的部分，或者在由所述解碼部解碼后得到的運動圖像中包括由所述攝像者視線信息所確定的所述攝像者未正在觀察所述監視器的期間時，刪除所述運動圖像整體。
10.一種圖像處理裝置，用于保持由權利要求6所述的圖像處理裝置所生成的與所述攝像者視線信息建立了關聯的運動圖像編碼數據，該圖像處理裝置具有比率計算部，其按照多個運動圖像編碼數據的每一個，計算由所述攝像者視線信息所確定的所述攝像者正在觀察所述監視器的期間與未正在觀察所述監視器的期間的比率；和排序部，其按照由所述比率計算部計算出的比率高或低的順序，對所述多個運動圖像編碼數據進行排序。
全文摘要
本發明提供一種圖像處理裝置以及使用它的攝像裝置。其中，第一獲取部，從用于拍攝記錄用的運動圖像的第一攝像部獲取圖像。第二獲取部，從用于拍攝攝像者的第二攝像部獲取圖像。判定部，根據由第二獲取部獲取到的圖像，判定攝像者是否正在觀察顯示著記錄用的運動圖像的監視器。控制部根據判定部的判定結果，使攝像裝置的狀況發生變化。
文檔編號H04N9/09GK102340672SQ20111019516
公開日2012年2月1日 申請日期2011年7月13日 優先權日2010年7月20日
發明者岡田茂之, 廣野英雄 申請人:三洋電機株式會社