專利名稱:圖像攝取裝置的制作方法
技術領域:
本申請要求于2010年3月15日在日本專利局提交的第JP號日本專利申請的優先權,其全部內容結合于此作為參考。
背景技術:
已經提出并開發了各種圖像攝取裝置。例如,已經提出了包括圖像攝取鏡頭和快門的圖像攝取裝置,該快門被分成右側區域和左側區域,并且其打開和關閉可選擇性地切換每個劃分區域。例如,在日本專利第1,060,618號(“專利文獻1”)、日本專利公開第 2002-34056號(“專利文獻2”)、和JP-A-H09-505906中描述了該圖像攝取裝置。根據該圖像攝取裝置,快門的右側和左側區域的打開和關閉以時分方式交替彼此切換,從而切換透射光路。因此,可以以時分方式獲取兩種圖像(左側視點圖像和右側視點圖像),該兩種圖像通過使用一個圖像攝取光學系統從右側和左側視點進行拍照而明顯獲得。通過使用某種裝置向人眼提供左側視點圖像和右側視點圖像,從而人可以感覺到圖像的立體效果。
均能夠由自身以上述方式獲取右側和左側視點圖像的許多圖像攝取裝置針對的是靜止圖像。另外,還提出了對移動圖像進行拍照的圖像攝取裝置。例如,在專利文獻1和 2中對此進行了描述。這些圖像攝取裝置中的任意一個都使用所謂的全局快門型(global shutter type)電荷耦合器件(CCD)作為圖像傳感器,其中,以幀序(frame-sequential)方式執行曝光和信號讀取。
然而,近年來,相比于CXD的狀況,可實現低成本、低功耗、和高速處理的互補型金屬氧化物半導體(CM0Q傳感器已經成為主流。不同于上述的CCD,CMOS傳感器是所謂的卷簾快門型(rolling shutter type)圖像傳感器,其中以線序方式執行曝光和信號讀取。對于上述(XD,整個畫面同時被一起拍照在每一幀中。另一方面,對于CMOS傳感器,例如,由于以線序方式從屏幕的上部到下部執行驅動,因此在每幀中的每行的曝光時間段中或讀取定時處產生時滯。
由于此原因,當在執行拍照的圖像攝取裝置中使用CMOS傳感器,同時通過如上所述快門切換光路時,在快門的每個區域的打開時間段和相應幀的曝光時間段之間產生時滯。因此,會遇到一個問題,其使得在每幀中,快門的右側區域中的透射光和快門的左側區域中的透射光被混合地接收(在右側和左側視點圖像之間產生串擾),因此不能精確地獲取多個視點的圖像(在此情況下,右側和左側視點圖像)。由于當以這種方式在視點圖像之間產生串擾時右側和左側視差量減小,因此難以獲得期望的立體效果(容易被識別為平面圖像)。
發明內容
為了解決上述問題而作出了本發明,因此,期望的是提供一種圖像攝取裝置,其能夠通過使用線序驅動型圖像攝取元件精確地獲取多個視點圖像。
本公開涉及一種圖像攝取裝置,例如,其適于獲取在三維顯示中使用的視差圖像。
在一個示例實施方式中,圖像攝取裝置包括被配置為以線序方式操作的圖像傳感器。在一個示例實施方式中,快門裝置可操作地連接至圖像傳感器。在一個示例實施方式中,快門裝置包括被配置為在基本上開狀態和基本上閉狀態之間切換而使得第二幀的第二曝光在第一幀的第一曝光結束之后開始的區域。
在一個示例實施方式中,圖像傳感器是圖像攝取裝置中包括的唯一圖像傳感器。
在一個示例實施方式中,快門裝置是圖像攝取裝置中包括的唯一快門裝置。
在一個示例實施方式中,圖像傳感器被配置為基于經快門裝置透射的光來輸出接收到的光信號。
在一個示例實施方式中,該區域包括(a)第一區域,被配置為在第一基本上開狀態和第一基本上閉狀態之間切換;以及(b)第二區域,被配置為在第二基本上開狀態和第二基本上閉狀態之間切換。
在一個示例實施方式中,當(或響應于)第二曝光開始時(a)第一區域從第一基本上開狀態切換至第一基本上閉狀態;以及(b)第二區域從第二基本上閉狀態切換至第二基本上開狀態。
在一個示例實施方式中,圖像傳感器快門包括其中累積電荷在預定時刻被清除的全局清除功能。
在一個示例實施方式中,區域被配置為在對應于第一曝光的開始的幀開始時刻出現之前,開始從基本上閉狀態切換至基本上開狀態。
在一個示例實施方式中,區域被配置為在對應于第二曝光的開始的幀開始時刻出現之前,從基本上開狀態切換至基本上閉狀態。
在一個示例實施方式中,第一曝光的第一開始在第一幀的第二開始之后開始。
在一個示例實施方式中,圖像攝取裝置包括用于存儲快門裝置的驅動序列的控制器。在一個示例實施方式中,控制器被配置為基于快門裝置的響應特性執行驅動序列的切換。
在一個示例實施方式中,快門裝置包括液晶快門,液晶快門包括區域。
在一個示例實施方式中,從第一開狀態到第一閉狀態的第一響應延遲第一時間量。在一個示例實施方式中,從第一閉狀態到第一開狀態的第二響應延遲第二時間量。在一個示例實施方式中,第二時間量大于所述第一時間量。在另一個示例實施方式中,第二時間量小于第一時間量。
在一個示例實施方式中,區域被配置為基于快門裝置的材料在基本上開狀態和基本上閉狀態之間切換。
在一個示例實施方式中,圖像攝取裝置包括控制器,控制器被配置為(a)基于第一曝光獲取第一圖像;(b)基于第二曝光獲取第二圖像;(c)基于第三曝光獲取第三圖像; 以及(d)使用第一、第二、和第三圖像,通過執行運動模糊處理來減小抖動的影響。
在一個示例實施方式中,圖像攝取裝置包括控制器,控制器被配置為(a)基于第一曝光獲取第一圖像;(b)基于第二曝光獲取第二圖像;(c)基于第三曝光獲取第三圖像; (d)基于第四曝光獲取第四圖像;(e)在獲取的第一圖像和獲取的第三圖像之間生成第一內插圖像;以及(f)在獲取的第二圖像和獲取的第四圖像之間生成第二內插圖像。
在一個示例實施方式中,區域被配置為在完全開狀態和完全閉狀態之間切換,使得第二幀的第二曝光在第一幀的第一曝光結束之后開始。
在一個示例實施方式中,圖像攝取裝置包括第一鏡頭和第二鏡頭。在一個示例實施方式中,快門裝置設置在第一鏡頭和第二鏡頭之間。
在一個示例實施方式中,圖像傳感器包括互補金屬氧化物半導體傳感器。
根據本實施方式的圖像攝取裝置,控制部至少獲取圖像攝取元件中的第一幀和第二幀,其中第二幀的曝光在第一幀的曝光中和曝光后開始。因此,可以抑制在每個幀中產生經快門的區域的透射光被混合接收(即,所謂的串擾)的現象。因此,可以通過使用線序驅動型圖像攝取元件精確獲取多個視點圖像。
本文描述的其他特征和優點將從隨后的詳細描述及附圖中顯而易見。
圖1是示出根據本發明第一實施方式的示例圖像攝取裝置的整體結構和配置的框圖。
圖2是解釋在圖1中示出的示例圖像攝取裝置中獲取視點圖像的原理(無光路劃分)的示意圖。
圖3是解釋在圖1中示出的示例圖像攝取裝置中獲取視點圖像的原理(右側光路)的示意圖。
圖4是解釋在圖1中示出的示例圖像攝取裝置中獲取視點圖像的原理(左側光路)的示意圖。
圖5A和圖5B分別是解釋在根據比較實例1的示例圖像傳感器和示例快門中曝光時間段和讀取操作的驅動定時圖,以及解釋在根據比較實例1的圖像傳感器和快門中示例快門的右側區域和左側區域中的開/閉切換的驅動定時圖。
圖6A和圖6B分別是解釋在根據比較實例2的示例圖像傳感器和示例快門中曝光時間段和讀取操作的驅動定時圖,以及解釋在根據比較實例2的示例快門和圖像傳感器中示例快門的右側區域和左側區域中的開/閉切換的驅動定時圖。
圖7A和圖7B分別是解釋在根據本公開第一實施方式的示例圖像傳感器和示例快門中曝光時間段和讀取操作的驅動定時圖,以及解釋在根據本公開的第一實施方式的示例快門和示例圖像傳感器中快門的右側區域和左側區域中的開/閉切換的驅動定時圖。
圖8A和圖8B分別是示出在左側區域被設置為開(open)狀態(右側區域為閉 (close)狀態)的情況下示例液晶快門的平面結構的示意圖,以及示出在右側區域被設置為開狀態(左側區域為閉狀態)的情況下示例液晶快門的平面結構的示意圖。
圖9是圖8A和圖8B中示出的示例液晶快門的右側和左側區域之間的邊界附近的截面視圖。
圖10A、圖IOB和圖IOC分別是解釋在根據第一實施方式的變形例1的示例圖像傳感器和示例快門中曝光時間段和讀取操作的驅動定時圖,解釋在低溫度階段中示例快門的右側區域和左側區域中的開/閉切換的驅動定時圖,以及解釋在高溫度階段中示例快門的右側區域和左側區域中的開/閉切換的驅動定時圖。
圖IlA和圖IlB分別是示出在根據第一實施方式的變形例1的示例液晶快門中在高溫度階段中的響應特性的示意圖,以及示出在根據第一實施方式的變形例1的示例液晶快門中在低溫度階段中的響應特性的示意圖。
圖12A和圖12B分別是解釋在根據第一實施方式的變形例2的圖像傳感器和快門中曝光時間段和讀取操作的驅動定時圖,以及解釋在快門的右側區域和左側區域中開/閉切換的驅動定時圖。
圖13A和圖1 分別是解釋在根據第一實施方式的變形例3的示例圖像傳感器和示例快門中曝光時間段和讀取操作的驅動定時圖,以及解釋在示例快門的右側區域和左側區域中開/閉切換的驅動定時圖。
圖14A和圖14B分別是解釋在根據第一實施方式的變形例4的示例圖像傳感器和示例快門中曝光時間段和讀取操作的驅動定時圖,以及解釋在示例快門的右側區域和左側區域中開/閉切換的驅動定時圖。
圖15A、圖15B和圖15C分別是解釋在根據第一實施方式的變形例5的示例圖像傳感器和示例快門中曝光時間段和讀取操作的驅動定時圖,解釋在低溫度階段中示例快門的右側區域和左側區域中的開/閉切換的驅動定時圖,以及解釋在高溫度階段中示例快門的右側區域和左側區域中開/閉切換的驅動定時圖。
圖16A和圖16B分別是示出在根據第一實施方式的變形例5的示例液晶快門中在高溫度階段的響應特性的示意圖,以及示出在根據第一實施方式的變形例5的示例液晶快門中在低溫度階段的響應特性的示意圖。
圖17A和圖17B分別是解釋在根據本公開的第二實施方式的示例圖像傳感器和示例快門中曝光時間段和讀取操作的驅動定時圖,以及解釋在示例快門的右側區域和左側區域中開/閉切換的驅動定時圖。
圖18A、圖18B和圖18C分別是解釋在根據第二實施方式的變形例1的示例圖像傳感器和示例快門中曝光時間段和讀取操作的驅動定時圖,解釋在低溫度階段中在示例快門的右側區域和左側區域中開/閉切換的驅動定時圖,以及解釋在高溫度階段中在示例快門的右側區域和左側區域中開/閉切換的驅動定時圖。
圖19A和圖19B分別是解釋在根據本公開的第二實施方式的變形例2的示例圖像傳感器和示例快門中曝光時間段和讀取操作的驅動定時圖,以及解釋在示例快門的右側區域和左側區域中開/閉切換的驅動定時圖。
圖20A、圖20B和圖20C分別是解釋在根據第二實施方式的變形例3的示例圖像傳感器和示例快門中曝光時間段和讀取操作的驅動定時圖,解釋在低溫度階段中在示例快門的右側區域和左側區域中開/閉切換的驅動定時圖,以及解釋在高溫度階段中在示例快門的右側區域和左側區域中開/閉切換的驅動定時圖。
圖21是示出第二實施方式的變形例4中的示例液晶快門的透射率變化的圖示。
圖22是示出在攝取移動圖像階段中左側視點圖像和右側視點圖像的實例的示意圖。
圖23是示出圖像處理(運動模糊處理)的實例1的實例示意圖。
圖M是示出在攝取示例移動圖像階段中左側視點圖像和右側視點圖像的實例的示意圖。
圖25是示出圖像處理(圖像內插處理)的實例2的示意圖。
具體實施例方式以下將參照附圖詳細描述本公開的優選實施方式。注意,下面將根據如下次序進行描述 1.第一示例實施方式(以線序方式執行曝光開始和曝光結束的情況) 2.變形例1 (使用特征為響應速度在從遮光狀態到透射狀態的轉變階段中變慢的液晶快門的情況) 3.變形例2 (將從閉狀態到開狀態的切換定時提前的情況) 4.變形例3(從快門的閉狀態到開狀態的切換、從快門的開狀態到閉狀態的切換、 以及曝光結束的定時被提前的情況) 5.變形例4 (曝光開始的定時被推遲的情況) 6.變形例5 (使用特征為響應速度在從透射狀態到遮光狀態的轉變階段中變慢的液晶快門的情況) 7.第二示例實施方式(通過使用全局清除功能(glcAal reset function)集體執行曝光開始的情況) 8.變形例1 (使用特征為響應速度在從遮光狀態到透射狀態的轉變階段中變慢的液晶快門的情況) 9.變形例2 (從閉狀態到開狀態的切換的定時被提前的情況) 10.變形例3 (使用特征為響應速度在從透射狀態到遮光狀態的轉變階段中變慢的液晶快門的情況) 11.變形例4(通過驅動序列的切換執行快門控制的情況) 12.圖像處理的實例1 (運動模糊處理的實例) 13.圖像處理的實例2 (圖像內插處理的實例) 第一實例實施方式 圖像攝取裝置1的整體結構和配置 圖1示出了根據本公開第一實施方式的圖像攝取裝置的整體結構和配置。圖像攝取裝置1獲取多個視點圖像(右側和左側視點圖像)作為對象的攝取圖像(靜止圖像或移動圖像)。圖像攝取裝置1包括圖像攝取鏡頭IOa和10b、快門11、圖像傳感器12、信號處理/存儲部13、以及控制部20。
圖像攝取鏡頭IOa和IOb中的每一個都是用于攝取對象圖像的主鏡頭。例如,使用在攝像機、照相機等中使用的一般圖像攝取鏡頭作為圖像攝取鏡頭IOa和IOb中的每一個。在此情況下,雖然圖像攝取鏡頭IOa和圖像攝取鏡頭IOb分別設置在快門11的光入射側和光出射側,但是圖像攝取鏡頭IOa和圖像攝取鏡頭IOb的鏡頭片數和鏡頭位置不受限制。然而,優選地,快門11理想地設置在圖像攝取鏡頭IOa和IOb的每一個的光瞳面或光圈的位置。
設置快門11以切換朝圖像傳感器12傳播的光束的光路。因此,將快門11分成多個區域,并控制每個劃分區域的開狀態(透光狀態)和閉狀態(遮光狀態)的切換。在此情況下,快門11具有右側區域IlR和左側區域11L。因此,可以在每個區域IlRUlL執行光束的透射率控制(具體地,透射狀態(開狀態)和遮光狀態(閉狀態)的切換)。在區域IlR 和IlL中,控制開狀態和閉狀態,從而以時分方式交替地彼此切換。快門11不受特別限制,只要其能執行上述的光路劃分(光路切換)。因此,快門11可以是機械快門或諸如液晶快門的電子快門。
圖像傳感器12是用于基于經圖像攝取鏡頭IOa和IOb以及快門11透射的光來輸出接收到的光信號的光電轉換元件。例如,圖像傳感器12具有以矩陣形式設置的多個光電二極管(光接收像素),因此是用于以線序方式從這些光電二極管讀出信號的卷簾快門型圖像攝取元件(諸如CMOS傳感器)。在第一實施方式中,在圖像傳感器12中以線序方式執行曝光開始和曝光結束,而細節將在隨后描述。注意,在此說明書中,曝光開始和曝光結束分別意味著存儲(電荷累積)開始和存儲結束,并且從曝光開始到曝光結束的時間段(曝光時間段)對應于電荷累積的時間段。另外,例如,具有預定顏色設置的R、G、和B濾色器 (未示出)可以設置在圖像傳感器12的光接收面側上。
信號處理/存儲部13使從圖像傳感器12輸出的被攝取圖像數據經歷各種處理 (包含圖像處理),并包括用于將攝取的圖像數據存儲在其中的各種存儲器中合適的一種存儲器。
例如,控制部20是微計算機等,并控制快門11、圖像傳感器12、以及信號處理/存儲部13。具體地,控制部20以使得快門11的區域IlR和IlL的開狀態和閉狀態以時分方式彼此切換的這種方式來執行控制,并且向快門11的每個區域IlRUlL輸出用于開/閉切換的定時控制信號。另外,控制部20控制圖像傳感器12中的曝光操作和信號讀取操作,并且例如,向圖像傳感器12輸出每一幀的曝光開始、曝光結束、信號讀取等的定時控制信號。 將分別輸出至快門11和圖像傳感器12的這些定時控制信號以這樣一種方式設置,即,每個區域IlR和IlL變為的開狀態與每個幀的曝光時間段一致,而細節將在隨后描述。
第一實施方式中的操作 (1.圖像攝取裝置1的基本操作) 在上述圖像攝取裝置1中,來自對象的光依次穿過圖像攝取鏡頭10a、快門11、以及圖像攝取鏡頭IOb透射,以到達圖像傳感器12。使用圖像傳感器12,獲取了基于接收的光束的被攝取圖像數據,然后根據控制部20進行的控制將該被攝取圖像數據輸出至信號處理/存儲部13。信號處理/存儲部13具有各種信號處理部,并使輸入其中的被攝取圖像數據經歷預定的信號處理,例如,分類處理、缺陷校正處理、去馬賽克處理等,從而產生右側和左側視點圖像。
(2.獲取視點圖像的原理) 接下來,將參照圖2至圖4描述獲取右側和左側視點圖像的原理。然而,圖2至圖 4分別是均從上部面側觀看圖像攝取裝置1中的圖像攝取鏡頭IOa和10b、快門11、以及圖像傳感器12的視圖。
如圖2所示,在快門11的區域IlR和IlL都打開的狀態下(在沒有執行右側和左側光路的劃分的狀態下),以下是如何在圖像傳感器12的相同軸上分別反映位于不同位置的三個對象。然而,給出了位于每個圖像攝取鏡頭IOa和IOb的聚焦面Sl上的人Al、位置比人Al遠的遠距離物體(山)Bl (在圖像攝取鏡頭IOa的相反側)、以及位于人Al前面的近距離物體(花)Cl (在圖像攝取鏡頭IOa側)作為物體的實例。如上所述,在每個圖像攝取鏡頭IOa和IOb都聚焦在人Al上的狀態中,例如,人Al的圖像在傳感器面S3的中心成像。另一方面,位于聚焦面Sl之外的遠距離物體Bl的圖像成像于傳感器面S3的前面(在圖像攝取鏡頭IOb側)。此外,近距離物體Cl的圖像成像于傳感器面S3的后面(在圖像攝取鏡頭IOb的相反側)。也就是說,人Al的圖像在傳感器面S3上反映為聚焦圖像A2,遠距離物體Bl和近距離物體Cl的圖像分別在傳感器面S3上反映為離焦(defocused)圖像B2 和模糊圖像C2。
當針對具有上述位置關系的這三個對象而在右側和左側之間切換光路時,如何在傳感器面S3上反映該三個對象的圖像有如下變化。首先,如圖3所示,當控制部20以使得快門11的區域IlR變為開狀態,而快門11的區域IlL變為閉狀態的這種方式執行控制時, 在圖像攝取鏡頭IOa和IOb之間的光瞳面S2上光路的右半側變為透射光路,而在圖像攝取鏡頭IOa和IOb之間的光瞳面S2上光路的左半側被遮光。在這種情況下,就聚焦在聚焦面 Sl上的人Al的圖像而言,即使左側被遮光(即使當光路切換到只有右半側),與上述沒有光路劃分的情況類似,人Al的圖像也成像在傳感器面S3上。另一方面,就均位于聚焦面Sl 之外的遠距離物體Bl和短距離物體Cl而言,在傳感器面S3上離焦的各個圖像反映為在傳感器面S3上在方向zl和z2上彼此相反移動的圖像B2’和C2’。這樣,在圖像傳感器12中獲取了對應于右側視點圖像的被攝取圖像數據。
另一方面,如圖4所示,當控制部20以使得快門11的區域IlL變為開狀態,而快門11的區域IlR變為閉狀態的這種方式執行控制時,在圖像攝取鏡頭IOa和IOb之間的光瞳面S2上,光路的左半側變為透射光路,而光路的右半側被遮光。還是在此情況下,聚焦在聚焦面Sl上的人Al的圖像成像在傳感器面S3上,而每個均位于聚焦面Sl之外的遠距離物體Bl和近距離物體Cl的圖像反映為在傳感器面S3上在方向z3和z4上彼此相反移動的圖像B2”和C2”。然而,當區域IlR設置為開狀態時,移動方向z3和z4分別變為與移動方向zl和z2相反。這樣,在圖像傳感器12中獲取了對應于左側視點圖像的被攝取圖像數據。
如上所述,使用一個圖像攝取裝置1,可以獲取多個視點圖像(在此情況下為右側和左側視點圖像)。另外,雖然在當前光路切換到另一個光路時,在除具有聚焦狀態的物體之外的對象的成像位置中產生偏移,但是成像位置上的偏移使右側和左側視點圖像之間產生視差。例如,具有這種視差的右側和左側視點圖像通過用于立體觀看的顯示裝置以時分方式被顯示,并穿過快門眼鏡(其中,與右側和左側視點圖像的顯示切換同步地控制右側鏡片和左側鏡片的打開和關閉)被提供給人的眼睛,從而人能感覺到圖像中的立體效果。
(3.快門11和圖像傳感器I2的驅動操作) 隨后,將通過給出比較實例1和2來詳細描述快門11的開閉切換操作以及圖像傳感器12的讀取操作。圖5A和圖5B示出了根據比較實例1的圖像傳感器CCD和快門的驅動定時,而圖6A和圖6B示出了根據比較實例2的CMOS圖像傳感器和快門的驅動定時。此外,圖7A和圖7B示出了第一實施方式中的CMOS圖像傳感器和快門的驅動定時。然而,在圖5A和圖5B至圖7A和圖7B中,圖5A、圖6A和圖7A均表示圖像傳感器中的曝光時間段和讀取操作,而圖5B、圖6B和圖7B均表示快門的右側區域和左側區域中的開閉切換。注意, 在隨后的描述中,將對應于右側視點圖像的幀描述為幀R或幀R1,而將對應于左側視點圖像的幀描述為幀L或幀Li。另外,在此說明書中,幀時間段fr對應于通過雙倍劃分就移動圖像而言的一幀時間段而獲得的時間段Ofr =就移動圖像而言的一幀時間段)。另外,在圖5A、圖6A和圖7A中,斜線部分示意地表示每行的曝光時間段。
比較實例1 在CXD用作圖像傳感器的比較實例1中,以幀序方式集體驅動屏幕。因此,如圖5A 所示,在每個幀R和L中,在整個畫面的曝光時間段IY和曝光時間段Tk中沒有時滯,并且同時執行信號的讀取(Read)。因此,在比較實例1中,僅需如圖5B所示執行快門11中的右側區域IOR和左側區域IOL之間的開/閉切換。也就是說,以如下方式執行切換,即,對于幀 R的曝光時間段Tk,區域100R變為OPEN(開)狀態(區域100L變為CLOSE (關)狀態),而對于幀L的曝光時間段IV,區域100L變為OPEN狀態(區域100R變為CLOSE狀態)。具體地,以如下方式執行控制,即,區域100R和100L與幀R的曝光開始時間(幀L的曝光結束時間)同步地分別變為OPEN狀態和CLOSE狀態,而區域100R和100L與幀R的曝光結束時間(幀L的曝光開始時間)同步地分別變為CLOSE狀態和OPEN狀態。也就是說,在比較實例1中,區域100R的OPEN時間段T100 (R)和區域100L的OPEN時間段T100 (L)中的每一個都等于幀時間段fr。在此情況下,區域100R的OPEN時間段Tltltl (R)和區域100L的OPEN時間段Tltltl(L)中的每一個也等于曝光時間段Tk和曝光時間段IY中的每一個。
比較實例2 然而,例如,當使用卷簾快門型CMOS傳感器作為圖像傳感器時,不同于上述CCD傳感器的情況,例如,以線序方式從屏幕的上部到下部執行驅動。也就是說,如圖6A所示,在每個幀R和L中,用于曝光開始和曝光結束的定時和用于信號讀取(Read)的定時每行都不同。由于這個原因,基于在屏幕中的位置,在曝光時間段IY和曝光時間段Tk的每一個中都產生時滯。因此,當快門11的打開和關閉以與比較實例1中的定時相同的定時彼此切換時, 在幀R和L的每一個中,當前透射光路在整個一幀(所有行)的曝光結束之前切換到另一個。因此,在幀R和L的每一個中,穿過區域100R和100L的透射光被混合接收,從而產生串擾(參照圖6B)。例如,理想的是在幀R中,僅穿過區域100R的透射光在屏幕的整個區域中被接收。然而,實際上,穿過區域100R的透射光僅在屏幕的上部側被接收,而穿過區域 100L的透射光在屏幕的下部側被接收。這樣,當產生其中右側光束和左側光束在一幀中彼此混合的串擾時,上述多個視點圖像之間的視差量減小(顯示圖像接近平面圖像),或者屏幕的上部側和下部側之間的立體效果不同。因此,變得難以獲得所描述的立體效果。
(第一實施方式中的特征操作) 另一方面,在第一實施方式中,如圖7A所示,控制部20分別獲取幀Ll和在某個時刻獲得的幀(幀Rl)作為有效幀,對于幀Li,第一行的曝光在時間上連續的幀中的幀Rl 的所有行的讀取(Read(R))結束時和結束后(曝光結束時和結束后)開始。換句話說,幀 Rl之后的幀,即,其曝光在幀Rl的所有行的讀取結束前(在所有行的曝光結束前)開始的幀(幀Rl和Ll之間的幀X),被作為無效幀對待。例如,需要防止幀X在讀取(Read(O)) 之后被輸出至信號處理/存儲部13中的各種信號處理部中的任一個,或者無需執行讀取 (Read(O))本身。此外,如圖7B所示,以如下方式控制快門11的切換,S卩,區域IlR的OPEN 時間段Tqpen(R)和區域IlL的OPEN時間段Tqpen(L)中的每一個的長度(例如)為幀時間段 fr的兩倍。注意,在此情況下,幀時間段fr,以及曝光時間段IY和曝光時間段Tk中的每一個彼此相等。如上所述,在第一實施方式中,通過使一幀變疏(thirming-out)而獲得的幀 R1、L1、···中的每一個都作為有效幀對待,并且快門11的區域IlR的OPEN時間段Tqpen(R) 和區域IlL的OPEN時間段Tqpen(L)被設置為幀時間段fr的兩倍。
具體地,例如,在幀Rl的開始時刻,控制部20從屏幕的上部的第一行到屏幕的下部的最后一行依次開始曝光。之后,控制部20從第一行到最后一行相繼結束曝光,并從第一行到最后一行相繼執行讀取(Read(R))。另一方面,在上述的幀Rl的開始時刻,控制部20 將快門11的區域IlR的狀態從CLOSE狀態切換至OPEN狀態。之后,在幀時間段fr的兩倍的時間段消逝之后的時刻(在幀Ll的開始時刻),控制部20將區域IlR的狀態從OPEN狀態切換到CLOSE狀態,并將區域IlL的狀態從CLOSE狀態切換到OPEN狀態。這同樣應用于幀Li。也就是說,控制部20在幀Ll的開始時刻開始第一行的曝光,還將區域IlL的狀態從 CLOSE狀態切換到OPEN狀態。之后,在一幀時間fr消逝之后的時刻,控制部20在第一行之后執行的曝光的結束以及讀取(Read(L))。之后,在兩幀時間段2fr消逝之后的時刻(在下一幀R2 (未示出)的開始時刻),控制部20將區域IlL的狀態從OPEN狀態切換到CLOSE 狀態,并將區域IlR的狀態從CLOSE狀態切換到OPEN狀態。
這樣,排除了其中穿過右側區域IlR和左側區域IlL的透射光被混合地接收的幀 X。此外,對于每個幀Rl的所有行的曝光時間段τκ,不對快門11的OPEN和CLOSE進行彼此切換(區域IlR的OPEN狀態保持現狀,并且區域IlL的CLOSE狀態也保持現狀)。因此,在幀Rl中獲取僅基于穿過區域IlR的透射光的被攝取圖像數據。同樣地,在幀Ll中獲取僅基于穿過區域IlL的透射光的被攝取圖像數據。因此,即使以線序方式在圖像傳感器12中執行的信號讀取時(即使當在每個幀的曝光時間段等中產生每行的時滯時),也能生成其中減小了串擾的右側視點圖像和左側視點圖像。
注意,快門11中的區域劃分數量(劃分的光路的數量)決不限于兩個,而是可以是三個或更多。即使當區域劃分數量為三個或更多個時,快門11的每個區域的OPEN時間段需要為幀時間段fr的兩倍。然而,當區域劃分數量為η (η :2或更大的整數)時,每個區域的CLOSE時間段變為幀時間段fr的2 (η-1)倍。例如,當獲取了右側和左側兩個視點圖像時(在第一實施方式中),區域IlR和IlL的每個OPEN時間段變為2fr。此外,當獲取了三個視點圖像時,快門11的區域所劃分成的三個區域的每個OPEN時間段變為2fr,而該三個區域的每個CLOSE時間段變為4fr。另外,在此情況下,雖然區域IlR和IlL的每個OPEN 時間段被設置為幀時間段fr的兩倍,但本公開并不必限于這種情況。例如,當使用全局清除功能時,當使得曝光時間段本身短于幀時間段fr時,當使得驅動定時快或慢時,等等,區域IlR和IlL的每個OPEN時間段可以小于幀時間段fr的兩倍,或者大于幀時間段fr的兩倍,而細節將在隨后描述。
如上所述,在第一實施方式中,控制部20分別獲取幀Rl和幀Ll作為有效幀,對于幀Li,其曝光在時間上連續的幀中的幀Rl的曝光結束時和結束后開始。因此,可以抑制產生穿過區域IlR和IlL的透射光在幀Rl和Ll的每一個中彼此混合的現象,即,產生串擾。 因此,通過使用例如是以線序方式被驅動的CMOS傳感器的圖像傳感器,可以精確地獲取多個視點圖像。這在攝取多個視點圖像作為移動圖像的情況下尤其有效。通過使用這種CMOS 傳感器,相比于使用CCD的情況,可以構造實現了低成本、低功耗以及高速處理的系統。
第一實施方式的變形例 接下來,以下將給出關于本公開的第一實施方式中的快門和圖像傳感器的其他驅動實例(變形例1至幻的描述。與上述第一實施方式的情況類似,以下將描述的變形例1 至5的每一個驅動實例均涉及當控制部20驅動圖像攝取裝置1中的快門11和圖像傳感器12時的定時控制。然而,變形例1至5中的每一個均涉及對以下將描述的液晶快門用作快門11的情況尤其特有的驅動實例。
液晶快門的結構 圖8A和圖8B示意性地示出了作為液晶快門的快門11的平面結構。也就是說,圖 8A示出了區域IlL保持在OPEN狀態(區域IlR保持在CLOSE狀態)的情況,圖8B示出了區域IlR保持在OPEN狀態(區域IlL保持在CLOSE狀態)的情況。如上所述,例如,快門 11具有圓形平面形狀被劃分成的右側和左側兩個區域IlR和11L。圖9是快門11的區域 IlR和IlL之間的邊界附近的截面視圖。
在快門11中,將液晶層104封裝進均由玻璃等制成的基板101和106之間限定的間隙中。同樣,起偏鏡107A粘于基板101的光入射側,并且檢偏鏡107B粘于基板106的光出射側。電極形成在基板101和液晶層104之間,并被分成多個子電極102A(在這種情況下,兩個子電極102A對應于區域IlR和11L)。可以經兩個子電極102A單獨地施加電壓。 區域IlR和IlL公共的電極105設置在面向這樣基板101的基板106上。在子電極102A 和液晶層104之間形成取向膜103A,并且在電極105和液晶層104之間形成取向膜103B。 例如,每個子電極102A以及電極105都由氧化銦錫(ITO)制成,并且例如,液晶層104中包含具有諸如超扭曲向列(STN)、扭曲向列(TN)、光學補償彎曲(0CB)、以及鐵電液晶(FLC)的各種顯示模式的液晶。起偏鏡107A和檢偏鏡107B分別選擇性地透射預定的偏振光,并被設置為使得具有正交-尼科爾狀態或平行-尼科爾狀態。
通過采用這種結構,當經子電極102A和電極105向液晶層104施加合適電壓時, 液晶層104的透射率可以根據施加電壓的量值和施加時間而變化。也就是說,液晶快門用作快門11,從而可以根據電壓控制來使基板11的OPEN狀態和CLOSE狀態彼此切換。此外, 將施加電壓的電極分成能夠被單獨驅動的兩個子電極102A,從而可以在每個區域IlRUlL 交替地彼此切換透光狀態和遮光狀態。然而,已知這種液晶快門的響應速度根據操作環境 (諸如溫度)而不同。例如,通常,響應速度在高溫度階段變快,而響應速度在低溫度階段變慢。另外,在許多情況下,響應特性在透射階段和遮光階段之間不同。
如上所述,液晶快門的響應特性容易根據環境而改變。因此,如隨后將描述的,當執行對應于液晶快門響應特性的定時控制或驅動序列控制時,優選地直接或間接地檢測響應特性。例如,當間接檢測響應特性時,在圖像攝取裝置1內設置能夠檢測快門11的溫度或快門11的外部環境溫度的溫度傳感器。在此情況下,可以根據從溫度傳感器輸出的關于快門11的溫度信息估計快門11的響應特性。
變形例1 圖10A、圖10B和圖10C分別示出了第一實施方式的變形例1的圖像傳感器和快門的驅動定時。也就是說,圖10A示出了圖像傳感器中的曝光時間段和讀取,圖10B示出了在低溫度階段中快門的OPEN和CLOSE切換,而圖10C示出了在高溫度階段中快門的OPEN和 CLOSE切換。并且,圖IlA和圖IlB分別示出了在高溫度階段中變形例1中的快門的響應特性以及在低溫度階段中變形例1中的快門的響應特性。
在變形例1中,例如使用液晶快門,使得在低溫度階段,從透射狀態到遮光狀態的響應不會延遲太多(屬性dl),而從遮光狀態到透射狀態的響應被顯著延遲(屬性d2)。換句話說,快門11具有這樣的特征,即,使得從遮光狀態到透射狀態的轉變階段的響應速度比從透射狀態到遮光狀態的轉變階段的響應速度慢。例如,給出了使用具有STN模式的液晶并且其中起偏鏡和檢偏鏡被設置為處于正交-尼科爾狀態的液晶快門來作為具有這種響應特性的液晶快門。
如圖IOA和圖IOB所示,通過使用這種液晶快門,在低溫階段中,在區域IlRUlL 的狀態從CLOSE狀態切換到OPEN狀態的同時,根據屬性d2,在幀Rl和Ll的每一個中都產生了亮度(接收光的量)在屏幕上部降低的時間段Da。然而,結果是屏幕的上部側和下部側之間亮度不同。在此情況下,在由信號處理/存儲部13執行的后續圖像處理中,需要執行 (例如)“黑點”校正(shading correction),從而使整個屏幕的亮度均一化。另一方面, 在區域IlRUlL的狀態從OPEN切換到CLOSE狀態的同時,根據屬性dl,產生串擾的短時間段Ct必須較短(僅在屏幕上端的部分中以及屏幕下端的部分中產生串擾)。因此,同樣在變形例1中,相比于上述比較實例2的情況,可以減小串擾,因此可以獲得與上述第一實施方式大致相同的效果。
變形例2 圖12A和圖12B分別示出了根據第一實施方式的變形例2的圖像傳感器和快門的驅動定時。也就是說,圖12A示出了圖像傳感器中的曝光時間段和讀取,而圖12B示出了在低溫度階段中快門的OPEN和CLOSE切換。
同樣在變形例2中,類似于變形例1的情況,例如使用液晶快門,使得在低溫度階段,從透射狀態到遮光狀態的響應不會延遲太多(屬性dl),而從遮光狀態到透射狀態的響應被顯著延遲(屬性d2)。然而,在變形例2中,快門11的區域IlRUlL的從CLOSE狀態到 OPEN狀態的切換定時被提前。換句話說,在幀開始時刻t (s)之前的定時tl(等于曝光開始的定時)執行區域IlRUlL的從CLOSE狀態到OPEN狀態的切換。因此,相比于上述變形例 1的情況,雖然稍微延長了產生串擾的時間段Ct,但是可以減小亮度降低的時間段。因此, 在通過使用液晶快門執行光路切換的情況下,第一實施方式的變形例2對于使得亮度被認為比串擾更重要的應用尤其有用。
變形例3 圖13A和圖13B分別示出了根據本公開的變形例3的圖像傳感器和快門的驅動定時。也就是說,圖13A示出了圖像傳感器中的曝光時間段和讀取,而圖1 示出了在低溫度階段中快門的OPEN和CLOSE的切換。
同樣在變形例3中,類似于變形例1的情況,例如使用液晶快門,使得在低溫度階段中,從透射狀態到遮光狀態的響應不會延遲太多(屬性dl),而從遮光狀態到透射狀態的響應被顯著延遲(d2)。另外,類似于變形例2的情況,快門11的區域IlRUlL的從CLOSE 狀態到OPEN狀態的定時被提前到幀開始時刻t (s)之前的定時tl。然而,在變形例3中,除了快門11的區域IlRUlL的從OPEN狀態到CLOSE狀態的定時被提前之外,并且曝光結束的定時也被提前。換句話說,在后續的幀開始時刻t (s)之前的定時t2執行從OPEN狀態到 CLOSE狀態的切換,并且第一行的曝光在幀時間段結束的定時t(e)之前的定時t3結束。由于這個原因,在變形例3中,右側幀Rl和曝光時間段Τκ2和左側幀Ll的曝光時間段 Υ2中的每一個都設置為比幀時間段fr短。
即使通過使用這種驅動定時,仍可以獲得與上述的第一實施方式及其變形例2中的每一個大致相同的效果。另外,區域IlRUlL的從OPEN狀態到CLOSE狀態的切換定時以及曝光結束的定時均被提前,從而使得可以避免易于在右側幀Rl和左側幀Ll之間產生的串擾。
變形例4 圖14A和圖14B分別示出了根據第一實施方式的變形例4的圖像傳感器和快門的驅動定時。也就是說,圖14A示出了圖像傳感器中的曝光時間段和讀取,而圖14B示出了在低溫度階段在快門的OPEN和CLOSE的切換。
同樣在變形例4中,類似于變形例1的情況,例如使用液晶快門,使得在低溫度階段,從透射狀態到遮光狀態的響應不會延遲太多(屬性dl),而從遮光狀態到透射狀態的響應被顯著延遲(屬性d2)。然而,在變形例4中,曝光開始的定時推遲。換句話說,第一行的曝光在幀的開始時刻t(s)之后的定時t4開始。由于這個原因,在變形例4中,右側幀Rl 的曝光時間段Τκ3和左側幀Ll的曝光時間段 Υ3中的每一個都被設置為比幀時間段fr短。 即使通過使用這種驅動定時,仍可以獲得與上述第一實施方式大致相同的效果。另外,雖然產生了亮度在屏幕的上部側降低的時間段Da,但是可以避免易于在右側幀Rl和左側幀Ll 之間產生的串擾。
注意,除了以上在第一實施方式的變形例2至4中描述的定時控制之外,從液晶快門的響應特性、串擾、以及亮度的觀點來看,還可以是各種定時控制。例如,可以采用的是, 快門的OPEN和CLOSE的定時不僅被提前而且還被推遲,或者曝光開始的定時以及曝光結束的定時均改變。
變形例5 圖15A、圖15B、以及圖15C分別示出了第一實施方式變形例5中的圖像傳感器和快門的驅動定時。也就是說,圖15A示出了圖像傳感器中的曝光時間段和讀取,圖15B示出了在低溫度階段中快門的OPEN和CLOSE的切換,而圖15C示出了在高溫度階段中快門的 OPEN和CLOSE的切換。而且,圖16A和圖16B分別示出了在高溫度階段中變形例5中的快門的響應特性,以及在低溫度階段中變形例5中的快門的響應特性。
在變形例5中,例如使用液晶快門,使得在低溫度階段,從遮光狀態到透射狀態的響應不會延遲太多(屬性d3),而從透射狀態到遮光狀態的響應被顯著延遲(屬性d4)。換句話說,快門11具有這樣的特征,即,使得從透射狀態到遮光狀態的轉變階段的響應速度比從遮光狀態到透射狀態的轉變階段的響應速度慢。例如,給出了使用具有STN模式的液晶并且其中起偏鏡和檢偏鏡被設置為處于正交-尼科爾狀態的液晶快門來作為具有這種響應特性的液晶快門。
如圖15A和圖15B所示,通過使用這種液晶快門,在低溫度階段,生成了產生串擾并且亮度增加的時間段Ct、Br。然而,結果是亮度在屏幕的上部側和下部側之間不同。在此情況下,需要在由信號處理/存儲部13執行的后續圖像處理中執行(例如)“黑點”校正,從而使整個屏幕的亮度均一化。雖然在變形例5中輕微地產生了串擾,但是變形例5對于使得認為亮度比串擾減小更重要的應用是有用的。
從在變形例2至4中描述的串擾和亮度的觀點來看,用于提前或推遲切換快門的 OPEN和CLOSE的定時、曝光開始的定時、以及曝光結束的定時的技術,可以應用于上述的變形例5。
第二實施方式 圖17A和圖17B分別示出了根據本公開第二實施方式的圖像攝取裝置中的圖像傳感器和快門的驅動定時。也就是說,圖17A示出了圖像傳感器中的曝光時間段和讀取,而圖 17B示出了在低溫度階段中快門的OPEN和CLOSE的切換。類似于上述第一實施方式的情況,第二實施方式中的驅動操作涉及當控制部20驅動圖像攝取裝置1中的快門11和圖像傳感器時的定時控制。然而,第二實施方式與上述第一實施方式的圖像傳感器的功能不同。
第二實施方式中的圖像傳感器是卷簾快門型圖像攝取元件(諸如CMOS傳感器), 其中,與上述第一實施方式中的圖像傳感器12的情況類似,以線序方式從以矩陣設置的多個光電二極管中相繼讀取信號。然而,向第二實施方式中的圖像傳感器添加了全局清除功能,因此累積電荷在預定定時被清除(提供了無累積電荷的狀態)。通過全局清除功能,即使在卷簾快門型COMS傳感器等中,也可以對整個屏幕整體執行曝光的開始。
例如,如圖17A所示,控制部20在幀Rl的開始時刻執行全局清除GR,從而立刻開始曝光。之后,第一行的曝光在一幀時間段fr消逝之后的時刻結束,并且從第一行開始讀取(Read(R))。另一方面,如圖17B中所示,快門11的區域IlR的狀態與用于執行上述全局清除GR的定時(幀Rl的開始時刻)同步地從CLOSE狀態切換到OPEN狀態。之后,在一幀時間段fr消逝之后的時刻,區域IlR的狀態從OPEN狀態切換到CLOSE狀態。同樣,在幀 Rl的所有行的讀取(Read(R))的結束時刻(在幀Ll的開始時刻),再次執行全局清除GR。 然后,快門11的區域IlL的狀態從CLOSE狀態切換到OPEN狀態,并且與上述幀Rl的情況類似地執行幀Ll的曝光和讀取(Read(L))。然而,分別對于幀Rl的時間段Tltead(R)和幀Ll 的時間STltead(L),快門11的區域IlL和區域IlR均被設置為CLOSE狀態。因此,分別獲取了幀Rl和幀Ll作為有效幀。
也就是說,在第二實施方式中,通過利用全局清除功能整體執行曝光的開始,并且區域IlR(區域11L)的狀態從OPEN狀態切換到CLOSE狀態,從而整體執行實質的曝光結束。注意,實際上,雖然即使對于將快門從OPEN狀態切換到CLOSE狀態之后的讀取時間段 TEead(R)和讀取時間段Tltead(L),曝光在每行中繼續直到讀取完成,但是由于快門的整個區域在該時間段關閉,所以沒有產生累積電荷。因此,在每幀的實質曝光時間段TK、ιγ之間沒有產生時滯,因此整個屏幕上的圖像被同時拍照。當然,在左側視點圖像和右側視點圖像之間沒有產生串擾。因此,雖然使用了線序驅動型圖像傳感器,但是與使用幀序驅動型圖像傳感器的情況類似,可以對其中不包含失真的圖像進行拍照。這同樣適用于對象高速移動的情況。因此,可以獲得等同于或超過上述第一實施方式的效果。
第二實施方式的變形例 接下來,以下將給出對于本公開的第二實施方式中的快門和圖像傳感器的其他驅動實例(變形例1至幻的描述。與上述第一實施方式的情況類似,以下將描述的每個驅動實例,即,變形例1至3,均涉及當控制部20驅動圖像攝取裝置1中的快門11和具有全局清除功能的圖像傳感器12時的定時控制。然而,第二實施方式的變形例1至3中的每一個都涉及對于將上述第一實施方式的變形例1至5中描述的液晶快門用作快門11的情況尤其特有的驅動操作。
變形例1 圖18Α、圖18Β和圖18C分別示出了根據第二實施方式的變形例1的圖像傳感器和快門的驅動定時。也就是說,圖18Α示出了圖像傳感器中的曝光時間段和讀取,圖18Β示
16出了在低溫度階段中快門的OPEN和CLOSE的切換,而圖18C示出了在高溫度階段中快門的 OPEN和CLOSE的切換。
在變形例1中,與第一實施方式的變形例1的情況類似,例如使用液晶快門,使得在低溫度階段,從透射狀態到遮光狀態的響應不會延遲太多(屬性dl),而從遮光狀態到透射狀態的響應被顯著延遲(屬性d2)。如圖18A和圖18B所示,通過使用這種液晶快門,在低溫度階段,在區域IlRUlL的CLOSE狀態切換到OPEN狀態的同時,根據屬性d2產生了接收光的量在幀Rl和Ll的每一個的曝光時間段期間減少的時間段Da。然而,如在第二實施方式中描述的,由于通過全局快門功能在曝光時間段沒有產生時滯,因此,不存在圖片的一部分變暗,而是整個圖片統一變暗。由于這個原因,被攝取圖像的亮度不缺乏均勻性,因此不必執行“黑點”校正等。注意,在區域IlRUlL的OPEN狀態切換到CLOSE狀態的同時,根據屬性dl,在幀Rl和Ll的每一個中稍微地產生了曝光時間段的延長Bd。然而,由于該微小延長導致傳感器的上端的亮度略微不同于屏幕的任何其他部分,因此該微小延長實際上并不是問題。
在以這種方式使用全局清除功能的情況下,即使當將其中響應特性易于改變的液晶快門用作快門11時,也幾乎不產生串擾。因此,即使當沒有特別執行測量以處理系統的溫度變化時,也可以精確地攝取視點圖像。
變形例2 圖19A和圖19B分別示出了根據本公開第二實施方式的變形例2的圖像攝取裝置中的圖像傳感器和快門的驅動定時。也就是說,圖19A示出了圖像傳感器中的曝光時間段和讀取,而圖19B示出了在低溫度階段中快門的OPEN和CLOSE的切換。
同樣在變形例2中,與第一實施方式的變形例1以及第二實施方式的變形例1的情況類似,例如使用液晶快門,使得在低溫度階段,從透射狀態到遮光狀態的響應不會延遲太多(屬性dl),而從遮光狀態到透射狀態的響應被顯著延遲(屬性d2)。然而,在變形例 2中,快門11的區域IlRUlL的CLOSE狀態切換到OPEN狀態的定時被提前。換句話說,快門11的區域IlRUlL的CLOSE狀態在幀的開始時刻(在此情況下,其等于曝光開始的定時、 全局清除GR的定時中的每一個)t (s)之前的定時tl被切換到OPEN狀態。因此,雖然產生了在其中產生串擾的時間段Ct,但是相比于變形例1的情況,可以減小其亮度降低的時間段。因此,當通過使用液晶快門切換光路時,變形例2對于使得認為亮度比串擾的減小更重要的應用尤其有用。
變形例3 圖20A、圖20B和圖20C分別示出了根據第二實施方式的變形例3的圖像傳感器和快門的驅動定時。也就是說,圖20A示出了圖像傳感器的曝光時間段和讀取,圖20B示出了在低溫度階段中快門的OPEN和CLOSE的切換,而圖20C示出了在高溫度階段中快門的OPEN 和CLOSE的切換。
在變形例3中,例如使用液晶快門,使得在低溫度階段,從遮光狀態到透射狀態的響應不會延遲太多(屬性d3),而從透射狀態到遮光狀態的響應被顯著延遲(屬性d4)。如圖20A和圖20B所示,通過使用這種液晶快門,在低溫度階段,當快門11的區域IlRUlL的 OPEN狀態切換到CLOSE狀態時,根據屬性d4生成曝光時間段的延長Bd。因此,屏幕的上部和下部中的一個變亮,猶如從屏幕的上部到下部應用了漸變。注意,還可以通過執行“黑點”校正來將漸變均一化。另外,在快門11的區域IlRUlL的CLOSE狀態切換到OPEN狀態的同時,在幀IlR和IlL的每一個中產生了其接收光的量略微減少的時間段Da。然而,由于該微小時間段Da不會產生屏幕中亮度的不均勻,因此該微小時間段Da實際上不是問題。此外,類似于變形例1的情況,由于幾乎不產生串擾,因此即使當沒有特別執行測量以處理系統的溫度變化時,也能精確地攝取視點圖像。
注意,即使當使用液晶快門并還利用全局清除功能時,除了上述驅動實例,從串擾和亮度的觀點出發,還可以提前或推遲快門的OPEN和CLOSE的切換定時、曝光開始的定時 (全局清除)。
變形例4 雖然在第一實施方式的變形例1至5以及第二實施方式的變形例1至3的每一個中,已經描述了液晶快門用作快門11的情況下對應于液晶快門的響應特性的定時控制,但是,例如,驅動序列還可以以將在下面描述方式來控制。這里,圖21示出了液晶快門中的透射率變化(響應特性)。如上所述,液晶快門根據電壓控制改變其透射率。具體地,通過保持OPEN狀態(透射狀態)和CLOSE狀態(遮光狀態)以時分方式交替重復的這種序列的電壓來驅動液晶快門。在變形例4中,控制部20保持液晶快門的多個驅動序列。因此,控制部 20根據液晶快門的響應特性執行這些驅動序列的切換,使得響應速度和OPEN-階段-平均透射率分別得到期望值。注意,OPEN-階段-平均透射率是驅動狀態中(其中快門的OPEN 和CLOSE周期性地重復)OPEN時間段的透射率的平均值。
例如,當在低溫度階段,響應速度降低,向液晶快門施加保持這種驅動序列以提高響應速度的電壓。相反,當在高溫度階段,響應速度足夠高,向液晶快門施加保持這種驅動序列以增加OPEN-階段-平均透射率的電壓。這種驅動序列的數量可以是兩個(兩階段切換),或者還可以采用三個或更多多重切換。另外,如上所述,通過某種檢測部檢測響應特性,并選擇對應于檢測結果的驅動序列,從而可以使得液晶快門在各種環境下執行光學操作。因此,在多個視點圖像中,可以抑制產生串擾,或者可以增加亮度。因此,可以獲得與執行在第一實施方式的變形例1至5以及第二實施方式的變形例1至3中的每一個中描述的定時控制的情況大致相同的效果。
圖像處理的實例 接下來,將給出關于用于獲取上述多個視點圖像的圖像攝取裝置1中的圖像處理的合適實例的描述。具體地,給出了當圖像攝取的目標是伴隨有連續運動的移動圖像時 (當以時分方式交替重復獲取幀Rl和Ll時)的一種有效的處理。另外,例如,信號處理/ 存儲部13根據控制部20作出的控制執行該類圖像處理。
(1.運動模糊處理) 圖22是示出如下狀態的示意圖,其中,以正常移動圖像幀速率攝取的圖像(原始圖像?疋1、卩2、卩3、··.)以及與其對應的左側圖像(L:L1、L2、L3、...)和右側圖像(R=RU R2、R3、...)的實例沿時間軸布置。在圖像攝取裝置1中,以時分方式交替獲取左側圖像 (L)和右側圖像㈨。因此,獲得原始圖像(F)中的一幀(一個場(field))就時間而言變疏的這種圖像組,作為左側圖像(L)和右側圖像(R)中的每個。
由于該原因,雖然在對象緩慢運動的情況下尤其沒有問題,但是在對象快速運動的情況下,所謂的抖動(jerkiness)(視為掃描的現象)變得明顯。由于這種抖動成為引起眼疲勞(eye stain)的因素,因此優選地排除抖動。例如,最好執行將要描述的運動模糊處理。也就是說,首先,如圖22所示,將其數據被存儲了的左側視點圖像(L:L1、L2、L3、...) 和右側視點圖像(R :R1、R2、R3、...)分別重新布置成僅由左側視點圖像組成的圖像列和僅由右側視點圖像組成的圖像列。之后,例如,如圖23所示,例如,注意每個圖像列(在此情況下,給出了由左側視點圖像組成的圖像列)中的圖像L2,并根據當時在圖像L2之后的圖像Ll和當時被圖像L2跟隨的圖像3,計算圖像L2的階段內的對象的運動向量V。對象的圖像沿如此在圖像Ll至L3中計算的移動向量V的方向不透明,從而在完成運動模糊處理后生成左側視點圖像(La:Lal、La2、La3、...)。因此,即使攝取了快速運動的對象,也可以減小抖動的影響。除此之外,例如,給出用于改變圖像Ll至L3的比例(例如,將圖像Ll的比例設置為100,并且圖像L2和L3中每一個的比例設置為50)從而彎曲結果圖像Ll至L3 的技術等作為運動模糊處理。
(2.圖像內插處理) 圖24是示出其中左側圖像(L :L1、L2、· · ·)和右側圖像(R :R1、R2、· · ·)沿時間軸布置的實例的示意圖。由于使用圖像攝取裝置1,以時分方式交替獲取左側圖像(L)和右側視點圖像(R),因此實際上,左側圖像(L)的圖像和右側視點圖像(R)的圖像并不是同時共同地攝取的。由于這個原因,例如,當對移動對象拍照時,只要通過使用幀序型顯示裝置按順序左右交替輸出左側視點圖像和右側視點圖像,就沒有問題。然而,當同時輸出左側視點圖像和右側視點圖像時,提供了不自然的立體效果。這是由如下變化引起的由視差引起的對象圖像上的變化,以及由于移動在左側視點圖像和右側視點圖像之間清楚地分開而引起的對象圖像上的變化。
為了處理這種情況,根據關于左側視點圖像的像素列和右側視點圖像的像素列中的每一個的當時在前或在后的一個或多個圖像的信息,執行用于在彼此相鄰的兩個圖像之間生成圖像(內插圖像)的圖像內插處理。特別地,根據關于圖像Ll和圖像L2的信息在圖像Ll和圖像L2之間生成內插圖像L12。同樣,根據關于當時在前或在后圖像的信息,分別生成內插圖像L23以及內插圖像R01、R12。該圖像內插處理還可以在記錄圖像之前執行, 從而連同關于被攝取圖像的數據一起記錄關于被內插圖像的數據。此外,可以僅記錄關于被攝取圖像的數據,并且可以在顯示階段生成被內插圖像。因此,可以分離由于視差引起的對象圖像上的變化以及由于彼此運動引起的對象圖像上的變化,因此即使當同時顯示右側視點圖像和左側視點圖像時,也能防止帶來不舒服感。
雖然目前已經通過給出實施方式和其變形例描述了本公開,但本公開決不限于此,而是可以進行各種變化。例如,已經通過例證將液晶快門用作快門11,并且將快門的區域分成右側和左側兩個區域以切換光路的情況來描述了實施方式及其變形例。然而,可以將快門的區域分成三個或更多區域,因此可以獲得三個或更多視點圖像。
應當理解,對于本領域普通技術人員來說,顯然可以對本文描述的當前優選示例實施方式進行各種變化和修改。可以在不背離精神和范圍并且不削弱其預期優勢的情況下做出這些變化和修改。因此,所附權利要求有意涵蓋這些變化和修改。
權利要求
1.一種圖像攝取裝置,包括圖像傳感器,配置為以線序方式操作;以及快門裝置,可操作地連接至所述圖像傳感器,所述快門裝置包括被配置為在基本上開狀態和基本上閉狀態之間切換而使得第二幀的第二曝光在第一幀的第一曝光結束之后開始的區域。
2.根據權利要求1所述的圖像攝取裝置,其中,所述圖像傳感器是所述圖像攝取裝置中包括的唯一圖像傳感器。
3.根據權利要求1所述的圖像攝取裝置,其中,所述快門裝置是所述圖像攝取裝置中包括的唯一快門裝置。
4.根據權利要求1所述的圖像攝取裝置,其中,所述圖像傳感器被配置為基于經所述快門裝置透射的光來輸出接收到的光信號。
5.根據權利要求1所述的圖像攝取裝置,其中,所述區域包括(a)第一區域,被配置為在第一基本上開狀態和第一基本上閉狀態之間切換;以及(b)第二區域,被配置為在第二基本上開狀態和第二基本上閉狀態之間切換。
6.根據權利要求5所述的圖像攝取裝置,其中,當所述第二曝光開始時(a)所述第一區域從所述第一基本上開狀態切換至所述第一基本上閉狀態;以及(b)所述第二區域從所述第二基本上閉狀態切換至所述第二基本上開狀態。
7.根據權利要求1所述的圖像攝取裝置,其中,所述圖像傳感器快門包括其中累積電荷在預定時刻被清除的全局清除功能。
8.根據權利要求1所述的圖像攝取裝置,其中,所述區域被配置為在對應于所述第一曝光的開始的幀開始時刻出現之前,開始從所述基本上閉狀態切換至所述基本上開狀態。
9.根據權利要求1所述的圖像攝取裝置,其中,所述區域被配置為在對應于所述第二曝光的開始的幀開始時刻出現之前,從所述基本上開狀態切換至所述基本上閉狀態。
10.根據權利要求1所述的圖像攝取裝置,其中,所述第一曝光的第一開始在所述第一幀的第二開始之后開始。
11.根據權利要求1所述的圖像攝取裝置,包括用于存儲所述快門裝置的驅動序列的控制器,所述控制器被配置為基于所述快門裝置的響應特性執行所述驅動序列的切換。
12.根據權利要求1所述的圖像攝取裝置,其中,所述快門裝置包括包括所述區域的液晶快門。
13.根據權利要求12所述的圖像攝取裝置,其中(a)從第一開狀態到第一閉狀態的第一響應延遲第一時間量;以及(b)從所述第一閉狀態到所述第一開狀態的第二響應延遲第二時間量,所述第二時間量大于所述第一時間量。
14.根據權利要求12所述的圖像攝取裝置,其中(a)從第一開狀態到第一閉狀態的第一響應延遲第一時間量;以及(b)從所述第一閉狀態到所述第一開狀態的第二響應延遲第二時間量,所述第二時間量小于所述第一時間量。
15.根據權利要求1所述的圖像攝取裝置,其中,所述區域被配置為基于所述快門裝置的材料在所述基本上開狀態和基本上閉狀態之間切換。
16.根據權利要求1所述的圖像攝取裝置,包括控制器,所述控制器被配置為(a)基于所述第一曝光獲取第一圖像;(b)基于所述第二曝光獲取第二圖像;(c)基于第三曝光獲取第三圖像;以及(d)使用所述第一、第二、和第三圖像,通過執行運動模糊處理來減小抖動的影響。
17.根據權利要求1所述的圖像攝取裝置,包括控制器,所述控制器被配置為(a)基于所述第一曝光獲取第一圖像;(b)基于所述第二曝光獲取第二圖像;(c)基于第三曝光獲取第三圖像;(d)基于第四曝光獲取第四圖像;(e)在獲取的所述第一圖像和獲取的所述第三圖像之間生成第一內插圖像;以及(f)在獲取的所述第二圖像和獲取的所述第四圖像之間生成第二內插圖像。
18.根據權利要求1所述的圖像攝取裝置,其中,所述區域被配置為在完全開狀態和完全閉狀態之間切換,使得第二幀的第二曝光在第一幀的第一曝光結束之后開始。
19.根據權利要求1所述的圖像攝取裝置,包括第一鏡頭和第二鏡頭,其中,所述快門裝置設置在所述第一鏡頭和所述第二鏡頭之間。
20.根據權利要求1所述的圖像攝取裝置,其中,所述圖像傳感器包括互補金屬氧化物半導體傳感器。
全文摘要
本發明提供了一種圖像攝取裝置,在一個示例實施方式中,圖像攝取裝置包括圖像傳感器,被配置為以線序方式操作,以及快門裝置,可操作地連接至圖像傳感器。在一個示例實施方式中,快門裝置包括被配置為在基本上開狀態和基本上閉狀態之間切換而使得第二幀的第二曝光在第一幀的第一曝光結束之后開始的區域。
文檔編號G03B7/083GK102193269SQ20111005611
公開日2011年9月21日 申請日期2011年3月8日 優先權日2010年3月15日
發明者田尻真一郎 申請人:索尼公司