攝像元件、攝像裝置以及圖像處理裝置的制造方法
【技術領域】
[0001 ] 本發明涉及攝像元件、攝像裝置以及圖像處理裝置。
【背景技術】
[0002] 已知使用單一的攝影光學系統通過一次攝影而生成相互具有視差的左右視差圖 像的攝像裝置。
[0003] 現有技術文獻
[0004] 專利文獻
[0005] 專利文獻1 :JP特開2003-7994號公報

【發明內容】

[0006] 在由這種攝像裝置生成的左視差圖像和右視差圖像中，模糊的形狀不對稱。模糊 的形狀的不對稱產生二線性模糊，其結果為變成不自然的模糊。
[0007] 本發明的第一方面的攝像元件，其為通過一個光學系統，對全部光束中通過相互 不同區域的部分光束的被攝體像進行拍攝的攝像元件，其由無視差像素、第一視差像素及 第二視差像素的至少3種像素分別配置有多個的像素排列構成，其中，無視差像素具有產 生基準方向的視點的開口掩膜，第一視差像素具有產生與基準方向不同的第一方向的視點 的開口掩膜，第二視差像素具有產生與基準方向不同的第二方向的視點的開口掩膜，第一 視差像素的開口掩膜和第二視差像素的開口掩膜分別在視點變化的方向上具有比半開口 大的開口面積的寬度。
[0008] 本發明的第二方面的圖像處理裝置，針對上述的攝像元件的輸出還基于無視差像 素的像素信息，對各像素生成基準視點圖像，基于第一視差像素的像素信息，對各像素生成 臨時的第一視點圖像，基于第二視差像素的像素信息，對各像素生成臨時的第二視點圖像， 對于基準視點圖像，使用臨時的第一視點圖像和臨時的第二視點圖像使視點位置變化，來 生成新的第一視點圖像和新的第二視點圖像。
[0009] 本發明的第三方面的攝像元件具有偏移像素，該偏移像素的接收被攝體光束的第 一受光區域包含像素區域的中心，并且設定在相對于像素區域的中心偏移的位置。
[0010] 本發明的第四方面的圖像處理裝置具有：獲取部，其獲取上述攝像元件的輸出； 和圖像生成部，其使用第一偏移像素的輸出和第二偏移像素的輸出，根據不偏移像素的輸 出，生成向第一方向賦予視差的第一視差圖像數據和向第二方向賦予視差的第二視差圖像 數據。
[0011] 本發明的第五方面的攝像裝置具有上述攝像元件和上述圖像處理裝置。
[0012] 此外，上述的發明的概要并沒有列舉出本發明全部的所需特征。另外，這些特征組 的組合也可以另外構成發明。
【附圖說明】
[0013] 圖1是說明本發明的實施方式的數碼相機的結構的圖。
[0014] 圖2是說明攝像元件的截面的結構的圖。
[0015] 圖3是說明無視差像素的散焦的概念的圖。
[0016] 圖4是說明視差像素的散焦的概念的圖。
[0017] 圖5是示出無視差像素與視差像素的光強度分布的圖。
[0018] 圖6是說明在視差像素的種類為兩個的情況下的開口部104的開口形狀的圖。
[0019] 圖7是用于說明模糊的不對稱性的圖。
[0020] 圖8是示出視差圖像以及無視差圖像與景深的關系的圖。
[0021] 圖9是用于說明半開口的視差像素的模糊的不對稱性的圖。
[0022] 圖10是針對開口掩膜的開口部和點擴散進行說明的圖。
[0023] 圖11是說明左視差圖像Lt2/3與右視差圖像Rt 2/3之差的概念的圖。
[0024] 圖12是說明作為其他的衍生例的無視差圖像&和無視差圖像C2/3的點擴散的圖。
[0025] 圖13是說明視差像素的陰影的圖。
[0026] 圖14是用于說明比半開口大的視差像素的模糊的形狀的圖。
[0027] 圖15是示出作為像素排列的一個例子的實際空間的排列和k空間的圖。
[0028] 圖16是示出作為像素排列的一個例子的實際空間的排列和k空間的圖。
【具體實施方式】
[0029] 以下，通過發明的實施方式來說明本發明，但是以下的實施方式并不限定權利要 求的范圍內的發明。另外，發明的解決手段不一定需要在實施方式中說明的特征組合的全 部。
[0030] 作為攝像裝置的一種形式的本實施方式的數碼相機構成為，能夠通過一次攝影針 對一個場景生成多個視點的圖像。將彼此視點不同的各個圖像稱為視差圖像。在本實施方 式中，尤其針對生成基于與右眼和左眼相對應的兩個視點的右視差圖像和左視差圖像的情 況進行說明。在后面說明詳細內容，本實施方式的數碼相機能夠將基于作為基準方向的視 點的中央視點的沒有視差的無視差圖像與視差圖像一起生成。
[0031] 圖1是說明本發明的實施方式的數碼相機10的結構的圖。數碼相機10具有作為 攝像光學系統的攝影透鏡20,將沿著光軸21入射的被攝體光束引導至攝像元件100。攝影 透鏡20可以是相對于數碼相機10可拆裝的可更換透鏡。數碼相機10除了攝影透鏡20以 及攝像元件100以外，還具有：控制部201、A/D轉換電路202、存儲器203、驅動部204、圖像 處理部205、存儲卡IF(接口）207、操作部208、顯示部209以及LCD驅動電路210。
[0032] 此外，如圖示那樣，將與朝向攝像元件100的光軸21平行的方向設定為+Z軸方 向，將在與Z軸正交的平面中朝向紙面里面的方向設定為+X軸方向，將朝向紙面上方的方 向設定為+Y軸方向。與攝像中的構圖的關系是：X軸是水平方向，Y軸是垂直方向。在以下 的若干幅圖中，將圖1的坐標軸作為基準，以可知各幅圖的朝向的方式來顯示坐標軸。
[0033] 攝影透鏡20由多個光學透鏡組構成，使來自場景的被攝體光束在該攝影透鏡20 的焦平面附近成像。此外，在圖1中為了便于說明攝影透鏡20,用配置于光瞳附近的假想的 一個透鏡代表來表不。
[0034] 攝像元件100配置在攝影透鏡20的焦平面附近。攝像元件100是以二維方式排 列多個像素的(XD、CMOS傳感器等圖像傳感器。攝像元件100由驅動部204定時控制，將成 像于受光面上的被攝體像轉換為圖像信號并向A/D轉換電路202輸出。輸出至A/D轉換電 路202的圖像信號包含左視點以及右視點的圖像信號。
[0035] A/D轉換電路202將由攝像元件100輸出的圖像信號轉換為數字圖像信號并向存 儲器203輸出。圖像處理部205以存儲器203作為工作空間來實施各種各樣的圖像處理， 生成圖像數據。除此以外，圖像處理部205還擔當按照所選擇的圖像格式來調整圖像數據 等圖像處理的通常功能。生成的圖像數據通過IXD驅動電路210轉換為顯示信號，顯示在 顯示部209上。另外，記錄在安裝于存儲卡IF207上的存儲卡220中。
[0036] -系列攝像過程是通過操作部208接收用戶的操作并向控制部201輸出操作信號 而開始的。伴隨攝像過程的AF(自動對焦）、AE(自動曝光）等各種動作是由控制部201控 制來進行的。
[0037] 以下，針對攝像元件100的結構的一個例子進行說明。圖2是示出攝像元件100 的截面的概略圖。
[0038] 攝像元件100從被攝體側依次排列有微透鏡101、彩色濾光片102、開口掩膜103、 布線層105以及光電轉換元件108。光電轉換元件108由將入射的光轉換為電信號的光電 二極管構成。光電轉換元件108在基板109的表面以二維方式排列有多個。
[0039] 由光電轉換元件108轉換的圖像信號、控制光電轉換元件108的控制信號等是經 由設于布線層105的布線106進行發送接收的。另外，具有與各光電轉換元件108 -一對應 設置且以二維方式重復排列的開口部104的開口掩膜103與布線層105相接觸地設置。如 后所述，開口部104相對于各個對應的光電轉換元件108偏移，嚴格地設定了相對的位置。 因具有該開口部104的開口掩膜103的作用，使得在光電轉換元件108接收的被攝體光束 中產生視差，在后面詳細說明。
[0040] 另一方面，在不產生視差的光電轉換元件108上不存在開口掩膜103。換言之，也 可以說是設有如下的開口掩膜103,該開口掩膜103所具有的開口部104不限制入射至相 應的光電轉換元件108的被攝體光束，即使入射光束整體通過。雖然沒有產生視差，但由于 實質上由布線106形成的開口 107規定了入射的被攝體光束，所以也能夠將布線106視為 使不產生視差的入射光束整體通過的開口掩膜。開口掩膜103可以分別對應于各光電轉換 元件108獨立排列，也可以與彩色濾光片102的制造工藝同樣地相對于多個光電轉換元件 108統一形成。
[0041] 彩色濾光片102設于開口掩膜103上方。彩色濾光片102是與被著色為使特定波 段相對于各光電轉換元件108透過的、與光電轉換元件108的每一個一一對應設置的濾光 片。為了輸出彩色圖像，只要排列至少兩種彼此不同的彩色濾光片即可，但為了獲取更高畫 質的彩色圖像，最好排列3種以上的彩色濾光片。例如，可以呈網格狀地排列使紅色波段透 過的紅濾光片（R濾光片）、使綠色波段透過的綠濾光片（G濾光片）以及使藍色波段透過的 藍濾光片（B濾光片）。彩色濾光片不僅可以是原色RGB的組合，也可以是YCM的互補色濾 光片的組合。
[0042] 微透鏡101設于彩色濾光片102上方。微透鏡101是用于將入射的被攝體光束更 多地引導至光電轉換元件108的聚光透鏡。微透鏡101分別與各個光電轉換元件108-- 對應地設置。優選地，微透鏡101考慮攝影透鏡20的光瞳中心與光電轉換元件108的相對 的位置關系來偏移其光軸，以將更多的被攝體光束引導至光電轉換元件108。進一步地，也 可以與開口掩膜103的開口部104的位置一起調整配置位置，以使得后述的特定的被攝體 光束更多地入射。
[0043] 如此，將與各個光電轉換元件108--對應地設置的開口掩膜103、彩色濾光片 102以及微透鏡101的一個單位稱為像素。特別地，將設有產生視差的開口掩膜103的像素 稱為視差像素，將未設有產生視差的開口掩膜103的像素稱為無視差像素。有時也將左視 點的視差像素記為視差Lt像素，將右視點的視差像素記為視差Rt像素，將無視差像素記為 N像素。另外，有時也將左視點的視差圖像記為視差Lt圖像，將右視點的視差圖像記為視差 Rt圖像，將無視差圖像記為N圖像。例如，在攝像元件100的有效像素區域為24mmX 16mm 左右的情況下，像素數達到1200萬左右。
[0044] 此外，在集光效率、光電轉換效率較高的圖像傳感器的情況下，也可以不設置微透 鏡101。另外，在為背面照射型圖像傳感器的情況下，布線層105設于光電轉換元件108的 相反側。另外，若使開口掩膜103的開口部104帶有顏色成分，則也能夠一體地形成彩色濾 光片102和開口掩膜103。此外，在只要輸出黑白圖像信號即可的情況下，不設置彩色濾光 片 102〇
[0045] 另外，在本實施方式中，開口掩膜103和布線106分開設置，但是視差像素的開口 掩膜103的功能也可以由布線106來擔當。即，由布線106形成規定的開口形狀，利用該開 口形狀限制入射光束，僅將特定的部分光束引導至光電轉換元件108。在這種情況下，優選 使形成開口形狀的布線106位于布線層105中最靠近光電轉換元件108偵k
[0046] 另外，開口掩膜103可以由與光電轉換元件108重疊設置的防透光膜形成。在這 種情況下，開口掩膜103是例如依次層疊SiN膜和SiOj莫來作為防透光膜，再通過蝕刻去 除與開口部104相當的區域而形成。而且，也可以以與開口掩膜103的開口部104相當的 方式來形成光電轉換元件108本身的區域。
[0047] 接下來，針對單眼立體攝像中的模糊與視差的關系進行說明。出于簡化說明的目 的，對后述的半