專利名稱：圖像攝取裝置的制作方法
技術領域：
本發明涉及便用微透鏡陣列的圖像攝取裝置。
背景技術：
已經提出和研制了各種各樣的圖像攝取裝置。已經提出了若干圖像攝取 裝置，這些裝置對由成像或攝取圖像而得到的圖像攝取數據進行預定圖像處 理，以便輸出圖像攝取數據。
例如，國際專利公開No.06/039486和Ren.Ng等的題為"Light Field Photography with a Hand-Held Plenoptic Camera"的斯坦福(Stanford)技術才艮告 CTSR2005-02中，就提出了使用稱為"光場攝像術"的技術的圖像攝取裝置。 這樣的圖像攝取裝置包括圖像攝取鏡頭、微透鏡陣列、圖像攝取設備和圖像 處理部分，以及在圖像攝取鏡頭中含有中心部分中包括單孔徑(aperture)的光 圈(aperture stop )。在這樣的配置中，通過圖像攝取設備而得到的圖像攝取數 據包括在感光面上的光的強度分布以及光的行進方向的信息。因此，圖像處 理部分能夠重構或再現從任意視點或任意方向(以下簡稱為視野)上觀看的圖 像。
將由實施"光場攝像術"技術的攝影設備(light field camera,光場攝像機) 得到的圖像作為圖像組輸出，在此圖像組中，例如，如像在國際專利公開 No.06/039486中的圖11所示的那樣，將多個圓形圖像排列在陣列中。該圓形 圖像相當于這樣的一個圖像(以下稱為單元圖像)，它是根據攝像鏡頭的出瞳形 狀，由每個微透鏡在固態圖像攝取設備的表面上生成的。
此外，通常，以預定間距為行列中的每個像素布置了固態圖像攝取裝置 的感光部分。由于諸如傳輸區的電路部分是布置在每個像素的感光部分的周 圍，所以進入這個區域的光并不對圖像攝取產生影響。因此，在大多數的固 態圖像攝取設備中布置了聚光部分(如像光折射部分)，它聚進入到除了感光 部分以外的區域中的光，以便將光引導到感光部分中，從而獲得較高的靈敏 度。在此情況下，如果在光學系統的光軸中心周圍直接在每個像素上布置如 像片上透鏡之類的光折射裝置，能有效地會聚大多數的光線。然而，主要的
光線傾斜于遠離光軸的外圍區域中。因此，例如，如像在日本專利No.2600250 和3170847中所描述的那樣，進行圖像高度校正，以使得片上透鏡之間的間 距小于像素間距，并使得片上透鏡的中心位置和每個像素的像素中心位置之 間的間隙隨著與光軸相距的距離而逐漸增加。

發明內容
在上述"光場攝像機"中，將微透鏡陣列布置在圖像攝取鏡頭的成像面位 置上，從而對于具有聚光性能的光折射裝置(如像配置在固態圖像攝取設備的 光線入射側上的片上透鏡)光線的入射角大大不同于在相關技術中的圖像攝 取裝置的情況。因此，如上所述，在其中進行圖像高度校正的相關技術中的 固態圖像攝取裝置被直接或無任何變化地安裝在"光場攝像機"內的情況下， 由于光量損失而引起單元圖像中的亮度梯度的產生或信噪比(S/N比)的降低。 因此，攝取圖像的圖像質量就會下降。
在獲取圖像攝取數據以包含關于光的行進方向的信息的情況下，希望提 供能夠根據圖像攝取數據改進圖像的圖像質量的圖像攝取裝置。
根據本發明的實施例，提供了一種圖像攝取裝置，包括圖像攝取鏡頭 部分；根據所檢測的光獲取圖像攝取數據的圖像攝取設備；微透鏡陣列部分， 布置在圖像攝取鏡頭部分的焦面上，位于圖像攝取鏡頭部分和圖像攝取設備 之間，包括多個微透鏡，每個^(效透鏡相應于圖像攝取設備中的多個圖像攝取 像素而提供；由多個聚光元件構成的聚光部分，每個聚光元件會聚進入到圖 像攝取設備的每個圖像攝取像素中的光，其中，在圖像攝取設備上，在與每 個微透鏡相應的像素區內，聚光部分中的聚光元件之間的間距小于在圖像攝 取像素中預定方向上的像素尺寸，并且，在分別與微透鏡相應的像素區之間 的邊界區內，聚光元件之間的間距大于在圖像攝取像素中預定方向上的像素 尺寸。
在根據本發明的具體實施例的圖像攝取設備中，在孩i透鏡陣列部分上形 成由圖像攝取鏡頭部分進行圖像攝取的物體的圖像。然后，進入到微透鏡陣 列部分中的光線到達圖像攝取設備，并由分配給每個微透鏡的多個圖像攝取 像素來檢測，并由此得到包含關于光的行進方向的信息的圖像攝取數據。在此情況下，在與每個微透鏡相應的每個像素區內，在聚光部分中的聚光元件 之間的間距小于在圖像攝取像素中預定方向上的像素尺寸，并且，在分別與 微透鏡相應的像素區之間的邊界區內，聚光元件之間的間距大于在圖像攝取 像素中預定方向上的像素尺寸，因此，在與每個微透鏡相應的像素區內，防 止了由于入射光的傾斜而在每個微透鏡的中心區周圍的圖像攝取像素和外圍 區周圍的圖像攝取像素之間產生的亮度梯度。
在根據本發明的實施例的圖像攝取設備中，優選地，在與每個微透鏡相 應的每個圖像區內，聚光元件的中心位置與在每個微透鏡的中心區內的圖像 攝取像素的像素中心位置相一致，并隨著移向每個微透鏡的外圍區而逐漸從 圖像攝取像素的像素中心位置偏離。在這樣的配置中，還考慮圖像攝取鏡頭 部分的視角和主光線的傾斜，以便提高每個像素區內的入射光線的聚光效率， 并進而改進圖像攝取數據的S/N(信噪比)。
在根據本發明的具體實施例的圖像攝取設備中，在上述的圖像攝取鏡頭 部分包括光圈情況下，優選地滿足下列的公式(l)。在這樣的配置中，如果在 微透鏡之間的間距滿足下列的公式(l)，則避免在圖像攝取設備的感光面上的 圖像高度偏差出現在由圖像攝取設備得到的圖像攝取數據中。因此，在通過 使用這樣的圖像攝取數據生成重構圖像時，可以生成適合的重構圖像。
p = (mxs)x {L/(L+f》 (1)
在此，p是微透鏡之間的間距，s是在預定方向上的像素尺寸，m是在預 定方向上的分配給每個微透鏡的圖像攝取像素的數量(整數)，L是光圈和微透 鏡陣列部分之間的距離，f是每個微透鏡的焦距。
在根據本發明的具體實施例的圖像攝取設備中，在上述圖像攝取鏡頭部 分包括光圈的情況下，該圖像攝取設備可以包括圖像高度校正部分，用于對 由圖像攝取設備獲得的圖像攝取數據進行圖像高度校正，以使得在預定方向 上的由每個微透鏡在圖像攝取設備上生成的圖像的圖像尺寸等于在預定方向 上的圖像攝取像素的像素尺寸的整數倍。在這樣的配置中，在通過圖像高度 校正而得到的圖像攝取數據中，不管光圈的位置如何，都不會發生在圖像攝 取設備的感光面上的圖像高度偏差。因此，當使用通過這樣的圖像高度校正 而得到的圖像攝取數據來獲取重構圖像時，不管主鏡頭(圖像攝取鏡頭部分) 的光圈的位置如何。都可以獲得合適的重構圖像。
在根據本發明的具體實施例的圖像攝取設備中，在與每個微透鏡相應的像素區內，在聚光部分中的聚光元件之間的間距小于在圖像攝取像素中預定 方向上的像素尺寸，并且，在分別與微透鏡相應的像素區之間的邊界區內， 聚光元件之間的間距大于圖像攝取像素中預定方向上的像素尺寸，因此，在 與每個微透鏡相應的像素區內，可以防止由于入射光線的傾斜而引起的亮度 梯度。因此，在獲取圖像攝取數據以便包括關于光的行進方向信息在內的情 況下，可以根據圖像攝取數據來改進圖像質量。
通過下面的描述，本發明的上述和其他目的、特征和優點將會變得更加 清楚。


圖1根據本發明的第一實施例示出了圖像攝取裝置的整體結構。
圖2是圖1所示的光圈的平面示意圖。
圖3是示于圖1中的微透鏡陣列的平面示意圖。
圖4是布置在圖像攝取設備的感光面上的濾色鏡的平面示意圖。
圖5是微透鏡陣列、片上透鏡和圖像攝取設備的布置的例子的局部示意圖。
圖6是微透鏡陣列、片上透鏡和圖像攝取設備的另一個布置的例子的局 部示意圖。
圖7是圖1所示的圖像處理部分的配置例子的功能方塊圖。 圖8A和8B是平面圖，說明在微透鏡陣列和圖像攝取設備中的圖像攝取 模式。
圖9是示意性的透視圖，說明由圖像處理部分進行的圖像處理的例子。 圖10是用于說明由圖像處理部分進行的再聚焦演算處理的局部示意圖。 圖11是再聚焦演算處理中再聚焦面的確定位置的例子的局部示意圖。 圖12是再聚焦演算處理中再聚焦面的確定位置的另一個例子的局部示 意圖。
圖13是圖ll所示的再聚焦演算處理中的排序處理的例子的平面示意圖。 圖14是圖12所示的再聚焦演算處理中的排序處理的另一個例子的平面 示意圖。
圖15是一個圖例，用于根據本發明的第二實施例來說明比較例的圖像攝 取裝置中的圖像高度偏差。圖16是示意圖，用于根據本發明的第二實施例來說明比較例的圖像攝取 裝置中的圖像高度偏差。
圖17示出了根據本發明的第三實施例的圖像處理部分的配置例子的功
能方塊圖。
具體實施例方式
以下將參照附圖來詳細說明本發明的推薦實施例。 第一實施例
圖l根據本發明的第一實施例示出了圖像攝取裝置(圖像攝取裝置l)的整
體結構。圖像攝取裝置1攝取物體2的圖像，以輸出圖像攝取數據Dout。 按從靠近物體2較近的側開始的順序，圖像攝取裝置1包括圖像攝取鏡頭11, 光圈10,微透鏡陣列12,片上透鏡18和圖像攝取設備13。圖像攝取裝置l 也包括圖像處理部分14,圖像攝取設備驅動部分15和控制部分16。圖像攝取鏡頭ll是主鏡頭，用于攝取物體的圖像，并包括例如用在視頻 攝像機、靜止照相機和類似設備中的典型的圖像攝取鏡頭。
光圈IO是圖像攝取鏡頭11的光學光圏。例如，如圖2所示，光圈10 在它的中心部分有一個圓形開孔部分IOA。如下面將要詳細說明的那樣，通 過光圈IOA的全部光線都保持有光線行進方向的信息。布置光圈IO和微透 鏡陣列12并使它們之間具有距離L。
例如，如圖3所示，在微透鏡陣列12中，將多個微透鏡12-1以矩陣形 式二維排列(微透鏡12-l之間的間距為p12)，并將微透鏡陣列12布置在圖 像攝取鏡頭11的圖像生成面上(在圖中用標號fl來表明圖像攝取鏡頭11的焦 距)。每個微透鏡12-1的平面形狀都是圓形的，并且每個微透鏡12-1都由液 晶透鏡、液體透鏡、衍射透鏡或類似部件組成。
圖像攝取設備13檢測或接收來自微透鏡陣列12的光，以便獲取圖像攝 取數據DO, 并將圖像4聶取設備13布置在微透鏡陣列12的焦面上(在圖中用 標號f2來表明微透鏡陣列12的焦距)。圖像攝取設備13包括二維圖像攝取設 備，例如，以矩陣形式二維排列的多個CCD(電荷耦合器)或多個CMOS(互補 型的金屬-氧化物-半導體器件)。
在這樣的圖像攝取設備13的感光面(更靠近微透鏡陣列12的面)上，以 矩陣形式二維排列了 MxN(在此，M和N都是整數)個圖像攝取像素(下面將
8要說明像素P),并將多個像素P分配給在微透鏡陣列12中的一個微透鏡12-1 。
在感光面上的像素P的數量為Mx N=3720 x 2520=9374400。分配M個微 透鏡12-1的像素數(mxn)與重構圖像的任意視場的分辨率相關，因此，重構 圖像的任意視場的分辨率隨著m和n的值而增加。另一方面，(M/m)和(N/n) 的值與重構圖像的像素數(分辨率)相關，因此，重構圖像的像素數隨著(M/m) 和(N/n)的值而增加。于是，在重構圖像的任意視場的分辨率和像素數之間存 在著一個折衷關系。
在圖像攝取設備13的感光面上，二維地為每個像素P(在圖1中未示出) 布置了如圖4所示的濾色鏡。濾色鏡17是具有Bayer布置的濾色鏡(原色濾 光鏡)，其中，紅(R)、綠(G)、藍(B)三個原色的濾色鏡(紅色濾光器17R,綠色 濾光器17G,藍色濾光器17B)按照R: G: B=l: 2: 1的比例，并以方格模 式來排列。將這樣的濾色鏡17布置在圖像攝取設備13的感光面上，并由此 圖像攝取設備13所獲取的圖像攝取數據D0變為與濾色鏡17的顏色相應的 多個顏色(在此情況下為三個原色)的像素數據(彩色像素數據)。
片上透鏡18起著聚光部分的作用，它將進入圖像攝取設備13的光聚集 到每個圖像攝取像素中(下面將要說明每個像素P),并在圖像攝取設備13的 感光面上相應于每個像素P來布置。
例如，如圖5(在光軸外圍區13C周圍的區域中的示意性的斷面結構，這 個區域相應于微透鏡陣列12的光軸的外圍區(即入射光的主光線LO基本上 沿著光軸行進的區域))和圖6 (在圖像攝取設備13的像素外圍區13E周圍的區 域中的示意性的斷面結構，(這個區域的入射光的主光線LO相對于光軸有一 定程度的傾斜))所示，在片上透鏡18中，在圖像攝取設備13上，在與每個 微透鏡12-1相應的像素區內，片上透鏡18中的聚光元件之間的間距(pitch)p18 小于在像素P中的預定方向上的像素尺寸s，并且，在分別與微透鏡12-1相 應的像素區之間的邊界區內，片上透鏡18中的聚光元件之間的間距p18大于 在像素P中的預定方向上的像素尺寸s。
在圖5和圖6所示的兩種情況下，在與每個微透鏡12-1相應的每個像素 區內，片上透鏡18的聚光元件的中心位置與在每個微透鏡12-1的中心區內 的像素P的像素中心位置相一致，并隨著移向每個微透鏡12-1的外圍區而逐 漸從像素P的像素中心位置偏離。
通過加到抗蝕材料上的模式(pattem)轉移處理生成片上透鏡18。因此，如果將光掩模(photomask)之間的間距(pitch)設置為上述的間距(在片上透鏡 12中聚光元件之間的間距p18)，則生成上述的片上透鏡18。
圖像處理部分14對由圖像攝取設備13獲取的圖像攝取數據DO進行隨 后將要說明的預定圖像處理(圖像處理包括排序(sort)處理)，并輸出通過進行 圖像處理而得到的圖像攝取數據Dout。更具體地說，例如，圖像處理部分14 利用稱為"光場攝像術(Light Field Photography)"的技術進行再聚焦(refocus) 演算處理。由此，圖像處理部分14生成了聚焦在任意焦點上的圖像(基于圖
像攝取數據Dout的重構圖像)。下面將詳細說明圖像處理部分14的配置和再 聚焦演算處理的操作。
圖像攝取設備驅動部分15驅動圖像攝取設備13，并控制圖像攝取設備 13的感光操作。
控制部分16控制圖像處理部分14和圖像攝取設備驅動部分15的操作， 并包括如像微型計算機或類似的設備。
隨后，將參照圖7詳細說明圖像處理部分14的結構。圖7示出了圖像處 理部分14的功能方塊圖。
圖像處理部分14包括缺陷校正部分141、箝位(clamp)處理部分142、內 插處理部分143、排序部分144、噪聲消減部分145、邊緣增強部分146、白 平4耔調整部分147、伽瑪校正部分148。
缺陷校正部分141校正含于圖像攝取數據DO中的、如像漏失或無效之 類的缺陷(由圖像攝取設備13中的異常而引起的缺陷)。箝位處理部分142進 行在通過缺陷校正部分141進行的缺陷校正而得到的圖像攝取數據上設置每 個像素數據的黑電平(black level)的處理(箝位處理)。
內插處理部分143在由箝位處理部分142提供的圖像攝取數據上進行內 插處理，例如，在典型的Bayer布置上進行去嵌鑲(demosaic)處理或類似的處 理，以便獲得圖像攝取數據D1。
排序部分144在由內插處理部分143提供的圖像攝取數據Dl上進行預 定的排序處理(分類像素數據的處理處理)，以便獲得圖像攝取數據D2。在進 行這樣的排序處理時，生成了聚焦在上述任意焦點上的重構圖像。下面將要 詳細說明由排序部分144進行的排序處理的操作。
噪聲消減部分145進行減少噪聲的處理(例如，減少在暗處或感光度不足 的地方攝取圖像時所產生的噪聲)，這些噪聲含于由排序部分144提供的圖像攝取數據D2之中。邊緣增強部分146進行邊緣增強處理，這就是在由噪聲 消減部分145提供的圖像攝取數據上增強圖像邊緣的處理。
白平衡調整部分147在由邊緣增強部分146提供的圖像攝取數據上進行 調整色彩平衡的處理(白平衡調整處理)，(調整和設置圖像攝取數據，以使得 紅像素數據、綠像素數據和藍像素數據的數目彼此相等)，在此，這樣的色彩 平衡可受到器件間個體差別一一諸如圖像攝取設備13的光語靈敏度上的差 別，濾色鏡17的透射特性方面的差別或照明條件一一的影響。
伽瑪校正部分148在由白平衡調整部分147提供的圖像攝取數據上進行 預定的伽瑪校正(色調和對比度校正)，以便獲取圖像攝取數據Dout。
下面，將參照圖l到14來詳細說明根據本實施例的圖^象攝取裝置1的功 能和作用。
首先，參照圖1到4以及圖7到14來說明圖像攝取裝置1的基本功能。
例如，在圖像攝取裝置1中，根據如圖8A所示的每個微鏡頭12-1的形 狀(圓形),在微透鏡陣列12上生成由圖像攝取鏡頭11拍攝到的物體2的圖像。 然后，進入微透鏡陣列12的入射光線通過微透鏡陣列12到達圖像攝取設備 13上，以及例如，如圖8B所示，由感光區13-1來檢測入射光線，在此感光 區上投射光圈的圓形，并通過 圖像攝取設備13來獲取圖像攝取數據D0。此 時，根據入射光線的入射方向，在圖像攝取設備13中的不同位置上，檢測射 到微透鏡陣列12上的入射光線。更具體地說，根據分配給每個微透鏡12-1 的像素P的位置來確定光線的入射方向。其中布置了分配給每個微透鏡12-1 的像素P的區域(重構像素區13D)與重構圖像的一個像素相對應。
其次，將在圖像攝取設備13中得到的圖像攝取數據輸入到圖像處理部分 14中。然后，在圖像處理部分14中，在圖像攝取數據DO上進行預定的圖像 處理(例如，上述的再聚焦演算處理)，從而，將通過圖像處理得到的圖像攝取 數據Dout作為圖像攝取裝置1的輸出數據(重構圖像的圖像數據)輸出。
現在，參照圖9到14來詳細說明由圖像處理部分14執行的圖像處理操 作(再聚焦演算處理操作)的基本部分。
首先，如圖9所示，在圖像攝取鏡頭11的圖像攝取鏡頭面上定義矩形坐 標系統(u， v),并在圖像攝取設備13的圖像攝取面上定義矩形坐標系統(x, y)。將在圖像攝取鏡頭11的圖像攝取鏡頭面和圖像攝取設備13的圖像攝取 面之間的距離定義為"F"。然后，用四維函數Lf(x, y, u, v)來代表通過圖像攝取鏡頭11和圖像攝取設備13的光線Ll。從而，將關于光線Ll行進方 向的信息以及關于光線L1的位置的信息記錄到圖像攝取設備13中。換句話 說，通過分配給每個微透鏡12-1的多個像素P的排列來確定光線的入射方向。
如圖IO所示，在確定了圖像攝取鏡頭面110、圖4象攝取面130和再聚焦 平面120之間的位置關系的情況下(確定再聚焦平面120以便滿足F， =ocF), 用下列公式(l)來代表再聚焦平面120上的坐標(s, t)的圖像攝取面130上的檢 測強度LF。此外，在再聚焦平面120上得到的圖像EF， (s, t)是通過整合上 述的相對于透鏡孔徑的檢測強度LF而得到的值，所以用下列的公式(2)來代 表圖像EF， (s, t)。因此，在根據公式(2)來進行再聚焦計算操作時，根據通 過進行圖像處理而得到的圖像攝取數據Dout來重構聚焦在任意焦點(再聚焦 平面120)上的圖像。
數學公式1
LF,(s,t，u， v) = L(a,F)(s, t, u， v)
t , s _ut _ v 、
=L f (u H--, v +-， u， V)
=Lf]u(I -丄)十上，v(l -丄)+丄，11, v|>
…….(1)
EF,(S,t) = ^J]LF,(S,t，U,V)dudV
=("("Lf<j u(l -丄)+丄，v(l -丄)+丄，u,v [dudv a F2 JJL aaaa J
…….(2)
更具體地說，在圖像處理部分14中，如圖5所示，缺陷校正部分141 校正由圖像攝取設備13提供的圖像攝取數據DO中的缺陷，以及箝位(clamp) 處理部分142在圖像攝取數據DO上進行箝位處理。然后，內插處理部分143 在圖像攝取數據DO上進行內插處理，排序部分144進行像素數據Dl的排序 處理。從而，從圖像攝取數據D1產生了圖像攝取數據D2。
在此情況下，當要由圖像處理部分14通過再聚焦演算處理來生成下述重 構圖像時，進行其中例如有選擇地提取圖11所示的光線的排序處理，其中， 該重構圖像的焦點位置被確定位于照相時所確定的焦點位置(微透鏡陣列12 的位置)的后面(即更遠側上)。換句話說，在圖像攝取鏡頭11和徵透鏡陣列
1212之間生成其焦點位置被確定位于照相時所確定的焦點位置的后面的圖像。 這樣，會聚了一次的光線又再散開，該光線根據其行進方向通過不同的微透 鏡陣列而到達圖像攝取設備13上。因此，例如，如圖13所示，對各個像素
數據進行排序處理，以便從多個彼此不同的重構像素區13D中有選擇地提取 與這樣的光線相應的像素數據DIO。
另一方面，當要由圖像處理部分14通過再聚焦演算處理來生成下述重構 圖像時，進行其中例如有選擇地提取圖12中所示的光線的排序處理，其中， 該重構圖像的焦點位置被確定位于照相時所確定的焦點位置(微透鏡陣列12 的位置)的前面(即更近側上)。換句話說，在徵透鏡陣列12后面生成其焦點位 置被確定位于照相時所確定的焦點位置的前面的圖像。這樣，在圖像攝取裝 置1中不生成圖像，并且光線根據其傳播的方向通過不同的微透鏡陣列而到 達圖像攝取設備13上。因此，例如，如圖14所示，對各個像素數據進行排 序處理，以便從多個彼此不同的重構像素區13D中有選擇地提取與這樣的光 線相應的像素數據DIO。
下面，如圖7所示，噪聲消減部分145對通過這樣的排序處理而得到的 圖像攝取數據D2進行噪聲消減處理，以及邊緣增強部分146對圖像攝取數 據D2進行邊緣增強處理，然后，將圖像攝取數據D2提供給白平衡調整部分 147。由此，得到調整過其色彩平衡的圖像攝取數據。然后，伽瑪校正部分 148對由白平衡調整部分147提供的圖像攝取數據進行伽瑪校正，以及從圖 像處理部分14中輸出該圖像攝取數據作為圖像攝取數據Dout。由此，根據 圖像攝取數據Dout來重構聚焦在任意焦點(再聚焦面120)上的圖像。
然后，參照圖5和圖6,下面將詳細說明根據本實施例的圖像攝取裝置1 的特性功能。
在根據本實施例的圖像設取設備1中，考慮到在微透鏡陣列12中的光折 射，相應于圖像攝取設備13的每個像素P而形成的片上透鏡18(具有聚光性 能的光折射裝置)的中心位置從像素P的像素中心位置上偏離，例如，如圖5 和圖6所示。
更具體地說，在與每個微透鏡12-1相應的像素區內，在片上透鏡18中 的聚光元件之間的間距p18小于像素P中的預定方向上的像素尺寸s,并且， 在分別與微透鏡12-1相應的像素區之間的邊界區內，在片上透鏡18中的聚 光元件之間的間距p18大于像素P中的預定方向上的像素尺寸s。由此，在與
13每個微透鏡12-1相應的像素區內，就能避免由于入射光線傾斜而在^f敬透鏡 12-1的中心區周圍的像素P和在其外圍區周圍的像素之間產生的亮度梯度。
此外，在圖5和圖6所示的兩種情況下，在與每個微透鏡12-1相應的每 個像素區內，片上透鏡18中的聚光元件的中心位置與在每個^f敫透鏡12-1的 中心區內的像素P的中心位置相一致，并隨著移向每個微透鏡12-1的外圍區 而逐漸從像素P的像素中心位置偏離。由此，因為還考慮到圖像攝取鏡頭11 的視角以及主光線L0的傾斜，提高了在每個像素區內的入射光的聚光效率， 并政進了圖像攝取數據D0的S/N比率(信號噪聲比)。
如上所述，在本實施例中，在與每個微透鏡12-1相應的像素區內，在片 上透鏡18中的聚光元件之間的間距p18小于在像素P中的預定方向上的像素 尺寸s,并且，在分別與微透鏡12-1相應的像素區之間的邊界區內，在片上 透鏡18中的聚光元件之間的間距p18大于在像素P中的預定方向上的像素尺 寸s。因此，在與每個微透鏡12-1相應的像素區內，就能避免由于入射光的 傾斜而引起的亮度梯度。因此，在獲取圖像攝取數據以便包括光的行進方向 信息在內的情況下，能夠改進基于圖像攝取數據的圖像的圖像質量。
此外，在與微透鏡12-1相應的每個像素區內，片上透鏡18的聚光元件 的中心位置與在每個微透鏡12-1的中心區內的像素P的像素中心位置相一 致，并從靠近像素P的像素中心位置上逐漸地向著每個微透鏡12-1的外圍區 移動。由于還考慮到圖像攝取鏡頭11的視角以及主光線LO的傾斜，因此提 高在每個像素區內的入射光的聚光效率，并改進圖像攝取數據DO的S/N比 率(信號噪聲比)。這樣，能進而改進基于圖像攝取數據的圖像的圖像質量。
此外，由圖像攝取設備13通過使用具有圖4所示的Bayer布置的濾色鏡 17來攝取彩色圖像，由圖像處理部分14中的內插處理部分143來進行色彩 內插處理(例如，在一個或多個單元圖像中的去嵌鑲(demosaic)處理)。在相關 技術的圖像攝取裝置中，由于在單元圖像中產生的亮度梯度，可能不能適當 地進行色彩內插處理，從而可能會引起色移(colorshift)或色彩不均勻。相反， 在根據本實施例的圖像攝取裝置1中，在拍攝這樣的彩色圖像時，可以防止 色移或色彩不均勻的出現，并可以改進色彩的再現性。
第二實施例
下面，將說明本發明的第二實施例。使用與第一實施例相同的標號來表 明相同的部件，在此不再加以說明。
14在根據本實施例的微透鏡陣列12中，當微透鏡12-1之間的間距為"pl2"
時，在圖像攝取設備13的圖像攝取像素(下面將要說明的像素P)的預定方向 上的像素尺寸是"s"，在預定方向上分配給每個微透鏡12-1的像素的數量為 "m"(整數)，在光圈10和微透鏡U-1之間的距離為"L"， 以及每個微透 鏡12-1的焦距是"f2"時，可以用下面的公式(ll)來代表微透鏡12-1之間 的間距pl2。
pl2 = (mxs) x {L(L+f2)} (11)
現在，參照圖15和16,通過與比較例的比較來詳細說明根據本實施例 的圖像攝取裝置的特性功能。圖15和16示出了在根據比較例的圖像攝取裝 置(包含微透鏡陣列102,而不是在圖像攝取裝置1中的微透鏡陣列12，微透 鏡陣列102中的微透鏡12-1之間的間距pl2不滿足上述公式(l))中、在出現 了圖像高度偏差的情況下(即圖像高度偏差量AX)的情況下)的圖像攝取狀 態。
首先，例如，如圖15所示，在作為主鏡頭的圖像攝取鏡頭11的光圈10 的位置與圖像攝取鏡頭11的主點PO有某些距離的情況下，如果進入微透鏡 陣列12的入射光的主光線L0相對于光軸有某種程度的傾斜(在主光線L0不 在圖像攝取鏡頭11的主點上的情況下),依據光圈10的位置，根據微透鏡12-1 的形狀(圓形)在圖像攝取設備13上形成的圖像(單元圖像)之間的間距如圖中 箭頭所示的那樣，從位置Pl移動到位置P2。
由此，例如，如圖16所示，在圖像攝取設備13的感光面(更靠近于微透 鏡陣列12的一側上的平面)上出現了圖像高度偏差量為A(在點Pd和點Pe之 間的距離)的圖像高度偏差。用下面的公式(12)和(13)來表示圖像高度偏差量 △,在此，在光軸和主光線LO之間的傾角是"6",在微透鏡陣列102上形 成的主光線LO的圖像的圖像高度(在點Pb和點Pf之間的距離)是"y",在光 圈10和微透鏡陣列12之間的距離(在點Pa和點Pb之間的距離)是"L", 微 透鏡陣列12的焦距(在點Pb和點Pc之間的距離)是"f2"。此外，用下面的公 式(14)來表示在微透鏡陣列12上的圖像高度y和在圖像攝取設備13上形成的 單元圖像的圖像高度(在點Pc和點Pe之間的距離)之間的比率。
tane=(y/L)=(A/f2) (12)
△={(yxf2)/L} (13)
(y+A)/y=(L+f2)/L (14)這樣，在圖15和16所示的根據比較例的圖像攝取裝置中，由于在微透
鏡陣列102中的微透鏡12-1之間的間距pl2不滿足上述公式(ll),因此出現 了圖像高度偏差，其大小為由上述的公式(12)和(13)所代表的圖像高度偏差量 △。換句話說，如上所述，即使在由圖像攝取設備13得到的圖像攝取數據 D0包含光行進方向信息和光強度分布信息的情況下，微透鏡12-1之間的間 距pl2也不等于圖像攝取設備13的像素P的整數倍。因此，在預定方向上分 配給每個微透鏡12-1的像素P的數目就會發生變化，并且，在圖像處理部分 14中，不能得到如像再聚焦圖像或任意視點圖像之類的重構圖像。
另一方面，在根據本實施例的圖像攝取裝置1中，在微透鏡陣列12中， 微透鏡12-1之間的間距滿足上述公式(ll)。從而，根據上述比較例的圖像高 度校正因子的值(相當于上述公式14的逆)恒等于"1"。因此，在由圖像攝取 設備13得到的圖像攝取數據DO中，防止了在圖像攝取設備13的感光面(在 更靠近微透鏡陣列12 —側上的平面)上出現圖像高度偏差(圖像高度偏差量為 A的圖像高度偏差)。
如上所述，在本實施例中，微透鏡12-1之間的間距pl2滿足上述公式(l 1)。 這樣，在由圖像攝取設備13得到的圖像攝取數據D0中，可以防止在圖像攝 取設備13的感光面上出現圖像高度偏差。因此，當通過使用這樣的圖像攝取 數據DO由圖像處理部分14形成重構圖像時，除了能有在第一實施例中的效 果而外，還可以形成適合的重構圖像。
此外，與下面將描述的第三實施例不同，在本實施例中，無需配置用于 進行圖像高度校正的圖像高度校正部分(下面將要說明的圖像高度校正部分 149)，并且僅僅通過設置微透鏡12-l之間的間距pl2就實現了本實施例，因 此，除非當設計微透鏡12-1之間的間距時所確定的光圈IO的位置被變動， 否則能夠容易地形成適合的重構圖像。
第三實施例
下面，將說明本發明的等三實施例。本實施例的圖像攝取裝置具有與第 二實施例的圖像攝取裝置相同的結構，而不同之處在于，該圖像攝取裝置包 含下面將要說明的圖像處理部分14A,而不是根據第二實施例的圖像攝取裝 置的圖像處理部分14,而且，代替在第二實施例中所述的微透鏡陣列12,在 本實施例中提供其中微透鏡12-1之間的間距pl2不滿足上述公式(ll)的微透鏡陣列(對應于上述的微透鏡陣列102)。 因此，使用與第二實施例相同的標 號來標記相同的部件，不再加以說明。
圖17圖示了用在根據本實施例的圖像攝取裝置中的圖像處理部分(圖像 處理部分14)的功能方塊圖。圖像處理部分14A配置不同于在第一實施例中 所述的圖像處理部分14之處在于，在內插處理部分143和排序部分144之間 布置了圖像高度校正部分149。
圖像高度校正部分149在由圖像攝取設備13獲得的圖像攝取數據C更具 體地說，是通過由內插處理部分143進行內插處理而得到的圖像攝取數據Dl) 上進行圖像高度校正，以使得與每個微透鏡12-1相應的圖像攝取設備13上 生成的圖像(單元圖像)在預定方向上的圖像尺寸(相當于微透鏡12-1之間的間 距pl2)等于圖像攝取設備13的像素P在預定方向上的像素尺寸s的整數倍。 由此，通過圖像高度校正得到圖像攝取數據D3，并將圖像攝取數據D3提供 給排序部分144。更具體地說，圖像高度校正部分149通過使用由下列公式(15) 和(16)代表的校正因子k在圖像攝取數據Dl上進行圖像高度校正(圖像高度 校正部分149通過用校正因子k乘以圖像攝取數據Dl來得到圖像攝取數據 D3)。在此，在(3=1的情況下，根據公式(16)成立pl2=mx s。
K=(3x{L/(L+f2)} (15)
B=(mxs/pl2) (16)
在此配置中，在本實施例中，圖像高度校正部分149在圖像攝取數據D1 上進行圖像高度校正，以使得與微透鏡12-1相應的圖像攝取設備13上生成 的圖像(單元圖像)在預定方向上的圖像尺寸(對應于微透鏡12-1之間的間距 pl2)等于像素P在預定方向上的像素尺寸s的整數倍。這樣，在通過這樣的 圖像高度校正得到的圖像攝取數據D3上，不管光圈IO的位置(在光圈10和 微透鏡陣列12之間的距離L)如何，在圖像攝取設備13的感光面(在更靠近 微透鏡陣列12的一側上的平面)上都不會出現圖像高度偏差(圖像高度偏差量 為A的圖像高度偏差)。因此，在圖像處理部分14A使用通過進行圖像高度校 正而得到的圖像攝取數據D3來生成重構圖像時，如像在第二實施例的情況 中那樣，除了具有第一實施例的效果而外，不管主透鏡(圖像攝取透鏡ll)的 光圈位置如何，都能夠生成適合的重構圖像。
在此，雖然是參照第一、第二和第三實施例來說明本發明的，但是，本 發明并不限于這些實施例，并可以對其進行各種修改。
17例如，在第二實施例中，說明了微透鏡12-l之間的間距pl2滿足上述公式(ll)的情況，在第三實施例中，說明了由圖像高度校正部分149來進行圖像高度校正的情況。然而，例如，可以將在第二和第三實施例中說明的配置組合起來。更具體地說，微透鏡12-l之間的間距pl2可以滿足上述公式(11)，以及可以由圖像高度校正部分149來進行圖像高度校正。
此外，在上述實施例中，說明了作為圖像攝取裝置的部件的圖像處理部分14和14A。然而，圖像處理部分并非必須布置在圖像攝取裝置中。更具體地說，圖像處理部分可以安裝在除了圖像攝取裝置之外的設備例如PC(個人計算機)或類似的設備中，并可將在圖像攝取裝置中得到的圖像攝取數據傳送給PC,以便在PC中對圖像攝取數據進行圖像處理。
此外，在上述實施例中，可將光圈安裝在圖像攝取鏡頭的圖像側(出射側)上。然而，本發明并非僅限于此，也可以將光圈安裝在圖像攝取鏡頭的對象側(入射側)上或圖像攝取鏡頭中。
在上述實施例中，將片上透鏡18作為在每個像素P的光線入射側上形成的聚光部分的例子來加以描述的。然而，可以由任何其它的光折射結構、光導結構或類似的結構來實現這樣的聚光部分。
在上述實施例中，作為濾色鏡的例子，描述了具有Bayer布置的濾色鏡，其中，紅(R)、綠(G)、藍(B)三個原色的濾色鏡按照R: G: B=l: 2: l的比例以方格模式布置。然而，也可以使用具有任何其它配置的濾色鏡。例如，可
用具有如此配置的濾色鏡(互補濾色鏡)，在此配置中，將四個互補色(即黃(Y)、深紅(M)、藍綠(C)和綠(G))的濾色鏡(即黃濾色鏡、深紅濾色鏡、藍綠濾色鏡和綠濾色鏡)按照Y: M: C: G=l: 1: 1: 1的比例以方格模式布置。
在上述的實施例中，作為圖像攝取數據中的像素數據的內插處理的例子，描述了去鑲嵌(demasaic)處理處理；然而，也可以進行任何其它的內插處理。
在上述的實施例中，作為在圖像處理部分14中進行的包含排序處理的圖像處理的例子，描述了使用"光場攝影術"的再聚焦運算處理。然而，包括這樣的排序處理在內的圖像處理并非僅限于此，例如，還可以使用焦點模糊處理、場的深度調整處理或類似的處理。
本領域普通技術人員應當了解，只要在所附的權利要求或其等同的范圍內，可以根據設計要求和其它因素進行各種各樣的修改、組合、次級組合和變更。
18
權利要求
1、一種圖像攝取裝置，包括圖像攝取鏡頭部分；根據所檢測的光獲取圖像攝取數據的圖像攝取設備；微透鏡陣列部分，布置在圖像攝取鏡頭部分的焦面上，位于圖像攝取鏡頭部分和圖像攝取設備之間，包括多個微透鏡，每個微透鏡相應于圖像攝取設備的多個圖像攝取像素而提供；以及由多個聚光元件構成的聚光部分，每個聚光元件會聚進入到圖像攝取設備的每個圖像攝取像素中的光，其中，在圖像攝取設備上，在相應于每個微透鏡的像素區內，在聚光部分中的聚光元件之間的間距小于在圖像攝取像素中預定方向上的像素尺寸，在分別與微透鏡相應的像素區之間的邊界區內，聚光元件之間的間距大于在圖像攝取像素中預定方向上的像素尺寸。
2. 根據權利要求1的圖像攝取裝置，其中，在與每個微透鏡相應的每個像素區內，聚光元件的中心位置與在每個微 透鏡的中心區內的圖像攝取像素的像素中心位置相一致，并隨著移向每個微 透鏡的外圍區而逐漸從所述圖像攝取像素的像素中心位置偏離。
3. 根據權利要求1的圖像攝取裝置，進而包括圖像處理部分，用于對由圖像攝取設備獲取的圖像攝取數據進行預定的 圖像處理。
4. 根據權利要求1的圖像攝取裝置，其中，圖像攝取鏡頭部分包括光圈，并滿足下列的公式(1)， p=(mxs) x{L/(L+f)} (1)在此，p是微透鏡之間的間距，s是在預定方向上的像素尺寸，m是在預 定方向上分配給每個微透鏡的圖像攝取像素的數量(整數)，L是在光圈和微 透鏡陣列部分之間的距離，f是每個微透鏡的焦距。
5. 根據權利要求1的圖像攝取裝置，其中， 圖像攝取鏡頭部分包括光圈，以及 圖像攝取設備包括圖像高度校正部分，用于對由圖像攝取設備獲得的圖像攝取數據進行圖像高度校正，以使得在預定方向上的、由每個微透鏡在圖像攝取設備上生成 的圖像的圖像尺寸等于在子貞定方向上的圖像攝取像素的像素尺寸的整數倍。
6.根據權利要求5的圖像攝取裝置，其中，像攝取數據進行圖像高度校正， k=px{L/(L+f)} (2) (3=(mxs)/p (3)其中，p是微透鏡之間的間距，s是在預定方向上的像素尺寸，m是在預 定方向上分配給每個微透鏡的圖像攝取像素的數量(整數)，L是在光圈和微透 鏡陣列部分之間的距離，f是每個微透鏡的焦距。
全文摘要
圖像攝取設備包括圖像攝取鏡頭部分；根據被檢測的光獲取圖像攝取數據的圖像攝取設備；布置在圖像攝取鏡頭部分的焦面上，位于圖像攝取鏡頭部分和圖像攝取設備之間，包括多個微透鏡，每個微透鏡相應于圖像攝取設備的多個圖像攝取像素而提供；由多個聚光元件構成的聚光部分，每個聚光元件會聚進入到圖像攝取設備的每個圖像攝取像素中的光，其中，在圖像攝取設備上，在與每個微透鏡相應的像素區內，聚光元件之間的間距小于像素尺寸，在分別與微透鏡相應的像素區之間的邊界區內，聚光元件之間的間距大于像素尺寸。
文檔編號H04N5/225GK101500085SQ20091000984
公開日2009年8月5日 申請日期2009年1月24日 優先權日2008年1月28日
發明者市村功 申請人:索尼株式會社