攝像裝置制造方法
【專利摘要】在彩色攝像元件(26)的濾色器排列中，將沿水平及垂直方向相鄰有其他G濾光片(34G)的G濾光片(34G)和不與其他G濾光片(34G)相鄰的G濾光片(34G)分別設為密集、稀疏的G濾光片。比密集的G濾光片所對應的密集G缺陷像素的缺陷信息優先地對稀疏的G濾光片所對應的稀疏G缺陷像素的缺陷信息進行登記。由此，比密集G缺陷像素的像素值的插值處理優先地進行稀疏G缺陷像素的像素值的插值處理。
【專利說明】攝像裝置
【技術領域】
[0001]本發明涉及具備單板式的彩色攝像元件的攝像裝置，更詳細而言，涉及從周邊的周邊像素的像素值通過插值處理來求出缺陷像素的像素值的攝像裝置。
【背景技術】
[0002]數碼相機等攝像裝置多具備對通過攝影光學系統而成像于攝像面上的被攝體像進行拍攝的單板式的彩色攝像元件。多個紅(R)、綠(G)、藍(B)像素以預定圖案排列于單板式的彩色攝像元件的攝像面上(參照專利文獻I)。在單板式的彩色攝像元件中，在各像素上分別設有單色的濾色器，因此各像素僅具有單色的顏色信息。因此，彩色攝像元件的輸出圖像為RAW圖像(馬賽克圖像)，因此通過從周邊的像素對缺失的顏色的像素(以下，稱為缺失像素)進行插值的插值處理(也稱為去馬賽克算法處理，或去馬賽克算法處理，以下相同)，能得到多通道圖像。
[0003]彩色攝像元件有時因制造工序上的各種原因(例如，損傷等)而不輸出信號、或存在由暗電流等產生的暗輸出的電平大的像素即所謂缺陷像素。此時，當缺失像素的周邊像素為缺陷像素時，無法得到缺失像素的準確的顏色信息。因此，進行如下的插值處理:不使用缺陷像素的像素值(輸出值)，而使用位于其周邊的同色的周邊像素的像素值進行插值。
[0004]在專利文獻2記載的攝像裝置中，若曝光時間為標準曝光時間以內，則基于預先取得的缺陷像素的檢測結果進行插值處理，另一方面，在曝光時間比標準曝光時間長時，進行測試攝影而檢測缺陷 像素，并基于該檢測結果進行插值處理。
[0005]在專利文獻3記載的攝像裝置中，進行缺陷檢測而從缺陷電平大的缺陷像素起依次存儲于EEPR0M，基于存儲在該EEPROM內的缺陷像素信息，從缺陷電平大的缺陷像素起依次進行插值處理。
[0006]專利文獻1:日本特開2009-27684號公報
[0007]專利文獻2:日本特開2001-36821號公報
[0008]專利文獻3:日本特開號公報

【發明內容】

[0009]然而，在彩色攝像元件的濾色器排列為周知的拜耳排列時，G像素排列成棋盤式格紋(方格花紋圖案)狀。因此，沿各個G像素的水平及垂直方向沒有相鄰配置其他G像素。然而，在濾色器排列中，如專利文獻I的圖9等記載那樣，有時包括沿水平及垂直方向相鄰配置有其他G像素的G像素(以下，稱為密集的G像素)和未相鄰配置其他G像素的G像素(以下，稱為稀疏的G像素)。
[0010]此時，例如當密集的G像素為缺陷像素時，無需對與該缺陷像素沿水平及垂直方向相鄰配置的G像素進行插值處理，因此缺陷像素的影響難以擴展(例如參照圖5)。反之，在稀疏的G像素為缺陷像素時，沿水平/垂直方向相鄰配置有R像素或B像素，插值處理需要求出與這些RB像素的位置對應的G像素(缺失像素)的像素值。因此，在密集像素為缺陷像素時，該缺陷像素的影響容易擴展(例如參照圖6)。
[0011]在進行彩色攝像元件的缺陷像素的像素值的插值處理時，優選使用周邊的同色像素的像素值對全部缺陷像素的像素值進行插值處理。然而，伴隨著近年來的彩色攝像元件的高分辨率化而缺陷像素的個數增加，因此若將與全部缺陷像素相關的信息登記于存儲器等進行插值處理，則所需的存儲器的容量龐大。而且，在這種情況下，處理花費時間，因此并不現實。因此，在攝像裝置中，通常不進行關于全部缺陷像素的插值處理。
[0012]此時，在未進行插值處理的缺陷像素為稀疏的G像素的情況下，與為密集的G像素的情況相比，影響容易擴展，因此對攝影圖像的影響變大。在上述專利文獻I至3中，完全沒有考慮在稀疏像素為缺陷像素時和密集像素為缺陷像素時對攝影圖像造成的影響不同這一情況，因此可能會發生由稀疏像素的缺陷引起的攝影圖像的品質下降。
[0013]本發明的目的在于提供 一種能得到良好的攝影圖像的攝像裝置。
[0014]為了實現上述目的，本發明的一方案的發明具備:彩色攝像元件，在由沿著水平方向及垂直方向排列的光電轉換元件構成的多個像素上將多種顏色的濾色器以預定的濾色器排列配設而成，至少一種顏色的濾色器包括沿水平方向及垂直方向相鄰的同色的濾色器的第一相鄰數相對少、或者在第一相鄰數均為M(0 ^M^4)時沿傾斜方向相鄰的同色的濾色器的第二相鄰數相對少的稀疏濾光片及相對多的密集濾光片，多個像素包括與稀疏濾光片對應的稀疏像素和與密集濾光片對應的密集像素；取得單元，取得與多個像素中包含的缺陷像素相關的缺陷像素信息，該缺陷像素包括與稀疏濾光片對應的稀疏缺陷像素和與密集濾光片對應的密集缺陷像素；及插值單元，基于取得單元所取得的缺陷像素信息，根據位于該缺陷像素的周邊且位于同色的濾色器的下方的周邊像素的像素值并通過插值處理來求出缺陷像素的像素值，使稀疏缺陷像素的插值相對于稀疏像素的總像素數的第二比例高于密集缺陷像素的插值相對于密集像素的總像素數的第一比例。
[0015]在本發明的另一方案的攝像裝置中，優選的是，具備缺陷像素信息存儲單元，該缺陷像素信息存儲單元登記有缺陷像素信息，且使稀疏缺陷像素的缺陷像素信息的登記數相對于稀疏像素的總像素數的比例高于密集缺陷像素的缺陷像素信息的登記數相對于密集像素的總像素數的比例，取得單元從缺陷像素信息存儲單元取得缺陷像素信息。由此，基于登記在缺陷像素信息存儲單元中的缺陷像素信息，進行密集缺陷像素及稀疏缺陷像素的插值，由此能夠使第二比例高于第一比例。
[0016]在本發明的又一方案的攝像裝置中，優選的是，在缺陷像素信息存儲單元中登記有在攝影條件發生了變化時因各攝影條件中的任一攝影條件而產生的缺陷像素的缺陷像素信息，取得單元從缺陷像素信息存儲單元取得與攝影條件對應的缺陷像素信息。由此，即使在因攝影條件而使像素的暗輸出增減的情況下，也能夠基于與攝影條件對應的缺陷像素信息進行像素插值。
[0017]在本發明的又一方案的攝像裝置中，優選的是，攝影條件包括彩色攝像元件的增益、曝光時間及溫度中的至少任一個。
[0018]在本發明的又一方案的攝像裝置中，優選的是，濾色器排列具有:一種顏色的濾色器以對應于2X2像素以上的排列圖案相鄰配置而成的正方排列；及一種顏色的濾色器沿水平方向及垂直方向與不同于一種顏色的顏色的濾色器相鄰配置而成的孤立排列。由此，濾色器排列包含稀疏濾光片和密集濾光片。[0019]在本發明的又一方案的攝像裝置中，優選的是，一種顏色的濾色器是最有助于獲得亮度信號的第一色所對應的第一濾光片，濾色器排列包括第一濾光片和第一色以外的兩種顏色以上的第二色所對應的第二濾光片以對應于NXN(N:3以上的奇數)像素的排列圖案排列而成的基本排列圖案，該基本排列圖案沿水平方向及垂直方向反復配置。并且，優選的是，第一濾光片配置于基本排列圖案內的兩條對角線上，濾色器排列包括由第一濾光片構成的2X2像素所對應的排列圖案的正方排列。由此，濾色器排列包括稀疏濾光片和密集濾光片。
[0020]在本發明的又一方案的攝像裝置中，優選的是，在多個像素中，包括多個使稀疏像素和密集像素在水平、垂直、傾斜的各方向中的任一方向上相鄰而成的第一連像素，插值單元基于缺陷像素信息，在缺陷像素之中包含使稀疏缺陷像素與密集缺陷像素在各方向中的任一方向上相鄰而成的第一連缺陷像素時，使第一連缺陷像素的插值相對于第一連像素的總數的第三比例高于第二比例。由此，優先地進行對攝影圖像數據的畫質造成的影響強的第一連缺陷像素的插值處理。其結果是，能得到良好的攝影圖像數據。
[0021]在本發明的又一方案的攝像裝置中，優選的是，在多個像素中，包括多個使兩個稀疏像素在水平、垂直、傾斜的各方向中的任一方向上接近而成的第二連像素，插值單元基于缺陷像素信息，在缺陷像素之中包含使兩個稀疏缺陷像素在各方向中的任一方向上接近而成的第二連缺陷像素的情況下，使第二連缺陷像素的插值相對于第二連像素的總數的第四比例高于第二比例。由此，優先地進行對攝影圖像數據的畫質造成的影響強的第二連缺陷像素的插值處理。其結果是，能得到良好的攝影圖像數據。
[0022]在本發明的又一方案的攝像裝置中，優選的是，在多個像素中，包括多個使兩個密集像素在水平、垂直、傾斜的各方向中的任一方向上相鄰或接近而成的第三連像素，插值單元基于缺陷像素信息 ，在缺陷像素之中包含使兩個密集缺陷像素在各方向中的任一方向上相鄰或接近而成的第三連缺陷像素時，使第三連缺陷像素的插值相對于第三連像素的總數的第五比例高于第二比例。由此，優先地進行對攝影圖像數據的畫質造成的影響強的第三連缺陷像素的插值處理。其結果是，能得到良好的攝影圖像數據。
[0023]在本發明的又一方案的攝像裝置中，優選的是，在多個像素中，分別包括多個使稀疏像素及密集像素在水平、垂直、傾斜的各方向中的任一方向上相鄰而成的第一連像素及使兩個稀疏像素在各方向中的任一方向上接近而成的第二連像素，插值單元基于缺陷像素信息，在缺陷像素之中包含使稀疏缺陷像素與密集缺陷像素在各方向中的任一方向上相鄰而成的第一連缺陷像素和使兩個稀疏缺陷像素在各方向中的任一方向上接近而成的第二連缺陷像素時，使第二連缺陷像素的插值相對于第二連像素的總數的第四比例高于第一連缺陷像素的插值相對于第一連像素的總數的第三比例。由此，優先地進行若不進行插值處理則存在被識別為一個大的線狀缺陷的可能性的第二連缺陷像素的插值處理，因此能得到良好的攝影圖像數據。
[0024]在本發明的又一方案的攝像裝置中，優選的是，在多個像素中，包括多個使兩個密集像素在水平、垂直、傾斜的各方向中的任一方向上相鄰或接近而成的第三連像素，插值單元基于缺陷像素信息，在缺陷像素之中包含第一連缺陷像素、第二連缺陷像素、使兩個密集缺陷像素在各方向中的任一方向上相鄰或接近而成的第三連缺陷像素時，使第三連缺陷像素的插值相對于第三連像素的總數的第五比例低于第三比例及第四比例。[0025]發明效果
[0026]根據本發明的攝像裝置，在進行缺陷像素的像素值的插值處理時，使稀疏缺陷像素的插值相對于稀疏像素的總像素數的比例高于密集缺陷像素的插值相對于密集像素的總像素數的比例，因此對攝影圖像數據的畫質造成的影響強的稀疏缺陷像素的插值比密集缺陷像素的插值優先地進行。因此，從防止缺陷像素信息的存儲容量的上限、插值處理的處理時間的增大的觀點出發，即使無法實施全部缺陷像素的插值，也能夠減少稀疏缺陷像素對攝影圖像數據造成的影響。其結果是，能得到良好的攝影圖像數據。
【專利附圖】

【附圖說明】
[0027]圖1是表示第I實施方式的數碼相機的電結構的框圖。
[0028]圖2是第I實施方式的彩色攝像元件的概略圖。
[0029]圖3是構成彩色攝像元件的濾色器排列的基本排列圖案的概略圖。
[0030]圖4是表示數碼相機的像素插值處理的結構的框圖。
[0031]圖5是用于說明密集G缺陷像素對周邊像素的影響的說明圖。
[0032]圖6是用于說明 稀疏G缺陷像素對周邊像素的影響的說明圖。
[0033]圖7是表示缺陷像素信息向缺陷像素信息數據的登記處理的流程的流程圖。
[0034]圖8是用于說明稀疏G缺陷像素及密集G缺陷像素的像素值的插值處理的說明圖。
[0035]圖9是用于說明第I實施方式的數碼相機的作用的流程圖。
[0036]圖10是第1-1實施方式的彩色攝像元件的概略圖。
[0037]圖11是圖10所示的彩色攝像元件的另一實施方式的彩色攝像元件的概略圖。
[0038]圖12是第1-2實施方式的彩色攝像元件的概略圖。
[0039]圖13是第1-3實施方式的彩色攝像元件的概略圖。
[0040]圖14是表示第2實施方式的數碼相機的電結構的框圖。
[0041]圖15是用于說明稀疏/密集G缺陷像素的說明圖。
[0042]圖16是用于說明稀疏/稀疏G缺陷像素的說明圖。
[0043]圖17是用于說明密集/密集G缺陷像素的說明圖。
[0044]圖18是表示第2實施方式的缺陷像素的判定處理的流程的流程圖。
[0045]圖19是表示第2實施方式的缺陷像素信息的登記處理的流程的流程圖。
[0046]圖20是表示第3實施方式的數碼相機的電結構的框圖。
[0047]圖21是表示第3實施方式的缺陷像素信息的登記處理的流程的流程圖。
[0048]圖22是用于說明第3實施方式的數碼相機的作用的流程圖。
[0049]圖23是表示第3實施方式的另一實施方式的數碼相機的電結構的框圖。
[0050]圖24是表示第3實施方式的又一實施方式的數碼相機的電結構的框圖。
[0051]圖25是表示第4實施方式的數碼相機的電結構的框圖。
[0052]圖26是用于說明評價值計算的第一例的說明圖。
[0053]圖27是用于說明評價值計算的第二例的說明圖。
[0054]圖28是用于說明評價值計算的第三例的說明圖。
[0055]圖29是用于說明評價值計算的第四例的說明圖。[0056]圖30是用于說明評價值計算的第五例的說明圖。
[0057]圖31是表示第5實施方式的數碼相機的電結構的框圖。
[0058]圖32是表示第3實施方式的又一實施方式的數碼相機的電結構的框圖。
[0059]圖33是用于說明與圖15所示的稀疏/密集G連缺陷像素的像素值的插值處理不同的插值處理的說明圖。
【具體實施方式】
[0060][第I實施方式的數碼相機的整體結構]
[0061]如圖1所示，本發明的第I實施方式的數碼相機(攝像裝置)10的CPUll基于來自包含快門按鈕或快門開關、各種操作按鈕的操作部12的控制信號，依次執行從未圖示的存儲器讀出的各種程序、數據，集中地控制數碼相機10的各部。
[0062]向透鏡單元13裝入變焦透鏡14、聚焦透鏡15、機械快門16等。變焦透鏡14及聚焦透鏡15分別由變焦機構17、聚焦機構18驅動，沿著兩透鏡14、15的光軸前后移動。
[0063]機械快門16具有可動部(圖示省略)，該可動部在阻止被攝體光向彩色攝像元件20的入射的關閉位置與容許被攝體光的入射的打開位置之間移動。機械快門16通過使可動部向各位置移動，而將從各透鏡14、15至彩色攝像元件20的光路打開/切斷。另外，機械快門16包括對向彩色攝像元件20入射的被攝體光的光量進行控制的光圈。機械快門16、變焦機構17及聚焦機構 18經由透鏡驅動器21而由CPUll進行動作控制。
[0064]在透鏡單元13的背后配置有單板式的彩色攝像元件20。彩色攝像元件20將來自各透鏡14、15的被攝體光轉換成電輸出信號而輸出。另外，彩色攝像元件20可以是 CCD (Charge Coupled Device)彩色攝像兀件、CMOS (Complementary Metal OxideSemiconductor)彩色攝像元件等各個種類的攝像元件。攝像元件驅動器23在CPUll的控制下對彩色攝像元件20的驅動進行控制。
[0065]信號調整電路24具有相關雙重采樣處理電路、自動增益校正電路等，對來自彩色攝像元件20的輸出信號實施相關雙重采樣處理、增益放大處理。
[0066]圖像處理電路25對從信號調整電路24輸入的輸出信號實施灰度轉換、白平衡校正、Y校正處理、像素插值處理等各種處理而生成圖像數據。在該圖像處理電路25設有插值處理部(取得單元、插值單元)26。
[0067]插值處理部26取得存儲于與本發明的缺陷像素信息存儲單元相當的缺陷像素信息存儲部(以下，簡稱為存儲部)27中的信息，使用位于周邊的周邊像素的像素值對缺陷像素的像素值(輸出值)進行插值處理。另外，在此所說的“取得”也包括“參照”存儲于存儲部27的信息這一情況。而且，插值處理部26使用周邊像素的像素值對前述的缺失像素的像素值進行插值處理。
[0068]壓縮擴展處理電路29對由圖像處理電路25處理后的圖像數據實施壓縮處理。而且，壓縮擴展處理電路29對經由媒介I/F30從存儲卡31得到的壓縮圖像數據實施擴展處理。媒介I/F30進行對存儲卡31的圖像數據的記錄及讀出等。顯示部32是液晶顯示器等，對實時取景圖像、再生圖像等進行顯示。
[0069]另外，雖然圖示省略，但是在數碼相機10設有自動聚焦用的AF檢測電路、AE檢測電路等。CPUll基于AF檢測電路的檢測結果，經由透鏡驅動器21對聚焦機構18進行驅動，由此執行AF處理。而且，CPUll基于AE檢測電路的檢測結果，經由透鏡驅動器21對機械快門16進行驅動，由此執行AE處理。
[0070][彩色攝像元件的結構]
[0071]如圖2及圖3所示，彩色攝像元件20包括具有沿水平方向及垂直方向排列(二維排列)的光電轉換元件33的多個像素、在各像素的受光面的上方以預定的濾色器排列配置而成的濾色器。在此，“上方”是指被攝體光向彩色攝像元件20的攝像面入射的一側的方向。另外，“下方”是“上方”的相反側。
[0072]在各像素的上方配置有RGB三原色的濾色器(以下，稱為R濾光片、G濾光片、B濾光片)34R、34G、34B中的任一個。另外，G濾光片34G相當于本發明的第一濾光片，R濾光片34R及B濾光片34B相當于本發明的第二濾光片。
[0073]以下，將配置有R濾光片34R的像素稱為“R像素”，將配置有G濾光片34G的像素稱為“G像素”,將配置有B濾光片34B的像素稱為“B像素”。另外，圖中的“a、b、C、d、e、f>…”及“1、2、3、4、5、6、…”表示RGB像素的地址。而且，關于圖中的G濾光片34G的下標(G「工」，G「2」)，在后文敘述。
[0074]〈濾色器排列的特征〉
[0075]彩色攝像元件20的濾色器排列(以下，簡稱為濾色器排列)具有下述的特征(I)、(2)、(3)、(4)、(5)及(6)。
[0076]〔特征⑴〕 [0077]濾色器排列包括由對應于6X6像素的正方排列圖案構成的基本排列圖案P (圖中的粗框所示的圖案)，該基本排列圖案P沿水平方向及垂直方向反復配置。即，該濾色器排列中，R濾光片34R、G濾光片34G、B濾光片34B以預定的周期性排列。
[0078]這樣一來，R濾光片34R、G濾光片34G、B濾光片34B以預定的周期性排列，因此與以往已知的隨機排列相比，在進行從彩色攝像元件20讀出的R、G、B信號的去馬賽克算法處理(去馬賽克算法處理)等時，能夠按照重復圖案進行處理。
[0079]另外，在以基本排列圖案P為單位進行間拔處理而使圖像縮小時，間拔處理后的濾色器排列能夠與間拔處理前的濾色器排列相同，能夠使用共通的處理電路。
[0080]〔特征⑵〕
[0081]濾色器排列中，最有助于獲得亮度信號的顏色(在該實施方式中，為G色)所對應的G濾光片34G在濾色器排列的水平、垂直及傾斜(NE、NW)方向的各行內配置I個以上。在此，NE表示斜右上及斜左下方向，NW表示斜右下及斜左上方向。例如，在正方形的像素的排列的情況下，傾斜(NE及NW)方向成為相對于水平方向分別呈45°的方向，但若是長方形的像素的排列，則是長方形的對角線的方向，其角度根據長邊/短邊的長度而變化。
[0082]與亮度系像素對應的G濾光片34G配置于濾色器排列的水平、垂直及傾斜(NE、NW)方向的各行內，因此無論成為高頻的方向如何，都能夠提高高頻區域的像素插值處理(去馬賽克算法處理等)的重現精度。
[0083]〔特征(3)〕
[0084]基本排列圖案P中，R像素、G像素、B像素的像素數分別為8像素、20像素、8像素。即，RGB像素的各像素數的比率為2:5:2，G像素的像素數的比率大于其他顏色的R像素、B像素各自的像素數的比率。[0085]如上述那樣，G像素的像素數與R、B像素的像素數的比率不同，尤其是最有助于獲得亮度信號的G像素的像素數的比率大于R、B像素的像素數的比率。因此，能夠抑制像素插值處理(去馬賽克算法處理等)時的混淆，并且也能夠使高頻重現性良好。
[0086]〔特征⑷〕
[0087]濾色器排列的G色以外的兩種顏色以上的其他顏色(在該實施方式中，為R、B色)所對應的R濾光片34R、B濾光片34B在基本排列圖案P內，在濾色器排列的水平及垂直方向的各行內配置I個以上。
[0088]R濾光片34R及B濾光片34B分別配置于濾色器排列的水平及垂直方向的各行內，因此能夠減少彩色莫爾條紋(偽色)的發生。由此，能夠不將用于抑制偽色發生的光學低通濾波器配置于從光學系統的入射面到攝像面的光路上，或者即使在應用光學低通濾波器的情況下也可以應用用于防止偽色發生的、切斷高頻成分的作用較弱的結構。由此，能夠避免損害分辨率。
[0089]基本排列圖案P也可以被當作3X3像素的A排列35a與3X3像素的B排列35b沿水平、垂直方向交替排列而成的排列。
[0090]在A排列35a及B排列35b中，G濾光片34G配置于四角和中央，配置于兩對角線上。而且，A排列35a中，隔著中央的G濾光片34G沿水平方向排列有R濾光片34R，沿垂直方向排列有B濾光片34B。另一方面，B排列35b是使A排列35a的R濾光片34R和B濾光片34B的配置顛 倒而得到的排列。
[0091]另外，A排列35a和B排列35b的四角的G濾光片34G通過將A排列35a和B排列35b沿水平、垂直方向交替配置，而成為對應于2X2像素的正方排列的G濾光片34G。
[0092]以下，將對應于2X2像素的正方排列的G濾光片34G即沿水平及垂直方向相鄰地配置有其他G濾光片34G的G濾光片34G稱為“密集的G濾光片34G”，在圖中顯示為“G/’。而且，將密集的G濾光片34G所對應的G像素稱為“密集的G像素”。
[0093]另一方面，A排列35a及B排列35b的中心的G濾光片34G成為沿水平及垂直方向相鄰地配置有不同顏色的R、B濾光片34R、34B的孤立排列。以下，將這樣的沿水平及垂直方向未相鄰地配直其他G濾光片34G的G濾光片34G稱為“稀疏的G濾光片34G”，在圖中顯示為“G2”。而且，將稀疏的G濾光片34G所對應的G像素稱為“稀疏的G像素”。
[0094]另外，在彩色攝像元件20的濾色器排列中，在R、B濾光片34R、34B各自的水平及垂直方向上未配置同色的濾色器。
[0095]〔特征(5)〕
[0096]濾色器排列包括如前述那樣設有密集的G濾光片34G的對應于2X2像素的正方排列。將這樣的設有密集的G濾光片34G的2 X 2像素取出，求出水平方向的G像素的像素值的差的絕對值、垂直方向的G像素的像素值的差的絕對值、傾斜方向(NE，NW)的G像素的像素值的差的絕對值。由此，能夠判斷為在水平方向、垂直方向及傾斜方向中的差的絕對值小的方向存在相關性。
[0097]即，根據該濾色器排列，能夠使用最小像素間隔的G像素的信息，進行水平方向、垂直方向及傾斜方向中的相關性高的方向判別。該方向判別結果可以使用于從周邊的像素進行插值的插值處理(去馬賽克算法處理等)。
[0098]〔特征(6)〕[0099]基本排列圖案P關于其中心(4個密集的G濾光片34G的中心)形成點對稱。而且，基本排列圖案P內的A排列35a及B排列35b也分別關于中心的G濾光片34G形成點對稱。通過這樣的對稱性，能夠減小或簡化后段的處理電路的電路規模。
[0100][缺陷像素信息存儲部的結構]
[0101]如圖4所示，在存儲部27中存儲有與彩色攝像元件20的缺陷像素相關的缺陷像素信息數據37。在缺陷像素信息數據中，對應各個缺陷像素，將“登記No”、“缺陷種類”、“地址”、“像素值”登記作為單獨的缺陷像素信息(以下，簡稱為缺陷像素信息)。
[0102]“登記No”表示向缺陷像素信息數據37的登記順序。而且，“缺陷種類”表示缺陷像素的種類。在缺陷像素為密集的G像素時，登記作為密集G缺陷像素，在缺陷像素為稀疏的G像素時,登記作為稀疏G缺陷像素,在缺陷像素為R像素時,登記作為R缺陷像素,在缺陷像素為B像素時，登記作為B缺陷像素。另外，在以下的說明中，將包含密集G缺陷像素及稀疏G缺陷像素的G像素的缺陷像素稱為“G缺陷像素”。
[0103]“地址”是彩色攝像元件20的攝像面上的缺陷像素的地址[坐標(X、Y)]。例如，X坐標(xl、x2、…)由圖2及圖3所示的“1、2、3、…”中的任一個表示,Y坐標(yl、y2、…)由“a、b、c、…”中的任一個表示。而且，“像素值”是在后述的缺陷像素檢查時檢測出的缺陷像素的像素值。
[0104]在缺陷像素信息數據37中，由于存儲部27的存儲容量的關系，無法登記與彩色攝像元件20的全部缺陷像素相關的信息，而對登記數設定上限。另外，RGB像素的各像素數的比率如前述那樣為2 :5:2，因此例如在本實施方式中，“G缺陷像素的登記上限數”〉“R缺陷像素的登記上限數” =“B缺陷像素的登記上限數”。這樣的缺陷像素信息向缺陷像素信息數據37的登記例如在數碼相機10的制造廠商的檢查工序中，由缺陷像素檢查裝置(以下，簡稱為檢查裝置)40進行。
[0105][缺陷像素檢查裝置的結構]
[0106]檢查裝置40對于彩色攝像元件20的全部像素分別檢查是否為缺陷像素，將與缺陷像素相關的缺陷像素信息登記于缺陷像素信息數據37中。此時，“稀疏G缺陷像素”比“密集G缺陷像素”優先地登記于缺陷像素信息數據37中。在此，“優先地”登記是指在“密集G缺陷像素的登記數”相對于“密集的G像素的總像素數”的比例為Rl且“稀疏G缺陷像素的登記數”相對于“稀疏的G像素的總像素數”的比例為R2時，以滿足R1〈R2的方式進行登記。
[0107]將“稀疏G缺陷像素”比“密集G缺陷像素”優先地登記于缺陷像素信息數據37中
基于以下理由。
[0108]如圖5所示，在處于地址(3，d)的密集的G像素為密集G缺陷像素(圖中，標注X記號的像素)時，對于沿其水平及垂直方向相鄰配置的G像素(密集的G像素)，未成為缺失像素。在這種情況下，使用G缺陷像素的像素值對與密集G缺陷像素沿水平及垂直方向相鄰的兩個R、B像素的位置(圖中由陰影表示)所對應的G像素(以下，稱為缺失G像素)的像素值進行插值處理。因此，特別強地受到密集G缺陷像素的影響的是兩個缺失G像素的像素值。因此，密集G缺陷像素的影響難以擴展。
[0109]另一方面，如圖6所示，在處于地址(2，e)的稀疏的G像素為稀疏G缺陷像素時，沿水平及垂直方向相鄰的4個像素為R像素、B像素，因此需要使用G缺陷像素的像素值對這些相鄰4個像素的位置所對應的缺失G像素的像素值進行插值處理。通過像素插值算出的像素值較強地受到沿水平、垂直方向相鄰的像素值的影響，因此在稀疏G缺陷像素中，影響會波及相鄰4個像素的位置所對應的缺失G像素的像素值的值。因此，稀疏G缺陷像素的影響比密集G缺陷像素容易擴展，對攝影圖像的影響變大。因此，稀疏G缺陷像素的缺陷像素信息比密集G缺陷像素的缺陷信息優先地登記。
[0110]返回到圖4，檢查裝置40具有:判定彩色攝像元件20的各個像素是否為缺陷像素的判定處理部42 ;用于該判定的像素信息43和閾值信息44 ;及將缺陷像素信息登記于缺陷像素信息數據37中的登記處理部45。
[0111]像素信息43包括與彩色攝像元件20的各像素的地址信息、像素的種類(例如，稀疏的G像素、密集的G像素、R像素、B像素等)相關的信息等。
[0112]在閾值信息44中存儲有在稀疏的G像素是否為稀疏G缺陷像素的判定中使用的閾值A及在密集的G像素是否為密集G缺陷像素的判定中使用的閾值B。在作為檢查對象的像素的像素值(輸出值)為閾值以上時，被看作暗輸出的電平大的缺陷像素。閾值B被設定為比閾值A大的值。
[0113]另外，在檢查裝置40中，在判定處理部42的判定之前，例如在利用機械快門16對彩色攝像元件20的攝像面進行了遮光的遮光狀態下，進行基于彩色攝像元件20的攝像。即，預先求出遮光狀態下的彩色攝像元件20的各像素的像素值(輸出值)。如此得到的各像素的像素值表示各像素的暗輸出的電平。在此，求出各像素的暗輸出的電平的方法沒有限定為上述的方法，可以使用公知的各種方法。
[0114]判定處理部42判定在遮光狀態下得到的各像素的像素值是否為閾值以上，并且在成為閾值以上時判定為 是缺陷像素。此時，判定處理部42基于像素信息43，在檢查對象像素為稀疏的G像素時，使用“閾值A”進行判定，在檢查對象像素為密集的G像素時，使用“閾值B”進行判定。
[0115]另外，判定處理部42在檢查對象像素為R像素或B像素時，例如使用閾值A (閾值A以外的值也可)進行判定處理。
[0116]登記處理部45將與利用判定處理部42判定為缺陷像素的像素相關的缺陷像素信息在登記上限數的范圍內登記于缺陷像素信息數據37中。此時，G缺陷像素的總像素數有時會多于G缺陷像素的登記上限數。在這種情況下，登記處理部45例如從稀疏G缺陷像素的缺陷像素信息起先登記于缺陷像素信息數據37中。
[0117][缺陷像素信息的登記處理]
[0118]接下來，使用圖7，對檢查裝置40的缺陷像素信息的登記處理的流程進行說明。首先，基于來自檢查裝置40的攝像指令，在機械快門16關閉的遮光狀態下，執行基于彩色攝像元件20的攝像。從彩色攝像元件20的各像素輸出的輸出信號作為像素值向檢查裝置40輸入。
[0119]接下來，檢查裝置40的判定處理部42工作。判定處理部42開始對第一個(例如，地址(l，a))像素的判定處理。另外，檢查對象的像素的地址例如能夠根據來自彩色攝像元件20的像素值的輸出順序等來判別。判定處理部42基于檢查對象的像素的地址，參照像素信息43來判別像素的種類。
[0120]判定處理部42在第一個像素為例如“稀疏的G像素”時比較閾值A與像素值的大小。并且，在像素值> 閾值A時，判定為稀疏的G像素是稀疏G缺陷像素，反之在像素值〈閾值A時,判定為稀疏的G像素是正常像素。
[0121]另外，判定處理部42在第一個像素為例如“密集的G像素”時比較閾值B與像素值的大小。在像素值> 閾值B時，判定為密集的G像素是密集G缺陷像素，反之，在像素值〈閾值B時，判定為密集的G像素是正常像素。另外，判定處理部42在第一個像素的種類為R像素或B像素時,例如使用閾值A來判定是否為缺陷像素。
[0122]以下，判定處理部42對于第二個以后的像素，也與第一個像素的判定處理同樣地判定是否為缺陷像素。判定處理部42的判定結果向登記處理部45依次輸入。
[0123]登記處理部45在判定處理部42的判定處理結束之后，將與各缺陷像素(稀疏G缺陷像素、密集G缺陷像素、R/B缺陷像素)相關的缺陷像素信息登記于數碼相機10的缺陷像素信息數據37中。另外，如前述那樣，在G缺陷像素的總像素數多于G缺陷像素的登記上限數時，從稀疏G缺陷像素的缺陷像素信息起先登記。
[0124]在檢查裝置40中，由于設定為閾值A〈閾值B，因此稀疏的G像素比密集像素的像素值小，即，即使在暗輸出的電平低的情況下，有時也判定為稀疏G缺陷像素。因此，稀疏的G像素與密集的G像素相比被判定為缺陷像素的概率升高。其結果是，登記于缺陷像素信息數據37中的“稀疏G缺陷像素的登記數的比例R2”大于“密集G缺陷像素的登記數的比例R1”。由此，在缺陷像素信息數據37中，稀疏G缺陷像素的缺陷像素信息比密集G缺陷像素的缺陷像素信息優先地登記。
[0125]另外，在上 述實施方式中，在判定處理部42對全部像素的判定處理結束之后，將缺陷像素信息一并登記于缺陷像素信息數據37中，但也可以依次將缺陷像素信息登記于缺陷像素信息數據37中。此時，在登記于缺陷像素信息數據37的G缺陷像素的登記數達到登記上限數時，例如，只要將新的稀疏G缺陷像素的缺陷像素信息覆蓋于先登記于缺陷像素信息數據37中的密集G缺陷像素的缺陷像素信息上即可。
[0126][缺陷像素的像素值的插值處理]
[0127]插值處理部26從存儲部27取得缺陷像素信息數據37，基于該缺陷像素信息數據37，判別缺陷像素的地址。并且，基于其判別結果，插值處理部26使用同色的周邊像素的像素值對登記于缺陷像素信息數據37中的各個缺陷像素的像素值進行插值處理。
[0128]如圖8所示，插值處理部26在地址(3，d)的密集的G像素為密集G缺陷像素時，例如使用沿其水平、垂直及傾斜(NE)方向相鄰的地址(3，c)、(4，c)、(4，d)、(2，e)的各G像素的像素值，通過插值處理來求出密集G缺陷像素的像素值。
[0129]另外，插值處理部26在地址(5，b)的稀疏的G像素為稀疏G缺陷像素時，例如使用沿其傾斜(NE, NW)方向相鄰的地址(4，a)、(4，c)、(6，a)、(6，c)的各G像素的像素值，通過插值處理來求出稀疏G缺陷像素的像素值。
[0130]而且，插值處理部26在R、B像素分別為R、B缺陷像素時，使用處于接近的位置的同色的像素的像素值進行插值處理。另外，各缺陷像素的插值處理所使用的周邊像素沒有特別限定為圖8所示的例子，可以適當變更。而且，通過插值處理算出像素值的方法(式)也沒有特別限定，可以使用例如通過模擬等決定的最佳的方式等。
[0131][第I實施方式的數碼相機的作用]
[0132]接下來，使用圖9說明上述結構的數碼相機10的作用。在利用操作部12將數碼相機10的動作模式設為進行攝影的攝影模式時，CPUll經由透鏡驅動器21來控制機械快門16的動作，并經由攝像元件驅動器23來驅動彩色攝像元件20。
[0133]以預定的快門速度使機械快門16開閉，向彩色攝像元件20的RGB像素蓄積信號電荷。并且，在攝像元件驅動器23的控制下，將來自各RGB像素的輸出信號向信號調整電路24輸出。信號調整電路24在對來自各RGB像素的輸出信號實施了相關雙重采樣處理、增益放大處理等各種處理之后，將處理完的輸出信號向圖像處理電路25輸出。
[0134]圖像處理電路25的插值處理部26在數碼相機10的動作模式被設定為攝影模式時等的預定的時機進行工作，取得(參照)存儲于存儲部27的缺陷像素信息數據37。基于該缺陷像素信息數據37，插值處理部26判別成為插值處理的對象的缺陷像素的地址。
[0135]接下來，插值處理部26例如按照登記于缺陷像素信息數據37中的順序，使用圖8所示的周邊像素的像素值，通過插值處理來求出缺陷像素的輸出信號所對應的像素值。由此，執行登記于缺陷像素信息數據37中的全部缺陷像素的插值處理。
[0136]此時，稀疏G缺陷像素的插值相對于“稀疏的G像素的總像素數”的比例(第二比例)等于缺陷像素信息數據37中包含的“稀疏G缺陷像素的登記數的比例R2”。而且，密集G缺陷像素的插值相對于“密集的G像素的總像素數”的比例(第一比例)等于“密集G缺陷像素的登記數的比例R1”。由此，“稀疏G缺陷像素的插值的比例R2”> “密集G缺陷像素的插值的比例Rl ”。因此，在插值處理部26中，稀疏G缺陷像素的插值處理比密集G缺陷像素的插值處理優先地進行 。
[0137]插值處理部26在進行了缺陷像素的插值處理之后，進行缺失像素的插值處理。另外，缺失像素的插值處理為周知技術，因此省略具體的說明。伴隨著這樣的插值處理部26進行的插值處理，由圖像處理電路25實施灰度轉換、白平衡校正、Y校正處理等各種圖像處理，生成攝影圖像數據。
[0138]由圖像處理電路25生成的攝影圖像數據以一定的時機向顯示部32輸出。由此，在顯示部32顯示實時取景圖像。而且，同時地，AF處理、AE處理等攝影準備處理也同時進行。
[0139]當通過操作部12進行攝影指示時，在圖像處理電路25生成I幀量的攝影圖像數據。該攝影圖像數據由壓縮擴展處理電路29壓縮之后，經由媒介I/F30記錄于存儲卡31中。
[0140]在數碼相機10中，對攝影圖像數據的畫質造成的影響強的稀疏G缺陷像素的像素值的插值處理比密集G缺陷像素的像素值的插值處理優先地進行。因此，從防止存儲部27的存儲容量的上限、插值處理的處理時間的增大的觀點出發，即使無法實施全部缺陷像素的插值處理，也能夠減少稀疏G缺陷像素對攝影圖像數據造成的影響。其結果是，能得到良好的攝影圖像數據。
[0141][第1-1實施方式的彩色攝像元件]
[0142]在上述第I實施方式的彩色攝像元件20的G像素(G濾光片34G)中包含2個種類的稀疏/密集的G像素(G濾光片34G)，但也可以包含3個種類的稀疏/密集的G像素(G濾光片34G)。
[0143]例如，圖10所示的彩色攝像元件48的G像素中包含沿水平及垂直方向相鄰有3個其他G像素的G1像素、相鄰有I個其他G像素的G2像素、I個也不相鄰的G3像素。在這種情況下，G2像素相對于G1像素成為“稀疏的G像素”，但是相對于G3像素成為“密集的G像素”。而且，G1像素及G3像素分別相對于其他各G像素成為“密集的G像素”、“稀疏的G像素”。另外，圖中的附圖標記“P1”是構成彩色攝像元件48的濾色器排列的基本排列圖案。
[0144]在包含這樣的3個種類的稀疏/密集的G像素時，按照G3像素>G2像素W1像素的優先順序，與第I實施方式同樣地，進行缺陷像素信息的登記、缺陷像素的插值處理。
[0145]另外，圖11所示的彩色攝像元件49除了僅在G1像素的水平方向(垂直方向也可)上相鄰有兩個G像素這一點之外，與圖10所示的彩色攝像元件48基本上相同。另外，圖中的附圖標記“P2”是構成彩色攝像元件49的濾色器排列的基本排列圖案。
[0146]這樣一來在本發明中，將沿水平及垂直方向相鄰的G像素的個數相對少的G像素作為“稀疏的G像素”，比相對多的“密集的G像素”優先地進行缺陷像素信息的登記、缺陷像素的插值處理。另外，在圖10及圖11所示的實施方式中，對于G像素包含3個種類的稀疏/密集的G像素(G濾光片34G)的情況進行了說明，但是本發明也可以應用于包含4個種類以上的稀疏/密集的G像素(G濾光片34G)的情況。
[0147][第1-2實施方式的彩色攝像元件]
[0148]在上述第I實施方式的彩色攝像元件20中，將沿水平及垂直方向相鄰的G像素的個數相對少的G像素作為“稀疏的G像素”，將相對多的G像素作為“密集的G像素”，但是即使沿水平及垂直方向相鄰的G像素的個數相同，有時也設為稀疏/密集的G像素。
[0149]例如，圖12所示的彩色攝像元件50的G像素包括與上述各實施方式不同的G1像素、G2像素。另外，在圖中，R、B像素(R、B濾光片34R、34B省略了圖示)。而且，圖中的附圖標記“P3”是構成彩色 攝像元件50的濾色器排列的基本排列圖案。
[0150]在匕像素的水平及垂直方向上未相鄰配置其他G像素，但沿傾斜(NE)方向相鄰有I個其他G像素。另一方面，在G2像素的水平、垂直及傾斜(NE、NW)的各方向上I個其他G像素也未相鄰。
[0151]雖然比沿水平、垂直方向相鄰的G像素的影響低，但是通過插值處理算出的缺失G像素的像素值也受到沿傾斜(NE、NW)方向相鄰的G像素的影響。因此，可以說62像素為缺陷像素時的影響比G1像素為缺陷像素時的影響容易擴展，對攝影圖像數據的影響變大。因此，即使是沿水平及垂直方向相鄰的G像素的個數相同的M個(O < M < 4)，也將沿傾斜(NE、NW)方向相鄰的G像素(G濾光片34G)的個數相對少的G2像素設為“稀疏的G像素”，將相對多的G1像素設為“密集的G像素”。并且，與上述各實施方式同樣地，優先地進行稀疏G缺陷像素的登記、插值處理。
[0152]另外，在圖12所示的彩色攝像元件50中，沿稀疏的G像素及密集的G像素的水平、垂直方向相鄰的其他G像素的個數為0，但即使為I個以上，也可以同樣地設為稀疏/密集的G像素。
[0153][第1-3實施方式的彩色攝像元件]
[0154]在上述第I實施方式中，說明了 G像素(G濾光片34G)包含“稀疏的G像素(稀疏的G濾光片34G) ”和“密集的G像素(密集的G濾光片34G) ”的情況，但本發明沒有限定于此。例如，如圖13所示的彩色攝像元件52那樣，R像素(R濾光片34R)也可以包含“稀疏的R像素(稀疏的R濾光片34R，由圖中“R2”表示)”和“密集的R像素(密集的R濾光片34R，由圖中“R/’表示)”。在這種情況下，也與第I實施方式同樣地優先地進行稀疏R缺陷像素的登記、插值處理。另外，圖中的附圖標記“P4”是構成彩色攝像元件52的濾色器排列的基本排列圖案。
[0155]另外，在圖13所示的實施方式中，沿稀疏/密集的R像素的水平、垂直方向相鄰的其他R像素的個數沒有差別，但是與第I實施方式的G像素同樣地，沿水平、垂直方向相鄰的其他R像素的個數可以不同。
[0156]另外，在圖13所示的實施方式中，說明了稀疏/密集的R像素(R濾光片34R)，但是本發明也同樣地能夠應用于B像素(B濾光片34B)包含稀疏/密集的B像素(B濾光片34B)的情況。
[0157][第2實施方式的數碼相機的整體結構]
[0158]接下來，使用圖14，對本發明的第2實施方式的數碼相機55進行說明。在上述第I實施方式的數碼相機10中，將各個缺陷像素(稀疏G缺陷像素、密集G缺陷像素、R/B缺陷像素)的缺陷像素信息登記于缺陷像素信息數據37中，進行缺陷像素的插值處理。相對于此，在數碼相機55中，進行各個缺陷像素相鄰或接近地配置而成的連缺陷像素的缺陷信息的登記及插值處理。
[0159]數碼相機55除了與第I實施方式不同的將缺陷像素信息數據57存儲于存儲部27中這一點之外，與第I實施方式基本上為相同的結構。因此，關于與上述第I實施方式在功能/結構上相同的要素，標注同一附圖標記而省略其說明。另外，在第2實施方式以后的各實施方式中，為了防止說明的復雜化，對僅G像素產生缺陷的情況進行說明。
[0160]在缺陷像素信息 數據57中，作為G缺陷像素，除了前述的稀疏G缺陷像素、密集G缺陷像素的缺陷像素信息以外，還包括稀疏/密集G連缺陷像素(第一連缺陷像素)、稀疏/稀疏G連缺陷像素(第二連缺陷像素)及密集/密集G連缺陷像素(第三連缺陷像素)的缺陷像素信息。
[0161]如圖15所示，稀疏/密集G連缺陷像素是稀疏G缺陷像素與密集G缺陷像素沿水平、垂直及傾斜(NE、NW)的各方向中的任一方向(在圖中，為NE方向)上相鄰而成的連缺陷像素。另外，不管有無缺陷，都將稀疏的G像素與密集的G像素在各方向中的任一方向上相鄰而成的結構稱為“稀疏/密集G像素”(第一連像素)。
[0162]如圖16所示，稀疏/稀疏G連缺陷像素是將兩個稀疏G缺陷像素沿水平、垂直及傾斜(NE、NW)的各方向中的任一方向(在圖中，為水平方向)上接近而成的連缺陷像素。在此所說的“接近”是指雖然未相鄰但處于接近的位置(例如幾像素間距以內)。另外，不管有無缺陷，都將兩個稀疏的G像素在各方向中的任一方向上接近而成的結構稱為“稀疏/稀疏G像素”(第二連像素)。
[0163]如圖17所示，密集/密集G連缺陷像素是將兩個密集G缺陷像素沿水平、垂直及傾斜(NE、NW)的各方向中的任一方向(在圖中，為水平方向)上相鄰而成的連缺陷像素。另外，不管有無缺陷，都將兩個密集的G像素沿各方向中的任一方向上相鄰而成的結構稱為“密集/密集G像素”(第三連像素)。而且，密集/密集G連缺陷像素也可以包含將兩個密集G缺陷像素沿各方向中的任一方向上接近而成的連缺陷像素(由圖中的虛線的X記號表不)。
[0164]返回到圖14，各缺陷像素的缺陷像素信息向缺陷像素信息數據57的登記使用檢查裝置59進行。檢查裝置59將各G連缺陷像素的缺陷像素信息比稀疏G缺陷像素的缺陷像素信息優先地登記。而且，檢查裝置59按照稀疏/稀疏G連缺陷像素 > 稀疏/密集G連缺陷像素 > 密集/密集G連缺陷像素的順序將缺陷像素信息優先地登記于缺陷像素信息數據57中。
[0165]在此所說的“優先地”登記是指，在將“稀疏/密集G連缺陷像素的登記數”相對于“稀疏/密集G像素的總數”的比例設為R3、將“稀疏/稀疏G連缺陷像素的登記數”相對于“稀疏/稀疏G像素的總數”的比例設為R4且將“密集/密集G連缺陷像素的登記數”相對于“密集/密集G像素的總數”的比例設為R5時，以滿足R4>R3>R5>R2>R1的方式進行登記。
[0166]各G連缺陷像素的影響因兩個缺陷像素相鄰或接近而比稀疏G缺陷像素容易擴展，因此對攝影圖像的影響更大。因此，各G連缺陷像素的缺陷像素信息比稀疏G缺陷像素的缺陷信息優先地登記。尤其是稀疏/稀疏G連缺陷像素的情況下，稀疏G缺陷像素彼此雖然未相鄰，但是若不進行插值處理則存在被識別為一個大的線狀缺陷的可能性。而且，這是因為，在稀疏/密集G連缺陷像素的情況下，雖然其一方是密集G缺陷像素，但使用該密集G缺陷像素的插值處理后的像素值進行另一方的稀疏G缺陷像素的插值處理。
[0167]檢查裝置59除了前述的像素信息43之外，還具有與第I實施方式的檢查裝置40不同的閾值信息60、判定處理部61及登記處理部62。
[0168]在閾值信息60中，除了前述的閾值A、B之外，還存儲有在稀疏/密集G像素是否為稀疏/密集G連缺陷像素的判定中使用的閾值C、在稀疏/稀疏G像素是否為稀疏/稀疏G連缺陷像素的判定中使用的閾值D、在密集/密集G像素是否為密集/密集G連缺陷像素的判定中使用的閾值E。各閾值基于前述的登記的優先順序，以該優先順序高的一方比低的一方的閾值小的方式成為閾值D〈閾值C〈閾值E〈閾值A〈閾值B。
[0169]判定處理部61基于與前述的第I實施方式同樣地在遮光狀態下得到的各像素的像素值和閾值A~E，判定各像素是否為缺陷像素，并且在是缺陷像素時判定其種類。以下，具體說明判定處理部61的缺陷像素判定處理。
[0170][第2實施方式的缺陷像素判定處理]
[0171]如圖18所示，判定處理部61首先判定檢查對象的G像素(以下，簡稱為檢查對象像素)的像素值是否小于閾值A~E中的最小的閾值D(S1)。并且，在像素值小于閾值D時，判定處理部61判定檢查對象像素是否為正常像素。
[0172]另一方面，在判定SI中檢查對象像素的像素值為閾值D以上時，判定處理部61基于像素信息43，判定處于檢查對象像素的周邊(相鄰或接近位置)的G像素(以下，稱為周邊像素)是否存在成為G缺陷像素的可能性(S2)。具體而言，判定周邊像素的像素值是否為閾值D以上。
[0173]在判定S2中周邊像素沒有成為G缺陷像素的可能性時，判定處理部61基于像素信息43，判定檢查對象像素是否為稀疏的G像素(S3)。并且，在檢查對象像素為稀疏的G像素的情況下，若該檢查對象像素的像素值為閾值A以上，則判定為檢查對象像素為稀疏G缺陷像素，反之若小于閾值A，則判定為檢查對象像素為正常像素(S4)。
[0174]另外，在判定S3中判定為檢查對象像素為密集的G像素時，若該檢查對象像素的像素值為閾值B以上，則判定處理部61判定為檢查對象像素為密集G缺陷像素，反之若小于閾值B，則判定處理部61判定為正常像素(S5)。[0175]返回到判定S2，在周邊像素存在成為G缺陷像素的可能性(像素值> 閾值D)時，判定處理部61基于像素信息43，判定檢查對象像素(閾值D以上:判定SI)是否為稀疏的G像素(S6)。
[0176]在判定S6中檢查對象像素(閾值D以上)為稀疏的G像素時，判定處理部61基于像素信息43，判定周邊像素(閾值D以上:判定S2)是否為稀疏的G像素(S7)。在周邊像素(閾值D以上)為稀疏的G像素時，檢查對象像素及周邊像素均為稀疏的G像素，且兩者的像素值為閾值D以上。因此，判定處理部61將檢查對象像素及周邊像素判定為稀疏/稀疏G連缺陷像素。
[0177]反之，在判定S7中判定為周邊像素(閾值D以上)為密集的G像素時，判定處理部61判定檢查對象像素(稀疏的G像素、閾值D以上)及周邊像素(密集的G像素、閾值D以上)的像素值是否均為閾值C以上(S8)。
[0178]在判定S8中檢查對象像素及周邊像素的像素值均為閾值C以上時，判定處理部61將檢查對象像素及周邊像素判定為稀疏/密集G連缺陷像素。而且，在兩者的像素值的一方小于閾值C時,前進至前述的判定S4,判定處理部61判定檢查對象像素(稀疏的G像素、閾值D以上)是否為稀疏G缺陷像素。
[0179]返回到判定S6，在檢查對象像素(閾值D以上)為密集的G像素時，判定處理部61基于像素信息43，判定周邊像素(閾值D以上)是否為稀疏的G像素(S9)。并且，在周邊像素(閾值D以上)為稀疏的G像素時,前進至前述的判定S8。 [0180]另外,在判定S9中判定為周邊像素(閾值D以上)為密集的G像素時,判定處理部61判定檢查對象像素(密集的G像素，閾值D以上)及周邊像素(密集的G像素，閾值D以上)的像素值是否均為閾值E以上(SlO)。
[0181]在檢查對象像素及周邊像素的像素值均為閾值E以上時，判定處理部61將檢查對象像素及周邊像素判定為密集/密集G連缺陷像素。而且，在兩者的像素值的一方小于閾值E時,前進至前述的判定S5,判定處理部61判定檢查對象像素(密集的G像素、閾值D以上)是否為密集G缺陷像素。以上，判定處理部61進行的缺陷像素判定處理全部結束。
[0182]返回到圖14，登記處理部62與第I實施方式的登記處理部45基本上相同，將由判定處理部61判定出的缺陷像素的缺陷像素信息在登記上限數的范圍內登記于缺陷像素信息數據57。其中，登記處理部62以滿足“稀疏/稀疏G連缺陷像素的登記數的比例R4”>“稀疏/密集G連缺陷像素的登記數的比例R3” > “密集/密集G連缺陷像素的登記數的比例R5”> “稀疏G缺陷像素的登記數的比例R2”> “密集G缺陷像素的登記數的比例R1”的方式進行登記。
[0183][第2實施方式的缺陷像素信息的登記處理]
[0184]如圖19所示，檢查裝置59的缺陷像素信息的登記處理除了進行圖18所示的缺陷像素判定處理這一點之外，與第I實施方式的缺陷像素信息的登記處理基本上相同，因此省略具體的說明。通過該登記處理，按照稀疏/稀疏G連缺陷像素 > 稀疏/密集G連缺陷像素 > 密集/密集G連缺陷像素 > 稀疏G缺陷像素 > 密集G缺陷像素的優先順序，來登記缺陷像素信息。
[0185]另外，也可以取代將各缺陷像素信息一并登記于缺陷像素信息數據57這一情況，而依次將缺陷像素信息向缺陷像素信息數據57登記。此時，在全部像素的判定處理結束之前而缺陷像素的登記數達到了登記上限數的情況下，只要將優先順序相對高的缺陷像素的缺陷像素信息覆蓋于先登記的優先順序相對低的缺陷像素的缺陷像素信息上即可。
[0186][缺陷像素的像素值的插值處理]
[0187]返回到圖14，插值處理部26與第I實施方式同樣地，從存儲部27取得缺陷像素信息數據57，進行各缺陷像素的插值處理。另外，在缺陷像素為稀疏/密集G連缺陷像素時，如圖15中的箭頭所示，通過插值處理求出密集G缺陷像素及稀疏G缺陷像素的像素值。具體而言，使用沿水平、垂直及傾斜方向(在圖中，為上、右、斜右上方向)相鄰的3個G像素的像素值，通過插值處理來求出密集G缺陷像素的像素值。而且，使用沿傾斜方向(在圖中，斜左上、斜左下、斜右下方向)相鄰的3個G像素的像素值，通過插值處理來求出稀疏G缺陷像素的像素值。
[0188]稀疏/密集G連缺陷像素的插值相對于稀疏/密集G像素的總數的比例等于前述的比例R3 (第三比例)。而且，稀疏/稀疏G連缺陷像素的插值相對于稀疏/稀疏G像素的總數的比例等于前述的比例R4 (第四比例)。此外，密集/密集G連缺陷像素的插值相對于密集/密集G像素的總數的比例等于前述的比例R5 (第五比例)。另外，稀疏G缺陷像素及密集G缺陷像素的插值的比例分別為前述的比例R2、比例Rl。 [0189]另外，第2實施方式的數碼相機55的作用與圖9所示的第I實施方式基本上相同，因此這里省略說明。在數碼相機55中，也是前述的優先順序相對高的缺陷像素的插值處理比優先順序相對低的缺陷像素的插值處理優先地進行，因此能得到良好的攝影圖像數據。
[0190][第3實施方式的數碼相機的整體結構]
[0191]接下來，使用圖20，對于本發明的第3實施方式的數碼相機65進行說明。在上述第I及第2實施方式的數碼相機10、55中，與彩色攝像元件20的攝影增益(例如ISO感光度)的高低無關地使用共通的缺陷像素信息數據37、57進行像素插值處理，但是在數碼相機65中，根據攝影增益的高低而使用不同的缺陷像素信息數據進行像素插值處理。
[0192]數碼相機65除了在存儲部27中存儲有3個種類的第一、第二及第三缺陷像素信息數據37a、37b、37c這一點之外,與第2實施方式基本上為相同結構。因此，對于與上述第2(第I)實施方式在功能/結構上相同的要素，標注同一附圖標記而省略其說明。
[0193]在第一缺陷像素信息數據57a中登記有攝影增益被設定為例如IS0100以上且小于IS0800時的缺陷像素的缺陷像素信息。在第二缺陷像素信息數據57b中登記有攝影增益被設定為例如IS0800以上且小于IS06400時的缺陷像素的缺陷像素信息。在第三缺陷像素信息數據57c中登記有攝影增益被設定為例如IS06400以上時的缺陷像素的缺陷像素信息。這是因為，攝影增益越高則各像素的暗輸出越增加，由此存在有如下像素:在攝影增益低時，幾乎不會對攝影圖像數據的畫質造成影響，但是在攝影增益高時，會對攝影圖像數據的畫質造成影響。
[0194]缺陷像素信息向各缺陷像素信息數據57a~57c的登記通過檢查裝置67進行。檢查裝置67除了具備閾值信息表68、判定處理部69這一點之外，與第2實施方式的檢查裝置59基本上為相同結構。
[0195]在閾值信息表68中，根據攝影增益的各范圍(“IS0100以上且小于IS0800:在圖中顯示為IS0100”，“IS0800以上且小于IS06400:在圖中顯示為IS06400以上”，“IS06400以上”)，分別設定有在前述的各缺陷像素的判定中使用的閾值。[0196]攝影增益越高則各像素的暗輸出越增加，因此越容易檢測出缺陷像素。因此，當攝影增益越高而未較高地設定閾值時，缺陷像素的登記數增大，從存儲部27讀出缺陷像素信息的時間增加，并且缺陷像素的插值處理所需的時間增加。而且，在高頻的被攝體中，由于缺陷像素的插值處理而可能會產生誤插值。因此，各閾值被設定為隨著攝影增益升高而升高。另外，在攝影增益高的情況下，缺陷像素埋藏于噪聲中，因此與增益倍數相比將各閾值較低地設定。
[0197]判定處理部69基于閾值信息表68的在各ISO感光度的范圍內確定出的閾值和各像素的像素值(暗輸出)，在各ISO感光度的范圍內判定各像素是否為缺陷像素，并且在為缺陷像素時判定其種類。
[0198][第3實施方式的缺陷像素信息的登記處理]
[0199]如圖21所示，在取得了全部像素的像素值之后，判定處理部69首先將閾值信息表68的以“IS0100以上且小于IS0800”設定的各閾值決定作為在缺陷像素判定處理中使用的閾值。并且，判定處理 部69基于所決定的閾值和各像素的像素值(暗輸出)，對全部像素如圖18所示地進行缺陷像素判定處理。
[0200]接下來，登記處理部62與第2實施方式同樣地將與由判定處理部69判定為缺陷像素的像素相關的缺陷像素信息登記于第一缺陷像素信息數據57a中。在該登記處理后，判定處理部69將閾值信息表68的以“IS0800以上且小于IS06400”設定的各閾值決定作為在下一缺陷像素判定處理中使用的閾值。以下，同樣地，進行判定處理部69的缺陷像素判定處理，將缺陷像素信息登記于第二缺陷像素信息數據57b中。
[0201]而且，在將缺陷像素信息向第二缺陷像素信息數據57b登記后，基于閾值信息表68的以“IS06400以上”設定的閾值，進行缺陷像素判定處理，將缺陷像素信息登記于第三缺陷像素信息數據57c中。在各缺陷像素信息數據57a、57b、57c中，與第2實施方式同樣地，以滿足前述的比例R4>比例R3>比例R5>比例R2>比例Rl的方式登記缺陷像素信息。
[0202][第3實施方式的數碼相機的作用]
[0203]如圖22所示，第3實施方式的數碼相機65的作用基本上與第2(第I)實施方式相同。其中，數碼相機65的插值處理部26例如基于從CPUll等取得的攝影增益(在本實施方式中，為ISO感光度)的信息，從存儲部27內的各缺陷像素信息數據57a~57c之中選擇/取得與攝影增益對應的數據，進行缺陷像素的插值處理。與第2實施方式同樣地，前述的優先順序相對高的缺陷像素的插值處理比優先順序相對低的缺陷像素的插值處理優先地進行，因此能得到良好的攝影圖像數據。
[0204][第3-1實施方式的數碼相機]
[0205]在上述第3實施方式的數碼相機65中，使用根據攝影增益而不同的缺陷像素信息數據進行像素插值處理，但例如如圖23所示，也可以使用根據彩色攝像元件20的曝光時間而不同的缺陷像素信息數據進行插值處理。這是因為，在曝光時間長的情況下，也與攝影增益高的情況同樣地使各像素的暗輸出增加。另外，具體的缺陷像素信息數據的登記處理、缺陷像素的插值處理與第3實施方式相同，因此這里省略說明。
[0206][第3-2實施方式的數碼相機]
[0207]另外，如圖24所示，也可以使用根據彩色攝像元件20的溫度(以下，稱為元件溫度)而不同的缺陷像素信息數據進行插值處理。這是因為，在元件溫度高的情況下，也與攝影增益高的情況同樣地使各像素的暗輸出增加。
[0208]第3-2實施方式的插值處理部26基于來自對元件溫度進行計測的溫度傳感器71的元件溫度信息，從存儲部27內的各缺陷像素信息數據57a~57c之中選擇/取得對應的數據，進行缺陷像素的插值處理。另外，缺陷像素信息的登記處理、缺陷像素的插值處理與第3實施方式相同，因此這里省略說明。
[0209][第3、第3-1、第3-2實施方式的其他]
[0210]在上述第3、第3-1、第3-2實施方式中，將攝影增益、曝光時間、元件溫度等攝影條件分成3個階段的范圍而設置與各個范圍對應的缺陷像素信息數據，但也可以將攝影條件分成2個階段或4個階段以上的范圍而設置各范圍的缺陷像素信息數據。而且，還可以將存儲于存儲部27內的各缺陷像素信息數據匯總為I個數據進行存儲。
[0211]在上述第3、第3-1、第3-2實施方式中，作為對像素的暗輸出造成影響的攝影條件，列舉了攝影增益、曝光時間、元件溫度作為例子，但也可以設置根據除此以外的對像素的暗輸出造成影響的各種攝影條件而不同的缺陷像素信息數據。另外，在缺陷像素的判定中使用的閾值也同樣。
[0212][第4實施方式的數碼相機的結構]
[0213]接下來，使用圖25，對本發明的第4實施方式的數碼相機75進行說明。在上述第I實施方式的數碼相機75中，對于稀疏G缺陷像素彼此的插值處理、缺陷像素信息登記處理未設置優先順序，但是在數碼相機75中，對于各個稀疏G缺陷像素的插值處理、登記處理也設置優先順序。 [0214]數碼相機75除了與第I實施方式的數碼相機10不同的將缺陷像素信息數據76存儲于存儲部27這一點之外，與第I實施方式基本上為相同的結構。因此，對于與上述第I實施方式在功能/結構上相同的要素，標注同一附圖標記而省略其說明。而且，為了防止說明的復雜化，缺陷像素的種類僅限定為稀疏G缺陷像素進行說明。
[0215]在缺陷像素信息數據76中，將稀疏G缺陷像素的缺陷像素信息按對應各個稀疏G缺陷像素求出的評價值高的順序優先地登記。該評價值通過檢查裝置78求出。檢查裝置78根據與相鄰于稀疏G缺陷像素的周邊的R、B像素的進一步周邊相鄰的G像素(以下，稱為接近G像素)的位置、個數來求出評價值。
[0216]如圖26所示，在地址(3，c)的稀疏的G像素為稀疏G缺陷像素且其周邊不存在接近G像素時，使用稀疏G缺陷像素的像素值來求出與周圍的全部R、B像素的位置對應的缺失G像素的像素值。因此，稀疏G缺陷像素的影響較強地波及相鄰的全部缺失G像素的像素值。在這樣的情況下，將評價值設為“I” XS = S0
[0217]如圖27所示，在地址(1，e)存在I個接近G像素時，地址(2，d)的缺失G像素的像素值受到稀疏G缺陷像素的一半影響。因此，地址(2，d)的缺失G像素為“0.5”，其他缺失G像素為“1”，因此評價值為0.5+(I X 7) = 7.5。
[0218]如圖28所示，在地址(2、d)的缺失G像素的沿垂直方向(圖中下方)相鄰的位置存在接近G像素[地址(2、e)]時，該缺失G像素的像素值與沿傾斜方向相鄰的稀疏G缺陷像素相比，較強地受到沿垂直方向(水平方向也同樣)相鄰的接近G像素的影響。因此，若在水平及垂直方向上進行傾斜方向的倍數的加權，則對于缺失G像素的稀疏G缺陷像素的影響為1/3，因此地址(2、d)的缺失G像素為“0.33”。而且，地址(3、d)的缺失G像素受到稀疏G缺陷像素的影響變強，因此為“0.67”，其他缺失G像素為“ I ”。其結果是，評價值為0.33+0.67+(I X6) = 7。
[0219]如圖29所示，在地址(2，e)、(3，e)存在接近G像素時，也按照同樣的法則，將地址(2，d)、(3，d)、(4，d)的缺失G像素分別設為“0.25”、“0.4”、“0.5”，將其他缺失G像素設為“I”。其結果是，評價值為0.25+0.4+0.5+(I X5) =6.15。
[0220]如圖30所示，在地址(2，e)、(3，e)、(2，e)存在接近G像素時，也按照同樣的法則，將地址(2，d)、(3，d)、(4，d)的缺失G像素分別設為“0.25”、“0.16”、“0.25”，將其他缺失G像素設為“I”。其結果是，評價值為0.25+0.16+0.25+(I X5) =5.66。
[0221]如此根據接近像素的位置、個數來確定評價值。另外，在上述的評價值計算中，將沿水平/垂直方向相鄰的接近G像素的加權設為沿傾斜方向相鄰的接近G像素的加權的倍數，但加權的量可以適當變更。
[0222]返回到圖25，檢查裝置78除了具備評價值計算部79、登記處理部80這一點之外基本上與第I實施方式的檢查裝置40相同。在通過判定處理部42將檢查對象像素判定為“稀疏G缺陷像素”時，評價值計算部79如前述的圖26至圖30所示那樣算出評價值。
[0223]登記處理部80與第I實施方式的登記處理部45同樣地，將稀疏G缺陷像素的缺陷像素信息比密集G缺陷像素的缺陷像素信息優先地登記于缺陷像素信息數據76中。而且，登記處理部80在登記與稀疏G缺陷像素相關的缺陷像素信息時，對由評價值計算部79算出的評價值高的缺 陷像素信息優先地登記。
[0224]在此，“優先地登記”是指以“評價值相對高的稀疏G缺陷像素的登記數”相對于“稀疏的G像素的總像素數”的比例高于“評價值相對低的稀疏G缺陷像素的登記數”相對于“稀疏的G像素的總像素數”的比例的方式，進行缺陷像素信息的登記。另外，可以將評價值相對高的稀疏G缺陷像素的缺陷像素信息比評價值相對低的稀疏G缺陷像素的缺陷像素信息先登記于缺陷像素信息數據76中。
[0225]另外，第4實施方式的缺陷像素信息的登記處理如前述那樣，除了將評價值相對高的稀疏G缺陷像素的缺陷像素信息向缺陷像素信息數據76優先地登記這一點之外，與上述第I實施方式基本上相同，因此這里省略說明。而且，第4實施方式的數碼相機75的作用也與圖9所示的第I實施方式基本上相同，因此這里省略說明。在數碼相機75中，將稀疏G缺陷像素之中的對周圍的缺失G像素的像素值造成的影響大(評價值高)的像素的缺陷像素信息也優先地登記于缺陷像素信息數據76中而優先地進行插值處理，因此能得到更良好的攝影圖像數據。
[0226][第4實施方式的其他]
[0227]在上述第4實施方式中，舉例說明了對稀疏G缺陷像素的像素插值處理、登記處理設置優先順序的情況，但是對于其他種類的G缺陷像素也可以同樣地對像素插值處理、登記處理設置優先順序。另外，關于R、B像素缺陷也同樣。
[0228][第5實施方式的數碼相機的結構]
[0229]接下來，使用圖31，對本發明的第5實施方式的數碼相機83進行說明。在上述各實施方式的數碼相機中，將通過外部的檢查裝置而得到的缺陷像素信息登記于缺陷像素信息數據中，但數碼相機83具有進行缺陷像素的判定和缺陷像素信息的登記的功能。
[0230]數碼相機83除了例如在圖像處理電路25內具有缺陷像素檢查電路84這一點之外，與第I實施方式的數碼相機10基本上為相同結構。缺陷像素檢查電路84具有與上述各實施方式的檢查裝置40、59、67、78的任一個同等的功能。缺陷像素檢查電路84在數碼相機75的電源為接通時，在動作模式切換為攝影模式時，或者在每一定期間的任意的時機，進行前述的缺陷像素的判定處理和登記處理。由此，也能夠應對因經時變化而新產生的像素缺陷、即所謂的后發性缺陷。
[0231][其他]
[0232]在上述第3實施方式的數碼相機65中，如圖20所示，將根據攝影條件(例如攝影增益、曝光時間、元件溫度)而不同的缺陷像素信息數據存儲于存儲部27，從該存儲部27取得與攝影條件對應的缺陷像素信息數據而進行像素插值處理，但本發明沒有限定于此。例如也可以如圖32所示的數碼相機55a那樣，具備缺陷像素信息數據57作為I個數據，從該缺陷像素信息數據57取出與攝影條件對應的缺陷像素信息。
[0233]在缺陷像素信息數據57中，登記有在攝影條件發生了變化時因各攝影條件(圖20等所示的攝影條件的范圍)中的任一攝影條件而產生的缺陷像素的缺陷像素信息。
[0234]插值處理部26a在登記于缺陷像素信息數據57的缺陷像素信息之中，取得像素值為例如對應各攝影條件(攝影條件的種類、范圍)及對應各缺陷像素的種類而分別預先規定的閾值以上的缺陷像素信息，進行像素插值處理。或者，插值處理部26a例如將登記于缺陷像素信息數據57中的各缺陷像素信息的像素值乘以對應各攝影條件及對應各缺陷像素的種類而分別預先規定的系數或函數，取得乘以系數等之后的像素值為預定值以上的缺陷像素信息。另外，與攝影條件對應的缺陷圖像信息的取得方法并未限定為上述方法，可以采取各種方法。 [0235]這樣一來，即使在從I個缺陷像素信息數據57取得與攝影條件對應的缺陷像素信息的情況下，也能得到與前述的第3實施方式同樣的效果。
[0236]另外，在數碼相機55a中，也可以與第5實施方式的數碼相機65同樣地進行缺陷像素的判定和缺陷像素信息的登記。在這種情況下，例如可以存儲全部像素的像素值，將像素值為前述的閾值以上的像素、或者乘以前述的系數等的像素值為預定值以上的像素作為缺陷像素，取得與該缺陷像素相關的缺陷像素信息。在這種情況下，也能防止插值處理的處理時間的增加。
[0237]在上述第2實施方式中，在進行稀疏/密集G連缺陷像素的像素值的插值處理時，如圖15所示，使用與稀疏G缺陷像素及密集G缺陷像素分別相鄰的3個G像素的像素值進行插值處理，但本發明沒有限定于此。例如也可以如圖33中的箭頭所示，在通過插值處理先求出密集G缺陷像素的像素值之后，使用該像素值和沿傾斜方向與稀疏G缺陷像素相鄰的其他G像素的像素值，通過插值處理來求出稀疏G缺陷像素的像素值。
[0238]本發明的彩色攝像元件的濾色器排列沒有限定為圖2等所示的排列圖案，只要是在至少一種顏色的濾色器中包含“稀疏濾光片”和“密集濾光片”那樣的排列圖案即可。例如，濾色器排列可以由沿水平及垂直方向反復配置的NXN像素(N為3以上)所對應的排列圖案的基本排列圖案構成，且沿著該基本排列圖案的兩條對角線配置G濾光片34G (第一色的濾光片)。在這種情況下，濾色器排列包括G濾光片34G(第一色的濾光片)以2X2像素以上所對應的排列圖案相互沿水平及垂直方向相鄰配置的正方排列、G濾光片34G(第一色的濾光片)的孤立排列。[0239]在上述第2實施方式以后的各實施方式中，說明了在G像素(G濾光片34G)中包含“稀疏的G像素(稀疏的G濾光片34G) ”和“密集的G像素(密集的G濾光片34G) ”的情況，但是在R、B像素(R、B濾光片34R、34B)中也可以包含“稀疏的R、B像素(稀疏的R濾光片34R、34B) ”和“密集的R、B像素(密集的R濾光片34R、34B) ”。而且，在全部實施方式中，在兩種顏色以上的像素(濾色器)中可以包含“稀疏像素(稀疏濾光片)”和“密集像素(密集濾光片)”。
[0240]在上述第I實施方式中，將“稀疏G缺陷像素的插值處理數/登記數的比例R2”> “密集G缺陷像素的插值處理數、登記數的比例R1”這一情況定義為優先地進行稀疏G缺陷像素的插值處理/登記，但本發明沒有限定于此。例如，也可以將“稀疏G缺陷像素的插值處理/登記”比“密集G缺陷像素的插值處理、登記”先進行這一情況作為優先。如前述那樣，由于數碼相機的缺陷像素的插值處理數/登記數存在上限，因此在先進行“稀疏G缺陷像素的插值處理/登記”的情況下，前述的比例R2>比例Rl。而且，對于第I實施方式以外的各實施方式，也可以使優先順序相對高的缺陷像素的插值處理/登記比優先順序相對低的缺陷像素的插值處理/登記先進行。
[0241]另外，在上述第I實施方式中，可以將“稀疏G缺陷像素的插值處理數/登記數”大于“密集G缺陷像素的插值處理數、登記數”這一情況作為“優先地插值處理/登記”。此外，對于第I實施方式以外的各實施方式，也可以設為“優先順序相對高的缺陷像素的插值處理數/登記數” > “優先順序相對低的缺陷像素的插值處理數/登記數”。
[0242]在上述各實施方式中，說明了 RGB三原色的濾色器的濾色器排列，但也可以是例如RGB三原色+其他顏色(例如、翠綠色(E))這四種顏色的濾色器的濾色器排列，濾色器的種類沒有特別限定。而且，本發明也可以應用于原色RGB的互補色的C(青色)、M(品紅色)、Y(黃色)的濾色器的濾色器排列中。
[0243]在上述的各實施方式中，舉例說明了數碼相機作為本發明的具備彩色攝像元件的攝像裝置，但是本發明也可以應用于例如內窺鏡等各種攝像裝置中。
[0244]此外，本發明沒有限定為上述的實施方式，在不脫離本發明的主旨的范圍內能夠進行各種變形，這是不言而喻的。
[0245]附圖標記說明
[0246]10、48、49、50、52、55、65、75…數碼相機，20…彩色攝像元件，25…圖像處理電路，26…插值處理部，27…缺陷像素信息存儲部，34R...R濾光片，34G…G濾光片，34Β…B濾光片，37、57a~57c、76…缺陷像素信息數據，40、67、78...缺陷像素檢查裝置，42、69...判定處理部，43...像素信息，44...閾值信息，45、62…登記處理部，P、P1、P2、P3、P4…基本排列圖案。
【權利要求】
1.一種攝像裝置，具備: 彩色攝像元件，在由沿著水平方向及垂直方向排列的光電轉換元件構成的多個像素上將多種顏色的濾色器以預定的濾色器排列進行配設而成，至少一種顏色的上述濾色器包括沿上述水平方向及垂直方向相鄰的同色的上述濾色器的第一相鄰數相對少、或者在上述第一相鄰數均為M時沿傾斜方向相鄰的同色的上述濾色器的第二相鄰數相對少的稀疏濾光片及相對多的密集濾光片，上述多個像素包括與上述稀疏濾光片對應的稀疏像素和與上述密集濾光片對應的密集像素，其中O < M < 4 ; 取得單元，取得與上述多個像素中包含的缺陷像素相關的缺陷像素信息，上述缺陷像素包括與上述稀疏濾光片對應的稀疏缺陷像素和與上述密集濾光片對應的密集缺陷像素；及 插值單元，基于上述取得單元所取得的上述缺陷像素信息，根據位于上述缺陷像素的周邊且位于同色的上述濾色器的下方的周邊像素的像素值并通過插值處理來求出上述缺陷像素的像素值，使上述稀疏缺陷像素的插值相對于上述稀疏像素的總像素數的第二比例高于上述密集缺陷像素的插值相對于上述密集像素的總像素數的第一比例。
2.根據權利要求1所述的攝像裝置，其中， 上述攝像裝置具備缺陷像素信息存儲單元，上述缺陷像素信息存儲單元登記有上述缺陷像素信息，且使 上述稀疏缺陷像素的上述缺陷像素信息的登記數相對于上述稀疏像素的總像素數的的比例高于上述密集缺陷像素的上述缺陷像素信息的登記數相對于上述密集像素的總像素數的比例， 上述取得單元從上述缺陷像素信息存儲單元取得上述缺陷像素信息。
3.根據權利要求2所述的攝像裝置，其中， 在上述缺陷像素信息存儲單元中登記有在攝影條件發生了變化時因各攝影條件中的任一攝影條件而產生的上述缺陷像素的上述缺陷像素信息， 上述取得單元從上述缺陷像素信息存儲單元取得與上述攝影條件對應的上述缺陷像素信息。
4.根據權利要求3所述的攝像裝置，其中， 上述攝影條件包括上述彩色攝像元件的增益、曝光時間及溫度中的至少任一個。
5.根據權利要求1~4中任一項所述的攝像裝置，其中， 上述濾色器排列具有: 上述一種顏色的上述濾色器以對應于2X2像素以上的排列圖案相鄰配置而成的正方排列 '及 上述一種顏色的上述濾色器沿上述水平方向及垂直方向與顏色不同于上述一種顏色的上述濾色器相鄰配置而成的孤立排列。
6.根據權利要求5所述的攝像裝置，其中， 上述一種顏色的上述濾色器是最有助于獲得亮度信號的第一色所對應的第一濾光片， 上述濾色器排列包括基本排列圖案，上述基本排列圖案是上述第一濾光片和除了上述第一色以外的兩種顏色以上的第二色所對應的第二濾光片以對應于NXN像素的排列圖案排列而成的，并且，上述基本排列圖案沿水平方向及垂直方向重復配置，其中N為3以上的奇數。
7.根據權利要求6所述的攝像裝置，其中， 上述第一濾光片配置于上述基本排列圖案內的兩條對角線上， 上述濾色器排列包括由上述第一濾光片構成的對應于2X2像素的排列圖案的正方排列。
8.根據權利要求5~7中任一項所述的攝像裝置，其中， 在上述多個像素中，包括多個使上述稀疏像素和上述密集像素在上述水平、垂直、傾斜的各方向中的任一方向上相鄰而成的第一連像素， 基于上述缺陷像素信息，在上述缺陷像素中包含使上述稀疏缺陷像素與上述密集缺陷像素在上述各方向中的任一方向上相鄰而成的第一連缺陷像素時，上述插值單元使上述第一連缺陷像素的插值相對于上述第一連像素的總數的第三比例高于上述第二比例。
9.根據權利要求5~8中任一項所述的攝像裝置，其中， 在上述多個像素中，包括多個使兩個上述稀疏像素在上述水平、垂直、傾斜的各方向中的任一方向上接近而成的第二連像素， 基于上述缺陷像素信息，在上述缺陷像素中包含使兩個上述稀疏缺陷像素在上述各方向中的任一方向上接近而成的第二連缺陷像素的情況下，上述插值單元使上述第二連缺陷像素的插值相對于上述第二連像素的總數的第四比例高于上述第二比例。
10.根據權利要求5~9中任一項所述的攝像裝置，其中， 在上述多個像素中，包括多個使兩個上述密集像素在上述水平、垂直、傾斜的各方向中的任一方向上相鄰或接近而成的第三連像素， 基于上述缺陷像素信息，在上述缺陷像素中包含使兩個上述密集缺陷像素在上述各方向中的任一方向上相鄰或接近而成的第三連缺陷像素時，上述插值單元使上述第三連缺陷像素的插值相對于上述第三連像素的總數的第五比例高于上述第二比例。
11.根據權利要求5~7中任一項所述的攝像裝置，其中， 在上述多個像素中，分別包括多個使上述稀疏像素及上述密集像素在上述水平、垂直、傾斜的各方向中的任一方向上相鄰而成的第一連像素及使兩個上述稀疏像素在上述各方向中的任一方向上接近而成的第二連像素， 基于上述缺陷像素信息，在上述缺陷像素中包含使上述稀疏缺陷像素與上述密集缺陷像素在上述各方向中的任一方向上相鄰而成的第一連缺陷像素和使兩個上述稀疏缺陷像素在上述各方向中的任一方向上接近而成的第二連缺陷像素時，上述插值單元使上述第二連缺陷像素的插值相對于上述第二連像素的總數的第四比例高于上述第一連缺陷像素的插值相對于上述第一連像素的總數的第三比例。
12.根據權利要求11所述的攝像裝置，其中， 在上述多個像素中，包括多個使兩個上述密集像素在上述水平、垂直、傾斜的各方向中的任一方向上相鄰或接近而成的第三連像素， 基于上述缺陷像素信息，在上述缺陷像素中包含上述第一連缺陷像素、上述第二連缺陷像素及使兩個上述密集缺陷像素在上述各方向中的任一方向上相鄰或接近而成的第三連缺陷像素時，上述插值單元使上述第三連缺陷像素的插值相對于上述第三連像素的總數的第五比例低于上述第三比例及上述第四比例。
【文檔編號】H04N5/367GK104025581SQ201280065257
【公開日】2014年9月3日 申請日期:2012年12月26日 優先權日:2011年12月28日
【發明者】古田善工, 河合智行 申請人:富士膠片株式會社