高性能cmos圖像傳感器陣列模數轉換器的數字校正方法
【專利摘要】本發明屬于半導體圖像感測領域，具體涉及高性能CMOS圖像傳感器陣列模數轉換器的數字校正方法。本發明提出了一種基于多路協同數字校正技術的算法，特別針對CIS陣列ADC的ADC數量非常多、單個ADC面積非常小、電容失配大等特點，算法設計充分配合該算法實現的應用于CIS傳感器的模數轉換器陣列。整體設計使用1.8V低工作電壓。圖像傳感器像素電壓輸出經過可變增益放大器(VGA)陣列后直接送入模數轉換器(ADC)陣列轉換之后送入數字校正引擎中進行計算，將應用于CMOS圖像傳感器的陣列模數轉換器看成一個整體系統，在很大程度上降低了陣列模數轉換器由于單個模數轉換器面積小造成的失配問題。本發明提出的應用于圖像傳感器的陣列模數轉換器的多路協同數字校正技術能夠有效的提高陣列模數轉換器整體的性能。
【專利說明】
高性能CMOS圖像傳感器陣列模數轉換器的數字校正方法
技術領域
[0001]本發明屬于半導體圖像感測領域，具體涉及一種高性能CMOS圖像傳感器的陣列模數轉換器芯片的多路協同數字校正方法。
【背景技術】
[0002]近年來，CMOS圖像傳感器(CIS)在消費電子和專業領域都取得了巨大成功，除極特殊應用場合外，已基本取代了傳統的CCD圖像傳感。CIS片上集成模數轉換器(ADC)陣列，有助于提高系統集成度，增強信噪比和信號抗干擾能力。目前，人們對CIS提出了更高的要求，主要集中在以下三個方面:
[0003](I)高分辨率。早期的ClS分辨率是VGA(640 X 480)級別；目前，主流HDTV(1080p)要求單片彩色CIS的分辨率達到9百萬像素，4K級別為3千萬像素;下一代8K版的UHDTV，對應單芯片彩色CIS需要1.3億像素。
[0004](2)高幀頻。60fps (幀每秒)是未來高清的主流;科學研究、工業應用等方面，如飛行器狀態記錄、武器攻擊狀況、機器人和視覺檢查等方面往往需要lOOOfps、甚至更高的幀頻。目前在924父768分辨率的(:13上可以獲得5\106€?8的突發幀頻，或118(^?8的連續幀頻。
[0005](3)高動態范圍。動態范圍(DR)是圖像傳感器的一項重要指標。CIS的DR越高，所記錄的圖像信息越接近被拍攝場景。自然場景的DR近180dB，但典型CIS的DR只有不到70dB。人們提出了多種方法提高CIS的DR。
[0006]滿足CIS性能要求的核心問題是提高其片上集成ADC陣列的性能，即要減小面積、降低功耗，又要提高轉換精度、信噪比，以及轉換速度。
[0007]滿足CIS日益增長要求的核心問題是提高其片上集成ADC陣列的性能，減小面積、降低功耗，又要提高轉換精度(分辨率)、信噪比(SNR)，以及轉換速度。為獲得高質量的圖像，對于90dB動態范圍的CIS，片上ADC轉換精度需要在14bit以上，且不能有丟碼;為了保證高分辨率下CIS的高幀頻，ADC轉換時間要限制在百ns以內。減小芯片面積、降低功耗的同時，提高CIS片上ADC精度和速度，成為非常具有挑戰性的研究課題，是學術界和產業界共同關注的焦點，也是中外學者們長期的研究熱點，每年在頂級國際會議ISSCC和其他高水平學術期刊和會議上發表了大量的研究成果。
[0008]近年來，學術界不斷提出新型CIS片上ADC，但其基本架構主要有:斜坡(Ramp)、流水線(Pipeline)、循環(Cyclic)、Δ-Σ型ADC，以及逐次逼近(SAR)ADC。由于架構、占用面積、功耗等原因，CIS片上ADC難于實現精度大于12bit、像素行數X幀頻大于500k的模數轉換。近年來，SAR ADC逐漸引起了人們的注意。雖然傳統SAR ADC也需要N次操作才能得到最終轉換結果，但其功耗具有非常大的優勢，這對于內部集成了數以千計ADC的CIS芯片非常重要。另外，SAR ADC的性能還能隨集成電路工藝水平的提高而不斷進步。因此，CIS片上集成高性能SAR ADC成為近年來的研究熱點。
【發明內容】
[0009]本發明的目的是提供一種高性能CMOS圖像傳感器的陣列模數轉換器芯片的多路協同數字校正技術的方法，和標準商業CMOS工藝完全兼容。
[0010]高性能CMOS圖像傳感器陣列模數轉換器的數字校正方法，具體過程如下:CIS芯片上N路ADC排成一個陣列，在正常工作時，數據選通器(MUX)將傳感器輸出與ADC輸入相連，在校正階段，數據選通器將校正信號與ADC輸入相連，ADC的輸出與CIS片外的在線系統編程(ISP)芯片通過低電壓差分信號輸出(LVDS)高速接口相連，數字校正過程中，ADC輸出首先通過位權重調整電路做數據恢復運算，接著輸入到數字校正引擎中進行校正運算，反饋校正數據給位權重調整電路進行位權重修正，然后將經過校正好的數據輸出給后續圖像信號處理模塊電路，完成接下來的線性糾正、噪聲去除、壞點去除等圖像處理的常規運算，最后通過MIP1、USB等總線接口輸出圖像或視頻進行存儲或顯示。
[0011]首先在校正開始時，對ADC陣列中的N個需要校正的不準確ADC同時輸入同一個信號，通過ADC的模數轉換過程，得到了陣列ADC對于同一個信號輸入的不同輸出，改變輸入校正信號的電壓值，重復上述過程，得到N個陣列中不準確的ADC對于相同輸入信號產生的不同的數據輸出。
[0012]進一步地，所述的數字校正引擎中進行的校正運算，如圖7所示，具體過程如下:
[0013](I)、通過位權重調整電路做數據恢復運算得到的陣列ADC的輸出，將陣列中每一個子ADC的輸出作為一個14bit灰度值，將陣列中所有ADC的輸出以灰度值表示并合成數據灰度圖像，其中校正信號輸入不同、相同陣列ADC輸出的數據在同一行，校正信號輸入相同、不同陣列ADC輸出的數據在同一列；在陣列ADC不存在差異的情況下，該灰度圖像應該從左到右灰度值逐次增大，并且相鄰列之間的灰度值差值相同，由于實際陣列ADC存在誤差，導致得到的校正數據灰度圖像并不理想，數據灰度圖像的誤差完全體現了陣列ADC之間的失配差異；
[0014](2)、將得到的數據灰度圖像進行圖像處理，得到對于校正信號輸入的ADC輸出結果，并將陣列中不同位置的圖像數據進行不同的權重加和，然后將計算得到的數據輸出，即為高精度虛擬ADC的輸出；
[0015](3)、利用計算得到的高精度虛擬ADC的輸出結果，對陣列中N個子ADC的輸出結果進行比較，將誤差數據送入自收斂算法中對陣列ADC的電容權重進行收斂計算，最終得到校正之后的每個陣列子ADC的電容權重校正數據。
[0016]進一步地，步驟(2)中所述的圖像處理為圖像濾波或圖像降噪處理方法。
[0017]進一步地，圖像濾波采用中值濾波或均值濾波。
[0018]進一步地，步驟(3)中所述的自收斂算法為最小均方算法LMS、遞歸最小二次方算法 RLS。
[0019]這種架構方案的突出優點是:①復雜的位權重調整電路、校正算法電路由CIS片外的數字集成電路ISP芯片承擔，節省了寶貴的CIS面積;②數字校正電路不用反饋校正信號給ADC，ADC內部也不含有隨機數發生器等校正輔助電路，簡化了 ADC的電路設計;③校正算法可以由高性能FPGA(可編程邏輯器件)實;④校正算法同樣可以固化到ISP芯片中，提高其靈活性并且節約成本
[0020]本發明所述的高性能CMOS圖像傳感器的陣列模數轉換器芯片，具有以下優點:
[0021 ] 1、首次提出了多路協同數字校正ADC陣列的方法。該方法特別針對CIS陣列ADC特點而提出的，主要利用了ADC陣列中ADC數量非常多、單個ADC面積非常小、電容失配大、不準確的兩個特點，通過多個通路協同工作，構造出一個高精度的準確“虛擬ADC”，從而實現對多路ADC的校正。
[0022]2、首次將應用于CMOS圖像傳感器的陣列模數轉換器看成一個整體系統，在很大程度上降低了陣列模數轉換器由于單個模數轉換器面積小造成的失配問題，在一定程度上放寬了電路噪聲對陣列模數轉換器的影響，從而實現更好的動態性能。
[0023]3、14bit高精度，近90dB寬動態范圍。動態范圍(DR)是圖像傳感器的一項重要指標。CIS的DR越高，所記錄的圖像信息越接近被拍攝場景。自然場景的DR近180dB，對于90dB動態范圍的CIS，片上ADC轉換精度需要在14bit以上，且不能有丟碼(Missing Code);為了保證高分辨率下CIS的高幀頻，ADC轉換時間要限制在百ns以內。
[0024]4、設計的模數轉換器結構簡單，無需在CIS芯片上增加模數轉換器的校正電路，節省芯片面積。復雜的數字電路如位權重調整電路、校正算法電路均可由CIS芯片片外的數字集成電路DSP芯片完成，充分節約CIS芯片的面積。
【附圖說明】
[0025]圖1:傳統CMOS圖像傳感器的系統框架圖；
[0026]圖2:現有CMOS圖像傳感器裝置處理單元；
[0027]圖3:提出的高性能CMOS圖像傳感器及陣列ADC的系統架構圖；
[0028]圖4:提出的高性能CM0i5圖像傳感器陣列ADC校正算法設計的算法流程簡圖；
[0029]圖5:提出的高性能CMOS圖像傳感器陣列ADC的具體校正過程；
[0030]圖6:本發明所述的高性能CMOS圖像傳感器陣列ADC的數目隨虛擬ADC的精度關系曲線；
[0031]圖7:本發明所述的高性能CMOS圖像傳感器陣列ADC中單個ADC校正前后的性能對比；
[0032]圖8:本發明的陣列中ADC校正前后的FFT結果對比圖；其中，a為校正前，b為校正后。
[0033]如圖1所示，現有CMOS圖像傳感器裝置將像素陣列中所有像素的輸出信號送入模數轉換器中進行模數轉換，像素陣列的大小、模數轉換器的轉換速度和精度均限制了 CIS芯片的幀率和動態范圍。
[0034]如圖2所示，為現有CMOS圖像傳感器處理單元示意圖，像素電路采用積分工作模式，輸出電壓經過相關雙采樣電路輸入下一級列處理電路中，最終得到放大的電壓信號輸入ADC進行模數轉換。
[0035]如圖3所示，為提出的高性能CMOS圖像傳感器及陣列ADC的系統架構圖。虛線框內為該芯片的布局設計，其中像素陣列產生的信號首先通過可變增益放大器陣列之后進入模數轉換器陣列進行模數轉換，將轉換得到的結果送入移位寄存器存儲，最終通過低電壓差分信號輸出給外界的可編程邏輯器件(FPGA)得到像素陣列的信號輸出還原拍攝到的圖像。
[0036]如圖4所示，提出的高性能CMOS圖像傳感器陣列ADC校正算法實現流程的簡易描述。首先將CIS芯片上N路ADC排成一個陣列，在正常工作時與傳感器各列相連，在進行數字校正階段通過MUX將N路ADC的輸入連接在一起。將陣列ADC的輸出與CIS片外的FPGA芯片通過LVDS高速接口相連。在數字校正過程中，首先從外界輸入校正信號，經過陣列ADC的模數轉換，陣列ADC的輸出通過位權重調整電路做數據恢復運算，接著輸入到數字校正引擎中進行校正運算，反饋校正數據給位權重調整電路進行位權重修正，最終通過修正之后的校正權重數據，得到單獨的模數轉換器。在陣列ADC正常工作階段，通過校正階段得到的權重校正數據對陣列ADC的輸出進行校正和數據還原，最終達到陣列ADC中每一個子ADC的動態性會K。
[0037]如圖5所示，為提出的基于多路協同數字校正技術的高性能CMOS圖像傳感器的陣列模數轉換器芯片的簡易校正過程。多路協同校正技術的基本思路:在校正開始時，ADC陣列中的N個需要校正的不準確ADC同時輸入同一信號。由于每個ADC都存在著電容失配等非理想因素，導致這N路ADC輸出的結果不同。校正模塊利用N路ADC輸出的“不準確”結果，構造出一個準確的高精度“虛擬ADC”，其ENOB隨ADC總數目N增加而提高。利用這個準確的“虛擬ADC”對所有“不準確” ADC進行數字校正。校正過程完全在數字域進行;經過校正的ADC精度得到提高，校正過程結束，每路ADC的輸入切換為正常的圖像信號，ADC陣列開始進行高精度的模數轉換。
[0038]如圖6所示，利用多路協同校正技術構建的“虛擬ADC”的仿真結果。橫坐標是陣列中ADC的數目，隨著ADC的數目增加，ENOB呈線性增加的趨勢。當ADC的數目多達1024個時，ENOB 分布在14.5bit 到 16bit。
[0039]如圖7所示，通過得到的校正數據信號，將其轉化為灰度圖，通過數字圖像處理的相關方法，對圖像進行降噪濾波，并通過加權得到高精度虛擬ADC的靜態傳輸特性曲線。根據陣列ADC同高精度虛擬ADC之間的誤差，利用自收斂算法對陣列ADC的權重進行計算最終得到校正權重數據，獲得高性能CMOS圖像傳感器陣列模數轉換器。
[0040]如圖8所示，陣列中一個ADC校正前后的FFT結果對比圖。經過校正前的ADC的ENOB只有10.36bit，經過數字校正算法后該ADC的ENOB達到了 13.80b it。
【具體實施方式】
[0041 ] 實施例1
[0042]高性能CMOS圖像傳感器陣列模數轉換器的數字校正方法，具體過程如下:CIS芯片上N路ADC排成一個陣列，在正常工作時，數據選通器(MUX)將傳感器輸出與ADC輸入相連，在校正階段，數據選通器將校正信號與ADC輸入相連，ADC的輸出與CIS片外的在線系統編程(ISP)芯片通過低電壓差分信號輸出(LVDS)高速接口相連，數字校正過程中，ADC輸出首先通過位權重調整電路做數據恢復運算，接著輸入到數字校正引擎中進行校正運算，反饋校正數據給位權重調整電路進行位權重修正，然后將經過校正好的數據輸出給后續圖像信號處理模塊電路，完成接下來的線性糾正、噪聲去除、壞點去除等圖像處理的常規運算，最后通過MIP1、USB等總線接口輸出圖像或視頻進行存儲或顯示。
[0043]數字校正引擎中進行的校正運算，如圖7所示，具體過程如下:
[0044](I)、通過位權重調整電路做數據恢復運算得到的陣列ADC的輸出，將陣列中每一個子ADC的輸出作為一個14bit灰度值，將陣列中所有ADC的輸出以灰度值表示并合成數據灰度圖像，其中校正信號輸入不同、相同陣列ADC輸出的數據在同一行，校正信號輸入相同、不同陣列ADC輸出的數據在同一列；在陣列ADC不存在差異的情況下，該灰度圖像應該從左到右灰度值逐次增大，并且相鄰列之間的灰度值差值相同，由于實際陣列ADC存在誤差，導致得到的校正數據灰度圖像并不理想，數據灰度圖像的誤差完全體現了陣列ADC之間的失配差異。
[0045](2)、將得到的數據灰度圖像進行圖像降噪處理方法，得到對于校正信號輸入的ADC輸出結果，并將陣列中不同位置的圖像數據進行不同的權重加和，然后將計算得到的數據輸出，即為高精度虛擬ADC的輸出；
[0046](3)、利用計算得到的高精度虛擬ADC的輸出結果，對陣列中N個子ADC的輸出結果進行比較，將誤差數據送入最小均方算法LMS中對陣列ADC的電容權重進行收斂計算，最終得到校正之后的每個陣列子ADC的電容權重校正數據。
[0047]圖4為本發明的基于多路協同數字校正技術的高性能CMOS圖像傳感器的陣列模數轉換器芯片。①校正開始時，ADC陣列中的N個需要校正的不準確ADC同時輸入同一信號。由于每個ADC都存在著電容失配等非理想因素，導致這N路ADC輸出的結果不同；②校正模塊利用N路ADC輸出的“不準確”結果，構造出一個準確的高精度“虛擬ADC”，其ENOB隨ADC總數目N增加而提高；③利用這個準確的“虛擬ADC”對所有“不準確”ADC進行數字校正。校正過程完全在數字域進行;④經過校正的ADC精度得到提高，校正過程結束，每路ADC的輸入切換為正常的圖像信號，ADC陣列開始進行高精度的數模轉換。
[0048]多路協同數字校正算法在校正過程中得到校正數據之后，將校正數據利用FPGA芯片存儲，對于相同原始數據的不同模數轉換器輸出，將得到的數據轉換為32X32的灰度圖像，采用數字圖像處理算法如圖像平滑，對原始數據進行數字算法處理，得到模數轉換器輸出的最優解，虛擬出一個高精度的模數轉換器。
[0049]多路協同數字校正技術的核心是由N路不準確的ADC構造出一個近似理想的準確的高精度“虛擬ADC”，實質是輸入信號多次采樣提高信噪比原理的空間化，通過提高ADC數目就可以得到近似理想的“虛擬ADC^，從而可以實現對不準確ADC的校正。
[0050]對多路協同數字校正技術進行了建模和仿真。ADC設計精度為14bit，但由于存在著嚴重的電容失配，校正前有效精度(ENOB)的分布值在1bit到11.5bit左右。圖5是利用多路協同校正技術構建的〃虛擬ADC〃的仿真結果，橫軸是陣列中ADC數目。由于電容失配的隨機性，多次仿真得到的ENOB較為分散。但還是可以看到隨著ADC數目的增加，ENOB具有增加的趨勢。當ADC數目多達1024時，ENOB值分布在14.5bit到16bit。
[0051 ] 圖8為陣列中一個ADC校正前后FFT結果對比圖。校正前ADC的ENOB只有10.36bit；校正后該ADC的ENOB可以達到13.8bit。
【主權項】
1.高性能CMOS圖像傳感器陣列模數轉換器的數字校正方法，其特征在于，具體過程如下:CIS芯片上N路ADC排成一個陣列，在正常工作時，數據選通器將傳感器輸出與ADC輸入相連，在校正階段，數據選通器將校正信號與ADC輸入相連，ADC的輸出與CIS片外的在線系統編程芯片通過低電壓差分信號輸出高速接口相連，數字校正過程中，ADC輸出首先通過位權重調整電路做數據恢復運算，接著輸入到數字校正引擎中進行校正運算，反饋校正數據給位權重調整電路進行位權重修正，然后將經過校正好的數據輸出給后續圖像信號處理模塊電路，完成接下來的線性糾正、噪聲去除或壞點去除圖像處理的常規運算，最后通過MIPI或USB總線接口輸出圖像或視頻進行存儲或顯示。2.如權利要求1所述的高性能CMOS圖像傳感器陣列模數轉換器的數字校正方法，其特征在于，所述的數字校正引擎中進行的校正運算，具體過程如下: (1)、通過位權重調整電路做數據恢復運算得到的陣列ADC的輸出，將陣列中每一個子ADC的輸出作為一個14bit灰度值，將陣列中所有ADC的輸出以灰度值表示并合成數據灰度圖像，其中校正信號輸入不同、相同陣列ADC輸出的數據在同一行，校正信號輸入相同、不同陣列ADC輸出的數據在同一列； (2)、將得到的數據灰度圖像進行圖像處理，得到對于校正信號輸入的ADC輸出結果，并將陣列中不同位置的圖像數據進行不同的權重加和，然后將計算得到的數據輸出，即為高精度虛擬ADC的輸出； (3)、利用計算得到的高精度虛擬ADC的輸出結果，對陣列中N個子ADC的輸出結果進行比較，將誤差數據送入自收斂算法中對陣列ADC的電容權重進行收斂計算，最終得到校正之后的每個陣列子ADC的電容權重校正數據。3.如權利要求2所述的高性能CMOS圖像傳感器陣列模數轉換器的數字校正方法，其特征在于，步驟(2)中所述的圖像處理為圖像濾波或圖像降噪處理方法。4.如權利要求3所述的高性能CMOS圖像傳感器陣列模數轉換器的數字校正方法，其特征在于，所述的圖像濾波采用中值濾波或均值濾波。5.如權利要求2所述的高性能CMOS圖像傳感器陣列模數轉換器的數字校正方法，其特征在于，步驟(3)中所述的自收斂算法為最小均方算法LMS或遞歸最小二次方算法RLS。
【文檔編號】H04N5/378GK106027924SQ201610308461
【公開日】2016年10月12日
【申請日】2016年5月11日
【發明人】常玉春, 劉明杭, 李海彬, 楊姝, 陳佳俊, 李亮
【申請人】吉林大學