一種使用時域視覺傳感器的雙目立體深度匹配方法
【技術領域】
[0001] 本發明設及計算機視覺、數字圖像處理W及圖像傳感器設計等多個技術領域，具體設 及一種使用時域視覺傳感器的雙目立體深度匹配方法。
【背景技術】
[0002] -、雙目立體深度匹配方法 雙目立體視覺系統模擬生物雙眼的視差功能，使用兩臺性能相同、相對位置固定的攝 像機，同時從不同的角度獲取同一場景的兩幅圖像，然后計算原空間中任意一點在運兩幅 圖像中的（位置)視差，進而通過=角測距原理計算出該點的=維坐標信息。雙目立體視覺 是機器視覺的重要分支之一，已應用于工業檢測、追蹤定位、=維重建、機器人導航避障、圖 像分割等很多領域。
[0003] 雙目立體視覺通過W下幾個步驟獲取空間點的立體深度:攝像機標定、圖像獲取、 圖像校正、立體深度匹配、計算深度和表面差。其中核屯、的立體深度匹配是使用圖像匹配算 法獲取空間一點在左右圖像中的匹配點對，根據左右匹配點對的視差信息獲得視差圖，為 進一步計算深度及其它處理奠定基礎。
[0004] 附圖1給出雙目視覺立體深度計算的基本原理。經過嚴格配準與標定的兩臺相同 像機平行固定，則空間一點P在兩臺相機中的成像原理如左圖所示。圖中Or和化為兩個成像 面的焦點，他們之間的連線稱為基線，長度為b;成像焦距為f。空間一點P距基線為Z，其在左 右成像面的成像點分別為P和P'（雙目立體視覺系統中的左右相機經過配準及校正后，兩個 匹配點P和P'應當具有相同的行坐標和不同的列坐標）。設P點的橫坐標為Xr，p'的橫坐標為 財。由相似S角形定理可得： 上式變形可得： 上式中d=XR-村為P和P'的橫坐標之差(左右兩個成像面的相同行）。由此只要獲得了坐 標差d，就可W獲得空間點到基線的距離Z，然后根據坐標平面的變換可W確定空間點的深 度距離。上述尋找空間點P在兩個成像面中的兩個投影點P和P'的過程稱為立體(深度）匹 配。
[0005] 在匹配過程中均W-幅圖像為參考圖像，另外一幅為目標圖像。如果左視圖中一 點（x，y)，在右視圖中對應的匹配點為(X'，y'），運兩個匹配點的坐標差值為d(x，y)。則對 于已經校正過的左、右視圖，運兩個匹配點只在橫向掃描線 上存在差異。因此有：
對于參考圖像中的每一像素點(x，y)，均能求出視差d，進而形成與像素坐標一致的視 差圖。附圖I右圖為最常見的左右相機平行匹配方法。
[0006] 已經提出的基于"帖圖像"的立體匹配算法有很多種，大體分為基于區域的匹配與 基于特征的匹配。基于區域的匹配通過度量左右圖像中兩個小區域的某種相似度來判斷其 是否匹配。而基于特征的匹配則是首先提取參考圖像中的某種特征，例如邊緣、角點等，然 后在目標圖像中尋找對應的特征并計算其位置差。在實際雙目相機產品中基于區域的匹配 方法得到了廣泛使用。通常匹配算法由四個步驟組成：匹配代價函數計算、代價疊加、視差 計算和一致性檢查優化。代價函數表示圖像像素（局部）的相似性測度，一般W能量最小化 策略構成，即同一空間點在左右兩幅圖像中的對應成像點(或周圍小區域)之間具有最小的 亮度差。常用的代價函數有：SAD(絕對差值之和）、SSD(差平方和）、歸一化SSD、歸一化相關 等。W上運些代價函數的基本形式在實際應用中可進行各種變形。
[0007] 圖2給出雙目立體深度匹配的示例說明。W左圖為參考，使用右圖進行匹配得到的 深度圖如（C)所示，由圖可見，距離相機較近的空間點（高亮度)具有較大的視差，距離愈遠 則視差越小。
[000引二、視覺傳感器 依據成像原理，當前規范使用的半導體圖像傳感器忍片（CCD及CMOS)都是基于"帖采 樣"模式進行圖像采集的： 1、 所有像素在復位后開始感光(收集光電荷），在達到設定曝光時間后停止感光； 2、 依次讀出每個像素所收集的光電荷，并將其轉換為電壓； 3、 該電壓經模數轉換后變為數字量，輸出后存儲。該數字量即為該點的亮度值。所有像 素亮度值組成的二維矩陣即為所拍攝圖像。
[0009] 在使用上述"帖采樣"圖像傳感器相機的機器視覺系統中，圖像序列(視頻)的拍攝 速度通常為30帖/秒。機器視覺系統中的計算機執行圖像處理算法提取目標并進行判別與 分析。
[0010] 上述"帖采樣"成像方式存在的缺點： (1) 、背景數據冗余。相鄰兩帖間存在大量的冗余背景信息，不變的背景區域被重復采 樣讀出，對系統的處理和存儲能力帶來巨大壓力。拍攝速度越高，則傳輸、存儲和處理壓力 越大，實時性差； (2) 、高響應延遲。場景中的變化不能立即被圖像傳感器感知并輸出，而必須按照"帖" 的節奏被感知和輸出。運種高響應延遲對于高速運動目標的跟蹤與識別非常不利，運動速 度越快則檢測結果的間斷性和誤差越明顯。

【發明內容】

[0011] 本發明針對上述現有技術中存在的技術問題，提供了一種使用時域視覺傳感器的 雙目立體深度匹配方法。
[0012] 本發明為解決運一問題所采取的技術方案是： 一種使用時域視覺傳感器的雙目立體深度匹配方法，該方法使用一對經標定配準的時 域視覺傳感器作為視覺輸入源，W左視覺傳感器輸出的事件序列為參考，對右視覺傳感器 的事件序列進行時間--空間的雙重比較來得到匹配代價，選取具有最小匹配代價且滿足匹 配順序一致性和視差平滑性檢查的事件作為匹配對象。
[0013]該方法包括如下步驟： 設空間運動點在經過標定校正的左右TVS產生的AE序列分別為{
其中L代表左相機，R代表右相機;上標 1〇分別表示左、右相機產生的第1和第^個46，？為事件極性，*1，^'為46的時間標記； 循環執行W下步驟： (1) 接收AE，根據其來源歸入A垃或AEr: FPGA控制器收集來自左右相機的AE，進行時間戳標記和來源標記，輸出的AE流為：
(式1)
匹配計算將左TVS的AE流作為參考序列，在右AE流中尋找其對應的AE;因此根據時間戳 t及來源source將AE流分為依時間排序的左右兩列： (式2) (式3) 更新Tc; (2) 若Tc < AT,返回（1);否則繼續； (3) 自中選擇未被處理且與Tc間隔大于A T的最近、.片扔心.I;作為參考事件，將 滿足W下條件自^
扣入匹配目標候選集合：
I、時間差有限 泣、視差距離宅 鎌、極線平行： 跋、事件屬性： 扛、匹配唯一性:，
衣與其他AE匹配； (4) 計算匹配代價;使用W下公式計算；
與匹配目標集合中每 個AE的匹配代價：
上式中Wl為極線差權重，當yL=y拙寸，此項為0 ;W2為時間差權重； 巧)匹配事件確定： $:、選擇匹配目標集中具有最小匹配代價的AE進行匹配順序一致性檢查:對深度匹配圖 中（)周圍A L范圍內的視差值進行匹配順序一致性檢查； 妓、視差平滑性檢查:將當前所得視差與（心周圍A L范圍內的已有視差平滑一致 性檢查;若當前視差為公C，周圍已有視差的平均值為志，標準差為^
溢、若當前AE滿足W上條件，認為其為匹配AE，將視差M-Jl寫入深度匹配圖口^〇心 )位置，標記
為已匹配；若不滿足，則選取具有 次最小代價的AE重復上述過程;若選擇匹配目標集中的AE均不滿足上述條件，則深度匹配 圖位置標記為0; (6)返回（1)繼續或結束。
[0014] 本發明具有的優點和積極效果是： 本發明根據雙目立體深度測量的原理，使用TVS為輸入源，通過比較左右TVS產生的AE 序列進行時間-空間匹配。由于TVS采用變化采樣、異步輸出、地址事件表示的成像原理，因 此具有極低數據冗余、高實時性與時間分辨率的優勢，非常適合于運動目標的立體深度測 量計算。
[0015] 同時由于采用"變化采樣+像素異步輸出"的采樣原理，因此場景中的變化能夠W 微秒級的延遲被感知和輸出，相當于帖采樣下的幾千~幾萬帖/每秒。如此高的時間分辨率 深度計算具有更高的準確性，適合于高速運動目標跟蹤與定位應用;TVS的數據輸出量通常 只有"帖采樣"圖像傳感器的5-10%，因此計算量大為降低，深度計算的實時性大大提高，同 時有利于系統成本的降低。
【附圖說明】
[0016] 圖1是雙目視覺立體深度計算的基本原理W及平行式雙目相機的構成圖；左:=角 測距原理;右:雙目相機平行配置； 圖2是使用雙目視覺方法進行立體深度匹配計算的示例圖；從左到右分別為：左視圖； 右視圖；視差圖； 圖3是本發明的TVS雙目視覺系統的硬件結構圖； 圖4是本發明的使用時域視覺傳感器的雙目立體深度匹配方法的流程圖。
【具體實施方式】
[0017] W下參照附圖對本發明的使用時域視覺傳感器的雙目立體深度匹配方法進行詳 細的說明。下面描述的具體實施例僅是本發明的最佳實施方式，而不能理解為對本發明的 限制。
[0018] 近年來，研究者依據生物視覺"變化采樣"的原理，采用超大規模集成電路(VLSI) 技術設計出新型工作模式的"視覺傳感器(Vision Sensor, VS)"。原理包括： (1) 、生物視覺系統不W "帖"的方式進行成像，視覺感光細胞只對變化敏感，并將運種 變化W神經脈沖的形式傳遞到大腦視皮層進行處理； (2) 、模仿生物視覺的成像機理，VS像素只對場景中的"變化事件(Activity Event， AE)"敏感并采樣輸出。按其性質，AE可分為空間變化(某像素與其周邊像素的亮度關系發生 變化)和時間變化(像素自身的亮度發生變化)兩大類。時域變化敏感的視覺傳感器稱之為 時域視覺傳感器(Temporal Vision Sensor ,TVS); (3) 、TVS中的各像素自主地檢測所感受的光強是否發生變化。具體方法是每個像素周 期測量極短時間內的光生電流變化量。當光生電流變化量超過設定的闊值時，表明該點所 受的光強發生變化，因此每個AE的產生代表了光強發生了固定的變化量。像素產生的AE通 過串行總線異步輸出，像素間互不關聯； (4)