在成對的立體圖像中檢測物體的方法
【技術領域】
[0001] 本發明涉及計算機視覺，更具體地講，涉及在立體圖像中檢測物體。
【背景技術】
[0002] 許多計算機視覺應用使用通過立體相機獲取的立體圖像來檢測物體。立體相機通 常具有多個鏡頭和傳感器。通常，鏡頭之間的軸內距離約與眼睛之間的距離相同以提供交 疊視野。
[0003] 圖1示出用于基于立體的物體檢測的傳統系統。立體相機101獲取立體圖像102。 檢測方法可包括以下步驟：立體成像100、成本體積（cost volume)確定110、深度/視差圖 估計120和物體檢測130。
[0004] 基于立體的物體檢測的大多數傳統方法依賴于交疊區域120中的每像素深度信 息。此步驟通常被稱作深度/范圍圖估計。此步驟可通過確定視差值（即，兩個圖像中的 對應像素的平移）、確定深度圖來實現。然后深度圖可用于物體檢測130,例如，深度圖的梯 度方向直方圖（HoG)用于物體描述。一種方法估計子圖像區域中的主要視差，并且使用相 對視差值的共現直方圖來進行物體檢測。
[0005] 深度/范圍/視差圖估計是具有挑戰的問題。局部方法存在深度確定不準確的問 題，而全局方法需要可觀的計算資源并且不適合于實時應用。
[0006] 多種方法通過使用關注區域生成的立體提示（stereo cue)來避免深度圖確定步 驟。例如，一種方法確定標記潛在物體位置的stixel圖。各個stixel由相對于相機的3D 位置來定義，并且垂直地豎立在地平面上。然后將基于彩色圖像內容的檢測器應用于所述 位置以檢測物體。
[0007] 美國公布20130177237使用范圍圖來確定關注區域，并且使用基于強度直方圖的 分類器來檢測物體。
[0008] 關注區域方法無法直接應用于物體檢測。關注區域方法必須與其它物體檢測器結 合應用。另外，當關注區域沒有覆蓋物體時，無疑會缺失檢測。

【發明內容】

[0009] 本發明的實施方式提供一種在立體圖像中檢測物體的方法。從圖像計算成本體 積。然后，直接對從成本體積獲得的特征應用物體檢測。所述檢測使用從訓練特征學習的 T個決策樹分類器（Adaboost)。
[0010] 本發明避免了現有技術的易于發生錯誤并且計算上復雜的深度圖估計步驟，得到 準確且高效的物體檢測器。所述方法更加適合于嵌入式系統，因為它不需要為獲得良好的 深度圖所需的復雜的優化模塊。另外，所述方法搜索輸入圖像中的所有子圖像以檢測物體。 這避免了存在于關注區域生成技術中的缺失檢測問題。
[0011] 所述檢測準確，因為所述方法可借助大量的訓練數據并且利用機器學習過程。其 在檢測準確度方面勝過關注區域生成技術。
【附圖說明】
[0012] 圖1是傳統的基于立體的物體檢測系統的框圖；
[0013] 圖2是根據本發明的實施方式的基于立體的物體檢測系統的框圖；
[0014] 圖3是圖2的基于立體的物體檢測系統的物體檢測模塊的框圖；
[0015] 圖4是根據本發明的實施方式的學習基于立體的物體檢測器的方法的框圖。
[0016] 圖5是根據本發明的實施方式的成本體積確定的示意圖；
[0017] 圖6是根據本發明的實施方式的學習的特征的示意圖；以及
[0018] 圖7是占據子圖像的大部分和小部分的物體的示意圖。
【具體實施方式】
[0019] 圖2示出根據本發明的實施方式的在一對立體圖像200中檢測物體201的方法和 系統。從這一對立體圖像生成（210)成本體積211。然后選擇并提取（215)特征向量216。 然后，將物體檢測器220應用于特征向量體積以檢測物體。物體檢測器使用從訓練圖像特 征231學習的分類器230。在檢測到物體之后，可對物體進行定位，即，可確定物體在圖像中 的位置。如本領域中已知的，所述方法可在連接到存儲器和輸入/輸出接口的處理器250 中執行。
[0020] 本發明基于這樣的認識：深度圖中可用的深度信息在成本體積中也可用，因為深 度圖是從成本體積獲得的。
[0021] 本發明的直接使用成本體積的檢測器220理論上能夠基于深度圖使任何檢測器 的性能匹配。此外，成本體積是比傳統深度圖更豐富的表示。深度圖僅提供各個像素的深 度，而成本體積提供立體圖像中的各個像素可具有的潛在深度范圍（包括真實深度）的匹 配成本。因此，檢測器使用從成本體積直接獲得的特征可訪問更多的深度信息，并且實現更 好的性能。
[0022] 如圖3所示，本發明的一個實施方式包括成本體積生成210、特征提取310、物體檢 測和定位320、學習的區別特征330以及學習的物體分類模型340。定位確定在哪里檢測物 體。
[0023] 圖4示出用于學習區別特征的機器學習過程以及學習的物體分類模型。從包括成 對的訓練立體圖像的訓練數據400選擇并學習（410)特征。
[0024] 成本體積生成
[0025] 圖5示出成本體積C 211的生成。成本體積C: XX YX D是存儲在存儲器中的三維 數據結構，其中X和Y表示圖像X和y軸，D表示一組視差值（是兩個立體圖像L 501和Ir 502中的對應像素之間的平移）。假設IJP IR被調整，這意味著圖像被變換為使得鏡頭畸 變效果被補償，并且一個圖像的一行中的像素被映射至另一圖像的同一行中的像素。然后 可通過使成對的立體圖像^和I的像素外觀匹配來確定成本體積。
[0026] 確定成本體積的一個方式是對于任何（X，y, d) e XXYXD，應用由C(x, y, d)= I Il (X, y) -Ir (x-d, y) I 12+ λ I I grad (IL (X, y)) -grad (IR (x-d, y)) I 12給出的映射。
[0027] 其中I I I |2表示歐幾里德范數，IJx，y)是指込圖像的（x，y)位置的像素顏色值， IR(x，y)是指Ir圖像的（x，y)位置的像素顏色值，grad(IL(x， y))是指Il圖像的（x，y)位 置的梯度，grad(IR(x-d，y))是指Ir圖像的（x，y)位置的梯度，λ是控制梯度信息的重要 性的權重。需要注意，可應用諸如雙邊濾波或引導濾波的圖像平滑技術，以增強成本體積。
[0028] 特征提取
[0029] 圖6示出圖2的特征選擇和提取215。從各個子圖像600提取K維特征向量以用 于確定子圖像中是否存在物體。子圖像可被視為例如按照多個比例針對各個像素以