用于使用雷達-光學成像融合來創建地圖的方法和系統的制作方法
【專利摘要】一種使用雷達掃描和光學成像的組合來對空間進行繪圖的方法。該方法包括下列步驟：提供測量車輛，其具有連接到其的雷達系統和圖像獲取系統；使雷達系統的視場與圖像獲取系統的視場對準；使用雷達掃描系統獲得空間的至少一個雷達掃描；使用圖像獲取系統獲得空間的至少一個圖像；以及組合至少一個雷達掃描與至少一個圖像以構造空間的地圖。
【專利說明】用于使用雷達-光學成像融合來創建地圖的方法和系統
【技術領域】
[0001]本公開涉及使用雷達數據和光學圖像數據的組合來創建地圖(map)。
【背景技術】
[0002]雖然基于車輛的繪圖(mapping)是已知的，當前的方法遭受很多缺點之苦,該缺點包括差的角分辨率或不精確的空間測量。

【發明內容】

[0003]在一個實施例中，本發明提供了一種使用雷達掃描和光學成像的組合來對空間進行繪圖的方法。該方法包括下列步驟:提供測量車輛，該車輛具有附接到其的雷達系統和圖像獲取系統；使雷達系統的視場與圖像獲取系統的視場對準；使用雷達掃描系統獲得空間的至少一個雷達掃描；使用圖像獲取系統獲得空間的至少一個圖像；以及將至少一個雷達掃描與至少一個圖像進行組合以構造空間的地圖。
[0004]在另一實施例中，本發明提供了一種用于使用雷達掃描和光學成像的組合來對空間進行繪圖的系統。該系統包括測量車輛，該測量車輛具有附接到其的雷達系統和圖像獲取系統，雷達系統的視場與圖像獲取系統的視場對準。該系統還包括與雷達系統和圖像獲取系統通信的控制器。控制器配置成使用雷達掃描系統獲得空間的至少一個雷達掃描；使用圖像獲取系統獲得空間的至少一個圖像；以及將至少一個雷達掃描與至少一個圖像進行組合以構造空間的地圖。
[0005]通過考慮詳細描述和附圖，本發明的其它方面將變得清楚。
【專利附圖】

【附圖說明】
[0006]圖1示出使用雷達系統和圖像掃描系統來掃描空間的測量車輛以及從所掃描的數據創建的空間的地圖。
[0007]圖2示出使用用于識別建筑物的周界的雷達數據產生的圖。
[0008]圖3示出如在如將被圖像獲取系統觀看的典型圖像中看到的建筑物，其中建筑物中的平行特征由于三維建筑物到二維圖像的變換看起來是會聚的或發散的。
[0009]圖4示出使用描繪建筑物的周界的數據產生的圖，其中基于從相關的圖像數據提取的信息來識別門口的位置。
【具體實施方式】
[0010]在詳細解釋本發明的任何實施例之前，應理解，本發明在其應用中不限于在下面的描述中闡述或在附圖中示出的部件的構造和布置的細節。本發明能夠有其它實施例并且能夠以各種方式被實踐或執行。
[0011]本發明包括用于通過組合來自雷達掃描和光學圖像獲取的信息來創建地圖的方法和系統。測量車輛100被操縱穿過空間，收集該空間的一個或多個雷達掃描和光學圖像。該空間是其中區域(例如在城市環境中的建筑物)的詳細三維視圖是所期望的任何地點。
[0012]在各種實施例中，測量車輛100是常規車輛，例如轎車、卡車、廂式貨車或摩托車。在其它實施例中，測量車輛100是自主的或遠程操作的車輛(例如機器人)。在各種實施例中，測量車輛100是自主的、遠程操作的或有人駕駛的陸基的、空中的或水上的車輛。
[0013]在本發明的實施例中，測量車輛100具有附接到其的雷達系統200和圖像獲取系統300 (圖1)。雷達系統200和圖像獲取系統300中的每個具有與各自獲得信息的空間區對應的相應的視場210、310。為了簡單起見，圖1示出單個雷達系統200和圖像獲取系統300，然而在各種實施例中，多個單元可附接到測量車輛。兩個或多個圖像獲取系統300的使用提供捕獲立體圖像的能力，從而允許從圖像得到額外的數據。
[0014]在一個實施例中，兩個系統的視場210、310對準,使得這兩個系統同時從同一空間區收集數據。雷達系統200和圖像獲取系統300可在測量車輛100上被指向向前、向側面或向后。在各種實施例中，測量車輛100還可包括GPS單元400。
[0015]在各種實施例中，測量車輛100包括計算機系統110。在一些實施例中，使用計算機系統Iio收集并存儲來自雷達系統200、圖像獲取系統300和GPS單元400 (當存在時)的數據，為了說明目的，計算機系統110被示為容納于測量車輛100上。然而，可使用在一個或多個遠程位置中操作的一個或多個這樣的計算機系統110來實施本文描述的方法和系統。通常，計算機系統110包括微處理器、存儲器和數據存儲、輸入和輸出及有線或無線聯網能力，并與本文公開的測量和感測系統進行有效的通信(有線或無線)。計算機系統110用作控制器，該控制器配置成執行本文公開的方法和系統，包括控制雷達系統200、圖像獲取系統300和GPS單元400中的一個或多個以及如本文所述地那樣處理數據以如本文公開那樣對空間進行繪圖。
[0016]在一些實施例中，在收集數據的同時例如使用基于無線電的通信將數據傳輸到不同的地點以用于通過可遠程地定位的可匹配的計算機系統110來存儲和分析。可與數據的收集同時(或接近同時，當傳輸信號被減慢或中斷時使用緩沖器來存儲數據)地分析數據，或可在收集期間在計算機系統110上存儲數據并在稍后的時間離線地分析數據。
[0017]固定波束雷達系統200可通過包括被定位于相對于彼此不同的角度處的多個天線以從多個方向收集所反射的雷達能量并使用關于天線的相對角度的信息從反射的能量得到空間信息，來從較寬的視場得到信息。可替代地，掃描雷達系統200可通過掃描和收集來自一般是較窄的視場的東西的能量并通過掃描空間(例如光柵掃描)建立較大的視場來得到關于反射的能量的空間關系的信息。
[0018]來自雷達系統200的數據提供關于到視場210中的物體的距離的準確信息。然而，與光學成像比較，雷達在提供角度信息(例如關于正交于雷達波束的尺寸的信息)時不是那樣準確。對于固定波束雷達系統200尤為如此，在固定波束雷達系統200中，角度信息從收集自接收反射能量的多個天線收集的不同信號得到。
[0019]因此，為了提供跨越雷達系統200的視場210的更好的空間信息(即，更好的角分辨率)，將雷達掃描信息與使用圖像獲取系統300得到的同一空間的一個或多個圖像組合。如上所述，雷達系統200和圖像獲取系統300在開始時被對準，以便使視場盡可能準確地重疊。然而，數據的進一步對準可能是必要的，并可手動地或以自動方式執行數據的進一步對準。[0020]雷達傳感器200通常收集原始頻率信息。一般，對原始頻率信息執行傅立葉變換。因為來自運動物體(例如轎車、行人)的反射實質上小于來自靜止物體(例如建筑物、柱子)的反射，所以通常安全的是假設所有反射數據都來自靜止的物體。因此，原始頻率信息的傅立葉變換的結果將對應于離靜止物體的雷達傳感器的距離。然而，為了更好地改善數據且特別是針對其中運動物體對反射數據做出顯著貢獻的情況，當地圖被構造時，可確定并移除來自運動物體的數據的分量。此外，可在稍后的時間分析來自雷達傳感器200的速度信息，且可移除對應于運動物體的數據。
[0021]對于每個頻率，可計算角度，其中用于計算角度的機構取決于是固定波束還是掃描雷達傳感器200被使用。對于固定波束傳感器，對于每個頻率，比較來自不同天線的相位和振幅信息以確定角度，而掃描傳感器給出關于角度的更直接的結果。一旦計算出所有這個信息，就產生地圖，其中針對每個距離的所計算的角度被標記。從雷達傳感器200接收的功率信息也可用于區分開好的測量與差的測量。雖然在一些情況下雷達地圖包含噪聲，通常雷達地圖提供對應于建筑物或其它大的靜止物體的外形或輪廓。
[0022]圖2示出使用用于識別建筑物(例如圖3所示的建筑物)的周界或覆蓋區(footprint)的雷達數據產生的圖。圖2示出從上面看到的示出雷達數據(圖2中的散斑)的建筑物的覆蓋區的視圖，即，由雷達系統200收集的雷達反射的最強總和的抽象的或精簡的視圖。從這個信息中，識別出建筑物的輪廓(圖2中的線)。
[0023]使用從同一位置的圖像獲取系統300得到的數據，可識別出被探測到的大物體(例如圖2中的建筑物)。圖像處理和物體識別可用于識別這些大物體,且對于感興趣的物體，可執行雷達和視頻數據的匹配。可特別使用雷達數據來確定到這些物體的精確距離，并將到這些物體的精確距離輸入到地圖中(例如作為GPS坐標)。
[0024]對于不感興趣的物體，使用來自圖像獲取系統300的圖像數據對物體的分類可用于排除一個或多個這樣的物體。例如，其它車輛(例如停下的汽車)可被識別出并被排除用于繪圖步驟，因為這些一般是可移動的且當地圖被使用時這些可能不再在它們的原始位置處。
[0025]因為雷達系統200還可確定在大物體(例如建筑物)之間是否有大自由空間，所以諸如小巷之類的位置也可被輸入到地圖中，而不必使測量車輛100移動穿過它們；如果車輛不被允許在小巷中或如果測量車輛100不適合在小巷中，則這是特別有用的。例如小巷的空間具有下列特征:它被長的筆直墻(即，建筑物的正面)和緊靠它們的無阻擋視野(即，對應于小巷的開口)約束。
[0026]作為來自雷達系統200和圖像獲取系統300的數據的處理的結果，使用精確的建筑物位置(圖1)來產生空間的地圖500。除了物體的底部的位置和尺寸以外，地圖500還可包括每個物體的正面和側面(以及背面，如果測量車輛100可接近的話)的海拔以提供三維視圖。從雷達系統200和圖像獲取系統300得到的準確的結構尺寸(例如寬度、高度、離街道和其它物體的距離)可用于完善該結構(例如建筑物)的輪廓。這個信息轉而可用于從可放置在結構上分明的骨架之上的圖像“切割”數據以產生空間的現實三維視圖。可針對從三維物體(例如建筑物)到二維圖像(圖3)的變換產生的失真來校正圖像數據。對于大部分建筑物，假設總體形狀是矩形棱柱，然而，來自雷達系統200和圖像獲取系統300的數據可用于確定建筑物或其它物體的形狀，并在校正相應的失真時進行適當的調節。[0027]可分析圖像數據以識別物體上的特征(例如建筑物上的門口或窗戶)，以提供用于繪圖的更詳細的信息。圖4示出使用描繪建筑物的周界的雷達數據產生的圖，其中基于從相關的圖像數據提取的信息識別出門口的位置。結合從GPS單元400得到的地理參考數據，門口可用作導航點，例如用于計算步行距離或最近的停車場，或以確定從用戶的當前位置到建筑物入口的距離。可通過使用在圖片中可見的尺寸、使用從數據被獲取的視點到建筑物底部的雷達距離并使用視點比例縮放計算來計算建筑物的尺寸(例如高度)。
[0028]采用幾個步驟來識別物體(例如建筑物)的輪廓，例如在圖3中的建筑物周圍顯示的輪廓。建筑物的基線(例如圖2)被識別為在俯仰(pitch)方向上的旋轉點(考慮視角和與距離的相關比例縮放)。垂直拐角被識別為在偏航方向上的旋轉角。雷達數據(例如圖2所示的散斑數據)用于識別建筑物邊界(圖2中的線)，建筑物邊界轉而用于計算旋轉點(例如俯仰和偏航)。這些點可接著用于分割圖像。在其它用途當中，當沒有來自該視點的原始圖像是可用的時，這個分割信息可用于拉長圖像以產生新視點，例如獲取建筑物的側面的傾斜圖像并拉長它以產生直接看建筑物的側面的視點。
[0029]除了來自原始建筑物的圖像以外，例如廣告600的圖像也可能被放置在建筑物(圖3)的一些或全部上。此外，可從建筑物的多個圖像中選擇被“切割”并放置到建筑物上的圖像，即，建設物的外部的圖像，例如具有比當得到同時掃描數據時可用的圖像更好的照明的圖像。也可例如通過“拉伸”來自側視圖的圖像數據以給出從建筑物的正面看的外觀來創建具有新視點的圖像。因為建筑物或其它物體的骨架的尺寸在三維中是已知的，即使從各種角度被觀看，也可正確地顯示放置到物體的外表面上的圖像。在不是矩形棱柱的建設物(例如具有彎曲面的建筑物)的情況下，圖像數據在彎曲面上被“拉伸”。
[0030]地圖500和來自空間的相關三維數據可用于多個目的。在一個實施例中，地圖500用于提供基于被掃描的空間的虛擬世界或幾個空間的復合物來產生虛構的虛擬世界。在另一實施例中，地圖用作例如在車輛、計算機或智能電話中的導航工具的部分。
[0031]除了所掃描的物體以外，可將其它三維物體添加到在地圖中提供的視圖。如上所述，可以用無縫方式將廣告放置在物體上。此外，虛擬字符可被顯示輸入所描繪的建筑物，例如用于游戲、廣告或互聯網零售的目的。
[0032]與只使用成像系統來產生數據的系統比較，雷達具有提供準確的距離信息以及較長的有用范圍(與成像系統的20-50米比較，雷達是250米)的優點。因此，到建筑物的距離可被計算以提供繪圖和方向信息，而不需要測量車輛100更近地接近建筑物。因此，減小了測量車輛100需要行駛以對用于繪圖的特定空間進行繪圖的距離。此外，更遠離公共街道的建筑物可被更精確地繪圖。此外，可給出到建筑物的門的距離，包括例如從停車場走到門花費多長時間的計算之類的特征。
[0033]因此，本發明提供了使用雷達-光學成像融合來創建地圖的方法和系統等等。在下面的權利要求中闡述了本發明的各種特征和優點。
【權利要求】
1.一種使用雷達掃描和光學成像的組合來對空間進行繪圖的方法，包括: 提供測量車輛，所述測量車輛具有附接到所述測量車輛的雷達系統和圖像獲取系統； 使所述雷達系統的視場與所述圖像獲取系統的視場對準； 使用雷達掃描系統來獲得空間的至少一個雷達掃描； 使用所述圖像獲取系統來獲得所述空間的至少一個圖像；以及 組合所述至少一個雷達掃描與所述至少一個圖像以構造所述空間的地圖。
2.如權利要求1所述的方法，還包括從所述至少一個雷達掃描移除來自至少一個運動物體的數據。
3.如權利要求1所述的方法，還包括識別所述空間中的物體。
4.如權利要求3所述的方法，還包括識別所述物體的特征。
5.如權利要求3所述的方法，其中，所述物體是建筑物，并且所述方法還包括使用所述至少一個雷達掃描來識別所述建筑物的輪廓。
6.如權利要求5所述的方法，其中，所述輪廓包括所述建筑物的覆蓋區。
7.如權利要求6所述的方法，還包括估計所述建筑物的高度。
8.如權利要求7所述的方法，還包括在所述地圖內所述建筑物的圖像上顯示廣告。
9.如權利要求1所述的方法，其中，所述地圖被用于車輛和智能電話中的至少一個上的導航系統。
10.如權利要求1所述的方法，其`中，提供具有附接到測量車輛的雷達系統和圖像獲取系統的測量車輛還包括提供具有附接到測量車輛的雷達系統、圖像獲取系統和GPS單元的測量車輛。
11.一種使用雷達掃描和光學成像的組合來對空間進行繪圖的系統，包括: 測量車輛，其具有附接到所述測量車輛的雷達系統和的圖像獲取系統，所述雷達系統的視場與所述圖像獲取系統的視場對準； 控制器，其與所述雷達系統和所述圖像獲取系統通信，所述控制器被配置成: 使用雷達掃描系統來獲得空間的至少一個雷達掃描； 使用所述圖像獲取系統來獲得所述空間的至少一個圖像；以及 組合所述至少一個雷達掃描與所述至少一個圖像以構造所述空間的地圖。
12.如權利要求11所述的系統，其中，所述控制器還被配置成從所述至少一個雷達掃描移除來自至少一個運動物體的數據。
13.如權利要求11所述的系統，其中，所述控制器還被配置成識別所述空間中的物體。
14.如權利要求13所述的系統，其中，所述控制器還被配置成識別所述物體的特征。
15.如權利要求13所述的系統，其中，所述物體是建筑物，并且其中所述控制器還被配置成使用所述至少一個雷達掃描來識別所述建筑物的輪廓。
16.如權利要求15所述的系統，其中，所述輪廓包括所述建筑物的覆蓋區。
17.如權利要求16所述的系統，其中，所述控制器還被配置成估計所述建筑物的高度。
18.如權利要求17所述的系統，其中，所述控制器還被配置成在所述地圖內的所述建筑物的圖像上顯示廣告。
19.如權利要求11所述的系統，其中，所述地圖被用于在車輛和智能電話中的至少一個上的導航系統。
20.如權利要求11所述的系統，其中，所述測量車輛還包括附接到所述測量車輛的GPS單元 。
【文檔編號】G01S13/89GK103890606SQ201280051376
【公開日】2014年6月25日 申請日期:2012年10月19日 優先權日:2011年10月20日
【發明者】J·貝克爾, O·施溫特 申請人:羅伯特·博世有限公司