汽車或移動設備3d影像采集和裸眼3d平視顯示系統及3d影像處理方法
【專利摘要】本發明公開了一種汽車或移動設備3D影像采集和裸眼3D平視顯示系統及3D影像處理方法，包括一個抬頭顯示器、一組裸眼3D屏幕、一組仿生3D視點、一個3D智能中心、汽車左側和右側仿生3D視點視鏡和一個車內裸眼3D后視鏡。本發明不僅解決了駕駛人在駕駛汽車或移動設備時無需將自己的雙眼視線離開前方道路來獲取信息的問題，而且使駕駛人可以根據汽車中一組裸眼3D屏幕中播放的來自一組仿生3D視點并經過仿生3D影像重建技術處理后的3D影像判斷出自己駕駛的汽車與鄰近車道中和后方車道中出現的其他汽車或行人之間的相對距離，以及為本發明提出的仿生3D導航地圖和其他第三方制作的3D導航地圖提供了一個汽車裸眼3D播放平臺。
【專利說明】
汽車或移動設備3D影像米集和裸眼3D平視顯不系統及3D影像處理方法
技術領域
[0001]本發明涉及一種適用于汽車或移動設備的3D影像采集，裸眼3D平視顯示系統，仿生3D影像重建技術，仿生3D導航地圖制作方法和3D導航模式。
【背景技術】
[0002]汽車抬頭顯示器(HUD)使人們開始認識到如果能夠使駕駛人無需低頭或將眼睛視線離開前方道路的情況下就可以獲得汽車行駛狀態，交通情況，導航地圖，通訊和社交信息，將極大地提高駕駛人主動式安全駕駛能力和減少交通事故發生的可能性。但是抬頭顯示器提供的信息有限，駕駛人還是需要低頭從汽車中控臺中獲得更多的信息和服務。流媒體進入汽車行業已經成為一種趨勢，汽車上到處都可以看到安裝的數碼攝像機，但是駕駛人無法通過傳統后視鏡和車載攝像機提供的2D影像判斷出自己駕駛的汽車與鄰近車道中和后方車道中出現的其他汽車或物體或行人之間的相對距離。目前市場中已經出現了專門針對立交橋的手機3D導航服務，但是距離將3D導航應用到整個城市街道和主要交通樞紐還有很大的差距，而且3D導航的實現需要一個真正的汽車3D播放平臺。在愈來愈立體化的城市交通網絡時代，3D導航是未來汽車導航發展的方向。
[0003]目前市場中大部分后裝汽車抬頭顯示器是由一個處理器和一個透明屏幕組成，固定在汽車儀表盤或中控臺上面。汽車原裝抬頭顯示器則是將處理器隱藏在儀表盤后面。處理器中的投影機將導航地圖和行駛狀態信息投射到透明屏幕或汽車前擋風玻璃上。但是抬頭顯示器提供的信息有限，駕駛人在駕駛過程中還需要不時地低頭察看中控臺中的導航地圖，搜索音樂頻道和調整空調，轉頭察看汽車左側和右側后視鏡，抬頭查看車內后視鏡等。為了解決駕駛人將雙眼視線離開前方道路獲取信息的問題，本發明提出了一個汽車裸眼3D平視顯示系統。
[0004]駕駛人通過自己的雙眼可以輕易地判斷出自己駕駛的汽車與前方其他汽車或物體或行人之間相對的距離，但是卻無法根據汽車傳統后視鏡和車載攝像機提供的2D影像做出同樣的判斷。為了使駕駛人能夠判斷出自己駕駛的汽車與鄰近車道和后方車道中出現的其他汽車或物體或行人之間相對距離，本發明提出了汽車仿生3D視點和仿生3D影像重建技術。
[0005]車聯網技術將手機的應用，導航，通訊，社交，娛樂和服務信息直接顯示在車載屏幕上，并通過手觸控屏幕進行控制和管理。但是車載屏幕的硬件參數包括分辨率和反應速度遠遠達不到智能手機般的流暢和易用，更無法滿足對各種3D協議和流媒體信息顯示和操作的要求。為了解決汽車多通路3D影像處理，顯示，控制和管理的問題，本發明提出了一個汽車3D智能中心。
[0006]汽車3D導航面臨的最大挑戰不僅僅是3D導航地圖數據的采集和獲取方式，更低的成本和更少的時間，而且需要解決重現原始場景中各個物體之間的立體深度關系的問題和獲得一個汽車裸眼3D播放平臺。本發明不僅為駕駛人提供了一個汽車裸眼3D播放平臺并且提出了仿生3D導航地圖的制作方法和三種不同的3D導航模式。
[0007]駕駛人通過汽車左側和右側傳統后視鏡和車內后視鏡觀察汽車左側和右側臨近車道和后方車道中的交通狀況。但是傳統后視鏡都存在著較大的盲區，風阻和噪聲系數，駕駛人無法判斷出自己駕駛的汽車與鄰近車道和后方車道中其他汽車或物體或行人之間的相對距離。為了解決傳統后視鏡的問題，本發明提出了一種汽車左側和右側仿生3D視點視鏡和車內裸眼3D后視鏡。

【發明內容】

[0008]本發明提出的一種汽車或移動設備3D影像采集和裸眼3D平視顯示系統及3D影像處理方法，不僅解決了駕駛人在駕駛汽車或移動設備時無需將自己的雙眼視線離開前方道路交通狀況來獲取汽車行駛狀態、交通、導航、通訊和社交、以及鄰近車道和后方向交通狀態等信息的問題，而且使駕駛人可以根據汽車中一組裸眼3D屏幕中播放的來自汽車仿生3D視點并經過仿生3D影像重建技術處理后的3D影像判斷出自己駕駛的汽車與鄰近車道和后方車道中出現的其他汽車或物體或行人之間的相對距離，以及為本發明提出的仿生3D導航地圖和其他第三方制作的3D導航地圖提供了一個汽車裸眼3D播放平臺。
[0009]汽車或移動設備3D影像采集和裸眼3D平視顯示系統，包括一個抬頭顯示器、一組裸眼3D屏幕、一組仿生3D視點、一個3D智能中心、汽車左側和右側仿生3D視點視鏡和一個車內裸眼3D后視鏡。
[0010]一個抬頭顯示器是由一個平面或曲面形狀的透明有機玻璃和粘貼在其內表面上的一個平面或曲面形狀的柔性或非柔性透明屏幕組成，透明屏幕可以是一個傳統的2D屏幕或是一個裸眼3D屏幕。透明有機玻璃材料選擇具有透明性能佳，堅固，輕質和耐溫度變化的材料。在屏幕和透明有機玻璃之間或透明有機玻璃外表面上可以增加一層偏振光薄膜以減弱太陽光照射的強度和各種反光對屏幕中影像的影響。抬頭顯示器與一個底座連接在一起，抬頭顯示器與底座之間的角度是可以調整的。底座被固定在汽車的儀表盤上面或中控臺上面。為了將底座設計成為一個簡單和不占有過大的空間，可以將屏幕的主板設置在3D智能中心中。當駕駛人對抬頭顯示器與底座之間的角度進行調整后，因為屏幕相對于駕駛人雙眼的傾斜角度發生了變化而導致影像和字體在垂直方向上發生了變形，駕駛人可以通過3D智能中心內置的影像處理軟件和手觸控屏幕對抬頭顯示器屏幕上的影像和字體進行修正。修正后的影像，字體和符號將被儲存在3D智能中心的內存單元中。抬頭顯示器顯示的內容和畫面采用簡單，清晰和必需的信息為設計原則，包括但不限于汽車速度，限速，提醒駕駛人安全距離，超速或與其它車輛距離過近警示，即時通訊和社交信息，簡版3D導航指引，建議路線等。
[0011]如果抬頭顯示器采用的是一個裸眼3D屏幕，根據仿生3D影像重建技術中改變景物會聚點的原理，通過3D智能中心內置的影像處理軟件和手觸控屏幕將抬頭顯示器中的內容會聚點設置在汽車前擋風玻璃前方的某個位置處，如果需要可以讓不同的顯示內容出現在距離汽車前擋風玻璃前方不同的位置處。在城市中行駛時，因為汽車之間的距離可能很接近，所以內容會聚點位置的設定原則是不要將內容會聚點進入到前方汽車中。經驗表明，將內容會聚點設置在汽車最前端處是一個考慮到各種可能發生的情況下較為合理和能夠被大多數駕駛人接受的位置。
[0012]駕駛人通過抬頭顯示器獲得重要和必需的信息，通過一組裸眼3D屏幕獲得更多和詳細的內容，包括但不限于3D導航和3D導航地圖，3D全景影像，3D娛樂，通訊，短信，微信，其它內容和服務。一組裸眼3D屏幕采用下述二種不同的設計模式中的一種。第一種設計模式是裸眼3D工作臺模式。裸眼3D工作臺是由一個平面或曲面形狀的背板或一個被彎折過的平板形狀的背板和固定在背板內表面上的一個或多個平面或曲面形狀的柔性或非柔性裸眼3D屏幕組成。背板可以直接固定在底座上或通過一個支架連接在底座上，底座被固定在汽車前方中控臺上面。駕駛人可以通過支架調整背板和屏幕的上下位置，左右旋轉和上下仰角從而獲得一個可以更好和方便查看屏幕內容的位置。如果背板是固定在底座上，可以采用透明有機玻璃背板和透明裸眼3D屏幕。當駕駛人不使用屏幕時，前排和后排乘客可以將屏幕移動和旋轉到適合他們觀看的位置。屏幕支架和底座的設計中有一個極限阻擋機構，確保屏幕移動和旋轉到極限位置時不會與汽車前排乘客安全氣袋在爆發時發生沖突。為了減小裸眼3D工作臺的重量和占用的空間，可以將所有屏幕的主板設置在3D智能中心中。第二種設計模式是裸眼3D控制臺模式。這種模式適用于汽車制造廠為汽車設計的一種車載3D顯示裝置。裸眼3D控制臺是由多個平面或曲面形狀的柔性或非柔性裸眼3D屏幕組成；多個屏幕可以拼接在一起成為一個連續的屏幕組或根據不同的顯示內容或目的被設置于汽車中不同的位置處。每一個屏幕可以播放不同的內容，也可以拼接在一起播放一個超寬畫面的影像。每個屏幕的大小和形狀都可以不同。裸眼3D控制臺模式中使用的屏幕數量，排列，位置和布置方式對于每個不同品牌和型號的汽車或移動設備是不同的。
[0013]研究表明，人的雙眼視角范圍最高可達到水平視角160度和垂直視角80度。一般人眼的視網膜中心區域大約在15度視角以內時能夠清楚地分辨影像。當水平視角在15度到35度之間時，人眼能夠看清楚物體的存在和動作，不需要通過轉頭就能夠辨別清楚的程度，但是分辨力已經下降了。當水平視角在35-60度之間時，人的雙眼可以分辨顏色，但無法判定物體和運動細節，這時如果需要分辨清楚物體的話，需要將眼球或頭轉過去讓物體或運動細節落入水平視角35度區域內。當水平視角在60-120度之間時，人的雙眼只能分辨出顏色和模糊的物體和運動方向，這時必須將頭轉過去分辨出物體和運動細節。實際上，人的雙眼能夠清晰地看清物體的區域是在一個水平視角約為35度，垂直視角約為20度的一個橢圓形錐體中。人的雙眼在這個橢圓形錐體區域內會有非常好的視覺臨場感，不會因為頻繁地轉動眼球而造成疲勞。駕駛人將雙眼目光從前方道路上向下或低頭大約5-10度就可以看到抬頭顯示器中顯示的信息，大約20-25度才可以看到汽車儀表盤數據。汽車中控臺中設備的位置比汽車儀表盤的位置更低并位于儀表盤的右下方向。駕駛人在中控臺中查看車載導航屏幕，搜索音樂頻道和調整空調旋鈕時需要將雙眼和頭同時向右偏離20-30度和低頭超過了25-45度。這時駕駛人已經將雙眼視線完全離開了前方道路。如果這個時候的汽車速度較快時，雙眼離開前方道路的數秒鐘時間都會造成汽車行駛出數十米至數百米的距離，對駕駛人和汽車中的乘客生命帶來了極大的風險。汽車裸眼3D工作臺的屏幕被設計成為在水平方向上與汽車儀表盤的高度接近或更高的位置處。當駕駛人正面對汽車的正前方向時，駕駛人雙眼中間點處的一條上下垂直直線是兩個垂直平面的交線，一個垂直平面上的水平切線朝向汽車正前方向，另一個垂直平面通過上述
[0012]中裸眼3D工作臺背板的中心點，兩個平面之間的夾角不超過75度。當駕駛人轉過頭查看裸眼3D工作臺屏幕播放的內容時，雙眼的部分余光仍然包括了汽車前方道路交通狀況，沒有完全失去對前方交通狀態的觀察。
[0014]最經常使用的3D拍攝方法有會聚法和平行法。會聚法是一種模仿人的雙眼關注景物方式的3D拍攝方法。使用會聚法拍攝時獲得的左右兩個具有不同視角的影像會出現一種梯形畸變的現象，而且距離拍攝的關注景物越近畸變越大。梯形畸變造成兩個影像的邊緣在垂直方向上無法進行完美的3D融合，這是造成觀眾感看3D影像時產生眼睛疲勞和生理不適的主要原因之一。平行法是一種將兩個平行設置的攝像機對著關注景物進行3D拍攝的一種方法。平行法不符合人的雙眼關注景物的方式和習慣，在3D播放空間中融合后的3D影像出現在屏幕的前方，也不是一種理想的3D播放效果。但是使用平行法拍攝而獲得的兩個具有不同視角的影像都沒有梯形畸變，而且在拍攝完成后可以通過人工介入的方式對拍攝時設定的參數進行修正，使得重建后的兩個具有不同視角的影像在3D播放空間中唯一的一個對應點上實現了會聚。這種方法不僅符合人的雙眼觀看習慣而且可以將影像畸變降低到最小的程度。經驗表明使用平行法拍攝獲得的兩個具有不同視角的影像經過3D影像重建技術處理后具有一種自然，舒適和健康的3D感覺和效果。
[0015]一個仿生3D視點是一個擁有有一個可以采集3D影像的攝像機或兩個攝像機的裝置。在一個擁有兩個攝像機的仿生3D視點中，兩個攝像機的中心線都處在同一個水平面上并且彼此平行，兩個中心線之間的平行間距為5-80毫米。兩個攝像機的制造商，品牌，型號和參數應該完全相同，保證采集的兩個具有不同視角的影像在色彩，白平衡，景深，表現力和質量上接近一致。仿生3D視點中面對著攝像機鏡頭的蓋板是一塊內外表面上都鍍有透明涂層的透明玻璃，鍍有透明涂層的透明玻璃表面具有排斥水、霧氣和異物的自清潔功能。人的眼睛是一個光學結構，適用于光學理論。攝像機鏡頭參數的選擇與人眼的光學系統愈接近，拍攝獲得的影像在播放時的3D影像效果與雙眼在原始場景中看到的關注景物和周邊景物之間的立體關系愈接近。研究結果表明人的眼睛焦距大約為16.65毫米，對應視角為120度。廣角鏡頭會使影像產生桶形畸變，兩個具有桶形畸變的影像在垂直方向上是無法實現完美的3D影像融合的，所以仿生3D視點中的每一個攝像機鏡頭視角都小于120度。
[0016]汽車3D影像采集系統通過在汽車的多個不同位置處設置仿生3D視點的方式采集汽車周圍和特定方向的3D影像。每一個仿生3D視點根據設置在汽車的不同位置而被標注不同的編號或名稱。對于汽車來說，將仿生3D視點I設置在汽車前擋風玻璃內表面中心下方或上方或汽車前面中心或接近中心的位置處，攝像機鏡頭朝向汽車正前方向。將仿生3D視點2設置在汽車后視窗玻璃內表面中心下方或上方或后背箱蓋中心或接近中心的位置處，攝像機鏡頭朝向汽車正后方向。將仿生3D視點3和4以及仿生3D視點5和6分別設置在汽車左側和右側傳統反光鏡后視鏡中或反光鏡后視鏡外殼下面或左側和右側仿生3D視點視鏡支架上或汽車左側和右側車身上。仿生3D視點3和4中的攝像機鏡頭分別朝向汽車的左前方向和左后方向。仿生3 D視點5和6中的攝像機鏡頭分別朝向汽車的右前后方向和右后方向。將仿生3D視點7和8分別設置在汽車左側和右側車身上或車頂上，攝像機鏡頭分別朝向汽車的左邊方向或右邊方向。
[0017]汽車3D影像采集系統安裝的仿生3D視點數量和位置決定了獲得的汽車周圍影像的視角范圍大小和可能存在的盲區。譬如，對于安裝有仿生3D視點I，2，3，4，5和6的汽車，汽車的左右兩側存在著兩個對稱的盲區。汽車左邊盲區是汽車左邊的仿生3D視點3的視角左邊緣和仿生3D視點4的視角右邊緣之間的區域。汽車右邊盲區是汽車右邊的仿生3D視點5的視角右邊緣和仿生3D視點6的視角左邊緣之間的區域。對于安裝有上述全部仿生3D視點的汽車，汽車周圍被360度的3D影像包圍而沒有盲區。
[0018]汽車全景影像是通過3D智能中心內置影像處理軟件將來自多個仿生3D視點的影像進行剪輯和拼接后成為一個連續和完整的超寬畫面的3D影像。汽車前方全景影像來自仿生3D視點I，3和5。汽車后方全景影像來自仿生3D視點2，4和6。汽車左后方全景影像來自仿生3D視點2，4和7。汽車右后方全景影像來自仿生3D視點2，6和8。在上述的四個不同的全境影像中，每一個全境影像中至少有一個仿生3D視點拍攝的影像中包括一個或部分汽車或移動設備上的部件作為一個參照物，譬如，在前方全景影像中，仿生3D視點I中攝像機獲得的影像中包括有汽車車頭上的標志或汽車引擎前蓋的前邊緣部分。駕駛人根據一組裸眼3D屏幕中播放的3D影像中的參照物可以判斷出自己駕駛的汽車與鄰近車道中或后方車道中出現的其它汽車或物體或行人之間的相對距離。
[0019]安裝有仿生3D視點I，2，3，4，5和6的汽車在正常駕駛期間，一組裸眼3D屏幕中播放的是汽車前方全景影像。當駕駛人撥動轉彎撥桿或將汽車排檔切換到倒車檔位準備進行轉換車道，轉彎，倒車或準備停車時，3D智能中心將一組裸眼3D屏幕播放內容從汽車前方全景影像自動切換到汽車后方全景影像。當駕駛人完成轉換車道，轉彎，倒車或停車后并且轉彎撥桿回彈后或將汽車排檔切換到前進檔位后，3D智能中心將一組裸眼3D屏幕中播放的內容從汽車后方全景影像自動切換回到到汽車前方全景影像。對于安裝有上述全部仿生3D視點的汽車在正常駕駛期間，一組裸眼3D屏幕中播放的是汽車前方全景影像。當駕駛人撥動轉彎撥桿或將汽車排檔切換到倒車檔位準備進行轉換車道，轉彎，倒車或準備停車時，3D智能中心將一組裸眼3D屏幕中播放的內容從汽車前方全景影像自動切換到汽車左后方或右后方全景影像。當駕駛人完成轉換車道，轉彎，倒車或停車后并且轉彎撥桿回彈后或將汽車排檔切換到前進檔位后，3D智能中心將一組裸眼3D屏幕中播放的內容從汽車左后方或右后方全景影像自動切換回到汽車前方全景影像。駕駛人在駕駛期間的任何時候都可以通過聲控方式切換一組裸眼3D屏幕中播放的內容。
[0020]為了對汽車正前方向，正后方向以及鄰近車道中的左前方向，右前方向，左后方向和右后方向行駛中的汽車進行實時測距，在汽車上多處相應的位置處安裝測距儀。測距儀可以采用激光，超聲波，雷達或微波雷達中任何方式的傳感器測距技術和設備。測距儀獲得的測距信息將直接進入到3D智能中心，并由3D智能中心對獲得的測距數據通過軟件進行實時分析，修正和運算后將完成后的數據，預先設計和添加的信息一起疊加在抬頭顯示器和一組裸眼3D屏幕中的影像上，采用了一種增強現實的顯示方法，譬如采用一個箭頭指向附近正在進行即時測距的汽車或行人上，連接箭頭的信息框中顯示出表示距離的數字和簡單說明。
[0021]3D智能中心對每一個來自仿生3D視點獲得的兩個具有不同視角的影像通過仿生3D影像重建技術進行重建，使得重建后的兩個影像經過人的大腦融合后的3D影像具有較少畸變，較小色像差，自然的立體深度，健康和舒適感覺。仿生3D影像重建技術主要包括;第一是對原始場景空間中任意一點上采集的兩個具有不同視角的影像中的每一個影像沿著水平和彼此相反的方向做一個平移h = T/A的距離，使得平移后的兩個影像在3D播放空間中存在著唯一的一個對應點并且在該對應點上兩個影像實現了會聚。第二是通過適當地選擇h值和調整汽車前方關注景物位置的方式，將關注景物的兩個具有不同視角的影像在3D播放空間中的會聚點位置設置在3D播放屏幕上，這時關注景物在3D播放屏幕上的視差為零。這時原始場景空間與3D播放空間之間成為兩個相互對應的理想空間。理想成像是原始場景空間中的任意一點，一條直線和一個面在相互對應的理想空間中對應點處重現為具著相似立體深度關系，沒有畸變和扭曲的一個點，一條直線和一個面。在原始場景空間中距離攝像機鏡頭最近的前景物在3D播放空間中的最大出屏量是Zcnear = 2T X Zd X Znear/(t x f x A)。最大出屏量是一個需要加以控制的參數，因為融合后的3D影像位于觀眾和3D屏幕之間，不是一種3D影像的理想表達方式，較長時間的觀看將會引起觀眾的雙眼產生疲勞和生理感覺不適。第三是使用仿生3D影像重建技術的理論最大視角差d(amax) = (t X f X A/Zd)x I/zn■替代傳統經驗公式，這種方法可以使原始場景中不同物體之間的立體深度關系在3D播放空間中以具有最小改變的相似的立體深度關系的方式被重現。目前的3D播放技術被稱為平面3D顯示技術，即將兩個具有不同視角的影像同時投射到一個平面屏幕上，兩個影像在屏幕上的水平距離為視差。通常通過調整兩個影像視差的方式來控制融合后的3D影像會聚點的位置。觀眾的左右眼分別只能看到并聚焦在彼此獨立的其中一個影像上，左右眼分別獲得的影像經過大腦融合后形成了一個3D影像。但是平面3D顯示技術與人觀看世界的方式和習慣不同。在正常情況下，人的雙眼聚焦在關注物體上而不是分別聚焦在兩個彼此分開和各自獨立的兩個平面影像上。這是一種被稱為聚焦-會聚沖突的現象。這種沖突是造成人的雙眼在觀看3D影像時感覺疲勞和生理不適的最根本和主要原因之一。設定最大視角差的目的就是為了減少這種沖突對人的雙眼和生理造成不適的影響。最常使用的辦法是使用經驗公式或安全系數對3D影像采集和播放時的一些物理參數進行限制。經過多年的實際檢驗表明經驗公式是有效的。但是隨著3D影像技術和設備的不斷發展，以目前的技術水平，經驗和觀點來看待這些經驗公式就顯得保守了，譬如，經驗公式中經常使用的最大視角差是
0.02，相當于1.17度或0.07弧度分。仿生3D影像重建技術從理論上得出最大視差角并認為只要觀眾在觀看3D影像時的視角差愈接近仿生3D影像重建技術的理論最大視差角，觀眾看到的3D影像和效果就愈接近于原始場景空間中的立體深度和感覺。但是增加最大視角差的同時也相應地增加了聚焦-會聚沖突帶來的影響。所以如何找到一個最佳的平衡點是關鍵。對于不同的應用和要求，平衡點的選擇方式和重點也不同。第四是在部分仿生3D視點拍攝的影像中包括至少一個或部分汽車或移動設備上的部件作為參照物。駕駛人根據汽車中的一組裸眼3D屏幕中播放的經過仿生3D影像重建后的3D影像中的參照物可以判斷出自己駕駛的汽車與鄰近車道和后方車道中出現的其他汽車或物體或行人之間的相對距離。
[0022]汽車3D導航地圖面對的最大挑戰之一是3D地圖數據的采集和制作方式。如果采用同樣制作2D地圖的方法來獲得3D導航地圖數據，需要投入極高的制作成本和花費更多的時間。3D導航地圖和數據可以通過下面的四種具有較高效率，較低成本和需要較少時間的制作方法獲得。第一種方法是城市模型法。很多城市都擁有一個按照比例制作的城市模型，模型中擁有詳細的城市道路，立體交通樞紐，立交橋，與實體建筑具有同樣建筑風格和細節的建筑模型，停車場，道路兩邊的植樹以及更多的細節。模型隨著城市的發展和變化而在不斷地被更新。制作時將攝像機對著城市模型從多個不同方向和角度進行3D拍攝，使用可以采集3D影像的一個微型攝像機或兩個微型攝像機通過模擬真人駕駛的方式沿著城市模型中的每一個街道，道路，廣場，路口，停車場，隧道，立交橋和交通樞紐等和按照不同的方向進行3D拍攝。拍攝獲得的兩個具有不同視角的影像通過仿生3D影像重建技術進行重建和處理。第二種方法是用戶分享法。這種方法鼓勵每一個擁有本發明專利產品的駕駛人都參與到分享數據計劃中，使每個駕駛人成為3D導航地圖的繪制者之外，同時也讓他們成為3D導航地圖的使用者。駕駛人在駕駛汽車時通過仿生3D視點I，3和5將汽車行駛路線中的真實街景拍攝下來并記錄在汽車智能3D中心。3D智能中心中如果設置有GPS以及相關的3D導航地圖繪制軟件的話，每臺車都會在行駛時記錄下當時的路況，路經，路標，信號燈和交通標志的相關的數據。當駕駛人到達目的地并停車和熄火后，汽車3D智能中心將自動搜尋無線上網熱點，并將所有采集到的數據和影像通過軟件進行整合和處理后自動地上傳到云端。第三種方法是2D轉3D方法。當汽車行駛在城市道路，城外公路和高速公路上，公路兩邊的大樓和街景都不是重要的標示。這時對于駕駛人來講最重要的是正確的道路和方向，高速公路和交通樞紐的入口和出口，高速公路與最接近的城市相對的位置，距離，進入城市的連接道路和方向等。2D轉3D技術是將目前2D導航地圖中的部分城市道路，城外公路和高速公路按照不同的道路編號，不同的道路顏色或不同的道路方向采用不同的立體深度進行分層并分隔開，駕駛人通過具有不同立體深度的路線時非常明確地知道自己行駛的道路或車道。對于交通樞紐或立交橋，各個不同方向和彼此交叉的路線被具有不同立體深度的道路或車道按照立交橋面之間真實的比例被分層并分隔開，使得駕駛人較容易地分辨出正確的道路和方向，從而不會走錯路和方向。這是一種快速，簡單，低成本的理想解決方法。在傳統3D行業中，觀眾對于觀看通過2D轉3D方法實現的3D內容時最大的抱怨是平板效應。通過這種技術實現的3D影像常常被稱為是偽3D，也是2D轉3D技術無法普及的主要原因之一。平板效應指的是整個原始場景空間似乎是被人為地分割成為眾多個子空間，每一個字空間中的景物和內容都被強行地壓縮到一個畫板上，每一個畫板上的景物都具有相同的立體深度。將眾多個畫板按照前后一定順序并沿著縱向距離被擺放起來，看起來非常地不自然和具有明顯的深度跳躍現象。對于部分的城市道路，城外公路和高速公路，具有平板效應的3D導航地圖不僅可以被接受，而且將成為導航地圖立體化最具實用效果的工具之一。當汽車行駛在城市道路，城外公路和高速公路經過最接近的城市邊緣時，上述方法制作的城市模型導航地圖將出現在一組裸眼3D屏幕中。這時，駕駛人非常明確的知道自己駕駛的汽車距離最近城市的相對位置和方向。第四種方法是制作一個簡版3D導航指引。簡版3D導航指引表現為一個帶有透視和3D視覺效果的全新導航指引。簡版3D導航指引帶有透視效果的無窮遠會聚點低于駕駛人雙眼的水平高度。簡版3D導航指引中帶有箭頭的道路指引可以直接沿著道路方向延伸并指向前方。帶有箭頭的道路指引與道路之間的高度可以調節。駕駛人使用3D智能中心手觸控屏幕調整簡版3D導航指引的無窮遠會聚點的位置和帶有箭頭的道路指引與真實道路之間的高度。簡版3D導航指引的無窮遠會聚點成為帶有箭頭的道路指引伸向無窮遠方向的終點處接近或相交。簡版3D導航指引以簡單，明確和直接了當的表達方式為設計原則以便于駕駛人沒有任何的猶豫地快速識別，理解和做出相應的反應。當使用了上述前三種制作方法獲得的3D導航地圖數據經過影像后期制作，不同方法獲得的數據之間進行相互的分享，經過標注和匯總后成為最終的3D導航地圖和簡版3D導航指引。如果將上述方法獲得的最終的3D導航地圖在經過仿生3D影像重建技術進行重建后完成的3D導航地圖被稱為仿生3D導航地圖。仿生3D導航地圖為相交于3D導航地圖是一個將原始場景還原得更加準確，較少變形和表示了更精確的相似立體深度關系的一種3D導航地圖。
[0023]3D智能中心為駕駛人提供了三種不同的導航模式;第一種模式是簡版3D導航指引模式，這種模式直接使用在抬頭顯示器中。第二種模式是真實3D街景導航結合簡版3D導航指引的增強現實模式。這是在一組裸眼3D屏幕中播放的前方全景影像上疊加簡版3D導航指引的一種增強現實表現方法的導航模式。第三種模式是3D導航地圖模式。3D導航地圖可以來自于上述
[0022]中的前三種制作方法或其他制作方法獲得的3D導航地圖。除了第一種導航模式在抬頭顯示器中播放之外，其他兩種導航模式都在一組裸眼3D屏幕中播放。駕駛人可以隨時通過聲控方式在第二種和第三種3D導航模式之間進行切換。上述第二種和第三種導航模式不僅為駕駛人提供了一個更清晰和準確的導航服務，同時也為駕駛人提供了一個清晰和精確的興趣點(POI)定位增值服務，成為一個全新，有效和具有商業價值的商業服務模式。每一個不同的興趣點都可以在精確的地點和位置處直接標示在3D導航地圖中，無論這個興趣點是在同一個大樓中，不同的樓層或緊挨著的地面店鋪。駕駛人在行駛中會根據真實3D街景導航或3D導航地圖中與興趣點所在的真實目標外形或建筑特點一致的特點很容易地發現興趣點的位置和方向，不會因為同一個地點同時出現過多的興趣點扎堆而錯過了興趣點。同時使用一種增強現實的表現方式，將一個箭頭直接指向興趣點，箭頭后面連接著包含有簡單說明文字和數字的方框。當駕駛人直接說出方框中的數字后，3D智能中心將直接帶你進入到該興趣點中并通過裸眼3D屏幕獲得更詳細的具有3D影像效果的介紹和說明。
[0024]汽車左側和右側傳統反光鏡后視鏡已經在市場中存在了數十年。傳統反光鏡后視鏡技術不僅視角較小，風阻和風噪音系數較大，而且駕駛人無法從后視鏡中判斷出自己駕駛的汽車與鄰近車道中或后方車道中出現的其他汽車或物體或行人之間的相對距離。汽車左側和右側仿生3D視點視鏡結合測距儀和增強現實的顯示技術和方法不僅解決了上述傳統反光鏡后視鏡的所有問題，而且讓駕駛人不需要轉頭和將雙眼離開前方道路的情況下就可以判斷出是否可以安全轉換車道，倒車，停車和獲得汽車周圍交通狀況的信息，成為駕駛人一個主動式安全輔助工具。只要解決了視頻傳輸穩定性的問題，使用數字流媒體取代傳統反光鏡后視鏡不僅是一個時尚和流行，而且是一個趨勢和方向。
[0025]汽車左側和右側仿生3D視點視鏡采用下述四種不同的設計方案中的一種。第一種方案是將仿生3D視點3和4以及仿生3D視點5和6分別設置在汽車左側和右側傳統反光鏡后視鏡中。這種設計方案適用于前裝或后裝汽車左側和右側仿生3D視點視鏡。這種設計方案不僅同時擁有兩種后視技術的相互支持和備份，而且可以較好地保護3D攝像機。仿生3D視點3和5分別固定在汽車左側和右側傳統反光鏡后視鏡前殼體的表面和后視鏡內部的一個支座上，兩個攝像機中心線與攝像機物鏡外表面上的交點和物鏡的外表面的中點重合并都位于同一個切平面上。仿生3D視點4和6分別固定在汽車左側和右側傳統反光鏡后視鏡內部的一個支座上。兩個攝像機物鏡與后視鏡反光鏡鏡片內表面之間留有一個足夠大的空間，當駕駛人調節汽車左側和右側傳統反光鏡后視鏡中反光鏡鏡片的工作角度時，攝像機物鏡不會與反光鏡鏡片內表面有任何的接觸。在傳統反光鏡后視鏡反光鏡鏡片的下方正對著仿生3D視點4和6的攝像機鏡頭位置處有一個水平方向的長方形狀部分是完全透明的，反光鏡鏡片在這個水平方向的長方形狀區域的背面上沒有反光鏡涂層。但是在這個水平方向的長方形狀區域的透明玻璃的內外表面都鍍有透明涂層，鍍有透明涂層后的玻璃表面具有排斥水，霧氣和異物的自清潔功能。仿生3D視點4和6中的攝像機鏡頭通過這個水平方向的長方形狀透明玻璃采集外面的影像。第二種方案是將仿生3D視點3和4以及仿生3D視點5和6分別固定在汽車左側和右側傳統反光鏡后視鏡外殼下面。這種設計方案適用于前裝或后裝汽車仿生3D視點視鏡，安裝簡單和易于維護。仿生3D視點3和4以及仿生3D視點5和6被設計成為具有流線型外形并分別與汽車左側和右側傳統傳統反光鏡后視鏡融于一體。第三種方案是全新設計一個可收回式的汽車左側和右側視鏡支架，視鏡支架的一端連接在汽車車身上或一個固定在汽車車身上的底座上，另一端懸空。當汽車啟動后汽車左側和右側視鏡支架將自動地移動或轉動到正常工作位置，當汽車停車熄火后將自動地收回到汽車車身或視鏡支架底座中隱藏起來。仿生3D視點3和4以及仿生3D視點5和6被分別設置在汽車左側和右側視鏡支架上。對于采用了兩個攝像機的仿生3D視點，汽車左側和右側兩個視鏡支架在正常的工作位置時，視鏡支架中每個3D視點中的兩個攝像機中心線位于同一個水平平面上。視鏡支架可以設置在汽車不同的位置處，譬如，傳統反光鏡后視鏡位置處，前車門上或前車門前方的車身上。視鏡支架的位置設置和外形設計如何能夠與汽車車身的外形美工和設計風格進行完美融合將成為汽車設計師的一個挑戰。第四種方案是將3D視點3和4、5、6、7和8分別安裝在汽車左側和右側車身上或車頂上的不同位置處。在上述四種不同的仿生3D視點視鏡設計方案的任何一種方案中，仿生3D視點視鏡在工作位置正常工作時，仿生3D視點視鏡中的兩個攝像機的中心線都位于同一個水平平面上。
[0026]駕駛人通過汽車傳統車內反光鏡后視鏡觀察后方道路交通狀況。但是傳統車內反光鏡后視鏡的視角受到了汽車后面C柱和D柱的限制以及后排乘客和貨物的遮擋。2D攝像機影像提供的后方道路交通狀況信息無法使駕駛人判斷出自己駕駛的汽車與后面道路中出現的其他汽車或物體或行人之間的相對距離。駕駛人從汽車車內裸眼3D后視鏡上看到的是來自仿生3D視點2、4和6的后方全景影像，擁有更大的視角，而且沒有干擾和死角。汽車車內裸眼3D后視鏡是由一個平面或曲面形狀的背板和固定在背板內表面上的一個或多個平面或曲面形狀的柔性或非柔性裸眼3D屏幕以及設置在屏幕外面的一個鍍有涂層的防眩目玻璃組成。涂層只允許光線由里向外的單方向穿透。為了減小后視鏡的重量和占用的空間，可以將車內裸眼3D后視鏡的屏幕主板設置在汽車3D智能中心中。車內裸眼3D后視鏡上設置有一個開關，當駕駛人關閉開關后，車內裸眼3D后視鏡變成了一個傳統車內反光鏡后視鏡。
[0027]3D智能中心是一個電腦，在電腦的主板上連接著抬頭顯示器，一組裸眼3D屏幕和車內裸眼3D后視鏡屏幕的主板，多個ISP影像處理器，中央控制單元，編碼和解碼器，一個帶有通訊芯片Sim卡插槽的無線通訊模塊和一個手觸控屏幕等。3D智能中心擁有一個獨立的操作系統，內置的3D影像重建技術，影像剪輯和拼接，3D格式轉換，影像編碼和解碼，各種信號處理軟件包等軟件。3D智能中心通過操作系統和內置影像處理軟件，通過連接在主板上的數組帶有影像處理芯片，屏幕和顯示器的主板和中央控制單元，編碼和解碼器對來自每一個仿生3D視點的兩個具有不同視角的影像進行處理，主要包括:仿生3D影像重建，剪輯，拼接，平移，3D格式轉換，算法，優化，調色，白平衡，編碼，解碼，輸出和存檔;通過帶有一個通訊芯片的無線通訊模塊中或手機中預裝的APP軟件對來自手機中的應用，導航地圖，電話，微信，短信，語音控制等各種功能和內容進行連接和處理;通過內置信號分析和處理軟件對來自汽車OBD和測距儀的信息進行加工和處理;并將處理后的影像和信息通過中央控制單元按照預先設定的程序分別輸出到抬頭顯示器，一組裸眼3D屏幕和車內裸眼3D后視鏡中播放。汽車啟動后，所有的仿生3D視點中的攝像機自動開啟，經過一段時間后，3D智能中心在同一個時間開始同步地接收每一個仿生3D視點采集的兩個具有不同視角的影像。兩個具有不同視角的影像經過仿生3D影像重建，剪輯，拼接，平移和左右3D播放格式轉換后成為一個完整的具有超寬畫面的影像。每一個超寬畫面的影像經過影像處理器對影像進行處理，主要包括:算法，優化，亮度，色調和白平衡等修正之后直接進入到編碼器中進行壓縮和編碼。對于只采用了仿生3D視點I，2，3，4，5和6的汽車，這樣的超寬畫面的影像共有二個，它們是前方全境影像和后方全景影像。對于采用了全部8個仿生視點的汽車，這樣的超寬畫面的影像共有四個，它們是前方全境影像，后方全境影像，左后方全境影像和右后方全境影像。中央控制單元對上述的兩個或四個不同的全景影像進行控制和管理，按照程序的設定要求及時和正確地輸出到一組裸眼3D屏幕和車內裸眼3D后視鏡的屏幕主板中，經過解碼器后分別在一組裸眼3D屏幕和車內裸眼3D后視鏡中播放。3D智能中心中設置有一個帶有Sim卡插槽的無線通訊模塊，模塊中安裝有市場中主要的手機操作系統和需要的APP軟件，可以直接下載和接收不同操作系統手機中的3D導航地圖，簡版3D導航指引，音樂和視頻等應用和服務，不僅不會因為在使用過程中由于手機通訊或外界帶來的各種干擾而中斷服務的可能性，而且節省了手機的流量和費用。如果手機下載或連接的是仿生3D導航地圖，3D智能中心將通過中央控制單元直接將仿生3D導航地圖輸出到一組裸眼3D屏幕和車內裸眼3D后視鏡中播放。如果手機下載或連接的3D導航地圖來自于第三方的3D導航地圖，沒有經過仿生3D影像重建技術重建和不滿足仿生3D影像重建技術對3D播放格式的要求，駕駛人可以通過手觸控屏幕設定是否對這樣的3D導航地圖進行仿生3D影像重建或直接輸出到一組裸眼3D屏幕和車內裸眼3D后視鏡中播放。3D智能中心將預先設計和制作的可能或相關的興趣點說明和簡介內容信息疊加在3D導航地圖影像上，譬如將一個箭頭直接指向興趣點，箭頭后面連接著包含有簡單說明文字和數字的方框。當駕駛人直接通過聲控方式說出方框中的數字后，3D智能中心將直接帶你進入到該興趣點中并通過一組裸眼3D屏幕獲得更詳細的具有3D影像效果的說明和介紹。3D智能中心支持聲控交互式的控制方式，在背板上預留有多個通用型對外接口并對第三方應用和服務開放。3D智能中心將被設計和制作成為一個堅固的裝置，不會在交通事故中被輕易地損壞并保留事故發生時和之前的數據和影像。
[0028]3D智能中心中將對所有來自仿生3D視點的兩個具有不同視角的影像進行仿生3D影像重建，影像剪輯和拼接處理，并將處理后的兩個影像以左右格式(Side-by-Side)的3D播放格式輸出到抬頭顯示器，一組裸眼3D屏幕和車內裸眼3D后視鏡中播放。
[0029]本發明提出的技術和裝置具有易于安裝、操作簡單、成本較低、易于推廣和普及的特點。
【附圖說明】
:
圖1汽車平面形狀抬頭顯示器示意圖
圖2汽車曲面形狀背板和裸眼3D屏幕與固定式底座工作臺示意圖圖3汽車曲面形狀背板和裸眼3D屏幕與連接支架式工作臺示意圖圖4汽車被彎折過兩次的平板形狀的背板和裸眼3D屏幕與連接支架式工作臺示意圖圖5汽車裸眼3D控制臺示意圖圖6汽車仿生3D視點示意圖圖7汽車仿生3D視點和仿生3D視點視角分布示意圖圖8仿生3D影像重建技術1-示意圖圖9仿生3D影像重建技術2-示意圖圖10汽車左側和右側仿生3D視點視鏡設計方案I示意圖圖11汽車左側和右側仿生3D視點視鏡設計方案2示意圖圖12汽車左側和右側仿生3D視點視鏡支架設計方案3示意圖圖13汽車車內裸眼3D后視鏡示意圖圖14汽車3D智能中心和車聯網系統示意圖圖15汽車3D智能中心示意圖
【具體實施方式】
:
本發明的【具體實施方式】表示本發明具體化的一個例子，與權利要求書中的特定事項具有對應關系。本發明不限定實施方式，在不脫離本發明主旨的范圍內，能夠通過對各種不同的實施方式來實現具體化。所有示意圖中的說明案例都是所述的可實施技術方案中的一個例子。
[0030]圖1、一個抬頭顯示器9的底邊帶有兩個圓形連接耳，底座10的后面有一個半圓柱形狀的凸起。抬頭顯示器9的連接耳和底座10的半圓形狀凸起通過兩個螺栓11被連接起來。通過兩個螺栓11調整和固定抬頭顯示器9與底座10之間的角度。底座10的半圓柱形狀凸起的后面有一個專門供抬頭顯示器9的接線插口 12和一個電源接口 13。在圖1所示的設計方案中，底座10通過一個附件15的有機玻璃固定在汽車儀表盤或中控臺上面。附件15的上表面為一個平面，底面是一個曲面形狀并帶有粘膠。附件15通過底面上的粘膠固定在汽車儀表盤或中控臺上面，底座10通過一個吸盤14固定在附件15的平面表面上。附件15的底面形狀根據不同的汽車品牌和型號的不同而不同。
[0031]圖2所示的是一個曲面形狀背板和在其內表面上粘貼的一個曲面形狀的柔性或非柔性裸眼3D屏幕組成的一個裸眼3D工作臺16。裸眼3D工作臺16固定在一個底座18上并與底座18—起固定在汽車中控臺上面。
[0032]圖3所示的是一個曲面形狀背板和在其內表面上粘貼的一個曲面形狀的柔性或非柔性裸眼3D屏幕組成的一個裸眼3D工作臺16。裸眼3D工作臺16通過一個支架17連接在一個固定在汽車中控臺上面的底座18上。駕駛人可以通過支架17調整裸眼3D工作臺16的位置和方向。
[0033]圖4、一個被彎折過兩次的平板形狀的背板19和在其內表面上固定了三個平面形狀的裸眼3D拼接屏幕20組成的一個裸眼3D工作臺。背板19通過一個支架17連接在一個固定在汽車中控臺上面的底座18上。駕駛人可以通過支架17調整背板19和三個拼接屏幕20的位置和方向。
[0034]圖5、汽車裸眼3D控制臺是由多個平面或曲面形狀的柔性或非柔性裸眼3D屏幕21組成;多個屏幕21可以拼接在一起成為一個連續的屏幕組或根據不同的顯示內容或目的被設置于不同的位置處。每個不同的位置處使用的裸眼3D屏幕21可以不同，譬如屏幕的形狀，大小或是否透明等。不同品牌的汽車控制臺使用的屏幕21數量，排列，位置和布置方式不同。
[0035]圖6所示的是一個擁有兩個平行設置的攝像機22的汽車仿生3D視點。每一個仿生3D視點都是由一個外殼23，兩個攝像機22和攝像機正前方向的透明玻璃蓋板25組成。根據在汽車上的設置位置不同，仿生3D視點外殼23的形狀不同。在正常工作位置時，仿生3D視點中的兩個攝像機22中心線位于同一個水平面上并彼此平行，平行間巨為5-80毫米。兩個攝像機22的排線24分別穿過仿生3D視點外殼23后連接到汽車3D智能中心34。仿生3D視點外殼23的前面蓋板是一塊內外表面上都鍍有涂層的透明玻璃25，仿生3D視點中的兩個攝像機22通過正前方向的透明玻璃25采集外面的影像。
[0036]圖7所示的是在一輛汽車上設置的一組仿生3D視點和這些視點的視角分布圖。其中汽車左右兩邊的兩個最大陰影面積部分表示這組仿生3D視點的視角仍未覆蓋到的區域而成為盲區。汽車四個犄角處的較小面積陰影部分表示這組仿生3D視點的視角仍未覆蓋的四個死角的區域。仿生3D視點I設置在汽車前擋風玻璃內表面中心下方的位置處，視點中的兩個攝像機22的鏡頭朝向汽車正前方向。仿生3D視點2設置在汽車后視窗玻璃內表面中心上方的位置處，視點中的兩個攝像機22的鏡頭朝向汽車正后方向。仿生3D視點3和4以及仿生3D視點5和6分別設置在汽車左側和右側傳統反光鏡后視鏡中，仿生3D視點3和4中的攝像機22的鏡頭分別朝向汽車的左前方向和左后方向，仿生3D視點5和6中的攝像機22的鏡頭分別朝向汽車的右前方向和右后方向。仿生3D視點7和8分別設置在汽車車頂的左側和右側邊緣上。圖7中沒有標示出仿生3D視點7和8的視角范圍。只要將仿生3D視點7和8中的攝像機22的鏡頭分別朝向汽車的左前邊方向和右前邊方向，就可以完全覆蓋汽車左右兩邊的兩個陰影部分表不的盲區。
[0037]圖8a所示的是一個典型的在原始場景空間中進行3D影像拍攝時的場景設計。兩個攝像機26和27彼此相距為t。將兩個攝像機26和27同時向內轉，直到兩個攝像機26和27的中心線會聚到關注景物30上。這是一個典型的采用了會聚方法進行3D拍攝的例子。關注景物30前方的景物稱為前景物31，后方的景物稱為后景物32。關注景物，前景物和后景物到攝像機26和27的距尚分別是Zconv，Znear和Zfar。
[0038]圖Sb、在3D播放空間中，一個寬度為W的平面屏幕33。投射到屏幕33上的左右兩個影像之間的水平距離為視差P。當人的左眼和右眼分別只能看到并聚焦到屏幕33上的左影像和右影像時，左右兩個影像在大腦中融合后的3D影像出現在屏幕的后面，稱為屏幕空間。當人的左眼和右眼分別只能看到并聚焦到屏幕33上的右影像和左影像時，左右兩個影像在大腦中融合的3D影像出現在觀眾和屏幕之間，稱為觀眾空間。根據圖Sb所示的幾何關系得到下面關系式，
Zc = Zd X T/(T-P) (I)
其中，Z。-觀眾雙眼到屏幕上左右兩個影像會聚點的距離 Zd-觀眾雙眼到屏幕的距離 T-觀眾雙眼之間的距離
P-視差，出現在屏幕上的左右兩個影像之間的水平距離
d(P) =Pmax-Pmin = T X Ζ?(?/Ζ cnear- l/Zcfar) (2)
其中:pmax-屏幕上左右兩個影像出現的最大視差
Pmin-屏幕上左右兩個影像出現的最小視差
Zcnear-觀眾到最小視差會聚點的距離(P〈0負視差，觀眾空間)
Zcfar-觀眾到最大視差會聚點的距離(P>0正視差，屏幕空間)
定義，Prei = d(P)/W
其中:Prel_單位屏幕寬度上的最大視差 W-屏幕30的寬度
[0039]圖9a所示的是在一個原始場景空間中采集3D影像時，兩個攝像機26和27同時向內轉，直到兩個攝像機26和27的中心線會聚到關注景物30上。兩個攝像機26和27的中心線在關注景物30上的會聚點直接在兩個攝像機26和27的成像芯片28和29的中心點上成像。圖9b所示的是將兩個攝像機26和27從圖9a所示的會聚方式向外轉一直到兩個攝像機26和27的中心線彼此平行為止。將3D拍攝方法從會聚法改變成為平行法的一個例子。這時在關注景物30上的會聚點在兩個攝像機26和27的成像芯片28和29上的成像位置就不再是中點了，而是離開了成像芯片中點彼此相反的水平方向和水平距離為h的位置上。這時如果將攝像機26和27的成像芯片28和29分別朝著彼此相反和水平方向平移一個距離h，這樣一來使用了平行法拍攝的結果與使用了會聚法拍攝的結果完全一樣。這種通過平移兩個成像芯片28和29而獲得與會聚拍攝效果一樣的3D影像平行拍攝方法稱為平行會聚等效法。根據圖9b所示的幾何關系我們得到下面關系式，
d = t X f x(l/z conv- l/z) =h~t X f/z (3)
其中，d-原始場景空間中任意一點在兩個攝像機成像芯片上的視差
h_兩個攝像機成像芯片朝著彼此相反方向的水平偏移量
t_兩個平行設置的攝像機中心線之間的距離
f -攝像機鏡頭的等效焦距
Z-原始場景空間中任意一點到攝像機的距離
Z_v-使用平行法拍攝時關注景物或等效會聚點到攝像機的距離
根據公式(3)推得下式；
d(d)—dmax-dmin — t X f ( l/znear_ l/zfar) (4)
其中:dmax-兩個攝像機成像芯片上左右兩個影像的最大視差 dmin-兩個攝像機成像芯片上左右兩個影像的最小視差 Zn.-前景物31到攝像機的距離 Zfar-后景物32到攝像機的距離定義，drel = d(d)/w
其中:drel-單位成像芯片寬度上的最大視差 W-攝像機成像芯片寬度
{吏丫守，drel — Prel
推得:?=[(Ζ?/Α X f)x(l/Zcnear-l/Zcfar)/(l/znear-l/zfar)]x T (5)
其中:A-屏幕放大率W/w
公式(5)表明，3D拍攝時的兩個攝像機中心線之間的距離與人眼視間距是不相同的。 同樣推得:P=(WzV)x d=A X d并代入到公式(I)中得到下式:
Zc= (Zd X T)/(T-P) = (Zd x T)/(T_A x d)
=(Zd X T)/[A X t X f-(A x h_T)x z]x z (6)
公式(6)表明Z。與z之間不是線性關系。理想成像是原始場景空間中任意一點，一條直線和一個面對應著3D影像重建空間中唯一的一個點，一條直線和一個面。為了使在一個原始場景空間中拍攝獲得的兩個具有不同視角的影像能夠完美地在3D播放空間中理想成像，無扭曲和畸變，唯一的條件是讓兩個空間中對應點之間的數學關系成為線性關系。在公式(6)中，Z。與z之間的線性關系成立的條件是，
A X h_T = 0或h = T/A
公式(6)簡化成為下式，
Zc= (Zd X T)/(A xtx f)x z (7)
公式(7)表明，原始場景空間中任意一點上獲得的兩個具有不同視角的影像在3D播放空間中具有唯一的一個對應點，在該對應點上兩個具有不同視角的影像實現了會聚。
結論:采用平行法拍攝3D影像時，仿生3D影像重建技術要求在拍攝前將攝像機的成像芯片28和29朝著彼此相反方向水平移動h的距離或在完成正常拍攝后，對輸出后的影像進行后期制作時將左右兩個影像向彼此相反的方向水平平移h的距離。通過上述的方法，拍攝3D影像時使用平行法同樣可以獲得比會聚法進行3D拍攝更理想的效果，不僅符合人的雙眼看景物的方式和習慣，而且沒有畸變發生。
根據圖9b所示的幾何關系和公式(5)得到下列關系式，
Zconv = (t X f )/2h = t X f X A/2T = (Zd/2)x(1/Z cnear- l/Zcfar)/( l/Znear_ l/zfar) ( 8 )
因為zfar?l 所以 1/Zfar〈〈l 將公式(8)簡化為下式，
(I/Zcnear~ I/Zcfar ) = t X f X A/(T X Zd X Znear )
根據定義，最大視差角d(a max)為，見圖8b d(a max) =a2-ai = tan_1(T/Z cnear )-tan—HlYZcfar)
= T(1/Zcnear-1/Zcfar)
=(t X f X A/Zd)x 1/Znear (9)
結論:公式(9)得出了最大視差角amax的理論極限值。目前廣泛使用的經驗公式amax為
0.02是一個較為保守的經驗安全值。當提高了最大視角差安全值后，人的雙眼看到和感覺到的3D效果將會更接近于原始場景中真實的立體深度關系，但同時也相應地增加了人眼的聚焦-會聚沖突的影響。
仿生3D影像重建技術的一個核心思想是將原始場景空間中的立體深度關系能夠在3D影像重建中正確地體現出來。公式(7)表明，兩個空間之間在數學上存在著線性關系，將每一個原始場景空間中的一個物體的幾何形狀都能夠在3D播放空間中正確地按照某個比例還原并且沒有畸變。公式(8)表明，恰當地選擇h的數值并將關注景物在3D播放空間的會聚點的位置設定在3D屏幕上，這時，在理想空間中下面的關系式成立，(下面的關系通過公式
(7)同樣能夠獲得證明)
Zconv/Ζ? Znear/Zcnear Zf ar/Zcfar ( 10 )
將公式(8)帶入公式(10)中得到了最大出屏量，
Zcnear=ZD X Znear/Zconv
=2T X Zd X Znear/(t X f X A) (11)
公式(11)表明，最大出屏量除了與攝像機參數有關之外，還與原始場景中的近景物的位置有關。實際上，在觀眾空間中過大的出屏量不僅會讓觀眾感覺不真實，也是造成觀眾眼睛疲勞和生理不適的原因之一。為了控制最大出屏量的最有效的辦法是在播放屏幕一定的情況下控制近景物的位置。
[0040]圖10所示的是汽車左側和右側仿生3D視點視鏡的第一種設計方案。仿生3D視點3和4以及仿生3D視點5和6被分別設置在汽車左側和右側傳統反光鏡后視鏡中。圖10中只顯示了汽車左側仿生3D視點視鏡的結構和實施方法，汽車右側仿生3D視點視鏡是左側的一個鏡像，兩者的結構和實施方法完全相同。左側傳統反光鏡后視鏡外殼34，反光鏡鏡片35，反光鏡轉動機構37，仿生3D視點3和4，仿生3D視點支撐結構38。仿生3D視點3固定在后視鏡前殼體34的表面和后視鏡內部的一個支撐結構38上，其中的兩個攝像機22中心線與攝像機22的物鏡外表面上的交點和物鏡的外表面的中點重合并都位于同一個切平面上。仿生3D視點4安裝在后視鏡中的支撐結構38上，其中的攝像機22的物鏡需要距離反光鏡鏡片35足夠的遠，使得仿生3D視點4中的攝像機物鏡與反光鏡鏡片35內表面彼此不會發生任何的接觸。當駕駛人調整反光鏡鏡片35的工作角度和方向時，轉動機構37將反光鏡鏡片35進行上下和左右四個方向的轉動。反光鏡鏡片35的底部有一個水平方向的長方形狀透明部分36，這個透明部分36的背面沒有反光鏡涂層。但是在透明部分36的內外表面都鍍有透明涂層，鍍有透明涂層的透明玻璃表面具有排斥水，霧氣和異物的自清潔功能。仿生3D視點4中的兩個攝像機22通過反光鏡鏡片35底部的透明部分36采集外面的影像。
[0041 ]圖11所示的是汽車左側和右側仿生3D視點視鏡的第二種設計方案。仿生3D視點3和4以及仿生3D視點5和6被分別安裝在汽車的左側和右側傳統反光鏡后視鏡的外殼34下面。反光鏡后視鏡的反光鏡鏡片為35。圖11只顯示了汽車左側仿生3D視點視鏡的結構和實施方法，汽車右側仿生3D視點視鏡是左側的一個鏡像，兩者的結構和實施方法完全相同。
[0042]圖12所示的是汽車左側和右側仿生3D視點視鏡的第三種設計方案。汽車仿生3D視點視鏡支架39是一種全新的汽車視鏡技術和裝置。仿生3D視點3和4以及仿生3D視點5和6被分別安裝在汽車左側和右側仿生3D視點視鏡支架39上。圖12只顯示了汽車左側仿生3D視點視鏡和視鏡支架的結構和實施方法，汽車右側仿生3D視點視鏡支架是左側的一個鏡像，兩者的結構和實施方法完全相同。圖12a所示當汽車啟動前，視鏡支架39隱藏在視鏡支架底座40中，視鏡支架固定在汽車車身41上。圖12b所示當汽車啟動后，視鏡支架39從視鏡支架底座40中旋轉到工作位置。在工作位置時，安裝在視鏡支架上的仿生3D視點3和4中的兩個攝像機22的中心線都位于同一個水平面上。圖12c所示當汽車引擎關閉后，視鏡支架39將自動地旋轉并回到視鏡支架底座40中。這時在視鏡支架39上的四個仿生3D視點3，4，5和6以及其中的共八個攝像機22和鏡頭全部被隱藏在汽車車身或視鏡支架底座40中。
[0043]圖13所示的是一個汽車車內裸眼3D后視鏡。車內裸眼3D后視鏡是由一個平面背板42，一個或多個平面裸眼3D屏幕43，一塊鍍有涂層的防眩目玻璃44組成。車內裸眼3D后視鏡的背板42與一個后視鏡支架45連接在一起。防眩目玻璃44設置在裸眼3D屏幕43的外面，背面上鍍有涂層。涂層只允許光線由里向外的單方向穿透。駕駛人能夠透過防眩目玻璃看到裸眼3D屏幕43中播放的內容。后視鏡上設置有一個開關46，當駕駛人將開關46關閉后，車內裸眼3D后視鏡變成了一個傳統的車內反光鏡后視鏡。
[0044]圖14所示的是一個汽車3D智能中心47的設計和工作流程圖。3D智能中心47是一個電腦，主要包括:主板48，操作系統49，存儲單元50，一個帶有Sim卡插槽的無線通訊模塊51，中央控制單元52，觸摸屏67和所有位于黑色虛線框中的裝置。汽車仿生3D視點被分成了三個組，分別是仿生3D視點I，3和5，仿生3D視點2，4和6以及仿生3D視點7和8。三個組中的仿生3D視點分別獲得的影像按照各自的分組進入到仿生3D影像重建技術單元53中，通過內置的仿生3D影像重建和處理軟件對其中的參數進行調整后，進入到影像剪輯，拼接和3D格式轉換單元54。三個組中的影像在54中分別被剪輯，拼接和3D插圖的過程，最后成為四個具有超寬畫面的單一影像，前方全境影像，后方全境影像，左后方全境影像和右后方全境影像。設置在影像處理主板57上的ISP影像處理芯片55對每一個影像進行處理，主要包括:算法，優化，亮度，色調和白平衡后直接進入到編碼器56中進行壓縮和編碼。中央控制單元52中的邏輯處理器將根據預先設計好的程序將四個影像及時地分別輸送到一組裸眼3D屏幕16，20和21以及車內裸眼3D后視鏡43的屏幕主板58中，經過解碼器60后在一組裸眼3D屏幕16，20和21以及車內裸眼3D后視鏡43中播放。抬頭顯示器的主板59與3D智能中心47的主板連接。來自內置的無線通訊模塊51中或駕駛人手機61中的3D導航地圖直接進入到仿生3D影像重建技術單元53，駕駛人可以通過內置的無線通訊模塊或手機設定是否需要對來自3D導航地圖進行修正，如果不需要的話則直接通過單元53進入到一組裸眼3D屏幕16，20和21。來自內置的無線通訊模塊51中或手機61中的簡版3D導航指引，電話，微信，短信，視頻，音樂，娛樂和其他內容則直接進入到3D智能中心主板48后進入到抬頭顯示器9和一組裸眼3D屏幕16，20或21中播放。來自汽車內立體雙聲道麥克風62的聲音信號經過一個軟件包對信號進行轉換和處理。來自汽車OBD63插頭的信息經過一根專用數據線傳送到一個軟件包，通過軟件將數據讀取出來。測距儀64偵測到的數據直接進入到測距儀附帶的數據處理器65。所有上述經過處理后的麥克風62的聲音信號，OBD63的數據和測距儀64的數據直接進入到3D智能中心主板48后被輸送到汽車揚聲器，抬頭顯示器9和一組裸眼3D屏幕16，20和21中播放。3D智能中心電源66負責提供上述所有裝置的全部供電。
[0045]圖15所示的是一個汽車3D智能中心47的設計和工作流程圖。與上述圖14相比較，圖15中沒有車聯網部分。
【主權項】
1.汽車或移動設備3D影像采集和裸眼3D平視顯示系統，其特征在于，包括一個抬頭顯示器、一組裸眼3D屏幕、一組仿生3D視點、一個3D智能中心、汽車左側和右側仿生3D視點視鏡和一個車內裸眼3D后視鏡； 所述的一個抬頭顯示器是由一個平面或曲面形狀的透明有機玻璃和粘貼在其內表面上的一個平面或曲面形狀的柔性或非柔性透明屏幕組成，透明屏幕可以是傳統的2D屏幕或裸眼3D屏幕，抬頭顯示器與一個底座連接在一起，抬頭顯示器與底座之間的角度是可以調整的； 所述的一組裸眼3D屏幕采用下述二種不同的設計模式中的一種；第一種模式是裸眼3D工作臺模式，裸眼3D工作臺是由一個平面或曲面形狀的背板或一個被彎折過的平板形狀的背板和固定在背板內表面上的一個或多個平面或曲面形狀的柔性或非柔性裸眼3D屏幕組成，背板可以直接固定在底座上或通過一個支架連接在底座上，底座被固定在汽車前方中控臺上面，駕駛人可以通過支架調整背板和屏幕的位置和方向；第二種模式是裸眼3D控制臺模式，裸眼3D控制臺是由多個平面或曲面形狀的柔性或非柔性裸眼3D屏幕組成，多個屏幕可以拼接在一起成為一個連續的屏幕組或根據不同的顯示內容或目的被設置在汽車中不同的位置處，裸眼3D控制臺模式中使用的屏幕數量、排列、位置和布置方式對于每個不同品牌和型號的汽車或移動設備是不同的； 所述的仿生3D視點是一個擁有一個可以采集3D影像的攝像機或兩個攝像機的裝置;將一組仿生3D視點設置在汽車或移動設備上多個不同的位置處采集汽車周圍和特定方向的3D影像; 所述的3D智能中心是一個擁有一個獨立的操作系統，對來自每一個仿生3D視點的影像、汽車OBD和測距儀的信息、手機中的應用和信息進行處理、控制和管理，并將處理后的影像和信息通過中央控制單元按照預先設定的程序分別輸出到抬頭顯示器、一組裸眼3D屏幕和車內裸眼3D后視鏡中播放的電腦，主要包括在電腦的主板上連接著的抬頭顯示器、一組裸眼3D屏幕和車內裸眼3D后視鏡屏幕的主板、影像處理器、中央控制單元、編碼器和解碼器、手觸控屏幕和一個帶有通訊芯片插槽的無線通訊模塊； 所述的汽車左側和右側仿生3D視點視鏡是將多個仿生3D視點分別設置在汽車左側和右側傳統反光鏡后視鏡中或反光鏡后視鏡外殼下面或仿生3D視點視鏡支架上或汽車車身上的一種汽車影像采集裝置;仿生3D視點視鏡中的仿生3D視點采集的兩個具有不同視角的影像，經過仿生3D影像重建技術和其他影像軟件處理后，駕駛人通過一組裸眼3D屏幕和車內裸眼3D后視鏡中播放的3D影像可以判斷出自己駕駛的汽車與鄰近車道和后方車道中出現的其他汽車或物體或行人之間的相對距離； 所述的汽車車內裸眼3D后視鏡是由一個平面或曲面形狀背板和固定在背板內表面上的一個或多個平面或曲面形狀的柔性或非柔性裸眼3D屏幕以及屏幕外面的一個背面鍍有涂層的防眩目玻璃組成。2.根據權利要求1所述的汽車或移動設備3D影像采集和裸眼3D平視顯示系統，其特征在于，在抬頭顯示器的屏幕和透明有機玻璃之間或透明有機玻璃外表面上可以增加一層偏振光薄膜以減弱太陽光照射的強度和各種反光對屏幕上的影像造成的影響。3.根據權利要求1所述的汽車或移動設備3D影像采集和裸眼3D平視顯示系統，其特征在于，在一個擁有兩個攝像機的仿生3D視點中，兩個攝像機的中心線都位于同一個水平面上并且彼此平行，兩個中心線之間的平行間距為5-80毫米。4.根據權利要求1所述的汽車或移動設備3D影像采集和裸眼3D平視顯示系統，其特征在于，每一個仿生3D視點根據設置在汽車或移動設備上的不同位置而被標示不同的編號或名稱;對于汽車來說，將仿生3D視點I設置在汽車前擋風玻璃內表面上或汽車前面的位置處，攝像機鏡頭朝向汽車正前方向；將仿生3D視點2設置在汽車后視窗玻璃內表面上或汽車后背箱蓋的位置處，攝像機鏡頭朝向汽車正后方向；將仿生3D視點3和4以及仿生3D視點5和6分別設置在汽車左側和右側傳統反光鏡后視鏡中或反光鏡后視鏡下面或左側和右側仿生3D視點視鏡支架上或汽車左側和右側車身上，仿生3D視點3和4中的攝像機鏡頭分別朝向汽車的左前方向和左后方向，仿生3D視點5和6中的攝像機鏡頭分別朝向汽車的右前方向和右后方向；將仿生3D視點7和8分別設置在汽車左側和右側車身上或車頂上，攝像機鏡頭分別朝向汽車的左邊方向和右邊方向。5.根據權利要求1和4所述的汽車或移動設備3D影像采集和裸眼3D平視顯示系統，其特征在于，汽車左側和右側仿生3D視點視鏡采用下述四種不同的設計方案中的一種;第一種方案是將仿生3D視點3和4以及仿生3D視點5和6分別設置在汽車左側和右側傳統反光鏡后視鏡中；第二種方案是將仿生3D視點3和4以及仿生3D視點5和6分別固定在汽車左側和右側傳統反光鏡后視鏡外殼下面;第三種方案是將仿生3D視點3和4以及仿生3D視點5和6分別設置在一個全新設計的可收回式的汽車左側和右側仿生3D視點視鏡支架上，視鏡支架可以設置在汽車不同的位置處，當汽車啟動后汽車左側和右側視鏡支架將自動地移動或轉動到正常工作位置，當汽車停車和熄火后將自動地收回到汽車車身或視鏡支架底座中隱藏起來；第四種方案是將3D視點3、4、5和6分別安裝在汽車左側和右側車身上或車頂上的不同位置處。6.根據權利要求1所述的汽車或移動設備3D影像采集和裸眼3D平視顯示系統，其特征在于，在汽車車內裸眼3D后視鏡上設置一個開關，當開關關閉后，車內裸眼3D后視鏡變成一個傳統的車內反光鏡后視鏡。7.根據權利要求1、3、4和5所述的汽車或移動設備3D影像采集和裸眼3D平視顯示系統及3D影像處理方法，其特征在于，3D智能中心通過一個獨立的操作系統和內置的影像處理軟件，通過連接在主板上的多個帶有影像處理芯片，屏幕和顯示器主板，編碼器和解碼器，手觸控屏幕和中央控制單元對來自每一個仿生3D視點的兩個具有不同視角的影像進行處理，主要包括:仿生3D影像重建，平移，剪輯，拼接，3D格式轉換，算法，優化，亮度，色調，白平衡，編碼，解碼，輸出和存檔;通過一個帶有無線通訊芯片的無線通訊模塊中或手機中預裝的APP軟件連接手機中的各種應用，導航地圖，電話，微信，短信，語音控制等各種信息和內容并對這些信息和內容進行處理;通過內置信號處理軟件對來自汽車OBD和測距儀的信息進行加工和處理。8.如權利要求1、3、4、5和7所述的汽車或移動設備3D影像采集和裸眼3D平視顯示系統及3D影像處理方法，其特征在于，3D智能中心對每一個來自仿生3D視點的兩個具有不同視角的影像進行仿生3D影像重建；仿生3D影像重建技術主要包括:第一是對原始場景空間中任意一點上采集的兩個具有不同視角的影像中的每一個影像沿著水平和彼此相反的方向做一個平移h = T/A的距離，使得平移后的兩個影像在3D播放空間中存在著唯一的一個對應點并且在該對應點上兩個影像實現了會聚;第二是通過適當地選擇h值和調整汽車前方關注景物位置的方式，將關注景物的兩個具有不同視角的影像在3D播放空間中對應的會聚點位置設置在3D播放屏幕上，這時原始場景空間中距離攝像機鏡頭最近的前景物在3D播放空間中的最大出屏量是Zcnear = 2TxZDxznear/(t xfxA);第三是使用仿生3D影像重建技術的理論最大視角差d(amax) = (txfxA/ZD)xl/z_r替代傳統經驗公式，將原始場景中不同物體之間的立體深度關系在3D播放空間中以相似立體深度關系被重現;第四是在部分仿生3D視點拍攝的影像中包括至少一個或部分汽車或移動設備上的部件作為參照物，駕駛人根據一組裸眼3D屏幕中播放的3D影像中的參照物可以判斷出自己駕駛的汽車與鄰近車道和后方車道中出現的其他汽車或物體或行人之間的相對距離。9.如權利要求1、4、5、7和8所述的汽車或移動設備3D影像采集和裸眼3D平視顯示系統及3D影像處理方法，其特征在于，3D導航地圖可以通過下述四種不同的制作方法制作;第一種方法是將攝像機對著一個按照比例建造的城市模型從多個不同方向和角度進行3D拍攝，使用可以采集3D影像的一個微型攝像機或兩個微型攝像機模擬真人駕駛的方式沿著城市模型中的每一個街道，大路，廣場，路口，停車場，隧道，立交橋和交通樞紐等按照不同的方向進行3D拍攝;第二種方法是鼓勵每一個參加分享數據計劃的駕駛人在駕駛汽車時通過仿生3D視點I，3和5將汽車行駛路線中的真實街景拍攝下來并將影像保存在3D智能中心，當駕駛人到達目的地停車和熄火后，3D智能中心將自動搜尋無線上網熱點，并將所有采集的數據自動地上傳到云端;第三種方法是使用2D轉3D技術將2D導航地圖中的城市道路，城外公路和高速公路按照不同的道路編號，不同的道路顏色和不同的道路方向按照不同的立體深度進行分層并分隔開，對于交通樞紐或立交橋中每個不同方向的道路按照真實比例將不同高度的道路分隔開;第四種方法是制作一個簡版3D導航指引，簡版3D導航指引是一個帶有透視和3D視覺效果的全新導航指引；上述制作方法獲得的3D導航地圖數據和影像經過仿生3D影像重建技術重建，影像后期制作，共享上述不同制作方法獲得的數據，匯總后形成最終的仿生3D導航地圖和簡版3D導航指引。10.根據權利要求1、7和9所述的汽車或移動設備3D影像采集和裸眼3D平視顯示系統，其特征在于，3D智能中心提供了三種不同的導航模式;第一種模式是簡版3D導航指引模式，使用在抬頭顯示器中；第二種模式是真實3D街景導航結合簡版3D導航指引的增強現實導航模式;第三種模式是3D導航地圖模式，3D導航地圖可以是通過上述權利要求9中前三種制作方法獲得的仿生3D導航地圖或其他制作方法獲得的3D導航地圖；駕駛人可以隨時通過聲控方式在第二種和第三種3D導航模式中進行切換。
【文檔編號】G02B27/01GK105929539SQ201610333077
【公開日】2016年9月7日
【申請日】2016年5月19日
【發明人】彭波
【申請人】彭波