虛擬現實、增強現實的實時顯示方法和系統的制作方法
【專利摘要】本發明公開了一種虛擬現實、增強現實的實時顯示方法和系統，其方法包括確定需要處理的計算操作；將所述計算操作分成若干計算子模塊，并根據計算資源分配規則，將所述若干計算子模塊分配給顯示終端、與顯示終端通信連接的若干增強處理裝置；所述顯示終端和若干增強處理裝置分別對各自接收到的計算子模塊進行數據處理；匯集顯示終端和若干增強處理裝置處理后的數據，并根據匯集后的數據，渲染計算機圖形；在顯示終端上顯示渲染后的計算機圖形。本發明能夠實時顯示虛擬現實、增強現實，且圖形質量高、影像播放流暢。
【專利說明】
虛擬現實、増強現實的實時顯示方法和系統
技術領域
[0001]本發明涉及一種虛擬現實、增強現實技術領域，更具體地，涉及一種虛擬現實、增強現實的實時顯示方法和系統。
【背景技術】
[0002]虛擬現實技術和增強現實技術在國防、商業、娛樂、工業領域等方面有巨大的應用價值。
[0003]人們通過配戴如Oculus的虛擬現實眼鏡、微軟的hololens等虛擬現實裝置或增強現實裝置等顯示終端，以使自己沉浸在虛擬現實場景或增強現實場景中。
[0004]但是，現有技術的顯示終端，經常會出現畫面顯示質量下降、計算機圖形與現實場景匹配出現延遲等情況，極大地影響了用戶的體驗。

【發明內容】

[0005]本發明的第一方面目的在于提供一種虛擬現實、增強現實的實時顯示方法，該方法能夠實時顯示虛擬現實、增強現實，且圖形質量高、影像播放流暢。
[0006]為了能實現上述目的，本發明按照以下技術方案實現:
[0007]虛擬現實、增強現實的實時顯示方法，其包括:
[0008]確定需要處理的計算操作；
[0009]將所述計算操作分成若干計算子模塊，并根據計算資源分配規則，將所述若干計算子模塊分配給顯示終端、與顯示終端通信連接的若干增強處理裝置；
[0010]所述顯示終端和若干增強處理裝置分別對各自接收到的計算子模塊進行數據處理，分別在移動終端和增強處理裝置進行并行處理；
[0011 ]匯集顯示終端和若干增強處理裝置處理后的數據，并根據匯集后的數據，渲染計算機圖形；
[0012]在顯示終端上顯示渲染后的計算機圖形。
[0013]作為一種具體的實施例，所述確定需要處理的計算操作具體為:根據顯示終端獲取到的其自身的定位信息、周邊環境三維信息或操作信息判斷計算機圖形的形態是否需要發生改變，若是，則確定為需要處理的計算操作；
[0014]所述操作信息包括語音、手勢、鍵盤、鼠標、觸摸屏操作信息。
[0015]作為一種具體的實施例，所述計算資源分配規則為:將圖像顯示實時性要求高且計算量小的計算子模塊直接分配給顯示終端，將其余的計算子模塊分配給若干增強處理裝置。
[0016]作為一種具體的實施例，所述顯示終端和若干增強處理裝置可以采用運動預測方法對各自接收到的計算子模塊進行數據處理，提高操作的實時性。
[0017]作為一種具體的實施例，所述匯集顯示移動終端和若干增強處理裝置處理后的數據，并根據匯集后的數據，渲染計算機圖形具體為:
[0018]當顯示終端與一臺增強處理裝置通信連接時，將顯示終端處理后的數據傳輸給增強處理裝置，由增強處理裝置匯集自身、和顯示終端處理后的數據，所述增強處理裝置根據匯集后的數據，渲染計算機圖形；
[0019]當顯示終端與至少兩臺增強處理裝置通信連接時，將顯示終端處理后的數據傳輸給至少兩臺增強處理裝置中主增強處理裝置，由主增強處理裝置匯集自身、從增強處理裝置、和顯示終端處理后的數據，所述主增強處理裝置根據匯集后的數據，渲染計算機圖形。
[0020]進一步地，所述增強處理裝置將渲染后的計算機圖形實時傳輸給顯示終端，當計算機圖形渲染結束，實時傳輸結束。
[0021]作為一種具體的實施例，所述匯集顯示終端和增強處理裝置處理后的數據，并根據匯集后的數據，渲染計算機圖形具體為:
[0022]將若干增強處理裝置處理后的數據傳輸給顯示終端，由顯示終端匯集自身、和若干增強處理裝置處理后的數據，所述顯示終端根據匯集后的數據，渲染計算機圖形。
[0023]本發明的第二方面目的，在于提供一種虛擬現實、增強現實的實時顯示系統，其包括:顯示終端、與顯示終端通信連接的增強處理裝置。
[0024]該系統還包括:檢測判斷模塊，其設置在顯示終端和/或增強處理裝置上，用于確定需要處理的計算操作；
[0025]計算資源分配模塊，其設置在顯示終端和/或增強處理裝置上，用于將需要處理的計算操作分成若干計算子模塊，并根據計算資源分配規則，將所述若干計算子模塊分配給顯示終端、與顯示終端通信連接的若干增強處理裝置；
[0026]數據處理模塊，其設置在顯示終端和增強處理裝置上，用于對顯示終端接收到的計算子模塊進行數據處理；
[0027]匯集模塊，其設置在顯示終端和/或增強處理裝置上，用于匯集顯示終端和若干增強處理裝置處理后的數據；
[0028]渲染模塊，其設置在顯示終端和/或增強處理裝置上，用于根據匯集后的數據，渲染計算機圖形；
[0029]顯示模塊，其設置在顯示終端上，用于顯示渲染后的計算機圖形。
[0030]作為一種具體的實施例，所述顯示終端還包括:即時定位和地圖構建模塊，用于獲取獲取顯示終端的定位信息、周邊環境三維信息；控制模塊，用于獲取顯示終端的操作信息;其中，所述操作信息包括語音、手勢、鍵盤、鼠標、觸摸屏操作信息。
[0031]作為一種具體的實施例，所述顯示終端還包括:所述顯示終端為頭戴式顯示裝置；所述增強處理裝置為個人電腦。
[0032]本發明與現有技術相比，其有益效果為:
[0033]本發明的虛擬現實、增強現實的實時顯示方法和系統通過計算資源分配模塊，將需要進行處理的計算操作，合理分配給與顯示終端通信連接的如個人電腦等增強處理裝置，在顯示終端、個人電腦同時處理，然后再根據處理后的數據渲染計算機圖形，以實時顯示虛擬現實或增強現實。本發明的方法和系統，不僅增強了整個顯示系統的數據處理能力、處理速度，使計算機圖形實時顯示，而且還降低了對顯示終端處理能力的要求，也即降低了對顯示終端的配置要求，降低了顯示終端的計算成本，同時，由于對顯示終端的計算處理能力降低，顯示終端的續航能力也得到了很大的提高。
[0034]為了能更清晰的理解本發明，以下將結合【附圖說明】闡述本發明的【具體實施方式】。
【附圖說明】
[0035]圖1是本發明實施例的虛擬現實、增強現實的實時顯示方法流程圖。
[0036]圖2是本發明實施例的顯示終端、增強處理裝置通信連接示意圖。
[0037]圖3是本發明實施例的顯示終端、增強處理裝置通信連接示意圖。
[0038]圖4是本發明實施例的顯示終端的結構框圖。
[0039]圖5是本發明實施例的增強處理裝置的結構框圖。
【具體實施方式】
[0040]現有技術中，現有技術的顯示終端，經常會出現畫面顯示質量下降、計算機圖形與現實場景匹配出現延遲等情況，極大地影響了用戶的體驗。
[0041]其中，顯示終端的計算能力對畫面顯示質量至關重要，但是，我們發現，現有技術中的顯示終端，其往往在芯片等器件上受到很大的限制，其計算能力難以滿足高品質的畫面渲染和人機互動。換言之，如果計算能力不足，就會導致畫面顯示質量下降、計算機圖形和現實場景的匹配出現延遲等等。
[0042]本發明實施例提供一種虛擬現實、增強現實的實時顯示方法和系統，該方法和系統借助增強處理裝置(如家庭個人電腦等)，以分布式的方式，對數據進行并行處理，提高虛擬現實或者增強現實移動終端的顯示圖形畫質和速度。從而實現了實時顯示虛擬現實和增強現實，有效地解決了現有技術中顯示畫面質量下降、計算機圖形與現實場景匹配延遲等問題，可有效保證用戶的高品質、流暢使用體驗。
[0043]下面，參考圖1，對本發明實施例的虛擬現實、增強現實的實時顯示方法進行闡述說明。
[0044]實施例1:
[0045]如圖1所示，本發明實施例的虛擬現實、增強現實的實時顯示方法包括以下步驟:
[0046]SlOO:確定需要處理的計算操作。
[0047]其中，所述確定需要處理的計算操作具體為:根據顯示終端獲取到的其自身的定位信息、周邊環境三維信息或操作信息判斷計算機圖形的形態是否需要發生改變，若是，則確定為需要處理的計算操作。
[0048]其中，所述顯示終端其自身的定位信息、周邊環境三維信息可通過顯示終端中的即時定位和地圖構建模塊獲得。
[0049]在一些實施例中，所述即時定位和地圖構建模塊用于控制單目攝像頭、兩個或兩個以上攝像頭對顯示終端的周邊環境進行攝像，并根據拍攝到的圖像構建顯示終端周邊環境的二維彳g息。
[0050]在另一些實施例中，所述即時定位和地圖構建模塊用于控制深度攝像頭、普通彩色攝像頭對顯示終端的周邊環境進行攝像，并根據拍攝到的圖像構建顯示終端周邊環境的二維f目息。
[0051]優選地，所述即時定位和地圖構建模塊還用于控制慣性傳感器，以檢測和測量顯示終端在移動過程中，其自身的加速度、傾斜度、沖擊力、振動、旋轉、和多自由度運動。
[0052]所述計算機圖形的形態包括圖形顯示位置、大小、視差信息等信息。
[0053]所述操作信息包括語音、手勢、鍵盤、鼠標、觸摸屏操作信息。具體地，通過顯示終端中的第一控制模塊或增強處理設備中的第二控制模塊獲取得到。
[0054]S200:將所述計算操作分成若干計算子模塊，并根據計算資源分配規則，將所述若干計算子模塊分配給顯示終端、與顯示終端通信連接的若干增強處理裝置。
[0055]其中，所述計算資源分配規則為:將圖像顯示實時性要求高，如低于19毫秒的動作，且計算量小的計算子模塊直接分配給顯示終端，將其余的計算子模塊分配給若干增強處理裝置。其中，所述實時性要求高和計算量小，是針對各個計算子模塊之間比較而言的。具體，所述計算資源分配規則可以是事先預設好的靜態計算資源分配規則；也可以是動態分配規則，例如，可以根據與顯示終端通信連接的各個增強處理設備的配置、計算能力等進行動態分配，配置高、處理速度高的，則分配計算要求高的計算子模塊。
[0056]S300:所述顯示終端和若干增強處理裝置分別對各自接收到的計算子模塊進行數據處理。
[0057]其中，由于大部分場景的運動是一種有序的行為，優選地，本發明實施例的所述顯示終端和若干增強處理裝置采用運動預測方法對各自接收到的計算子模塊進行數據處理，以提高數據處理的效率。
[0058]具體地，可以通過以“參考數據幀”為基礎，預測即將要處理的“數據幀”實現。對于特定的場景活動，可利用一本地的“參考數據庫”，進行預測，估算出運動矢量。其中，所述參考數據庫可通過機器學習獲取和完善。
[0059]S400:匯集顯示終端和若干增強處理裝置處理后的數據，并根據匯集后的數據，渲染計算機圖形。
[0060]其中，在一種實施例中，由增強處理裝置匯集顯示終端和若干增強處理裝置處理后的數據。
[0061]具體地，當顯示終端與一臺增強處理裝置通信連接時，將顯示終端處理后的數據傳輸給增強處理裝置，由增強處理裝置匯集自身、和顯示終端處理后的數據，所述增強處理裝置根據匯集后的數據，渲染計算機圖形；
[0062]當顯示終端與至少兩臺增強處理裝置通信連接時，將顯示終端處理后的數據傳輸給至少兩臺增強處理裝置中主增強處理裝置，由主增強處理裝置匯集自身、從增強處理裝置、和移顯示終端處理后的數據，所述主增強處理裝置根據匯集后的數據，渲染計算機圖形。
[0063]所述增強處理裝置在渲染完一部分計算機圖形后，即將該部分渲染后的計算機圖形實時傳輸給顯示終端，當計算機圖形渲染結束，實時傳輸結束。渲染后的計算機圖形被保存至顯示終端的存儲模塊中，具體地，可以是以臨時文件的形式，存儲在存儲模塊的臨時文件夾中。顯示終端中的顯示模塊可直接從臨時文件夾中獲取將要播放或顯示的計算機圖形，從而確保了圖形的實時顯示，且顯示流暢。
[0064]在另一些實施例中，由顯示終端匯集顯示終端和若干增強處理裝置處理后的數據。
[0065]具體地，將若干增強處理裝置處理后的數據傳輸給顯示終端，由顯示終端匯集自身、和若干增強處理裝置處理后的數據，所述顯示終端根據匯集后的數據，渲染計算機圖形。顯示終端渲染后的計算機圖形存儲至存儲模塊中。具體地，可以是以臨時文件的形式，存儲在存儲模塊的臨時文件夾中。顯示終端中的顯示模塊可直接從臨時文件夾中獲取將要播放或顯示的計算機圖形，從而確保了圖形的實時顯示，且顯示流暢。
[0066]S500:在顯示終端上顯示渲染后的計算機圖形。
[0067]其中，所述顯示終端包括有顯示模塊，用于顯示渲染后的計算機圖形。所述顯示模塊可以是液晶屏幕、有機發光管、投影裝置等。
[0068]實施例2
[0069]下面，參考圖2，對本發明實施例的虛擬現實、增強現實的實時顯示系統進行闡述說明。
[0070]如圖2和圖3所示，本發明實施例的虛擬現實、增強現實的實時顯示系統包括:
[0071]顯示終端230;與顯示終端230通信連接的增強處理裝置210。
[0072]其中，優選地，所述顯示終端230為頭戴式顯示裝置;所述增強處理裝置210為個人電腦。
[0073]如圖2所示，在一些實施例中，顯示終端230通過有線電纜或無線網絡220與一臺增強處理裝置210通信連接。
[0074]如圖3所示，在另一些實施例中，所述顯示終端230通過有線電纜或無線網絡220與至少兩臺增強處理裝置210通信連接。
[0075]如圖4所示，在一種實施例中，所述顯示終端230上設置有:
[0076]顯示模塊238，用于顯示渲染后的計算機圖形。
[0077]即時定位和地圖構建模塊231，用于獲取顯示終端的定位信息、周邊環境三維信息。
[0078]第一控制模塊232，用于獲取顯示終端的操作信息。其中，本發明實施例的顯示終端可以與鼠標、鍵盤、玩具槍等外設設備連接，通過控制模塊獲取所述外設設備的操作，以獲取操作信息。
[0079]第一檢測判斷模塊233，用于確定需要處理的計算操作。
[0080]第一計算資源分配模塊234，用于將需要處理的計算操作分成若干計算子模塊，并根據計算資源分配規則，將所述若干計算子模塊分配給顯示終端、與顯示終端通信連接的若干增強處理裝置。
[0081]第一數據處理模塊235，用于對顯示終端接收到的計算子模塊進行數據處理。
[0082]優選地，本實施例的顯示終端還包括:第一匯集模塊236，用于匯集顯示終端和若干增強處理裝置處理后的數據。第一渲染模塊237，用于根據匯集后的數據，渲染計算機圖形。
[0083]如圖5所示，所述增強處理裝置210包括有:第二數據處理模塊211，用于對增強處理裝置210接收到的計算子模塊進行數據處理。在本實施例中，由顯示終端匯集顯示終端和若干增強處理裝置處理后的數據，并進行渲染。
[0084]實施例3
[0085]本實施例與實施例2的技術方案基本相同，其區別點主要在于:所述增強處理裝置210還包括:
[0086]第二匯集模塊212，用于匯集顯示終端和若干增強處理裝置處理后的數據。
[0087]第二渲染模塊213，用于根據匯集后的數據，渲染計算機圖形。
[0088]換言之，在本實施例中，可以由增強處理裝置匯集顯示終端和若干增強處理裝置處理后的數據，然后進行渲染。
[0089]實施例4
[0090]本實施例與實施例2或3的技術方案基本相同，其區別點主要在于:所述增強處理裝置210還包括:
[0091]第二控制模塊216，用于獲取增強處理裝置的操作信息。所述增強處理裝置可以是個人電腦，優選地，所述個人電腦可以是只有主機的計算機，也即可以沒有顯示器等其他周邊設備，所述個人電腦也可以是家庭筆記本、臺式機等等，其可以與其他外接設備連接，所述第二控制模塊可以用于獲取這些外接設備的操作。
[0092]第二檢測判斷模塊214，用于確定需要處理的計算操作。
[0093]第二計算資源分配模塊215，用于將需要處理的計算操作分成若干計算子模塊，并根據計算資源分配規則，將所述若干計算子模塊分配給顯示終端、與顯示終端通信連接的若干增強處理裝置。換言之，在本實施例中，可以由增強處理裝置對需要進行處理的計算操作進行資源分配。
[0094]需要說明的，參閱上述實時顯示方法中，可以清楚獲知本發明實施例的實時顯示系統中各個功能模塊的作用，故在對本發明實施例的描述中不再贅述。
[0095]本發明并不局限于上述【具體實施方式】，如果對本發明的各種改動或變型不脫離本發明的精神和范圍，倘若這些改動和變型屬于本發明的權利要求和等同技術范圍之內，則本發明也意圖包含這些改動和變型。
【主權項】
1.虛擬現實、增強現實的實時顯示方法，其特征在于，包括: 確定需要處理的計算操作； 將所述計算操作分成若干計算子模塊，并根據計算資源分配規則，將所述若干計算子模塊分配給顯示終端、與顯示終端通信連接的若干增強處理裝置； 所述顯示終端和若干增強處理裝置分別對各自接收到的計算子模塊進行數據處理； 匯集顯示終端和若干增強處理裝置處理后的數據，并根據匯集后的數據，渲染計算機圖形； 在顯示終端上顯示渲染后的計算機圖形。2.根據權利要求1所述的方法，其特征在于，所述確定需要處理的計算操作具體為:根據顯示終端獲取到的其自身的定位信息、周邊環境三維信息或操作信息判斷計算機圖形的形態是否需要發生改變，若是，則確定為需要處理的計算操作； 所述操作信息包括語音、手勢、鍵盤、鼠標、觸摸屏操作信息。3.根據權利要求1所述的方法，其特征在于，所述計算資源分配規則為:將圖像顯示實時性要求高且計算量小的計算子模塊直接分配給顯示終端，將其余的計算子模塊分配給若干增強處理裝置。4.根據權利要求1所述的方法，其特征在于，所述顯示終端和若干增強處理裝置采用運動預測方法對各自接收到的計算子模塊進行數據處理。5.根據權利要求1所述的方法，其特征在于，所述匯集顯示終端和若干增強處理裝置處理后的數據，并根據匯集后的數據，渲染計算機圖形具體為: 當顯示終端與一臺增強處理裝置通信連接時，將顯示終端處理后的數據傳輸給增強處理裝置，由增強處理裝置匯集自身、和顯示終端處理后的數據，所述增強處理裝置根據匯集后的數據，渲染計算機圖形； 或當顯示終端與至少兩臺增強處理裝置通信連接時，將顯示終端處理后的數據傳輸給至少兩臺增強處理裝置中主增強處理裝置，由主增強處理裝置匯集自身、從增強處理裝置、和顯示終端處理后的數據，所述主增強處理裝置根據匯集后的數據，渲染計算機圖形。6.根據權利要求5所述的方法，其特征在于，還包括:所述增強處理裝置將渲染后的計算機圖形實時傳輸給顯示終端，當計算機圖形渲染結束，實時傳輸結束。7.根據權利要求1所述的方法，其特征在于，所述匯集顯示終端和增強處理裝置處理后的數據，并根據匯集后的數據，渲染計算機圖形具體為: 將若干增強處理裝置處理后的數據傳輸給顯示終端，由顯示終端匯集自身、和若干增強處理裝置處理后的數據，所述顯示終端根據匯集后的數據，渲染計算機圖形。8.虛擬現實、增強現實的實時顯示系統，其特征在于，包括:顯示終端、與顯示終端通信連接的增強處理裝置； 該系統還包括: 檢測判斷模塊，其設置在顯示終端和/或增強處理裝置上，用于確定需要處理的計算操作； 計算資源分配模塊，其設置在顯示終端和/或增強處理裝置上，用于將需要處理的計算操作分成若干計算子模塊，并根據計算資源分配規則，將所述若干計算子模塊分配給顯示終端、與顯示終端通信連接的若干增強處理裝置； 數據處理模塊，其設置在顯示終端和增強處理裝置上，用于對顯示終端接收到的計算子模塊進行數據處理； 匯集模塊，其設置在顯示終端和/或增強處理裝置上，用于匯集顯示終端和若干增強處理裝置處理后的數據； 渲染模塊，其設置在顯示終端和/或增強處理裝置上，用于根據匯集后的數據，渲染計算機圖形； 顯示模塊，其設置在顯示終端上，用于顯示渲染后的計算機圖形。9.根據權利要求8所述的系統，其特征在于，所述顯示終端還包括: 即時定位和地圖構建模塊，用于獲取顯示終端的定位信息、周邊環境三維信息； 控制模塊，用于獲取顯示終端的操作信息； 其中，所述操作信息包括語音、手勢、鍵盤、鼠標、觸摸屏操作信息。10.根據權利要求8所述的系統，其特征在于，所述顯示終端還包括:所述顯示終端為頭戴式顯示裝置;所述增強處理裝置為個人電腦。
【文檔編號】G06F3/14GK106067159SQ201610370443
【公開日】2016年11月2日
【申請日】2016年5月27日 公開號201610370443.9, CN 106067159 A, CN 106067159A, CN 201610370443, CN-A-106067159, CN106067159 A, CN106067159A, CN201610370443, CN201610370443.9
【發明人】范杭
【申請人】范杭