節省帶寬的vr全景視頻布局方法、裝置及展現方法、系統的制作方法
【專利摘要】本發明提供一種VR全景視頻布局方法、裝置和系統，其中方法包括：將VR全景球形視頻投影到以球形為內切球的棱錐表面；將所述棱錐表面展開成平面圖形，得到棱錐投影的視頻平面；通過形變使所述視頻平面變為規則形狀，得到規則的視頻平面。VR全景視頻布局系統包括：VR全景視頻布局處理裝置、VR全景視頻流媒體服務器、VR全景視頻播放器。VR全景視頻播放器用于根據用戶視角播放來自于所述VR全景視頻流媒體服務器的視頻數據。本發明提供的VR全景視頻布局方法、裝置和系統，提供了一種基于棱錐的投影方式，這種投影方式投影出來的視頻，表面積比equirectangular 投影方式少80%，比現有VR視頻技術降低VR全景視頻傳輸80%的帶寬，并且能夠根據用戶視角播放全景視頻。
【專利說明】
節省帶寬的VR全景視頻布局方法、裝置及展現方法、系統
技術領域
[0001 ] 本發明涉及虛擬現實技術領域，尤其涉及一種VR(Virtual Reality，即虛擬現實，簡稱VR)全景視頻布局方法、裝置及展現方法、系統。
【背景技術】
[0002]目前市場上VR全景視頻都是equirectangular布局方式，其原理是地球映射，將球形的經度和瑋度坐標，直接投影到水平和垂直坐標的一格，這個網格的寬度大約是高的兩倍。因此從赤道到兩極，橫向拉伸不斷加劇，南北兩個極點被拉伸成了扁平的網格，在整個圖形的上部和下部邊緣。這種投影方式的缺陷是產生的視頻文件比較大，傳輸時占用較大的網絡帶寬。現有技術的全景視頻布局的投影方式存在占用網絡帶寬較大的缺陷。

【發明內容】

[0003]針對【背景技術】中所出現的問題，本發明提供了一種VR全景視頻布局方法，包括:將VR全景球形視頻投影到以球形為內切球的棱錐表面;將所述棱錐表面展開成平面圖形，得到棱錐投影初始的的視頻平面;通過形變使所述視頻平面變為規則形狀，得到規則的視頻平面。
[0004]可選的是，所述棱錐為四棱錐。
[0005]在上述任一方案中可選的是，所述棱錐底部的區域對應用戶正面視角方向的視頻區域。
[0006]在上述任一方案中可選的是，把VR全景空間分成多個視窗，每個視窗對應于用戶正面的視角方向，也就是棱錐底部區域。
[0007]在上述任一方案中可選的是，VR全景空間中高清渲染用戶正面視角視窗的視頻，剩余的球形區域，低清晰度渲染。
[0008]在上述任一方案中可選的是，把VR全景空間分成6個視窗，每個視窗對應于用戶正面的視角方向。
[0009]在上述任一方案中可選的是，還包括存儲所述VR全景視頻的視頻文件。
[0010]在上述任一方案中可選的是，所述VR全景視頻的視頻文件包括:多個視角的視頻文件，每個視角對應一個VR全景視頻文件。
[0011]在上述任一方案中可選的是，每一個視角的VR全景視頻文件都包括完整的VR全景內容，用戶正面視角的視頻是高清晰度的，其它視角的視頻是低清晰度的。
[0012]在上述任一方案中可選的是，還包括通過編寫ffmpeg插件實現VR全景視頻布局。
[0013]本發明還提供了一種VR全景視頻布局裝置，包括視頻布局處理模塊，所述視頻布局處理模塊包括:投影單元，用于將VR全景球形視頻投影到以球形為內切球的棱錐表面;展開單元，用于將所述棱錐表面展開成平面圖形，得到棱錐投影的初始的視頻平面;形變單元，用于通過形變使所述視頻平面變為規則形狀，得到規則的視頻平面。
[0014]可選的是，所述棱錐為四棱錐。
[0015]在上述任一方案中可選的是，所述棱錐底部的區域對應用戶正面視角方向的視頻區域。
[0016]在上述任一方案中可選的是，還包括視窗切分單元，用于把VR全景空間分成多個視窗，每個視窗對應于用戶正面的視角方向，也就是棱錐底部區域;基于每個視角經所述視頻布局處理模塊處理得到所述規則的視頻平面。
[0017]在上述任一方案中可選的是，VR全景空間中高清渲染用戶正面視角視窗的視頻，剩余的球形區域，低清晰度渲染。
[0018]在上述任一方案中可選的是，所述視窗切分單元，用于把VR全景空間分成6個視窗，每個視窗對應于用戶正面的視角方向。
[0019]在上述任一方案中可選的是，還包括通過通過編寫ffmpeg插件實現VR全景視頻布局。
[0020]在上述任一方案中可選的是，還包括第一存儲器，用于存儲所述VR全景視頻的視頻文件。
[0021]在上述任一方案中可選的是，所述VR全景視頻的視頻文件包括由所述視窗切分單元切分的并由所述視頻布局處理模塊處理過的多個視角的VR全景視頻的視頻文件，每個視角對應一個VR全景視頻文件。
[0022]在上述任一方案中可選的是，每一個視角的視頻文件都包括完整的VR全景內容，用戶正面視角的視頻是高清晰度的，其它視角的視頻是低清晰度的。
[0023]在上述任一方案中可選的是，還包括通過編寫ffmpeg插件實現VR全景視頻布局。
[0024]本發明還提供了一種VR全景視頻展現方法，包括:使用VR全景視頻處理裝置將VR全景球形視頻按照上述VR全景視頻布局方法進行處理;通過VR全景視頻流媒體服務器接收如權利要求6所述的VR全景視頻的視頻文件;根據用戶視角由VR全景視頻播放器播放VR全景視頻數據。
[0025]可選的是，用所述VR全景視頻流媒體服務器存儲所述VR全景視頻布局處理裝置輸出的所述VR全景視頻的視頻文件。
[0026]在上述任一方案中可選的是，還包括通過所述VR全景視頻播放器將所述VR全景視頻數據渲染到球形表面。
[0027]在上述任一方案中可選的是，還包括通過所述VR全景視頻播放器獲取用戶視角信息，并將用戶視角信息傳送給所述VR全景視頻流媒體服務器。
[0028]在上述任一方案中可選的是，還包括根據所述用戶視角信息，所述VR全景視頻流媒體服務器將所述VR全景視頻數據傳送給所述VR全景視頻播放器，所述VR全景視頻數據為與所述用戶視角信息對應的所述視頻文件的數據。
[0029]在上述任一方案中可選的是，還包括通過所述VR全景視頻播放器獲取VR設備傳感器信息，所述VR設備傳感器信息用于獲取用戶視角信息。
[°03°] 在上述任一方案中可選的是，還包括通過http、rtmp和rtsp協議其中至少一種來實現視頻傳輸。
[0031]本發明還提供了一種VR全景視頻展現系統，包括:VR全景視頻處理裝置，包括上述任一項所述的裝置;VR全景視頻流媒體服務器，用于接收所述VR全景視頻處理裝置輸出的所述VR全景視頻的視頻文件;VR全景視頻播放器，用于根據用戶視角播放來自于所述VR全景視頻流媒體服務器的VR全景視頻數據。
[0032]可選的是，所述VR全景視頻流媒體服務器還包括第二存儲器，用于存儲所述VR全景視頻布局處理裝置輸出的所述VR全景視頻的視頻文件。
[0033]在上述任一方案中可選的是，所述VR全景視頻播放器配置為:將所述VR全景視頻數據渲染到球形表面。
[0034]在上述任一方案中可選的是，所述VR全景視頻播放器還配置為:獲取用戶視角信息;將用戶視角信息傳送給所述VR全景視頻流媒體服務器。
[0035]在上述任一方案中可選的是，所述VR全景視頻流媒體服務器還配置為:根據所述用戶視角信息將所述視頻數據傳送給所述VR全景視頻播放器，所述視頻數據為與所述用戶視角信息對應的所述視頻文件的數據。
[0036]在上述任一方案中可選的是，所述VR全景視頻播放器還配置為獲取VR設備傳感器信息，所述VR設備傳感器信息用于獲取用戶視角信息。
[0037]在上述任一方案中可選的是，通過http、rtmp和rtsp協議其中至少一種來實現視頻傳輸。
[0038]本發明提供的VR全景視頻布局方法、裝置和系統，提供了一種基于棱錐的投影方式，這種投影方式投影出來的視頻，表面積比equirectangular投影方式少80%，這樣編碼出來的視頻要比原來小80%，比現有VR視頻技術降低VR全景視頻傳輸80%的帶寬，并且能夠根據用戶視角播放全景視頻。
【附圖說明】
[0039]圖1是本發明應用的VR全景視頻布局方法的步驟流程圖。
[0040]圖2是人眼觀看全景視頻示意圖。
[0041 ]圖3是將球面投影到四棱錐表面的投影示意圖。
[0042]圖4是把四棱錐表面展開成視頻平面的展開示意圖。
[0043]圖5是把四棱錐展開形變而成規則的視頻平面。
[0044]圖6是四棱錐渲染到球形表面示意圖。
[0045]圖7是把球形空間切分為6個視窗的切分示意圖。
[0046]圖8是本發明應用的VR全景視頻布局裝置的結構示意圖。
[0047]圖9是本發明應用的VR全景視頻布局系統的結構示意圖。
[0048]圖10是本發明應用的VR全景視頻展現方法的步驟流程圖。
[0049]圖11是本發明應用的VR全景視頻展現方法的優選實施例的步驟流程圖。
【具體實施方式】
[0050]下面將參照附圖來詳細描述本發明的各種示例性實施例。應注意到:除非另外具體說明，否則在這些實施例中闡述的部件和步驟的相對布置、數字表達式和數值不限制本發明的范圍。
[0051]以下對至少一個示例性實施例的描述實際上僅僅是說明性的，決不作為對本發明及其應用或使用的任何限制。
[0052]本發明提供了一種VR全景視頻布局方法。圖1是本發明應用的VR全景視頻布局方法的步驟流程圖。如圖1所示，本發明VR全景視頻布局方法包括:步驟SlOl將VR全景球形視頻投影到以球形為切球的棱錐表面;步驟S102將所述棱錐表面展開成平面圖形，得到棱錐投影的初始的視頻平面;步驟S103通過形變使所述視頻平面變為規則形狀，得到規則的視頻平面。步驟SI O1、步驟SI 02、步驟SI 03順序執行。
[0053]根據本發明VR全景視頻布局方法的一種優選的實施方式，所述棱錐為四棱錐。本發明提出了一種基于四棱錐Pyramid的布局方式，即把全景內容看做一個四棱錐的內切球，然后把內切球投影到四棱錐表面。人眼在觀看全景視頻時，可以想象成在一個球型里面，看球的內表面，如圖2所示。把球形放入一個四棱錐里面，然后沿眼睛視角方向把球形表面，投影到四棱錐表面，即把全景內容看做一個四棱錐的內切球，然后把內切球投影到四棱錐表面，如圖3所示。把四棱錐表面展開，得到了一個平面圖形，這個就是四棱錐投影的視頻平面，如圖4所示。然后通過形變使所述視頻平面變為規則形狀，得到規則的視頻平面。如圖5所示。
[0054]這種投影方式投影出來的視頻，表面積比equirectangular投影方式少80%，這樣編碼出來的視頻要比equirectangular投影方式小80%。比現有VR視頻技術降低VR全景視頻傳輸80%的帶寬。
[0055]視頻播放的時候，四棱錐底部比較大的區域對應用戶眼前正面視角方向的球面視頻區域，四個三角形對應剩余的球面區域，如圖6所示。基于用戶視角渲染VR全景視頻，用戶眼前的視頻高清渲染，其他方位的低清晰度渲染。這樣用戶眼前的視頻清晰度是沒有損失的，其他各個面的視頻清晰度會有較大損失，用戶在看視頻頭轉向其他方向的時候會看到模糊的視頻。通過前述的方法，可以得到某一個視角的視頻，變換四棱錐底部的在球形內部的位置，可以得到其他視角的視頻。根據本發明VR全景視頻布局方法的一種實施方式，把全景空間分成多個視窗，每個視窗對應于用戶正面的視角方向。再根據本發明VR全景視頻布局方法的一種優選的實施方式，把全景空間分成6個視窗，如圖7所不，也就是一共6個視角。根據用戶的視角實時傳輸相對應的視窗視頻，從而保證了用戶眼前的視頻一直是清晰的。
[0056]根據本發明VR全景視頻布局方法的一種實施方式，在上述步驟103之后，執行步驟S104，包括存儲所述VR全景視頻的視頻文件，所述VR全景視頻的視頻文件包括每個視角的VR全景視頻的視頻文件。
[0057]本發明另一方面提供了一種VR全景視頻布局裝置。圖8是本發明應用的VR全景視頻布局裝置的結構示意圖。如圖8所示，本發明VR全景視頻布局裝置包括視頻布局處理模塊100，所述視頻布局處理模塊100包括:投影單元101，用于VR全景球形視頻投影到以球形為內切球的棱錐表面;展開單元102，用于將所述棱錐表面展開成平面圖形，得到棱錐投影的初始的視頻平面;形變單元103，用于通過形變使所述視頻平面變為規則形狀，得到規則的視頻平面。
[0058]根據本發明VR全景視頻布局裝置的一種優選的實施方式，所述棱錐為四棱錐。
[0059]上述棱錐底部的區域對應用戶正面視角方向的視頻區域。根據本發明VR全景視頻布局裝置的一種實施方式，所述VR全景視頻布局裝置還包括視窗切分單元105，用于把全景空間分成多個視窗，每個視窗對應于用戶正面的視角方向，基于每個視角經所述視頻布局處理模塊處理得到所述規則的視頻平面。再根據本發明VR全景視頻布局裝置的一種優選的實施方式，所述視窗切分單元105，用于把全景空間分成6個視窗，每個視窗對應于用戶正面的視角方向，基于每個視角經所述視頻布局處理模塊處理得到所述規則的視頻平面。
[ΟΟ?Ο] 根據本發明VR全景視頻布局裝置的一種實施方式，通過編寫ffmpeg插件實現VR全景視頻布局，通過編碼把視頻文件轉換成四棱錐Pyramid格式的視頻文件。
[0061]根據本發明VR全景視頻布局裝置的一種實施方式，所述VR全景視頻布局裝置還包括第一存儲器104，用于存儲全景視頻的視頻文件，所述VR全景視頻的視頻文件包括由所述切分單元切分的并由所述視頻布局處理模塊處理過的每個視角的VR全景視頻的視頻文件。
[0062]本發明的又一方面提供了一種VR全景視頻展現系統。圖9是本發明應用的VR全景視頻布局系統的結構示意圖。如圖9所示，本發明VR全景視頻布局系統包括:VR全景視頻處理裝置200，包括上述任一項所述的VR全景視頻布局裝置;VR全景視頻流媒體服務器300，用于接收所述VR全景視頻處理裝置200輸出的所述VR全景視頻的視頻文件;VR全景視頻播放器400，用于根據用戶視角播放來自于所述VR全景視頻流媒體服務器300的視頻數據。
[0063]根據本發明VR全景視頻展現系統的一種實施方式，所述VR全景視頻流媒體服務器300還包括第二存儲器301，用于存儲所述VR全景視頻布局處理裝置輸出的所述全景視頻的視頻文件。
[0064]根據本發明VR全景視頻展現系統的一種實施方式，所述VR全景視頻播放器還配置為:將所述VR全景視頻數據渲染到球形表面;并且獲取用戶視角信息;將用戶視角信息傳送給所述VR全景視頻流媒體服務器。所述VR全景視頻播放器還安裝有傳感器401，比如陀螺儀傳感器，用于獲取用戶視角信息。本發明優選的實施方式是基于四棱錐的投影方式。播放器的主要功能是把四棱錐VR全景視頻數據渲染到球形表面和獲取用戶視角信息。視頻渲染是基于OpenGL開發的。所述VR全景視頻流媒體服務器還配置為:根據所述用戶視角信息將所述視頻數據傳送給所述VR全景視頻播放器，所述視頻數據為與所述用戶視角信息對應的所述視頻文件的數據。四棱錐底部的區域對應用戶正面視角方向的視頻區域，另外4個三角形面對應剩下的球面區域，如圖6所示。基于用戶視角渲染VR全景視頻，用戶眼前的視頻高清渲染，其他方位的低清晰度渲染，這樣保證了用戶眼前的視頻是最清晰的，但是用戶側面和后面的區域是低清晰度的。
[0065]根據本發明VR全景視頻展現系統的一種實施方式，所述VR全景視頻布局處理裝置，通過編寫ffmpeg插件實現VR全景視頻布局，通過編碼把視頻文件轉換成四棱錐Pyramid格式的視頻文件。
[0066]根據本發明VR全景視頻展現系統的一種實施方式，在VR全景視頻布局裝置200、VR全景視頻流媒體服務器300和VR全景視頻播放器400之間，通過http、rtmp和rtsp協議其中至少一種來實現視頻傳輸。
[0067]本發明的再一方面還提供了一種VR全景視頻展現方法，如圖10所示，該方法包括:步驟S210，使用VR全景視頻處理裝置將VR全景球形視頻按照上述VR全景視頻布局方法進行處理;步驟S220，通過VR全景視頻流媒體服務器接收經VR全景視頻處理裝置處理后的VR全景視頻的視頻文件;步驟S230，根據用戶視角VR全景視頻播放器播放VR全景視頻數據。
[0068]根據本發明VR全景視頻展現方法的一種實施方式，用所述VR全景視頻流媒體服務器存儲所述VR全景視頻布局處理裝置輸出的所述VR全景視頻的視頻文件。
[0069]根據本發明VR全景視頻展現方法的一種實施方式，還包括通過所述VR全景視頻播放器將所述VR全景視頻數據渲染到球形表面。
[0070]再參照圖11所示，根據本發明VR全景視頻展現方法的一種實施方式，還包括步驟S226，通過所述VR全景視頻播放器獲取用戶視角信息，并將用戶視角信息傳送給所述VR全景視頻流媒體服務器。
[0071]再參照圖11所示，根據本發明VR全景視頻展現方法的一種實施方式，還包括步驟S228，根據所述用戶視角信息所述VR全景視頻流媒體服務器將所述視頻數據傳送給所述VR全景視頻播放器，所述視頻數據為與所述用戶視角信息對應的所述視頻文件的數據。
[0072]根據本發明VR全景視頻展現方法的一種實施方式，還包括所述VR全景視頻布局處理裝置，通過編寫ffmpeg插件實現VR全景視頻布局。
[0073]根據本發明VR全景視頻展現方法的一種實施方式，還包括通過所述VR全景視頻播放器獲取VR設備傳感器信息，所述VR設備傳感器信息用于獲取用戶視角信息。
[0074]根據本發明VR全景視頻展現方法的一種實施方式，還包括通過http、rtmp和rtsp協議其中至少一種來實現視頻傳輸。
[0075]根據本發明的一個實施例，VR全景視頻布局裝置將球形全景視頻處理成規則的視頻平面，經過VR全景視頻布局裝置處理后每一個視頻源文件中包括6個視角的視頻文件。然后輸出給VR全景視頻流媒體服務器。VR全景視頻播放器通過硬件設備上面的陀螺儀獲取用戶的視角信息，并傳出用戶的視角信息給VR全景視頻流媒體服務器，VR全景視頻流媒體服務器返回用戶當前視角對應的視頻數據。當VR全景視頻播放器檢測到用戶視角信息改變的時候，會實時發送戶視角信息給VR全景視頻流媒體服務器，VR全景視頻流媒體服務器根據獲得的用戶視角信息來決定返回對應視角的視頻。
[0076]本發明提供了VR全景視頻布局方法、裝置和展現方法、系統，特別是提供了一種把球形投影到棱錐的方式布局的投影方式。基于用戶視角渲染VR全景視頻，用戶眼前的視頻高清渲染，其他方位的低清晰度渲染。這種投影方式投影出來的視頻，表面積比equirectangular投影方式少80%，這樣編碼出來的視頻要比原來小80%，比現有VR視頻技術降低VR全景視頻傳輸80%的帶寬，并且能夠根據用戶視角從視頻服務器獲取視頻數據，播放全景視頻。
[0077]為了更好地理解本發明，以上結合本發明的具體實施例做了詳細描述，但并非是對本發明的限制。凡是依據本發明的技術實質對以上實施例所做的任何簡單修改，均仍屬于本發明技術方案的范圍。本說明書中每個實施例重點說明的都是與其它實施例的不同之處，各個實施例之間相同或相似的部分相互參見即可。對于裝置和系統實施例而言，由于其與方法實施例基本對應，所以描述的比較簡單，相關之處參見方法部分說明即可。
[0078]可能以許多方式來實現本發明的方法、裝置和系統。例如，可通過軟件、硬件、固件或者軟件、硬件、固件的任何組合來實現本發明的方法和系統。用于所述方法的步驟的上述順序僅是為了進行說明，本發明的方法的步驟不限于以上具體描述的順序，除非以其它方式特別說明。此外，在一些實施例中，還可將本發明實施為記錄在記錄介質中的程序，這些程序包括用于實現根據本發明的方法的機器可讀指令。因而，本發明還覆蓋存儲用于執行根據本發明的方法的程序的記錄介質。
[0079]本發明的描述是為了示例和描述起見而給出的，而并不是無遺漏的或者將本發明限于所公開的形式。很多修改和變化對于本領域的普通技術人員而言是顯然的。選擇和描述實施例是為了更好說明本發明的原理和實際應用，并且使本領域的普通技術人員能夠理解本發明從而設計適于特定用途的帶有各種修改的各種實施例。
【主權項】
1.一種VR全景視頻布局方法，包括: 將VR全景球形視頻投影到以球形為內切球的棱錐表面； 將所述棱錐表面展開成平面圖形，得到棱錐投影初始的的視頻平面； 通過形變使所述視頻平面變為規則形狀，得到規則的視頻平面。2.根據權利要求1所述的方法，其特征在于，所述棱錐為四棱錐。3.根據權利要求1或2所述的方法，其特征在于，所述棱錐底部的區域對應用戶正面視角方向的視頻區域。4.根據權利要求3所述的方法，其特征在于，把VR全景空間分成多個視窗，每個視窗對應于用戶正面的視角方向，也就是棱錐底部區域。5.根據權利要求4所述的方法，其特征在于，VR全景空間中高清渲染用戶正面視角視窗的視頻，剩余的球形區域，低清晰度渲染。6.根據權利要求4或5所述的方法，其特征在于，把VR全景空間分成6個視窗，每個視窗對應于用戶正面的視角方向。7.根據權利要求1-6任一所述的方法，其特征在于，還包括存儲所述VR全景視頻的視頻文件。8.一種VR全景視頻布局裝置，包括視頻布局處理模塊，所述視頻布局處理模塊包括: 投影單元，用于將VR全景球形視頻投影到以球形為內切球的棱錐表面； 展開單元，用于將所述棱錐表面展開成平面圖形，得到棱錐投影的初始的視頻平面； 形變單元，用于通過形變使所述視頻平面變為規則形狀，得到規則的視頻平面。9.一種VR全景視頻展現方法，包括: 使用VR全景視頻處理裝置將VR全景球形視頻按照權利要求1-10任一項所述的方法進行處理； 通過VR全景視頻流媒體服務器接收如權利要求9所述的VR全景視頻的視頻文件； 根據用戶視角由VR全景視頻播放器播放VR全景視頻數據。10.一種VR全景視頻展現系統，包括: VR全景視頻處理裝置，包括如權利要求11-20中任一項所述的裝置； VR全景視頻流媒體服務器，用于接收所述VR全景視頻處理裝置輸出的所述VR全景視頻的視頻文件； VR全景視頻播放器，用于根據用戶視角播放來自于所述VR全景視頻流媒體服務器的VR全景視頻數據。
【文檔編號】G06F3/01GK105898254SQ201610344144
【公開日】2016年8月24日
【申請日】2016年5月23日
【發明人】劉振兆
【申請人】億唐都科技（北京）有限公司