一種視頻碼流中全景信息的標識方法和標識裝置的制造方法
【專利摘要】本發明的視頻碼流中全景信息的標識方法，包括：獲取視頻全景處理中的全景信息；將編碼的全景信息封裝在視頻碼流的單元結構中。可以在全景視頻生成的完整步驟中，將每個處理過程中形成或利用的全景信息獨立編碼，與處理形成的相應部分視頻片段形成全景視頻的相應部分視頻碼流。充分利用了現有的視頻編碼標準中定義的參數集，使得解碼端可以依據參數集中的參數對視頻碼流進行解碼解析和后續處理。還包括視頻碼流中全景信息的標識裝置。
【專利說明】
一種視頻碼流中全景信息的標識方法和標識裝置
技術領域
[0001]本發明涉及一種數據處理方法和處理裝置，特別是涉及一種視頻處理數據的處理方法和處理裝置。
【背景技術】
[0002]全景視頻技術的飛速發展，給用戶帶來了一種全新的生動震撼的觀看體驗，在視頻廣播、通信、游戲和監控等領域，有著遠大和廣泛的應用前景。全景視頻的制作包括全景視頻的采集、圖像拼接、格式轉換和渲染等過程，其中圖像拼接是關鍵步驟，包括攝像機的標定、傳感器圖像畸變校正、圖像的投影變換、匹配點選取、全景圖像融合，以及亮度與顏色的均衡處理等具體過程。全景視頻數據量龐大，是傳統單個攝像機采集的單目視頻的數據量的兩倍，甚至更大，無法在實際應用中進行網絡傳輸。因此，需要對全景視頻進行編碼。然而，現有的視頻編解碼標準僅針對單個攝像機采集的單目視頻，不支持直接對全景視頻編解碼。
【發明內容】
[0003]有鑒于此，本發明實施例提供了一種視頻碼流中全景信息的標識方法，解決傳輸全景視頻占用帶寬資源巨大，以及現有視頻編解碼標準不支持編解碼全景視頻的問題，實現對全景視頻的編解碼和高效地網絡傳輸。
[0004]本發明實施例還提供了一種視頻碼流中全景信息的標識裝置，解決現有視頻碼流處理不能完成全景視頻的編解碼，無法靈活網絡傳輸的問題。
[0005]本發明的視頻碼流中全景信息的標識方法，包括:
[0006]獲取視頻全景處理中的全景信息；
[0007]將編碼的全景信息封裝在視頻碼流的單元結構中。
[0008]所述獲取視頻全景處理中的全景信息，包括:
[0009]獲取所在處理過程中的全景信息。
[0010]所述獲取視頻全景處理中的全景信息，包括:
[0011]獲取所在處理步驟中的所在處理過程的信息，或/和獲取視頻全景處理中的所在處理步驟的信息。
[0012]還包括:
[0013]將所述視頻碼流按需傳輸。
[0014]所述將編碼的全景信息封裝在視頻碼流的單元結構中，還包括:
[0015]記錄相應處理步驟和處理過程的全景信息變化，編碼為符合標準碼流結構中單元結構的參數數據。
[0016]還包括:
[0017]獲取相應的視頻碼流，解析視頻碼流的單元結構中的全景信息；
[0018]根據解析的全景信息，完成后續視頻拼接及渲染過程，并輸出。
[0019]本發明的視頻碼流中全景信息的標識裝置，包括全景信息獲取裝置、參數編碼裝置和參數封裝裝置，其中:
[0020]全景信息獲取裝置，用于獲取所在處理過程中的全景信息；
[0021 ]參數編碼裝置，用于將相應處理步驟和處理過程的全景信息編碼為符合標準碼流結構中單元結構的參數數據；
[0022]參數封裝裝置，用于將參數數據封裝在單元結構中，與處理過程形成的視頻形成視頻碼流。
[0023]還包括處理步驟標記裝置和處理過程標記裝置，其中:
[0024]處理步驟標記裝置，用于獲取視頻全景處理中的所在處理步驟的信息；
[0025]處理過程標記裝置，用于獲取所在處理步驟中的所在處理過程的信息。
[0026]還包括碼流轉發裝置，用于將視頻碼流按需傳輸。
[0027]還包括碼流解析裝置和全景視頻生成裝置，其中:
[0028]碼流解析裝置，用于獲取相應的視頻碼流，解析視頻碼流的單元結構中的全景信息或參數數據；
[0029]全景視頻生成裝置，用于根據解析的全景信息或參數數據，完成后續視頻拼接及渲染過程并輸出。
[0030]所述參數編碼裝置，還用于記錄相應處理步驟和處理過程的全景信息的變化，編碼為符合標準碼流結構中單元結構的參數數據。
[0031]本發明實施例的視頻碼流中全景信息的標識方法可以在全景視頻生成的完整步驟中，將每個處理過程中形成或利用的全景信息獨立編碼，與處理形成的相應部分視頻片段形成部分全景視頻碼流。充分利用了現有的視頻編碼標準中定義的參數集，包括序列參數集、圖像參數集和補充增強信息參數集等。如其中補充增強信息參數集用于封裝擴展功能信息，解碼端依據參數集中的參數對視頻碼流進行解碼解析和后續處理。
[0032]本發明實施例的視頻碼流中全景信息的標識裝置可以將全景視頻形成過程中的全景信息獨立編碼，插入相應的視頻碼流，形成全景視頻的編解碼，完成靈活地網絡傳輸。
【附圖說明】
[0033]圖1為本發明視頻碼流中全景信息的標識方法實施例的流程圖一；
[0034]圖2為本發明視頻碼流中全景信息的標識方法實施例的流程圖二；
[0035]圖3為本發明視頻碼流中全景信息的標識裝置實施例的結構示意圖一；
[0036]圖4為本發明視頻碼流中全景信息的標識裝置實施例的結構示意圖二。
【具體實施方式】
[0037]下面將結合本發明實施例中的附圖，對本發明實施例中的技術方案進行清楚、完整地描述，顯然，所描述的實施例僅是本發明一部分實施例，而不是全部的實施例。基于本發明中的實施例，本領域普通技術人員在沒有作出創造性勞動前提下所獲得的所有其他實施例，都屬于本發明保護的范圍。圖紙中的步驟編號僅用于作為該步驟的附圖標記，不表示執行順序。
[0038]本發明實施例的視頻碼流中全景信息的標識方法，主要包括獲取視頻全景處理中的全景信息，將編碼的全景信息封裝在視頻碼流的單元結構中，與全景處理后的全景視頻碼流同步傳輸。
[0039]如圖1所示，本發明實施例的視頻碼流中全景信息的標識方法，包括:
[0040]獲取視頻全景處理中的所在處理步驟的信息；
[0041 ]獲取所在處理步驟中的所在處理過程的信息；
[0042]獲取所在處理過程(完成)中的全景信息；
[0043]將相應處理步驟和處理過程的全景信息編碼為符合標準碼流結構中(語法)單元結構的參數數據；
[0044]將參數數據封裝在單元結構中，與處理過程形成的視頻形成視頻碼流；
[0045]將視頻碼流按需傳輸。
[0046]上述全景信息，包括在不同步驟的不同階段，對全景視頻的形成，做出視覺特征改變的狀態參數信息或控制參數信息，包括但不限于以下全景參數:
[0047]投影方式參數，包括立方體投影，圓柱體投影，棱錐投影等。
[0048]排列方式參數，包括正方形圖像的排列方式，如前-后-左-右-上-下，左上-右上-左下-右下等。
[0049]立體影像模式畫面布局參數，包括雙目三維左右排列視頻，雙目三維上下排列視頻等。
[0050]幀圖像尺寸參數，包括單目二維視頻包含的一幅圖像的寬度和高度，雙目三維視頻包含的兩幅圖像的寬度和高度等。
[0051]拼接全景視頻邊側參數，包括全景視頻左側被裁掉的列數，全景視頻頂部被裁掉的行數，全景視頻的寬度，全景視頻的高度等。
[0052]拼接全景視頻角度參數，包括全景視頻水平方向的環繞度數，全景視頻俯仰角的上限，全景視頻俯仰角的下限等。
[0053]渲染全景視頻角度參數，包括初始顯示畫面中心的水平方位角度，初始顯示畫面中心的俯仰角度，初始繞顯示畫面中心旋轉的角度等。
[0054]渲染全景視頻尺寸參數，包括顯示畫面的圖像寬度，顯示畫面的圖像高度，畫面顯示的初始水平視角，畫面顯示的最大水平視角，畫面顯示的最小水平視角等。
[0055]處理模塊參數，包括拼接軟件的名稱，版本等。
[0056]場景采集參數，包括攝像機的個數，擺位等。
[0057]上述單元結構為標準碼流結構(語法結構)明確定義的語法單元。本實施例中的單元結構優選補充增強信息單元(SEI)，充分利用補充增強信息單元與視頻數據的同步性，使得參數數據可以隨視頻碼流實時傳輸，使得處理軟件實時獲得，實時處理。
[0058]上述按需傳輸，包括但不限于受控的順序傳輸、點對多點傳輸、廣播傳輸和變速率傳輸等傳輸方式的部分或全部。
[0059]本實施例的視頻碼流中全景信息的標識方法，可以在全景視頻生成的完整步驟中，將每個處理過程中形成或利用的全景信息獨立編碼，與過程形成的中間視頻片段形成部分全景視頻碼流，進而形成完整的全景視頻的編碼過程。同時充分利用了現有的視頻編碼標準中定義的參數集結構，優化了全景信息的編碼封裝過程，使得解碼解析視頻碼流時可以快速獲得參數集中的參數對視頻碼流進行解碼解析和后續處理。
[0060]本實施例的視頻碼流中全景信息的標識方法，還包括:
[0061]記錄相應處理步驟和處理過程的全景信息變化，編碼為符合標準碼流結構中(語法)單元結構的參數數據。
[0062]通過本標識方法，可以記錄多個處理步驟和處理過程的全景信息的變化信息，為后期的全景視頻的優化提供可靠的數據基礎。
[0063]如圖2所示，本實施例的視頻碼流中全景信息的標識方法，還包括:
[0064]獲取相應的視頻碼流，解析視頻碼流的單元結構中的全景信息或參數數據；
[0065]根據解析的全景信息或參數數據，完成后續視頻拼接及渲染過程，并全景輸出。
[0066]本實施例的視頻碼流中全景信息的標識方法，可以對獲得的用于全景視頻生成的中間素材的視頻碼流進行解析，獲得必要的后續視頻拼接及渲染的全景控制參數及數據，形成全景視頻行程中的完整控制信息。
[0067]如圖3所示，本發明實施例的視頻碼流中全景信息的標識裝置包括處理步驟標記裝置01、處理過程標記裝置02、全景信息獲取裝置03、參數編碼裝置04、參數封裝裝置05和碼流轉發裝置06，其中:
[0068]處理步驟標記裝置01，用于獲取視頻全景處理中的所在處理步驟的信息；
[0069]處理過程標記裝置02，用于獲取所在處理步驟中的所在處理過程的信息；
[0070]全景信息獲取裝置03，用于獲取所在處理過程中的全景信息；
[0071]參數編碼裝置04，用于將相應處理步驟和處理過程的全景信息編碼為符合標準碼流結構中單元結構的參數數據；
[0072]參數封裝裝置05，用于將參數數據封裝在單元結構中，與處理過程形成的視頻形成視頻碼流；
[0073]碼流轉發裝置06，用于將視頻碼流按需傳輸。
[0074]本實施例的視頻碼流中全景信息的標識裝置可以將全景視頻形成過程中的全景信息獨立編碼，插入相應的視頻碼流，形成全景視頻的編解碼，完成靈活地網絡傳輸。使得全景視頻形成過程可以基于分布式計算平臺完成，優化了全景視頻形成的資源消耗。
[0075]本實施例的視頻碼流中全景信息的標識裝置中，參數編碼裝置04，還用于記錄相應處理步驟和處理過程的全景信息變化，編碼為符合標準碼流結構中(語法)單元結構的參數數據。
[0076]如圖4所示，本發明實施例的視頻碼流中全景信息的標識裝置，還包括碼流解析裝置07和全景視頻生成裝置08，其中:
[0077]碼流解析裝置07，用于獲取相應的視頻碼流，解析視頻碼流的單元結構中的全景信息或參數數據；
[0078]全景視頻生成裝置08，用于根據解析的全景信息或參數數據，完成后續視頻拼接及渲染過程并輸出。
[0079]本實施例的視頻碼流中全景信息的標識裝置，將視頻碼流中攜帶的全景信息解析并形成后續步驟的完整控制參數和數據，使得單目視頻間設置的相關全景信息高效復原和結合，用于后續的全景視頻的完整形成和呈現。
[0080]以上所述僅為本發明的較佳實施例而已，并不用以限制本發明，凡在本發明的精神和原則之內，所作的任何修改、等同替換等，均應包含在本發明的保護范圍之內。
【主權項】
1.一種視頻碼流中全景信息的標識方法，包括: 獲取視頻全景處理中的全景信息； 將編碼的全景信息封裝在視頻碼流的單元結構中。2.如權利要求1所述的視頻碼流中全景信息的標識方法，其特征在于，所述獲取視頻全景處理中的全景信息，包括: 獲取所在處理過程中的全景信息。3.如權利要求1所述的視頻碼流中全景信息的標識方法，其特征在于，所述獲取視頻全景處理中的全景信息，包括: 獲取所在處理步驟中的所在處理過程的信息，或/和獲取視頻全景處理中的所在處理步驟的信息。4.如權利要求1所述的視頻碼流中全景信息的標識方法，還包括: 將所述視頻碼流按需傳輸。5.如權利要求1所述的視頻碼流中全景信息的標識方法，其特征在于，所述將編碼的全景信息封裝在視頻碼流的單元結構中，還包括: 記錄相應處理步驟和處理過程的全景信息變化，編碼為符合標準碼流結構中單元結構的參數數據。6.如權利要求1所述的視頻碼流中全景信息的標識方法，還包括: 獲取相應的視頻碼流，解析視頻碼流的單元結構中的全景信息； 根據解析的全景信息，完成后續視頻拼接及渲染過程，并輸出。7.—種視頻碼流中全景信息的標識裝置，包括全景信息獲取裝置(03)、參數編碼裝置(04)和參數封裝裝置(05)，其中: 全景信息獲取裝置(03)，用于獲取所在處理過程中的全景信息； 參數編碼裝置(04)，用于將相應處理步驟和處理過程的全景信息編碼為符合標準碼流結構中單元結構的參數數據； 參數封裝裝置(05)，用于將參數數據封裝在單元結構中，與處理過程形成的視頻形成視頻碼流。8.如權利要求7所述的視頻碼流中全景信息的標識裝置，還包括處理步驟標記裝置(01)和處理過程標記裝置(02)，其中: 處理步驟標記裝置(01)，用于獲取視頻全景處理中的所在處理步驟的信息； 處理過程標記裝置(02)，用于獲取所在處理步驟中的所在處理過程的信息。9.如權利要求7所述的視頻碼流中全景信息的標識裝置，還包括碼流轉發裝置(06)，用于將視頻碼流按需傳輸。10.如權利要求7所述的視頻碼流中全景信息的標識裝置，還包括碼流解析裝置(07)和全景視頻生成裝置(08)，其中: 碼流解析裝置(07)，用于獲取相應的視頻碼流，解析視頻碼流的單元結構中的全景信息或參數數據； 全景視頻生成裝置(08)，用于根據解析的全景信息或參數數據，完成后續視頻拼接及渲染過程并輸出。11.如權利要求7至10任一所述的視頻碼流中全景信息的標識裝置，其特征在于，所述參數編碼裝置(04)，還用于記錄相應處理步驟和處理過程的全景信息的變化，編碼為符合標準碼流結構中單元結構的參數數據。
【文檔編號】H04N21/434GK106060652SQ201610404446
【公開日】2016年10月26日
【申請日】2016年6月8日
【發明人】昝勁文, 汪源, 呂卓逸, 張韻東
【申請人】北京中星微電子有限公司