具有時域層的視頻編碼系統及其操作方法
【專利摘要】一種視頻編碼系統的操作方法，包括：接收視頻位流；從視頻位流中提取視頻語法；基于視頻語法從視頻位流中提取時域層；以及基于時域層形成視頻流，用于在設備上顯示。
【專利說明】具有時域層的視頻編碼系統及其操作方法
[0001]對相關申請的交叉引用
[0002]本申請包含關于于2013年2月I日提交且標題為“VIDEO CODING SYSTEM WITHTEMPORAL SCALABILITY AND METHOD OF OPERAT1N THEREOF” 的美國專利申請序列號13/757，679的主題。其全部主題通過引用被結合于此。
[0003]本申請包含關于于2013年2月I日提交且標題為“VIDEO CODING SYSTEM WITHLOW DELAY AND METHOD OF OPERAT1N THEREOF” 的美國專利申請序列號 13/757,685 的主題。其全部主題通過引用被結合于此。
[0004]本申請要求于2012年7月2日提交的美國臨時專利申請序列號61/667，269、于2012年7月30日提交的美國臨時專利申請序列號61/677，302以及于2013年2月I日提交的美國非臨時申請序列號13/757，624的權益，這些申請的主題通過引用被全部結合于此。

【技術領域】
[0005]本發明一般而言涉及視頻系統，并且更具體而言涉及用于視頻編碼的系統。

【背景技術】
[0006]高質量視頻向智能電話、高清晰電視、汽車信息系統以及其它具有屏幕的視頻設備的部署在近年來大幅增長。支持視頻內容的各種各樣的信息設備需要多種類型的視頻內容，以便向具有不同尺寸、質量和連接能力的設備提供。
[0007]視頻已經從二維單視圖視頻發展到具有高分辨率三維成像的多視圖視頻。為了使視頻的傳送更有效，已經嘗試了不同的視頻編碼和壓縮方案，以便從最少量的數據獲得最好的畫面。運動圖像專家組(MPEG)開發出了允許基于標準化的數據序列和算法的良好視頻質量的標準。H.264 (MPEG4第10部分)/高級視頻編碼設計的編碼效率比現有的MPEG-2格式提高了兩倍。視頻的質量依賴于視頻中數據的操縱和壓縮。視頻可以被修改成適應于用來向具有不同分辨率和功能集的顯示設備發送視頻的不同帶寬。但是，分發更大、更高質量的視頻或者更復雜的視頻功能需要附加的帶寬和改進的視頻壓縮。
[0008]因而，仍然存在對能夠跨具有不同大小、分辨率和連接性的各種設備交付良好畫面質量和特征的視頻編碼系統的需求。鑒于在不斷增長的范圍的智能設備上提供視頻的需求不斷增加，找出對這些問題的答案日益關鍵。鑒于日益增加的商業競爭壓力，連同日益增長的消費者期望和市場上有意義的產品差異化的機會逐漸減少，找出對這些問題的答案很關鍵。此外，節約成本、提高效率和性能以及滿足競爭壓力的需求都對找出對這些問題的答案的關鍵必要性添加了更大的緊迫性。
[0009]對這些問題的解決辦法長期以來一直在尋找，但是此前的發展還沒有教導或建議任何解決辦法，因此，對這些問題的解決辦法長期以來一直困擾著本領域技術人員。


【發明內容】

[0010]本發明提供了一種視頻編碼系統的操作方法，包括:接收視頻位流；從視頻位流提取視頻語法；基于視頻語法從視頻位流提取時域層(temporal layer);以及基于時域層形成視頻流，用于在設備上顯示。
[0011]本發明提供了一種視頻編碼系統，包括:用于接收視頻位流的接收模塊；耦合到接收模塊的獲取語法模塊，用于從視頻位流提取視頻語法；耦合到獲取語法模塊的解碼模塊，用于基于視頻語法從視頻位流提取時域層；以及耦合到解碼模塊的顯示模塊，用于基于時域層形成視頻流，用于在設備上顯示。
[0012]除以上提到的那些之外或者代替其，本發明的某些實施例還具有其它方面。當參考附圖理解時，通過閱讀以下具體描述，這些方面將對本領域技術人員變得顯然。

【專利附圖】

【附圖說明】
[0013]圖1是本發明實施例中視頻編碼系統的框圖。
[0014]圖2是視頻位流的例子。
[0015]圖3是高效率視頻編碼(HEVC)視頻可用性信息(VUI)語法的例子。
[0016]圖4是HEVC VUI第一擴展語法的例子。
[0017]圖5是HEVC VUI第二擴展語法的例子。
[0018]圖6是HRD語法的例子。
[0019]圖7是HRD子層語法的例子。
[0020]圖8是HRD VUI語法的例子。
[0021]圖9是視頻編碼系統的功能框圖。
[0022]圖10是視頻編碼系統的控制流。
[0023]圖11是本發明另一種實施例中視頻編碼系統的操作方法的流程圖。

【具體實施方式】
[0024]以下實施例被足夠詳細地進行描述，以便使本領域技術人員能夠獲得并使用本發明。應當理解，基于本公開內容，其它實施例將是顯而易見的，并且在不背離本發明范圍的情況下可以進行過程或機械上的變化。
[0025]在以下描述中，給出了許多具體的細節，以提供對本發明的透徹理解。但是，很顯然，本發明沒有這些具體細節也可以實踐。為了避免模糊本發明，一些眾所周知的電路、系統配置和過程步驟沒有具體地公開。
[0026]同樣，示出系統實施例的附圖是半圖式的且不是按比例的，并且，特別地，一些維度是為了呈現清晰起見并且在附圖中被非常夸大地示出。在公開和描述具有一些共同特征的多個實施例的地方，為了清晰以及易于對其說明、描述和理解起見，彼此之間類似或相同的特征將一般地用相同的標號進行描述。
[0027]術語“語法”指描述數據結構的元素集合。在本文中提到的術語“模塊”在本發明中根據所使用的上下文可以包括軟件、硬件或其組合。
[0028]現在參考圖1，其中示出了本發明實施例中視頻編碼系統100的框圖。視頻編碼器102可以接收視頻內容108并且將視頻位流110發送到視頻解碼器104，用于解碼并在顯示接口 120上顯示。
[0029]視頻編碼器102可以接收并編碼視頻內容108。視頻編碼器102是用于把視頻內容108編碼成不同形式的單元。視頻內容108被定義為對象場景的數字表示。例如，視頻內容108可以是一個或多個數碼攝像機的數字輸出。
[0030]編碼被定義為計算地把視頻內容108修改成不同的形式。例如，編碼可以把視頻內容108壓縮成視頻位流110，以減少傳送視頻位流110所需的數據量。
[0031]在另一個例子中，視頻內容108可以通過被壓縮、視覺強化、分隔成一個或多個視圖、改變分辨率、改變縱橫比或其組合來進行編碼。在另一個說明性例子中，視頻內容108可以根據高效率視頻編碼(HEVC)/H.265草案標準進行編碼。
[0032]視頻編碼器102可以編碼視頻內容108，以形成視頻位流110。視頻位流110定義為表不與視頻內容108相關聯的彳目息的位序列。例如，視頻位流110可以是表不視頻內容108的壓縮的位序列。在另一個例子中，視頻位流110是表示隨時間串行發送的視頻內容108的位串。
[0033]視頻編碼器102可以以各種方式接收用于場景的視頻內容108。例如，表示現實世界中的對象的視頻內容108可以用攝像機、多個照相機捕獲、用計算機生成、作為文件提供、或是其組合。
[0034]視頻內容108可包括各種視頻特征。例如，視頻內容108可以包括單一視圖視頻、多視圖視頻、立體視頻或其組合。在另一個例子中，視頻內容108可以是四個或更多個照相機的多視圖視頻，用于支持三維(3D)視頻觀看，而無需用3D眼鏡。
[0035]視頻編碼器102可以利用視頻語法114編碼視頻內容108，以生成視頻位流110。視頻語法114定義為描述用于編碼和解碼視頻內容108的編碼方法的一組信息元素。視頻位流110符合視頻語法114，諸如高效率視頻編碼/H.265標準，并且可以包括HEVC視頻位流、超高清晰視頻位流或其組合。視頻位流110可包括視頻語法114。
[0036]視頻位流110可包括表示視頻內容108的圖像的信息以及相關聯的關于視頻內容108的編碼的控制信息。例如，視頻位流110可以包括視頻語法114的實例以及視頻內容108的實例。
[0037]視頻編碼系統100可以包括用于解碼視頻位流110的視頻解碼器104。視頻解碼器104定義為用于接收視頻位流110并修改視頻位流110以形成視頻流112的單元。
[0038]視頻解碼器104可以利用視頻語法114解碼視頻位流110以形成視頻流112。解碼定義為計算地修改視頻位流110以形成視頻流112。例如，解碼可以解壓縮視頻位流110，以形成格式化為用于在顯示接口 120上顯示的視頻流112。
[0039]視頻流112定義為視頻內容108被計算地修改后的版本。例如，視頻流112可以包括具有不同分辨率的視頻內容108修改后的實例。視頻流112可以包括從視頻內容108裁剪的解碼的圖像。
[0040]在另一個例子中，視頻流112可以具有與視頻內容108不同的縱橫比、不同的幀速率、不同的立體視圖、不同的視圖順序、或其組合。視頻流112可以具有不同的視覺屬性，包括不同的顏色參數、顏色平面、對比度、色調、或其組合。
[0041]視頻編碼系統100可以包括顯示處理器118。顯示處理器118可以從視頻解碼器104接收視頻流112，用于在顯示接口 120上顯示。顯示接口 120是能夠呈現視頻流112的可視表示的單元。
[0042]例如，顯示接口 120可以包括智能電話顯示器、數字投影儀、DVD播放器顯示器、或其組合。雖然視頻編碼系統100把視頻解碼器104、顯示處理器118和顯示接口 120示為單獨的單元，但是應當理解，視頻解碼器104可以包括顯示處理器118和顯示接口 120。
[0043]視頻編碼器102可以經通信路徑106將視頻位流110發送到視頻解碼器104。通信路徑106可以是適于數據傳輸的各種網絡。
[0044]例如，通信路徑106可以包括無線通信、有線通信、光學、超聲或其組合。衛星通信、蜂窩通信、藍牙、紅外線數據協會標準(IrDA)、無線保真(WiFi)和全球微波接入互操作性(WiMAX)是可以包括在通信路徑106中的無線通信的例子。以太網、數字用戶線路(DSL)、光纖到戶(FTTH)和普通舊式電話服務(POTS)是可以包括在通信路徑106中的有線通信的例子。
[0045]視頻編碼系統100可以采用各種視頻編碼語法結構。例如，視頻編碼系統100可以利用高效率視頻編碼/H.265工作草案版本編碼和解碼視頻信息。在通過引用全部結合于此的文檔中描述了 HEVC工作草案版本。通過引用全部結合于此的文檔包括:
[0046]B.Bross, ff.Han, JOhm, G.Sullivan, T.Wiegand, “High-EfficiencyVideoCoding(HEVC)textspecificat1n draft 8”，JCTVC_11003d7，2012 年 7 月(斯德哥爾摩)。
[0047]B.Bross, W.Han, J.0hm, G.Sullivan, T.Wiegand,iiHighEfficiencyVideoCoding (HEVC) text specificat1n draft 7“ JCTVC_11003d4, 2012 年5月(日內瓦)。
[0048]Μ.Haque,K.Sato,A.Tabatabai,Τ.Suzuki,“Simplificat1nofHRD parameters forTemporal Scalability”，JCTVC-J0272，2012 年 7 月(斯德哥爾摩)。
[0049]M.Haque , K.Sato , A.Tabatabai, T.Suzuki , “ HEVCVUI Par ame t er swithExtens1nHooks”，JCTVC-J0270, 2012 年 7 月(斯德哥爾摩)。
[0050]M.Haque, A.Tabatabai, “Extens1nofHEVCVUISyntaxStructure”，JCTVC-10263,2012年5月。
[0051]M.Haque, “AHGlO: VUI and HRD syntax designs agreed by the BoG on VPSandNUH”，JCTVC-J0548rl, 2012 年 7 月。
[0052]現在參考圖2，其中示出了視頻位流110的例子。視頻位流110包括圖1視頻內容108的編碼的實例，并且可以利用視頻語法114進行解碼以形成圖1的視頻流112，用于在圖1的顯示接口 120上顯示。
[0053]如由語法類型202所指示的，視頻位流110可以包括各種視頻類型。語法類型202定義為用來編碼和解碼視頻位流110的視頻編碼類型的指示器。例如，視頻內容108可包括用于高級視頻編碼204 (AVC)、可縮放視頻編碼206 (SVC)、多視圖視頻編碼208 (MVC)、多視圖視頻加深度210 (MVD)及立體視頻212 (SSV)的語法類型202。
[0054]高級視頻編碼204與可縮放視頻編碼206可以用來編碼基于單一視圖的視頻以形成視頻位流110。基于單一視圖的視頻可以包括從單一照相機產生的視頻內容108。
[0055]多視圖視頻編碼208、多視圖視頻加深度210及立體視頻212可以用來編碼具有兩個或更多個視圖的視頻內容108。例如，多視圖視頻可包括來自多個照相機的視頻內容108。
[0056]視頻語法114可以包括條目標識符216。條目標識符216是用于區分多個編碼的視頻序列的值。編碼的視頻序列可以包括對于單一視圖視頻、多視圖視頻或立體視頻具有不同位速率、幀速率、分辨率、或可縮放層的視頻內容108的實例。
[0057]視頻語法114可以包括條目計數214，用于識別與視頻內容108中每個幀相關聯的條目的數量。條目計數214是在視頻內容108中表示的條目的最大數量。
[0058]視頻語法114可以包括迭代標識符218。迭代標識符218是區分視頻內容108的各個迭代的值。
[0059]視頻語法114可以包括迭代計數220。迭代計數220是指示視頻內容108的迭代的最大數量的值。
[0060]對于可縮放的視頻編碼，術語迭代計數可用來指示在可縮放視頻編碼的情況下綁定到不同可縮放視頻層的信息條目的數量。對于多視圖視頻編碼，迭代計數可用來指示綁定到視頻內容108的視圖數量的操作點的數量。
[0061]例如，在可縮放視頻編碼中，視頻內容108可以被編碼成包括帶附加增強層的基礎層，以形成視頻位流110的多層實例。基礎層可具有最低的分辨率、幀速率或質量。
[0062]增強層可以包括帶用來提高視頻質量的附加剩余信息的逐步精煉。可縮放視頻層擴展可包括可擴展到覆蓋可縮放視頻編碼的HEVC新基線標準。
[0063]視頻語法114可以包括操作標識符222。操作標識符222是區分視頻內容108的各個操作點的值。操作點是為多視圖視頻編碼呈現的信息條目，諸如計時信息、網絡抽象層(NAL)假設參考解碼器(HRD)參數、視頻編碼層(VCL)HRD參數、piC_struCt_present_flag元素或其組合。
[0064]視頻語法114可以包括操作計數224。操作計數224是指示視頻內容108的操作的最大數量的值。
[0065]操作點綁定到從各種視圖中編碼的視頻序列的生成，各種視圖諸如由不同照相機，為多視圖和3D視頻產生的視圖。對于多視圖視頻編碼而言，取決于目標輸出視圖，操作點與具有目標輸出視圖和其它視圖的視頻位流110的子集相關聯。如果其它的視圖是利用子位流提取過程得到的，則它們依賴于目標輸出視圖。多于一個的操作點可以與視頻位流110的同一子集相關聯。例如，解碼操作點指解碼對應于該操作點的視頻位流的子集并且后續輸出作為用于在圖1的設備102上顯示的視頻流112的一部分的目標輸出視圖。
[0066]視頻語法114可以包括視圖標識符226。視圖標識符226是區分視頻內容108的各個視圖的值。
[0067]視頻語法114可以包括視圖計數228。視圖計數228是指示視頻內容108的視圖的最大數量的值。
[0068]例如，單一視圖可以是由單個照相機產生的視頻。多視圖視頻可以由位于不同位置和距場景中被觀看的對象不同距離的多個照相機產生。
[0069]視頻內容108可以包括各種視頻屬性。例如，視頻內容108可以是高分辨率視頻，諸如超高清視頻。視頻內容108可以具有3840X2160或更高的像素分辨率，包括7680X4320,8K x 2K、4K χ 2Κ或其組合的分辨率。雖然視頻內容108支持高分辨率視頻，但是應當理解,視頻內容108也可以支持較低的分辨率，例如高清晰(HD)視頻。視頻語法114可以支持視頻內容108的分辨率。
[0070]視頻內容108可以支持各種幀速率，包括15幀每秒(fps)、24fps、25fps、30fps、50fps、60fps和120fps。雖然描述了各個幀速率，但是應當理解，視頻內容108可以支持零幀每秒及更高的、固定及可變的幀速率。視頻語法114可以支持視頻內容108的幀速率。[0071 ] 視頻位流110可以包括一個或多個時域層230。時域層230定義為表示指定的幀速率的視頻流112的、視頻位流110的部分。每一個時域層230都可以表示在以幀每秒(fps)表達的不同幀速率下的視頻流112。時域層230可以構成具有包括較低層的更高層的層次結構。
[0072]例如，時域層230的第一實例232可以表示視頻流112的15fps實例、時域層230的第二實例234可以表示視頻流112的30fps實例、時域層230的第三實例236可以表示視頻流112的60fps實例。每一個時域層230都可以包括表示視頻內容108的視頻幀238。
[0073]時域層230的第一實例232可以表示把視頻內容108編碼以形成在15fps的視頻流112的基礎層。時域層230的第二實例234可以表示諸如時域層230第一實例232的基礎層與視頻內容108在30fps的視頻流112之間的差異。
[0074]第二實例234可以包括表示基礎層的幀與用于在30fps顯示視頻內容108所需的新幀之間的差異的幀。時域層230的第三實例236可以表示時域層230的第二實例234與在60fps的視頻內容之間的差異。
[0075]在說明性例子中，用于智能電話的圖1的視頻解碼器104可以從視頻位流110中提取在30fps的時域層230的第二實例234，這可以包括來自第一實例232和第二實例234的信息。在視頻位流110中來自時域層230的第三實例236的信息可以被丟棄，以減小視頻位流110的大小。
[0076]現在參考圖3，其中示出了高效率視頻編碼(HEVC)視頻可用性信息(VUI)語法302的例子。HEVC VUI語法302包括關于圖1的視頻流110的信息，以允許用于圖1視頻內容108的附加應用可用性特征。
[0077]HEVC VUI語法302描述圖3的HEVC VUI語法表中的元素。HEVC VUI語法302的元素如圖3的HEVC VUI語法表中所描述的那樣以層次結構布置。
[0078]HEVC VUI 語法 302 包括 HEVC VUI 語法首部 303，諸如 vui_parameters 元素。HEVCVUI語法首部303是用于識別HEVC VUI語法302的描述符。HEVC VUI語法302用來編碼和解碼視頻位流110。
[0079]HEVC VUI語法302可以包括關于視頻位流110的各種信息。HEVC WI語法302可以包括關于視頻內容108的縱橫比、過掃描、視頻信號類型、色度、NAL HRD值、位流限制或者其組合的信息。
[0080]HEVC VUI語法302可以包括關于視頻內容108的縱橫比的縱橫比信息。HEVC VUI語法302可以包括縱橫比標志304、縱橫比指示器306、縱橫比寬度308以及縱橫比高度310，或者其組合。
[0081]HEVC VUI 語法 302 可以包括縱橫比標志 304,諸如 aspect_rat1_info_present_flag元素，以示出附加的縱橫比信息在視頻位流110中被編碼。縱橫比標志304可以具有指示縱橫比信息不在視頻位流110中的值O和指示縱橫比信息包括在視頻位流110中的值
1
[0082]縱橫比指示符306是描述視頻內容108的縱橫比的值。例如，縱橫比指示符306，諸如aspect_rat1_idc元素,可以包括用于視頻內容108的預定義縱橫比的枚舉列表的索引值。在另一個例子中，縱橫比指示符306可以包括值，該值指示縱橫比可以由用于縱橫比寬度308和縱橫比高度310的獨立值來描述。
[0083]縱橫比寬度308，諸如sar_width元素，可以描述視頻內容108的寬度。縱橫比高度310，諸如sar_height元素，可以描述視頻內容108的高度。縱橫比寬度308和縱橫比高度310可以以比率、像素、行、英寸、厘米或者其組合來描述視頻內容的大小。
[0084]HEVC VUI語法302可以包括用于視頻內容108的過掃描信息。HEVC VUI語法302可以包括過掃描存在標志312和過掃描合適標志314。
[0085]過掃描定義為其中靠近圖1視頻流112的裁剪的解碼畫面邊界的一些部分在視頻流112的顯示區域內不可見的顯示過程。欠掃描定義為其中視頻流112的整個裁剪的解碼畫面在顯示區域內都可見但不覆蓋整個顯示區域的顯示過程。
[0086]過掃描存在標志312可以指示過掃描信息是否包括在視頻位流110中。諸如overscan_info_present_flag的過掃描存在標志312可以具有指示過掃描信息在視頻位流中存在的值I或者指示過掃描信息在視頻位流110中不存在的值O。
[0087]過掃描合適標志314可以指示在視頻位流110中編碼的視頻內容108可利用過掃描進行顯示。諸如overscan_appropriate_flag元素的過掃描合適標志314可以具有值I,以指示視頻流112的裁剪的解碼畫面適于利用過掃描進行顯示。過掃描合適標志314可以具有值零，以指示視頻流112的裁剪的解碼畫面包含可視的重要信息并且不應當利用過掃描進行顯示。
[0088]HEVC VUI語法302可以包括用于視頻內容108的視頻信號類型信息。HEVC VUI語法302可以包括視頻信號存在標志316、視頻格式317、視頻全范圍標志318、顏色描述存在標志320、顏色原色322、傳輸特性324及矩陣系數326。
[0089]諸如video_signal_type_present_flag元素的視頻信號存在標志316可以指示視頻信號類型信息包括在視頻位流110中。視頻信號存在標志316可以具有值1，以指示附加的視頻信號類型信息在視頻位流110中存在。視頻信號存在標志316可以具有值0，以指示視頻位流110中沒有視頻信號類型信息存在。
[0090]諸如video_format元素的視頻格式317可以指示視頻的格式。諸如video_full_range_flag元素的視頻全范圍標志318可以指示用于在視頻位流110中編碼的視頻內容108的黑電平以及亮度和色度信號的范圍。
[0091]諸如colour_descript1n_present_flag元素的顏色描述存在標志320可以指示視頻位流110中顏色描述信息的存在。顏色描述存在標志320可以具有值1，以指示附加的顏色描述信息包括在視頻位流110中。顏色描述存在標志320可以具有值0，以指示沒有包括其它的顏色描述信息。顏色描述信息可包括顏色原色322、傳輸特性324及矩陣系數326。
[0092]顏色原色322可以指示在視頻內容108中使用的配色方案。例如，諸如colour_primaries元素的顏色原色322可以指示源原色的色度坐標。
[0093]傳輸特性324可以指示視頻內容108的光電傳輸特性。例如，諸如transfer_characteristics元素的傳輸特性324可以是描述一組預定義的顯示特性的枚舉值。
[0094]矩陣系數326可以指示用來從由顏色原色322指示的紅、綠、藍原色中導出亮度和色度信號的系數。諸如matrix_coefficient元素的矩陣系數326可以是用來計算地把一組紅、藍和綠顏色坐標變換成等價的亮度和色度的矩陣系數。
[0095]HEVC WI語法302可以包括用于視頻內容108的色度信息。HEVC WI語法302可以包括色度位置信息存在標志328、色度頂部域樣本330、色度底部域樣本332、及中性色度標志334。
[0096]諸如chroma_loc_info_present_flag元素的色度位置信息存在標志328可以指示附加的色度信息是否在視頻位流110中存在。色度位置信息存在標志328可以具有指示附加的色度信息存在的值I或者指示沒有附加的色度信息存在的值O。附加的色度信息可包括色度頂部域樣本330和色度底部域樣本332。
[0097]諸如chroma_sample_loc_type_top_field元素的色度頂部域樣本330可以是枚舉值，以規定用于視頻位流110中頂部域的色度樣本的位置。諸如chroma_sample_loc_type_bottomjield元素的色度底部域樣本332可以是枚舉值，以規定用于視頻位流110中底部域的色度樣本的位置。
[0098]諸如neutral_chroma_indicat1n_flag元素的中性色度標志334可以指示解碼的色度樣本是否等于一。例如，如果中性色度標志334具有值1，則所有的解碼色度樣本被設置為I。如果中性色度標志334具有值0，則解碼的色度樣本不限于I。
[0099]HEVC VUI語法302可以包括關于視頻位流110的字段序列信息。HEVC VUI語法302可以包括字段序列標志336、計時信息存在標志338、滴答單元340、時間標度344和固定畫面速率標志346。
[0100]字段序列標志336，諸如field_seq_flag，可以指示編碼的視頻序列信息是否包括視頻表示字段。字段序列標志336可以具有指示字段存在的值I和指示沒有字段存在的值O0
[0101]計時信息存在標志338,諸如timing_info_present_flag元素,可以指示計時信息是否包括在視頻位流110中。計時信息存在標志338可以具有指示計時信息在視頻位流110中的值I和指示計時信息不在視頻位流110中的值O。
[0102]滴答單元340,諸如num_units_in_tick元素,可以指示時鐘在時間標度344的頻率下操作的時間單元的數量。例如，滴答單元340可以具有對應于可在視頻位流110中表示的時間的最小間隔。時間標度344，諸如time_scale元素，是在一秒內經過時間單元的數量。
[0103]固定畫面速率標志346,諸如fixed_pic_rate_flag元素,可以指示在視頻流112的輸出次序中兩個連續畫面之間的時域距離是否受約束。固定畫面速率標志346具有指示沒有應用約束的值O和指示時域距離受約束的值I。
[0104]HEVC VUI語法302可以包括關于假設參考解碼器參數的信息。HEVC VUI語法302可以包括NAL HRD參數存在標志348、VCL HRD參數存在標志352和HRD參數結構350。
[0105]NAL HRD 參數存在標志 348,諸如 nal_hrd_parameters_present_flag 兀素，可以指示NAL HRD參數信息的存在。NAL HRD參數存在標志348可以具有指示HRD參數結構350在HEVC VUI語法302中存在的值I或者指示HRD參數結構350不存在的值O。
[0106]VCL HRD 參數存在標志 352,諸如 vcl_hrd_parameters_present_flag 兀素，可以指示用于VCL的HRD信息的存在。VCL HRD參數存在標志352可以具有指示HRD參數結構350在HEVC VUI語法302中存在的值I或者指示HRD參數結構350不存在的值O。
[0107]HRD參數結構350可以包括用于VCL的假設參考解碼器參數。HRD參數結構350在以下的HRD語法部分中具體描述。HRD參數結構350是HRD語法的實例。
[0108]如果NAL HRD參數存在標志348或VCL HRD參數存在標志352具有值1，則HEVCVUI語法302可以包括附加的HRD參數和位流參數。HEVC VUI語法302可以包括低延遲HRD標志354、子畫面編碼的畫面緩沖區(CPB)參數存在標志356以及子單元滴答(subunitticks)358。
[0109]HEVC VUI語法302可以包括低延遲HRD標志354，諸如low_delay_hrd_f lag元素。低延遲HRD標志354可以指示HRD操作模式。
[0110]HEVC VUI語法302可以包括子畫面CPB參數存在標志356，諸如sub_pic_cpb_params_present_flag元素。子畫面CPB參數存在標志356可以指示子畫面CPB參數是否在視頻位流110中存在。
[0111]如果子畫面CPB參數存在標志356具有值1，則HEVC VUI語法302可以包括子單元滴答358,諸如num_of_units_in_sub_tick元素。子單元滴答358可以指示在去除計時輔助增強信息(SEI)消息之前等待的滴答數量。
[0112]如果NAL HRD參數存在標志348或VCL HRD參數存在標志352具有值I，則HEVCVUI語法302可以包括位流參數。HEVC VUI語法302可以包括關于視頻位流110的位流限制信息。HEVC VUI語法302可以包括位流限制標志360、塊固定結構標志362、運動向量標志364、每畫面單位(denominat1n)最大字節數336、每最小cu單位最大位數368、最大運動向量水平長度370、及最大運動向量垂直長度372。
[0113]位流限制標志360,諸如bitstream_restrict1n_flag元素,指示編碼的視頻序列位流限制參數在視頻位流110中存在。如果位流限制參數在視頻位流110中存在，則位流限制標志360具有值1，并且如果位流限制參數不存在，則位流限制標志360具有值O。位流限制參數可以包括塊固定結構標志362、運動向量標志364、每畫面單位最大字節數366、每最小cu單位最大位數368、最大運動向量水平長度370、及最大運動向量垂直長度372。
[0114]諸如tiles_fixed_structure_flag元素的塊固定結構標志362可以指示在編碼的視頻序列中每個畫面都具有相同數量的塊。塊固定結構標志362可以具有指示固定塊的值I和指示其它的值O。
[0115]諸如mot1n_vector_over_pic_boundaries_f lag 兀素的運動向量標志 364 可以指示在畫面邊界之外沒有樣本用于預測。如果運動向量標志364具有值1，則畫面邊界之外的一個或多個樣本可用于預測，否則沒有樣本被用于預測。
[0116]諸如max_bytes_per_pic_denom元素的每畫面單位最大字節數366是指示用于與編碼的視頻序列中任何編碼的畫面相關聯的VCLNAL單元的大小的總和的最大字節數的值。如果每畫面單位最大字節數366具有值0，則沒有指示限制。否則，位流一致性要求編碼的畫面不應當在視頻位流110中由多于每畫面單位最大字節數366的字節表示。
[0117]對于編碼的視頻序列的任何畫面中的任何編碼塊，諸如max_bits_per_min_cu_denom元素的每最小cu單位最大位數368是指示用于編碼單元數據的編碼的位的數量的上界的值。如果每最小cu單位最大位數368具有值0，則沒有指示限制。否則，位流一致性要求編碼單元在視頻位流110中不應當由多于每最小CU單位最大位數368的位表示。
[0118]諸如log2_max_mv_length_horizontal元素的最大運動向量水平長度370指示用于視頻位流110中所有畫面的解碼的水平運動向量分量的最大絕對值。諸如log2_max_mv_length_vertical元素的最大運動向量垂直長度372指示用于視頻位流110中所有畫面的解碼的垂直運動向量分量的最大絕對值。
[0119]現在參考圖4，其中示出了 HEVC VUI第一擴展語法402的例子。HEVC VUI第一擴展語法402提供用于圖1的視頻位流110中圖2時域層230的每個實例的單獨計時信息。
[0120]HEVC VUI第一擴展語法402描述圖4的HEVC VUI第一擴展語法表中的元素。如在圖4的HEVC VUI第一擴展語法表中所描述的，HEVC VUI第一擴展語法402的元素以層次結構進行布置。例如，HEVC VUI第一擴展語法402可以是圖3的HEVC VUI語法302的擴展。
[0121]HEVC VUI第一擴展語法402包括HEVC VUI第一擴展語法首部404，諸如vui_parameters元素。HEVC VUI第一擴展語法首部404是用于識別HEVC VUI第一擴展語法402的描述符。HEVC VUI第一擴展語法402用來編碼和解碼視頻位流110。
[0122]對于視頻位流110中每個時域層，HEVC VUI第一擴展語法402可以包括關于字段序列標志336和計時信息存在標志338的VUI參數的子集。諸如第一或第二的術語僅僅用于識別而不是要指示任何次序、優先級、重要性或前后順序。
[0123]HEVC VUI第一擴展語法402可以包括時域層計數406,諸如vui_max_temporal_layers_minusl元素,用于識別與圖1的視頻位流110中每一巾貞關聯的時域層的最大數量。時域層計數406指示條目數減1，以便從O到時域層數減I映射時域層計數406。
[0124]HEVC VUI第一擴展語法402可以包括循環結構來表示特定于時域層的信息。循環可包括迭代器，諸如[i]，用于指示從O至時域層計數406的、與時域層230的每個實例相關聯的信息。HEVC VUI第一擴展語法402支持用于等于時域層計數406的多個時域層230實例的單獨語法元素。
[0125]HEVC VUI第一擴展語法402包括如在圖4的HEVC VUI第一擴展語法表中所描述的元素。如在圖4的HEVC VUI第一擴展語法表中所描述的，HEVC VUI第一擴展語法402的元素以層次結構進行布置。
[0126]HEVC VUI第一擴展語法402包括諸如字段序列標志336、計時信息存在標志338、滴答單元340、時間標度344以及固定畫面速率標志346的計時信息。HEVC VUI第一擴展語法402可以包括NALHRD信息，諸如NAL HRD參數存在標志348、HRD參數結構350、VCLHRD參數存在標志352、低延遲HRD標志354、子畫面CPB參數存在標志356以及子單元滴答358。
[0127]HEVC VUI第一擴展語法402可以包括用于時域層230的每個實例的字段序列信息。HEVC VUI第一擴展語法402可以包括字段序列標志336、計時信息存在標志338、滴答單元340、時間標度344以及固定畫面速率標志346。
[0128]HEVC WI第一擴展語法402可以包括用于時域層230的每個實例的假設參考解碼器參數。HEVC VUI第一擴展語法402可以包括NAL HRD參數存在標志348、VCL HRD參數存在標志352和HRD參數結構350。
[0129]NAL HRD 參數存在標志 348,諸如 nal_hrd_parameters_present_flag 兀素，可以指示NAL HRD參數信息的存在。NAL HRD參數存在標志348可以具有指示HRD參數結構350在視頻位流110中存在的值I或者指示HRD參數結構350不存在的值O。
[0130]VCL HRD 參數存在標志 352,諸如 vcl_hrd_parameters_present_f lag 兀素，可以指示用于VCL的HRD信息的存在。VCL HRD參數存在標志352可以具有指示HRD參數結構350在視頻位流110中存在的值I或者指示HRD參數結構350不存在的值O。
[0131]HEVC VUI第一擴展語法402可以包括HRD參數結構350。HRD參數結構350可以包括描述假設參考解碼器的參數。HRD參數結構350在以下的部分中進一步定義。
[0132]如果NAL HRD參數存在標志348或VCL HRD參數存在標志352具有值I，則HEVCVUI第一擴展語法402可以包括低延遲HRD標志354、子畫面CPB參數存在標志356以及子單元滴答358。
[0133]HEVC WI第一擴展語法402可包括關于位流、WI擴展，以及循環結構之外的RBSP信息的信息。位流、VUI擴展和RBSP信息對所有時域層都是恒定的。
[0134]HEVC VUI第一擴展語法402可包括VUI擴展標志408,諸如vui_extens1n_flag元素，用于指示VUI擴展信息包括在視頻位流110中。VUI擴展標志408可以具有指示VUI擴展信息包括在視頻位流110中的值I和指示其它的值O。
[0135]HEVC VUI第一擴展語法402可以包括更多RBSP數據標志410，諸如more_rbsp_data元素，用于指示附加的數據在RBSP中。當附加的數據在RBSP中時，更多RBSP數據標志410可以具有值I，否則具有值O。
[0136]HEVC VUI第一擴展語法402可以包括VUI擴展數據標志412，諸如VUI_extens1n_data_flag元素,用于指示VUI擴展數據包括在視頻位流110中。當VUI擴展數據標志412包括在視頻位流110中時，VUI擴展數據標志412可以具有值1，否則具有值O。
[0137]HEVC VUI 第一擴展語法 402 可以包括 RBSP 尾隨位 414,諸如 rbsp_trailing_bits元素，它是用于標記RBSP數據的數據結構。RBSP尾隨位414可以包括RBSP數據,諸如sbsp_stop_one_bit元素,用于為RBSP指示停止位。
[0138]研究發現，利用HEVC VUI第一擴展語法402編碼和解碼圖1的視頻內容108以支持時域層的每個實例提供了對時域層230的每個實例的表示的更細粒度控制。為時域層230的每個實例提供信息提高了圖1視頻流112的顯示質量。
[0139]現在參考圖5，其中示出了 HEVC VUI第二擴展語法502的例子。HEVC VUI第二擴展語法502包括用于圖1的視頻位流110中所有時域層的關于字段序列標志336和計時信息存在標志338的VUI參數的單個實例。
[0140]HEVC VUI第二擴展語法502描述圖5的HEVC VUI第二擴展語法表中的元素。如在圖5的HEVC VUI第二擴展語法表中所描述的，HEVC VUI第二擴展語法502的元素以層次結構進行布置。例如，HEVC VUI第二擴展語法502可以是圖3的HEVC VUI語法302的擴展。
[0141]HEVC VUI第二擴展語法502包括HEVC VUI第二擴展語法首部504，諸如vui_parameters元素。HEVC VUI第二擴展語法首部504是用于識別HEVC VUI第二擴展語法502的描述符。
[0142]HEVC VUI第二擴展語法502包括用于圖2的每個時域層230的具有HRD參數結構350的循環。諸如第一或第二的術語僅用于識別，而不指示任何次序、優先級、重要性或前后順序。
[0143]HEVC VUI第二擴展語法502可以包括諸如字段序列標志336、計時信息存在標志338、滴答單元340、時間標度344和固定畫面速率標志346的公共計時信息集合。公共計時信息集合跨時域層230的所有實例都是恒定的。
[0144]HEVC VUI第二擴展語法502可以包括時域層計數406,諸如vui_max_temporal_layers_minusl元素,用于識別與視頻位流110中每一巾貞關聯的時域層230的最大數量。時域層計數406指示從O到時域層數減I映射時域層計數406。
[0145]HEVC WI第二擴展語法502可以包括循環結構來表示特定于時域層的的信息。循環可包括迭代器，諸如[i]，用于指示從O至時域層計數406的、與時域層230的每個實例相關聯的信息。HEVC VUI第二擴展語法502支持用于等于時域層計數406的多個時域層230的實例的單獨語法元素。
[0146]HEVC VUI第二擴展語法502包括如在圖5的HEVC VUI第二擴展語法表中所描述的元素。如圖5的HEVC VUI第二擴展語法表中所描述的，HEVC VUI第二擴展語法502的元素是以層次結構進行布置的。
[0147]HEVC VUI第二擴展語法502可以包括用于時域層230的每個實例的假設參考解碼器參數。HEVC VUI第二擴展語法502可以包括NAL HRD參數存在標志348、VCL HRD參數存在標志352和HRD參數結構350。
[0148]NAL HRD 參數存在標志 348,諸如 nal_hrd_parameters_present_flag 兀素，可以指示NAL HRD參數信息的存在。NAL HRD參數存在標志348可以具有指示HRD參數結構350在視頻位流110中存在的值I或者指示HRD參數結構350不存在的值O。
[0149]VCL HRD 參數存在標志 352,諸如 vcl_hrd_parameters_present_flag 兀素，可以指示用于VCL的HRD信息的存在。VCL HRD參數存在標志352可以具有指示HRD參數結構350在視頻位流110中存在的值I或者指示HRD參數結構350不存在的值O。
[0150]HEVC VUI第二擴展語法502可以包括HRD參數結構350。HRD參數結構350可以包括描述假設參考解碼器的參數。HRD參數結構350在以下的部分中進一步定義。
[0151 ] 如果NAL HRD參數存在標志348或VCL HRD參數存在標志352具有值I，則HEVCVUI第二擴展語法502可以包括低延遲HRD標志354和子畫面CPB參數存在標志356。如果子畫面CPB參數存在標志356是1，則HEVC VUI第二擴展語法502可以包括子單元滴答358,諸如 num_units_in_sub_tick 兀素。
[0152]HEVC VUI第二擴展語法502可以包括關于位流、VUI擴展，以及循環結構之外的RBSP信息的信息。位流、VUI擴展和RBSP信息對所有時域層都是恒定的。
[0153]HEVC VUI第二擴展語法502可以包括VUI擴展標志408，諸如vui_extens1n_flag元素，用于指示VUI擴展信息包括在視頻位流110中。VUI擴展標志408可以具有指示VUI擴展信息包括在視頻位流110中的值I和指示其它的值O。
[0154]HEVC VUI第二擴展語法502可以包括更多RBSP數據標志410，諸如more_rbsp_data元素，用于指示附加的數據在RBSP中。當附加的數據在RBSP中時，更多RBSP數據標志410可以具有值I，否則具有值O。
[0155]HEVC VUI第二擴展語法502可以包括VUI擴展數據標志412，諸如VUI_extens1n_data_flag元素,用于指示VUI擴展數據包括在視頻位流110中。當VUI擴展數據標志412包括在視頻位流110中時，VUI擴展數據標志412可以具有值1，否則具有值O。
[0156]HEVC VUI 第二擴展語法 502 可以包括 RBSP 尾隨位 414,諸如 rbsp_trailing_bits元素，它是用于標記RBSP數據的數據結構。RBSP尾隨位414可包括RBSP數據,諸如sbsp_stop_one_bit元素,用于為RBSP指示停止位。
[0157]研究發現，利用HEVC VUI第二擴展語法502編碼和解碼圖1的視頻內容108以支持時域縮放減小了視頻位流110的大小并且減小了對視頻緩沖的需求。減小視頻位流110的大小增加功能性并且提高圖1視頻流112的顯示性能。
[0158]研究發現，利用HEVC VUI第二擴展語法502編碼和解碼圖1的視頻內容108以便對時域層230的每個實例分別支持時域縮放減小了視頻位流110的大小并且減小了對視頻緩沖的需求。減小視頻位流110的大小增加功能性并且提高圖1視頻流112的顯示性能。
[0159]現在參考圖6，其中示出了 HRD語法602的例子。HRD語法602描述與假設參考解碼器相關聯的參數。
[0160]HRD語法602包括如在圖6的HRD語法表中描述的元素。如在圖6的HRD語法表中所描述的，HRD語法602的元素以層次結構進行布置。
[0161]HRD語法602可以包括HRD語法首部604，諸如hrd_parameters元素。HRD語法首部604是用于識別HRD語法602的描述符。
[0162]HRD語法602可以包括圖3的HRD參數結構350，包括計時存在信息、NAL HRD參數、VCL HRD參數以及固定畫面速率信息。計時存在信息可以包括計時信息存在標志338、滴答單元340和時間標度344。
[0163]計時信息存在標志338,諸如timing_info_present_flag元素,可以指示計時信息是否包括在圖1的視頻位流110中。計時信息存在標志338可以具有指示計時信息在視頻位流110中的值I和指示計時信息不包括在視頻位流110中的值O。
[0164]滴答單元340,諸如num_units_in_tick元素,可以指示時鐘在時間標度344的頻率下操作的時間單元的數量。例如，滴答單元340可以具有對應于可在視頻位流110中表示的時間的最小間隔。時間標度344，諸如time_SCale元素，是在一秒內時間單元的數量。
[0165]NAL HRD 參數存在標志 348,諸如 nal_hrd_parameters_present_flag 兀素，可以指示NAL HRD參數信息的存在。NAL HRD參數存在標志348可以具有指示HRD參數結構350在視頻位流110中存在的值I或者指示HRD參數結構350不存在的值O。
[0166]VCL HRD 參數存在標志 352,諸如 vcl_hrd_parameters_present_f lag 兀素，可以指示用于VCL的HRD參數信息的存在。VCL HRD參數存在標志352可以具有指示HRD參數結構350在視頻位流110中存在的值I或者指示HRD參數結構350不存在的值O。
[0167]如果NAL HRD參數存在標志348或VCL HRD參數存在標志352具有值I，則HRD參數結構350可以包括附加的元素。例如，HRD參數結構350可以包括子畫面CPB參數存在標志356、位速率標度612、CPB大小標度614、初始CPB去除延遲長度616、CPB去除延遲長度618和DPB輸出延遲長度620。
[0168]子畫面CPB 參數存在標志 356,諸如 sub_pic_cpb_params_present_flag 兀素，可以指示子畫面CPB參數是否在視頻位流110中存在。如果子畫面CPB參數存在標志356具有值I，則HRD參數結構350可以包括滴答除數(divisor) 610,諸如tick_divisor_minus2元素，以規定可在視頻位流110中表示的時間的最小間隔。
[0169]HRD參數結構350可以包括位速率標度612,諸如bit_rate_scale元素。位速率標度612規定編碼的畫面緩沖區的最大輸入位速率。
[0170]HRD參數結構350可以包括CPB大小標度614，諸如cpb_size_scale元素。CPB大小標度614用于確定CPB的大小。
[0171]HRD參數結構350可以包括初始CPB去除延遲長度616，諸如initial_cpb_removal_delay_length_minusl元素。初始CPB去除延遲長度616指示緩沖周期SEI消息的兀素 initial_cpb_removal_delay 和 initial_cpb_removal_delay_offset 的位長度。
[0172]HRD參數結構350可以包括CPB去除延遲長度618,諸如cpb_removal_delay_length_minusl元素。CPB去除延遲長度618可以規定畫面計時SEI消息中元素cpb_removal_delay 的位長度。
[0173]HRD參數結構350可以包括DPB輸出延遲長度620，諸如dpb_output_delay_length_minusl元素。DPB輸出延遲長度620指示解碼的畫面緩沖區(DPB)的大小。
[0174]HRD參數結構350可以包括一組用于圖2時域層230的每個實例的參數。HRD參數結構350可以包括利用諸如[i]的迭代器的循環結構，以描述用于時域層230的每個實例的參數。
[0175]HRD參數結構350可以包括子層計數630,諸如MaxNumSubLayersMinusl兀素。子層計數630指示視頻位流110中子層的最大數量。HRD參數結構350可以包括公共信息存在標志603,諸如commoninfPresentFlag元素,該標志指示是否存在公共HRD信息。
[0176]HRD參數結構350可以包括固定畫面速率標志346,諸如fixed_pic_rate_f lag元素，以指示視頻位流110中任何兩個連續畫面的HRD輸出時間之間的時域距離是否受約束。如果固定畫面速率標志346具有值1，則在任意兩個連續畫面之間的時域距離受約束，如果不受約束，則值為O。
[0177]如果固定畫面速率標志346具有值1，則HRD參數結構350可以包括畫面持續時間622,諸如pic_durat1n_in_tc_minusl元素。畫面持續時間622可以指示編碼的視頻序列中任意兩個連續畫面以輸出次序的HRD輸出時間之間的時域距離。
[0178]HRD參數結構350可以包括低延遲HRD標志354，諸如low_delay_hrd_f lag元素。低延遲HRD標志354可以指示HRD操作模式。
[0179]HRD參數結構350可以包括CPB計數626，諸如cpb_cnt_minusl元素。CPB計數626可以指示視頻位流110中備選CPB說明的數量。
[0180]如果NAL HRD參數存在標志348或VCL HRD參數存在標志352具有值I，則對于時域層230的每個實例,HRD參數結構350可以包括HRD參數子層628,諸如hrd_parameters_sub_layer元素。HRD參數子層628可以描述關于每個子層的參數。
[0181]研究發現，利用HRD語法602編碼和解碼圖1的視頻內容108可以減小視頻位流110的大小并減少顯示圖1的視頻流112所需的視頻緩沖量。減小視頻位流110的大小增加功能性并且提高視頻流112的顯示性能。
[0182]現在參考圖7，其中示出了 HRD子層語法702的例子。HRD子層語法702描述與假設參考解碼器子層相關聯的參數。
[0183]HRD子層語法702包括如在圖7的HRD子層語法表中描述的元素。如在圖7的HRD子層語法表中所描述的，HRD子層語法702的元素以層次結構進行布置。
[0184]HRD子層語法702可以包括HRD子層語法首部704,諸如hrd_parameters_sub_layer元素。HRD子層語法首部704是用于識別HRD子層語法702的描述符。
[0185]HRD子層語法702可以包括循環結構，以定義用于編碼的畫面緩沖區的每個實例的一組參數。循環結構基于諸如SchedSelidx元素的計劃選擇索引確定維數。
[0186]HRD子層語法702可以描述圖2的時域層230的屬性。時域層230也可指定為圖1的視頻位流110的子層。
[0187]HRD子層語法702可以包括位速率值706，諸如b it_rate_value_minusl 兀素。位速率值706可用來規定用于編碼的畫面緩沖區的每個實例的最大輸入位速率。
[0188]HRD子層語法702可以包括CPB大小值708，諸如cpb_size_value_minusl元素。CPB大小值708可用來確定編碼的畫面緩沖區的每個實例的大小。
[0189]HRD子層語法702可以包括CBR標志710，諸如cbr_flag元素。CBR標志710指示用于為編碼的畫面緩沖區的每個實例解碼視頻位流110的操作模式。如果CBR標志710具有值1，則假設的流交付計劃(HSS)以恒定的位速率模式操作。否則，視頻位流110以間歇性位速率模式操作。
[0190]HRD子層語法702可以表示視頻位流110的子層或者時域層230。HRD子層語法702可用來選擇一個子層或一個時域層230，并且允許從視頻位流110中去除其它子層的實例。
[0191]去除子層或時域層230的實例可以減少視頻位流110內總的數據量并且使得能夠降低位速率或調整圖1的視頻內容108的大小，用于更好的傳輸、改進的存儲帶寬控制與調整。提供特定于子層或時域層的HRD參數使得能夠更好并且更流暢地進行位流解碼，以產生圖1的視頻流112。
[0192]研究發現，通過對與各個子層的處理啟用更細粒度的控制，利用HRD子層語法702提供了改進的性能。通過利用不同子層之間的各個差異，利用HRD子層語法702的各個實例可以提供提高的處理速度。
[0193]現在參考圖8，其中示出了 HRD VUI語法802的例子。HRDVUI語法802描述與假設參考解碼器相關聯的參數。
[0194]HRD VUI語法802包括如在圖8的HRD VUI語法表中所描述的元素。如在圖8的HRD WI語法表中所描述的，HRD WI語法802的元素以層次結構進行布置。例如，HRD VUI語法802可以是圖3的HEVC VUI語法302的擴展。
[0195]HRD WI語法802可以包括HRD WI語法首部804，諸如vui_parameters元素。HRD VUI語法首部804是用于識別HRD VUI語法802的描述符。
[0196]HRD VUI語法802可以包括HRD參數結構350，諸如hrd_parameters元素。HRD參數結構350包括用于圖2的每個子層或每個時域層230的假設參考解碼器參數。
[0197]HRD VUI語法802用HRD參數結構350替代HRD相關的參數，包括計時存在信息、NAL HRD參數、VCL HRD參數及固定畫面速率信息。HRD參數結構350為每個子層或每個時域層230提供一組HRD參數。
[0198]HRD VUI語法802可以包括圖6的子層計數630,它可以根據sps_max_sub_layers_minusl兀素分配值。sps_max_sub_layers_minusl兀素可以在序列參數集(SPS)語法中定義。HRD VUI語法802可以包括公用信息存在標志603，以指示公用HRD信息的存在。
[0199]子層可以表示時域層230或圖1的視頻位流110中其它類型的視頻層。時域層230的總數可以由子層計數630來表示。
[0200]HRD VUI語法802中的字段序列標志336可以支持隔行畫面編碼。通過簡化由視頻內容108使用的視頻系統的確定，在HRD VUI語法802中提供視頻格式317可提供增強的功能性。
[0201]視頻全范圍標志318可以指示黑電平以及亮度和色度信號的范圍。顏色描述存在標志320可以指示視頻位流110中顏色描述信息的存在，諸如，顏色原色322、傳輸特性324及矩陣系數326。
[0202]HRD VUI語法802可以包括用于增強視頻位流110解碼的元數據。位流限制標志360、塊固定結構標志362、運動向量標志364、每畫面單位最大字節數366、每最小cu單位最大位數368、最大運動向量水平長度370、及最大運動向量垂直長度372可用來控制視頻位流110的解碼。
[0203]研究發現，通過啟用對各個子層處理更細粒度的控制而不是利用對所有子層公用的HRD參數，在HRD VUI語法802中利用HRD參數結構350提供了改進的性能。通過利用不同子層之間的各個差異，利用HRD參數結構350的各個實例可以提供提高的處理速度。
[0204]現在參考圖9，其中示出了視頻編碼系統100的功能框圖。視頻編碼系統100可以包括第一設備102、第二設備104和通信路徑106。
[0205]第一設備102可以經通信路徑106與第二設備104進行通信。第一設備102可以在第一設備傳輸932中經通信路徑106將信息發送到第二設備104。第二設備104可以在第二設備傳輸934中經通信路徑106將信息發送到第一設備102。
[0206]為了說明起見，視頻編碼系統100把第一設備102作為客戶端設備示出，但是應當理解，視頻編碼系統100可以讓第一設備102作為不同類型的設備。例如，第一設備可以是服務器。在另一個例子中，第一設備102可以是視頻編碼器102、視頻解碼器104、或其組合。
[0207]同樣，為了說明起見，視頻編碼系統100把第二設備104作為服務器示出，但是應當理解，視頻編碼系統100可以讓第二設備104作為不同類型的設備。例如，第二設備104可以是客戶端設備。在另一個例子中，第二設備104可以是視頻編碼器102、視頻解碼器104、或其組合。
[0208]為了使本發明這個實施例中的描述簡潔，第一設備102將被描述為客戶端設備，諸如視頻照相機、智能電話、或其組合。本發明不限于對設備類型的這種選擇。該選擇是本發明的例子。
[0209]第一設備102可以包括第一控制單元908。第一控制單元908可包括第一控制接口 914。第一控制單元908可以執行第一軟件912，以提供視頻編碼系統100的智能。
[0210]第一控制單元908可以以多種不同方式實現。例如，第一控制單元908可以是處理器、嵌入式處理器、微處理器、硬件控制邏輯、硬件有限狀態機(FSM)、數字信號處理器(DSP)或其組合。
[0211]第一控制接口 914可用于第一設備102中的第一控制單元908與其它功能單元之間的通信。第一控制接口 914也可用于在第一設備102外部的通信。
[0212]第一控制接口 914可以從其它功能單元或者從外部源接收信息，或者可以發送信息到其它功能單元或者到外部目的地。外部源和外部目的地指第一設備102外部的源和目的地。
[0213]第一控制接口 914可以以不同的方式實現，并且，依賴于哪些功能單元或外部單元正在與第一控制接口 914相接口，可包括不同的實現。例如，第一控制接口 914可以用電子電路、微機電系統(MEMS)、光學電路系統、無線電路系統、有線電路系統或其組合來實現。
[0214]第一設備102可以包括第一存儲單元904。第一存儲單元904可以存儲第一軟件912。第一存儲單元904也可以存儲相關的信息，諸如圖像、語法信息、視頻、地圖、配置文件、顯示優選項、傳感器數據或其任意組合。
[0215]第一存儲單元904可以是易失性存儲器、非易失性存儲器、內部存儲器、外部存儲器或其組合。例如，第一存儲單元904可以是非易失性儲存器，諸如非易失性隨機訪問存儲器(NVRAM)、閃存存儲器、磁存儲、或易失性儲存器，諸如靜態隨機訪問存儲器(SRAM)。
[0216]第一存儲單元904可以包括第一存儲接口 918。第一存儲接口 918可用于第一設備102中的第一存儲單元904與其它功能單元之間的通信。第一存儲接口 918也可用于在第一設備102外部的通信。
[0217]第一設備102可以包括第一成像單元906。第一成像單元906可以從現實世界中捕獲圖1的視頻內容108。第一成像單元906可以包括數碼照相機、攝像機、光學傳感器或其任意組合。
[0218]第一成像單元906可以包括第一成像接口 916。第一成像接口 916可用于第一設備102中的第一成像單元906與其它功能單元之間的通信。
[0219]第一成像接口 916可以從其它功能單元或者從外部源接收信息，或者可以發送信息到其它功能單元或者到外部目的地。外部源和外部目的地指第一設備102外部的源和目的地。
[0220]取決于哪些功能單元或外部單元正在與第一成像單元906相接口，第一成像接口916可包括不同的實現。第一成像接口 916可以用類似于第一控制接口 914的實現的技術和技巧來實現。
[0221]第一存儲接口 918可以從其它功能單元或者從外部源接收信息，或者可以發送信息到其它功能單元或到外部目的地。外部源和外部目的地指第一設備102外部的源和目的地。
[0222]依賴于哪些功能單元或外部單元正在與第一存儲單元904相接口，第一存儲接口918可包括不同的實現。第一存儲接口 918可以用類似于第一控制接口 914的實現的技術和技巧來實現。
[0223]第一設備102可以包括第一通信單元910。第一通信單元910可以用于啟用到第一設備102和來自第一設備102的外部通信。例如，第一通信單元910可以允許第一設備102與第二設備104、諸如外圍設備或桌面計算機的附件、及通信路徑106進行通信。
[0224]第一通信單元910也可充當通信集線器，從而允許第一設備102充當通信路徑106的一部分，并且不限于是到通信路徑106的終點或終端單元。第一通信單元910可以包括有源和無源組件，諸如微電子器件或天線，用于與通信路徑106交互。
[0225]第一通信單元910可以包括第一通信接口 920。第一通信接口 920可用于第一設備102中第一通信單元910與其它功能單元之間的通信。第一通信接口 920可以從其它功能單元接收信息，或者可以發送信息到其它功能單元。
[0226]依賴于哪些功能單元正在與第一通信單元910相接口，第一通信接口 920可包括不同的實現。第一通信接口 920可以用類似于第一控制接口 914的實現的技術和技巧來實現。
[0227]第一設備102可以包括第一用戶接口 902。第一用戶接口 902允許用戶(未示出)與第一設備102相接口和交互。第一用戶接口 902可包括第一用戶輸入(未不出)。第一用戶輸入可以包括觸摸屏、手勢、運動檢測、按鈕、滑塊、旋鈕、虛擬按鈕、語音識別控制或其任意組合。
[0228]第一用戶接口 902可以包括第一顯示接口 120。第一顯示接口 120可以允許用戶與第一用戶接口 902進行交互。第一顯示接口 120可以包括顯示器、視頻屏幕、揚聲器或其任意組合。
[0229]第一控制單元908可以利用第一用戶接口 902進行操作，以便在第一顯示接口 120上顯示由視頻編碼系統100產生的視頻信息。第一控制單元908也可以執行第一軟件912，用于視頻編碼系統100的其它功能，包括從第一存儲單元904接收視頻信息用于在第一顯示接口 120上顯示。第一控制單元908還可執行第一軟件912，用于經第一通信單元910與通信路徑106進行交互。
[0230]為說明起見,第一設備102可被劃分成具有第一用戶接口 902、第一存儲單元904、第一控制單元908和第一通信單元910，但是應當理解，第一設備102可以具有不同的劃分。例如，第一軟件912可進行不同地劃分，使得它的一些或全部功能可在第一控制單元908和第一通信單元910中。同樣，第一設備102可以包括為簡潔起見而在圖10中沒有示出的其它功能單元。
[0231]視頻編碼系統100可以包括第二設備104。第二設備104可被優化成用于在帶有第一設備102的多設備實施例中實現本發明。與第一設備102相比，第二設備104可以提供附加的或更高性能的處理能力。
[0232]第二設備104可以包括第二控制單元948。第二控制單元948可以包括第二控制接口 954。第二控制單元948可以執行第二軟件952，以提供視頻編碼系統100的智能。
[0233]第二控制單元948可以以多種不同方式實現。例如，第二控制單元948可以是處理器、嵌入式處理器、微處理器、硬件控制邏輯、硬件有限狀態機、數字信號處理器或其組合。
[0234]第二控制接口 954可用于第二設備104中的第二控制單元948與其它功能單元之間的通信。第二控制接口 954也可用于在第二設備104外部的通信。
[0235]第二控制接口 954可以從其它功能單元或者從外部源接收信息，或者可以發送信息到其它功能單元或者到外部目的地。外部源和外部目的地指第二設備104外部的源和目的地。
[0236]第二控制接口 954可以以不同的方式實現，并且，依賴于哪些功能單元或外部單元正在與第二控制接口 954相接口，可包括不同的實現。例如，第二控制接口 954可以用電子電路、微機電系統(MEMS)、光學電路系統、無線電路系統、有線電路系統或其組合來實現。
[0237]第二設備104可以包括第二存儲單元944。第二存儲單元944可以存儲第二軟件952。第二存儲單元944也可以存儲相關的信息，諸如圖像、語法信息、視頻、地圖、配置文件、顯示優選項、傳感器數據或其任意組合。
[0238]第二存儲單元944可以是易失性存儲器、非易失性存儲器、內部存儲器、外部存儲器或其組合。例如，第二存儲單元944可以是非易失性儲存器，諸如非易失性隨機訪問存儲器(NVRAM)、閃存存儲器、磁存儲、或易失性儲存器，諸如靜態隨機訪問存儲器(SRAM)。
[0239]第二存儲單元944可以包括第二存儲接口 958。第二存儲接口 958可用于第二設備104中的第二存儲單元944與其它功能單元之間的通信。第二存儲接口 958也可用于在第二設備104外部的通信。
[0240]第二存儲接口 958可以從其它功能單元或者從外部源接收信息，或者可以發送信息到其它功能單元或者到外部目的地。外部源和外部目的地指第二設備104外部的源和目的地。
[0241 ] 依賴于哪些功能單元或外部單元正在與第二存儲單元944相接口，第二存儲接口958可包括不同的實現。第二存儲接口 958可以用類似于第二控制接口 954的實現的技術和技巧來實現。
[0242]第二設備104可以包括第二成像單元946。第二成像單元946可從現實世界中捕獲視頻內容108。第二成像單元946可以包括數碼照相機、攝像機、光學傳感器或其任意組八口 ο
[0243]第二成像單元946可以包括第二成像接口 956。第二成像接口 956可用于第二設備104中第二成像單元946與其它功能單元之間的通信。
[0244]第二成像接口 956可以從其它功能單元或者從外部源接收信息，或者可以發送信息到其它功能單元或者到外部目的地。外部源和外部目的地指第二設備104外部的源和目的地。
[0245]依賴于哪些功能單元或外部單元正在與第二成像單元946相接口，第二成像接口956可包括不同的實現。第二成像接口 956可以用類似于第一控制接口 914的實現的技術和技巧來實現。
[0246]第二設備104可以包括第二通信單元950。第二通信單元950可以啟用到第二設備104和來自第二設備104的外部通信。例如，第二通信單元950可以允許第二設備104與第一設備102、諸如外圍設備或桌面計算機的附件、及通信路徑106進行通信。
[0247]第二通信單元950也可充當通信集線器，從而允許第二設備104充當通信路徑106的一部分，并且不限于是到通信路徑106的終點或終端單元。第二通信單元950可以包括有源和無源組件，諸如微電子器件或天線，用于與通信路徑106交互。
[0248]第二通信單元950可以包括第二通信接口 960。第二通信接口 960可用于第二設備104中第二通信單元950與其它功能單元之間的通信。第二通信接口 960可以從其它功能單元接收信息，或者可以發送信息到其它功能單元。
[0249]依賴于哪些功能單元正在與第二通信單元950相接口，第二通信接口 960可包括不同的實現。第二通信接口 960可以用類似于第二控制接口 954的實現的技術和技巧來實現。
[0250]第二設備104可以包括第二用戶接口 942。第二用戶接口 942允許用戶(未示出)與第二設備104相接口和交互。第二用戶接口 942可以包括第二用戶輸入(未不出)。第二用戶輸入可以包括觸摸屏、手勢、運動檢測、按鈕、滑塊、旋鈕、虛擬按鈕、語音識別控制或其任意組合。
[0251]第二用戶接口 942可以包括第二顯示接口 943。第二顯示接口 943可以允許用戶與第二用戶接口 942進行交互。第二顯示接口 943可包括顯示器、視頻屏幕、揚聲器或其組人口 O
[0252]第二控制單元948可以利用第二用戶接口 942進行操作，以便在第二顯示接口 943上顯示由視頻編碼系統100產生的視頻信息。第二控制單元948也可以執行第二軟件952，用于視頻編碼系統100的其它功能，包括從第二存儲單元944接收顯示信息用于在第二顯示接口 943上顯示。第二控制單元948還可執行第二軟件952，用于經第二通信單元950與通信路徑106進行交互。
[0253]為說明起見，第二設備104可被劃分成具有第二用戶接口 942、第二存儲單元944、第二控制單元948和第二通信單元950，但是應當理解，第二設備104可以具有不同的劃分。例如，第二軟件952可以進行不同地劃分，使得它的一些或全部功能可在第二控制單元948和第二通信單元950中。同樣，第二設備104可以包括為簡潔起見而在圖10中沒有示出的其它功能單元。
[0254]第一通信單元910可以與通信路徑106耦合，以便在第一設備傳輸932中向第二設備104發送信息。第二設備104可以在第二通信單元950中從通信路徑106的第一設備傳輸932中接收信息。
[0255]第二通信單元950可以與通信路徑106耦合，以便在第二設備傳輸934中向第一設備102發送視頻信息。第一設備102可以在第一通信單元910中從通信路徑106的第二設備傳輸934中接收視頻信息。視頻編碼系統100可以由第一控制單元908、第二控制單元948或其組合來執行。
[0256]第一設備102中的功能單元可以單獨且獨立于其它功能單元工作。為說明起見，視頻編碼系統100通過第一設備102的操作進行描述。應當理解，第一設備102可以操作視頻編碼系統100的任何模塊和功能。例如，第一設備102可描述為操作第一控制單兀908。
[0257]第二設備104中的功能單元可以單獨且獨立于其它功能單元工作。為說明起見，視頻編碼系統100可通過第二設備104的操作進行描述。應當理解，第二設備104可以操作視頻編碼系統100的任何模塊和功能。例如，第二設備104可描述為操作第二控制單元948。
[0258]為說明起見，視頻編碼系統100通過第一設備102和第二設備104的操作進行描述。應當理解,第一設備102和第二設備104可以操作視頻編碼系統100的任何模塊和功能。例如，第一設備102被描述為操作第一控制單元908，但是應當理解，第二設備104也可以操作第一控制單元908。
[0259]現在參考圖10，其中示出了圖1的視頻編碼系統100的控制流1000。控制流1000描述通過接收視頻位流I1解碼圖1的視頻位流110、提取圖1的視頻語法114、解碼視頻位流I1及顯示圖1的視頻流112來解碼圖1的視頻位流110。
[0260]視頻編碼系統100可以包括接收模塊1002。接收模塊1002可以接收由圖1的視頻編碼器102編碼的視頻位流110。
[0261]視頻位流110可以以各種方式被接收。例如，視頻位流110可以從圖1的視頻編碼器102中作為流化串行位流、預編碼的視頻文件(未示出)、以經由圖1的通信路徑106的數字消息(未示出)或其組合來接收。
[0262]視頻位流110可以包括一個或多個圖2的時域層230，用于表示在不同幀速率的圖1的視頻內容108。接收模塊1002可以選擇性地過濾時域層230，以減小視頻位流110的大小。
[0263]例如，接收模塊1002可以接收具有用于三個不同幀速率，諸如60fpS，30fpS和15fps,的時域層230的視頻位流110。接收模塊1002可以過濾視頻位流110，以去除時域層230的60fps和30fps實例并且只處理時域層230的15fps實例。
[0264]視頻編碼系統100可以包括獲取語法模塊1004。獲取語法模塊1004可以識別并提取視頻位流110的視頻語法114。
[0265]獲取語法模塊1004可以以各種方式提取用于視頻位流110的視頻語法114。例如，獲取語法模塊1004可以通過在視頻位流110中查找指示視頻語法114存在的視頻可用性信息首部來提取視頻語法114。在另一個例子中，可以利用解復用器(未示出)從視頻位流110的視頻圖像數據分離視頻語法114來從視頻位流110中提取視頻語法114。
[0266]在還有另一個例子中，可以通過提取序列參數集原始字節序列負荷(RBSP)語法來從視頻位流I1中提取視頻語法114。序列參數集RBSP是包含封裝在網絡抽象層單元中的整數個字節的語法結構。RBSP可以為空或者具有數據位的串形式，其包含語法元素，后面跟著RBSP停止位的并且隨后跟著零個或多個等于O的附加位。
[0267]在還有另一個例子中，當元素在串行位流中變得可用時，可以通過提取各個元素從視頻位流110的串行位流中以時間順序的方式來提取視頻語法114。視頻編碼系統100可以基于之前提取的元素的值選擇性地提取和處理后面的元素。視頻編碼系統100可以基于之前接收到的圖3的低延遲HRD標志354的值處理圖3的HRD參數結構350。
[0268]研究發現，基于之前提取的低延遲HRD標志354的實例，通過利用HRD參數結構350動態地解碼視頻位流110，獲取語法模塊1004可以提高性能。當應用HRD參數結構350時，通過改變在CPB中允許的延遲水平，接收低延遲HRD標志354提高解碼性能。
[0269]在另一個例子中，如果視頻位流110在文件中接收，則可以通過檢查包含視頻位流110的文件的文件擴展名來檢測視頻語法114。在還有另一個例子中，如果視頻位流110經圖1的通信路徑106作為數字消息接收，則視頻語法114可以作為數字消息結構的一部分提供。
[0270]獲取語法模塊1004可以基于圖2的語法類型202提取視頻語法114的各個元素。語法類型202可以包括AVC視頻、SVC視頻、MVC視頻、MVD視頻、SSV視頻或其組合。
[0271]例如，獲取語法模塊1004可以提取視頻語法114，諸如圖3的HEVC VUI語法302、圖4的HEVC VUI第一擴展語法402、圖5的HEVC VUI第二擴展語法502、或其組合。獲取語法模塊1004可以提取包括圖6的HRD語法602、圖7的HRD子層語法702或其組合的視頻語法114。
[0272]獲取語法模塊1004可以以各種方式提取視頻語法114。例如，獲取語法模塊1004可以從視頻位流110提取諸如HEVC WI語法302的視頻語法114。HEVC WI語法302可以包括用于時域層230的所有實例的HRD語法602的一個實例。HEVC VUI語法302可以包括用于時域層230的所有實例的HEVC VUI語法302的元素的一個實例。
[0273]在另一個例子中，獲取語法模塊1004可以從視頻位流110中提取視頻語法114，諸如HEVC VUI第一擴展語法402。HEVC VUI第一擴展語法402可以包括用于時域層230的每個單獨實例的HRD語法602的實例。
[0274]HEVC VUI第一擴展語法402可以包括用于時域層230的每個單獨實例的圖3的字段序列標志336、圖3的計時信息存在標志338、圖3的滴答單元340、圖3的時間標度344以及圖3的固定畫面速率標志346的單獨實例。HEVC VUI第一擴展語法402可以包括用于時域層230的每個單獨實例的圖3的NAL HRD參數存在標志348、圖3的VCL HRD參數存在標志352、圖3的低延遲HRD標志354、圖3的子畫面CPB參數存在標志356以及圖3的子單元滴答358。
[0275]在還有另一個例子中，獲取語法模塊1004可以從視頻位流110中提取視頻語法114，諸如HEVC VUI第二擴展語法502。HEVCVUI第二擴展語法502可以包括用于時域層230的所有實例的字段序列標志336、計時信息存在標志338、滴答單元340、時間標度344和固定畫面速率標志346的一個實例。HEVC VUI第二擴展語法502可以包括用于時域層230的每個單獨實例的NAL HRD參數存在標志348、VCL HRD參數存在標志352、低延遲HRD標志354、子畫面CPB參數存在標志356和子單元滴答358。
[0276]視頻編碼系統100可以包括解碼模塊1006。解碼模塊1006可以利用視頻語法114解碼視頻位流110，以形成視頻流112。解碼模塊1006可以包括獲取時域層模塊1008和解碼時域層模塊1010。
[0277]解碼模塊1006可以利用HEVC WI語法302、HEVC VUI第一擴展語法402、HEVCVUI第二擴展語法502或其組合解碼視頻位流110。解碼模塊1006可以利用HRD語法602、HRD子層語法702、圖8的HRD VUI語法802或其組合來識別和提取時域層230。
[0278]獲取時域層模塊1008可以識別時域層230，以便從視頻位流110中提取來形成視頻流112。獲取時域層模塊1008可以以各種方式識別時域層230。
[0279]例如，獲取時域層模塊1008可以通過從HEVC VUI第一擴展語法402或HEVC VUI第二擴展語法502提取圖4的時域層計數406來識別時域層230。時域層計數406指示視頻位流110中時域層230的總數。在另一個例子中，獲取時域層模塊1008可以通過從HEVCVUI語法302提取適用于視頻位流110中所有時域層230的HRD語法602的單個實例來識別時域層。
[0280]解碼時域層模塊1010可以從獲取時域層模塊1008接收時域層230并且解碼時域層230，以形成視頻流112。解碼時域層模塊1010可以以各種方式解碼時域層230。
[0281]例如，解碼時域層模塊1010可以利用HRD語法602來解碼時域層230。在另一個例子中，解碼時域層模塊1010可以利用HRD子層語法702來解碼時域層230。解碼時域層模塊1010可以解碼時域層230并且選擇一個時域層230來形成視頻流112。
[0282]HRD語法602的參數可以用來管理視頻位流110的流暢解碼，包括控制編碼的畫面緩沖區中的數據緩沖速率。計時信息存在標志338、子畫面CPB參數存在標志356、位速率標度612、CPB大小標度614、CPB去除延遲長度618以及DPB輸出延遲長度620可以用來把數據流調控到編碼的畫面緩沖區和解碼的畫面緩沖區中。
[0283]視頻編碼系統110可以包括顯示模塊1012。顯示模塊1012可以從解碼模塊1006接收視頻流112并且在圖1的顯示接口 120上顯示。視頻流112可包括時域層230的一個或多個實例。
[0284]從視頻內容108的物理對象的光圖像到在圖9的顯示接口 120的像素元件上顯示視頻流112的物理變換導致對物理世界中顯示接口 120的像素元件的物理變化，諸如像素元件電氣狀態的變化，其基于視頻編碼系統100的操作。當在物理世界中發生變化時，諸如在視頻內容108中捕獲的對象的運動，移動本身產生附加的信息，諸如對視頻內容108的更新，這些信息轉換回顯示接口 120的像素元件中的變化，用于視頻編碼系統100的繼續操作。
[0285]第一設備102的圖9的第一軟件912可以包括視頻編碼系統100例如，第一軟件912可以包括接收模塊1002、獲取語法模塊1004、解碼模塊1006和顯示模塊1012。
[0286]圖9的第一控制單元908可以執行第一軟件912，以便讓接收模塊1002接收視頻位流110。第一控制單元908可以執行第一軟件912，以便讓獲取語法模塊1004從視頻位流110中識別和提取視頻語法114。第一控制單元908可以執行第一軟件912，以便讓解碼模塊1006形成視頻流112。第一控制單元908可以執行第一軟件912，以便讓顯示模塊1012顯示視頻流112。
[0287]圖1的第二設備104的圖9的第二軟件952可以包括視頻編碼系統100。例如，第二軟件952可以包括接收模塊1002、獲取語法模塊1004和解碼模塊1006。
[0288]圖9的第二控制單元948可以執行第二軟件952，以便讓接收模塊1002接收視頻位流110。第二控制單元948可以執行第二軟件952，以便讓獲取語法模塊1004從視頻位流110中識別和提取視頻語法114。第二控制單元948可以執行第二軟件952，以便讓解碼模塊1006形成圖1的視頻流112。第二控制單元948可以執行第二軟件，以便讓顯示模塊1012顯示視頻流112。
[0289]視頻編碼系統100可以在第一軟件912和第二軟件952之間進行劃分。例如，第二軟件952可以包括獲取語法模塊1004、解碼模塊1006和顯示模塊1012。如前面所描述的，第二控制單元948可以執行在第二軟件952上劃分的模塊。
[0290]在說明性例子中，視頻編碼系統100可以包括第一設備102上的視頻編碼器102和第二設備104上的視頻解碼器104。視頻解碼器104可以包括圖1的顯示處理器118和顯示接口 120。
[0291]第一軟件912可以包括接收模塊1002和獲取語法模塊1004。依賴于圖9的第一存儲單元904的大小，第一軟件912可以包括視頻編碼系統100的附加模塊。如前面所描述的，第一控制單元908可以執行在第一軟件912上劃分的模塊。
[0292]第一控制單元908可以操作圖9的第一通信單元910，以便向第二設備104發送視頻位流110。第一控制單元908可以操作第一軟件912，以操作圖9的第一成像單元906。圖9的第二通信單元950可以經通信路徑106向第一設備102發送視頻流112。
[0293]視頻編碼系統100描述了作為例子的模塊功能或次序。模塊可進行不同的劃分。例如，獲取語法模塊1004和解碼模塊1006可以合并。每個模塊可以單獨且獨立于其它模塊來操作。
[0294]此外，在一個模塊中產生的數據可以被另一個模塊使用，而不用彼此間直接耦合。例如，獲取語法模塊1004可以從接收模塊1002接收視頻位流110。
[0295]模塊可以以各種方式來實現。接收模塊1002、獲取語法模塊1004、解碼模塊1006和顯示模塊1012可以用第一控制單元908或第二控制單元948內的硬件加速器(未示出)實現，或者可以用第一控制單元908或第二控制單元948之外的第一設備102或第二設備104中的硬件加速器(未示出)實現。
[0296]現在參考圖11，其中示出了在本發明的另一實施例中圖1視頻編碼系統100的操作方法1100的流程圖。方法1100包括:在塊1102接收視頻位流；在塊1104從視頻位流中提取視頻語法；在塊1106基于視頻語法從視頻位流中提取時域層；以及在塊1108基于時域層形成視頻流，用于在設備上顯示。
[0297]研究發現，本發明因此具有許多方面。本發明有價值地支持并服務于降低成本、簡化系統和提高性能的歷史趨勢。因此，本發明的這些和其它有價值的方面使技術狀態前進到至少更高的水平。
[0298]因此，研究發現，本發明的視頻編碼系統提供了重要的并且迄今為止未知和不可用的解決方案、能力及功能方面，用于有效地為高清晰應用編碼和解碼視頻內容。結果產生的過程和配置直接明了、成本有效、不復雜、高通用性和高效、能夠不可思議地并且不明顯地通過采用已知的技術來實現，并且因此很容易適于高效且經濟地制造與傳統制造工藝和技術完全兼容的視頻編碼設備。結果產生的過程和配置直接明了、成本有效、不復雜、高通用性、準確、靈敏且高效，并且能夠通過采用已知的組件來實現，便于容易、高效且經濟地制造、應用和利用。
[0299]雖然本發明已經結合具體的最佳模式進行了描述，但是應當理解，鑒于前面的描述，許多備選方案、修改和變化將對本領域技術人員顯而易見。因此，屬于所附權利要求范圍之內的所有此類備選方案，修改和變化都要包括在內。至此在本文中闡述或在附圖中示出的所有內容都要在說明性和非限制性的意義上進行解釋。
【權利要求】
1.一種視頻編碼系統的操作方法，包括: 接收視頻位流； 從視頻位流中提取視頻語法； 基于視頻語法從視頻位流中提取時域層；及 基于時域層形成視頻流，用于在設備上顯示。
2.如權利要求1所述的方法，其中形成視頻流包括為大于或等于3840像素乘2160像素的分辨率形成視頻流。
3.如權利要求1所述的方法，其中提取視頻語法包括提取視頻可用性信息語法，視頻可用性信息語法支持等于時域層計數的所述時域層的多個單獨實例。
4.如權利要求1所述的方法，其中提取視頻語法包括提取具有對時域層的所有實例公用的假設參考解碼器語法的視頻語法。
5.如權利要求1所述的方法，其中提取視頻語法包括提取具有用于時域層的每個單獨實例的假設參考解碼器語法的視頻語法。
6.一種視頻編碼系統的操作方法，包括: 接收用于視頻內容的視頻位流； 從視頻位流識別視頻內容的語法類型； 從視頻位流提取用于該語法類型的視頻語法； 基于該視頻語法從視頻位流提取時域層；及 通過利用該視頻語法解碼時域層而形成視頻流，用于在設備上顯示。
7.如權利要求6所述的方法，其中形成視頻流包括為大于或等于7680像素X7320像素的分辨率形成視頻流。
8.如權利要求6所述的方法，其中提取視頻語法包括提取視頻可用性信息語法，所述視頻可用性信息語法支持等于時域層計數的該時域層的多個單獨實例。
9.如權利要求6所述的方法，其中提取視頻語法包括提取具有對時域層的所有實例公用的假設參考解碼器語法的視頻語法。
10.如權利要求6所述的方法，其中提取視頻語法包括提取具有用于時域層的每個單獨實例的子層語法的視頻語法。
11.一種視頻編碼系統,包括: 接收模塊，用于接收視頻位流； 獲取語法模塊，耦合到接收模塊，用于從視頻位流中提取視頻語法； 解碼模塊，耦合到獲取語法模塊，用于基于視頻語法從視頻位流中提取時域層；及 顯示模塊，耦合到解碼模塊，用于基于時域層形成視頻流，用于在設備上顯示。
12.如權利要求11所述的系統，其中解碼模塊用于為大于或等于3840像素乘2160像素的分辨率形成視頻流。
13.如權利要求11所述的系統，其中獲取語法模塊用于提取視頻可用性信息語法，所述視頻可用性信息語法支持等于時域層計數的該時域層的多個單獨實例。
14.如權利要求11所述的系統，其中獲取語法模塊用于提取具有對時域層的所有實例公用的假設參考解碼器語法的視頻語法。
15.如權利要求11所述的系統，其中獲取語法模塊用于提取具有用于時域層的每個單獨實例的假設參考解碼器語法的視頻語法。
16.如權利要求11所述的系統，其中: 接收模塊用于接收用于視頻內容的視頻位流； 獲取語法模塊用于從視頻位流識別視頻內容的語法類型并且從視頻位流提取用于該語法類型的視頻語法；及 解碼模塊用于基于該視頻語法從視頻位流提取時域層并且用于通過利用該視頻語法解碼時域層而形成視頻流，用于在設備上顯示。
17.如權利要求16所述的系統，其中解碼模塊形成視頻流包括為大于或等于7680像素x7320像素的分辨率形成視頻流。
18.如權利要求16所述的系統，其中獲取語法模塊用于提取視頻可用性信息語法，所述視頻可用性信息語法支持等于時域層計數的的該時域層的多個單獨實例。
19.如權利要求16所述的系統，其中獲取語法模塊用于提取具有對時域層的所有實例公用的假設參考解碼器語法的視頻語法。
20.如權利要求16所述的系統，其中獲取語法模塊用于提取具有用于時域層的每個單獨實例的子層語法的視頻語法。
【文檔編號】H04N19/70GK104396260SQ201380034953
【公開日】2015年3月4日 申請日期:2013年7月1日 優先權日:2012年7月2日
【發明者】M·哈奎, 佐藤一志, A·塔巴塔貝, 鈴木輝彥 申請人:索尼公司