專利名稱：同步流打包的制作方法
技術領域：
本發明總體上涉及先前已知為數字化視頻光盤(DVD)、高清晰度數字通用光盤(HD DVD)、以及藍光盤(RD)的數字通用光盤，更具體地涉及一種有利于嵌入DVD、HD DVD、或BD 的不同音頻/視頻(A/V)流的子流之間的同步的技術。
背景技術：
當前，DVD、HD DVD和藍光盤規范定義了用于在多個并行A/V流之間進行無縫切 換的機制。然而，在每種情況下，流中的音頻和子畫面內容受限于在所有流之間逐比特 (bit-for-bit)地相同。這防止可能由一個A/V流與另一個的音頻數據的差異所引起的 信號尖峰對音頻揚聲器所產生的任何潛在損壞，并且還減小了關于該數據在每個多路傳輸 (multiplexed)的A/V流內的組織的限制。然而，這些限制也在很大程度上限制了可以使用 無縫多角度特征的應用范圍。繼光盤(CD)的開發之后，對DVD的開發力求實現針對大視頻文件的充足的存儲容 量，以便單個盤能夠攜帶全長(full length)動畫，雖然會使用諸如運動圖像專家組壓縮 (MPEG)技術之類的壓縮技術對該動畫進行壓縮。由于DVD的首次引入是在20世紀90年代 中期，因此DVD已經迅速發展起來，對于消費者而言，變成了針對動畫和視頻內容的大規模 分發的首選介質。已經開發出用于較高質量和較大數量的視聽內容的傳遞的類似光盤格式 作為DVD的計劃后繼者。最主要的兩種格式已知為HD DVD和BD。當今的DVD、HD DVD和BD典型地包括至少一個、通常包括彼此并行同步的若干個 A/V流。通常，這種A/V流包括從不同角度對相同場面拍攝的不同記錄。因此，通常將這些 不同的A/V流稱為“角度”。對不同角度(即，不同流)的選擇發生在已知為“多角度導航” 的過程中，由此觀眾通過選擇顯示屏上的相關圖標來選擇期望的角度。由這些盤及相關重 放設備的制造商所采用的DVD、HD DVD和BD規范定義了被稱作“多角度視頻”的過程，由此 內容作者能夠定義多達9個并發A/V流，其中的任何一個流都能夠隨時出現在顯示屏上。在 重放期間，觀眾能夠通過DVD、HD DVD和BD播放器上或該播放器的遙控器上的按鈕發起命 令，由此在一組同步A/V流之間進行無縫切換；這種形式的多角度導航被稱作無縫多角度。 然而，在已知格式規范和當前可用的DVD、HD DVD和BD創作工具的實現之下，存儲在每個A/ V流中的音頻和子畫面數據保持相同。換言之，在角度之間只允許不同的視頻數據。子畫面 數據描述了通過視頻顯示的按鈕、字幕和其它圖形元素的表現(rendering)。這導致當選擇 并行A/V流時無法自動呈現不同的音頻和子畫面內容，此外還導致存儲在傳遞介質上的音
3頻和子畫面數據的冗余拷貝，從而限制了用于其它內容的空間。A/V流是以針對子流(音頻、視頻和子畫面)的數據分組的基本級別構成的，當順 序讀取時，這些數據分組一起結合到包括所呈現的流的短單元中。在DVD-Video中，這些 基本數據單元被稱作視頻對象單元或V0BU，并且每個都包括大約0. 4到1秒的呈現數據。 在HDDVD-Video中，其被稱作EV0BU。這里，為了示例性目的，可以互換地使用術語VOBU和 EVOBU0當并行呈現多個A/V流時，每個流將一個或更多VOBU收集到交錯單元或ILVU中， 基于視頻呈現時間，使其與其它并行A/V流的ILVU同步。因此，當選擇新的流時，播放來自 當前ILVU的數據，直到該ILVU結束，此時無縫地呈現新流的ILVU。按照這種方式，視頻的 無縫呈現得以保證。BD表示使用不同術語(即，傳輸流(TS))的分組的類似組合。BD不限制單元中的 呈現數據的持續時間，而是使用每個TS中的角度改變點代替ILVU，以對改變流的同時可以 保證視頻連續性的點做標記。典型地，為VOBU、TS、RTP或其它分組多媒體格式的所有音頻、視頻和子畫面分組 標記第一類型時間戳和第二類型時間戳，其中第一類型時間戳指示應在何時傳遞以進行解 碼，而第二類型時間戳指示應在何時呈現。在VOBU的情況下，在IS0/IEC13818-1中定義的 “system_cl0ck_reference”中對傳遞時間戳進行編碼。在傳輸流(TS)的情況下，典型地將 傳遞時間戳稱為如源自IS0/IEC13818-1的一些規范中所定義的“arrival_timestamps”。 如這里所使用，術語“arrivaltimestamps”共同地是指VOBU和TS中的傳遞時間戳。呈現 時間戳是如IS0/IEC13818-1中所定義的普通PTS。由于不同的緩沖模型和解碼器設計，單個VOBU中的非視頻分組(或TS中的角度 改變點標記)并非全部涉及類似的呈現時間。例如，音頻分組可能涉及呈現時間8，而視頻 分組可能涉及呈現時間4，針對呈現時間4的音頻分組傳遞自在先V0BU。當音頻和子畫面/ 字幕數據在并行呈現的不同A/V流的ILVU中的VOBU之間(或TS之間)相同時，切換ILVU 或TS對音頻、子畫面/字幕和視頻的同步或對應/同步沒有影響。然而，當音頻和子畫面 數據分組在針對不同A/V流的VOBU或TS之間不同時，可能出現以下情況已經從在先VOBU 或TS中傳遞與來自新VOBU或TS的視頻的呈現時間相對應的音頻或子畫面/字幕分組，從 而導致在正確時間(proper time)所呈現的音頻或子畫面/字幕呈現與當前上下文失去對 應/同步。因此，存在對按照以下方式來存儲數據的方法的需要音頻和子畫面數據并行地 上下文不同(contextually different)，根據這些光盤格式中的任何一種格式來播放同步 A/V流，此外，當觀眾在呈現期間交互地選擇不同的A/V流時，還能夠保持流的連續性以及 與視頻數據的同步。

發明內容
本發明解決了現有技術的這些和其它缺點和不足，本發明涉及同步流打包。根據本發明的方面，提供了一種用于對在并行呈現的A/V流之間上下文不同的分 組進行同步流打包的方法。該方法包括步驟識別具有與視頻分組的到達時間戳和/或呈 現時間戳分別相匹配的到達時間戳和/或呈現時間戳的子畫面/字幕分組和/或音頻分 組。該方法還包括步驟利用所識別的子畫面/字幕和音頻分組以及具有相匹配的時間戳的視頻分組，對視頻對象單元(VOBU)和/或傳輸流(TS)進行打包。根據本發明的另一方面，提供了一種用于對在并行呈現的A/V流之間上下文不同 的分組進行同步流打包的設備。該設備包括用于識別具有與視頻分組的到達時間戳和/ 或呈現時間戳分別相匹配的到達時間戳和/或呈現時間戳的子畫面/字幕分組和/或音頻 分組的裝置。該設備還包括用于利用所識別的子畫面/字幕和音頻分組以及具有相匹配 的時間戳的視頻分組、對視頻對象單元(VOBU)和/或傳輸流(TS)進行打包的裝置。根據本發明的另一方面，提供了一種用于從并行呈現的上下文不同的多個A/V流 中呈現出不同A/V流的方法。該方法包括步驟將音頻幀報頭打包到交錯單元(ILVU)中的 第一視頻對象單元(VOBU)的開始處或傳輸流(TS)的角度改變點標記處的音頻分組中。該 方法還包括步驟將最后音頻分組打包到多個A/V流中同一流的ILVU或另一個ILVU中的 最后VOBU中，或者打包到緊靠TS中另一個角度改變點標記之前，從而以完整的音頻幀作為 結束。從結合附圖而閱讀的對示例性實施例的以下詳細描述中，本發明的這些和其它方 面、特征和優點將變得顯而易見。


根據以下示例性附圖，可以更好地理解本發明，在附圖中圖1是根據本發明的示例性實施例示出可應用本發明的DVD播放器的方框圖；圖2是根據本發明的原理示出用于對在并行呈現的A/V流之間上下文不同的分組 進行同步流打包的方法的流程圖；圖3是根據本發明的原理示出用于對在并行呈現的A/V流之間上下文不同的分組 進行同步流打包的方法的流程圖；圖4是根據本發明的原理示出用于從在并行呈現中上下文不同的多個A/V流中呈 現出不同A/V流的方法的流程圖；以及圖5是示出音頻/視覺流、視頻對象單元(VOBU)和交錯單元(ILVU)之間的關系 的方框圖。
具體實施例方式本發明涉及同步流打包。根據實施例，提供了一種用于限制音頻和子畫面分組在 多路傳輸流(例如MPEG節目和傳輸流)內的組織的方法，以允許在音頻內容和/或子畫面 /字幕內容不同的多個交錯的音頻/視頻(A/V)呈現之間進行無縫切換。本說明描述了本發明的原理。因此，可以理解的是，盡管這里沒有明確地描述或說 明，本發明的技術人員將能夠設計出體現本發明的原理并被包括在本發明的精神和范圍內 的各種布置。這里所列舉的所有示例和條件語言旨在為了教學目的，以幫助讀者理解本發明的 原理以及由發明者對技術領域的促進所貢獻的概念，并將被解釋為不受具體列舉的示例和 條件的限制。此外，這里列舉本發明的原理、方面和實施例的所有陳述及其特定示例都旨在包 括其結構性和功能性等同物。此外，該等同物旨在包括當前已知的等同物和在未來開發的等同物，即所開發的用于執行相同功能的任何元件，而不考慮結構。因此，例如，本領域的技術人員將理解的是，這里所呈現出的方框圖表示體現本發 明原理的示例性電路的概念圖。類似地，可以理解的是，任何流程圖、狀態轉移圖、偽代碼等 表示實質上在計算機可讀介質中表示并由計算機或處理器所執行的各種過程，無論是否明 確地示出了該計算機或處理器。可以通過使用專用硬件以及與能夠與適當軟件一同執行軟件的硬件，來提供圖中 所示的各種元件的功能。當由處理器提供時，可由單個專用處理器、單個共享處理器、或由 多個單獨處理器(其中的一些可以共享)來提供這些功能。此外，術語“處理器”或“控制 器”的顯式使用不應解釋為排他地指代能夠執行軟件的硬件，而且可以不帶限制地隱式地 包括數字信號處理器(“DSP”)硬件、用于存儲軟件的只讀存儲器(“ROM”)、隨機存取存儲 器(“RAM”)、以及非易失性存儲器。還可以包括其它硬件(傳統的和/或定制的)。類似地，圖中所示的所有切換僅僅 是概念上的。它們的功能可以通過程序邏輯、專用邏輯、程序控制和專用邏輯的交互、或甚 至是手動地來執行，特定技術可由實現者進行選擇，更具體的可從上下文中得以理解。在權利要求中，表示為用于執行規定功能的裝置的任何元件旨在包括執行以下功 能的任何一種方式，例如a)執行該功能的電路元件的組合，或b)任何形式的軟件，包括與 用于執行用于執行該功能的軟件的適當電路相結合的固件、微代碼等。由該權利要求所限 定的本發明在于如下事實按照權利要求所要求的方式，把各種列舉的裝置所提供的功能 進行組合，并集合到一起。因此，應當注意的是，能夠提供該功能的任何裝置與這里所示的 裝置等同。轉向圖1，可以應用本發明的數字通用光盤(DVD)播放器10由附圖標記10大體示 出。DVD播放器10包括在伺服裝置14控制下使DVD 13旋轉的驅動電機12。拾頭電機16 也受伺服裝置14的控制，用于把光拾頭18在DVD 13上移動，以讀取其攜帶的信息。預放 大器20放大拾頭18的輸出信號以輸入給解碼器22，解碼器22對從DVD 13讀取的光信息 進行解碼以產生節目流。多路分離器24將節目流分解成單獨分量(a)音頻流；(b)視頻 流；(c)子畫面流；以及(d)典型地具有元數據等形式的導航信息。音頻、視頻和子畫面流分別由音頻解碼器26、視頻解碼器28、以及子畫面解碼器 30中單獨一個進行解碼。同步器32 (有時被稱作呈現引擎)，用于對單獨解碼的音頻、視頻 和子畫面流進行同步，并將其組合為視頻流，具有根據若干已知電視格式之一(包括但不 局限于NTSC或PAL)而用于適合的再現的嵌入音頻。視頻數模轉換器34將視頻流轉換成 用于在諸如電視機之類的顯示設備(未示出)上顯示的模擬視頻，而音頻數模轉換器36將 嵌入音頻轉換成由顯示設備或其它裝置(未示出)隨后再現的模擬音頻。在DVD播放器10內，中央處理單元(CPU) 38 (典型地為具有相關存儲器的微處理 器，或是微計算機或微控制器)用于根據通過觀眾接口(υ/Ι)40輸入的觀眾命令來控制DVD 播放器的導航以及其它方面，其中觀眾接口(U/I)40典型地包括具有遙控形式的紅外(I/ R)發射機和I/R接收機的組合。具體關于導航，CPU 38從多路分離器24接收解碼后的元 數據，并產生針對同步器32的接收的菜單信息。按照這種方式，最終顯示菜單信息，以便觀 眾觀看。響應所顯示的信息，觀眾典型地通過U/I 40輸入由CPU 38接收的一個或更多個 命令，而U/I 40控制伺服裝置14移動拾頭18，以檢索期望的節目內容。
DVD 規范(針對只讀盤的 DVD 規范 /VIDEO SPECIFICATION,版本 1. 0，1996 年 8 月， 第三部分)定義了可應用DVD導航作為視頻對象單元(VOBU)的最小對象。VOBU典型地包 括與大約0. 4到1. 2秒的重放持續時間相對應的多路傳輸的視頻、音頻、子畫面、高亮以及 其它導航數據。音頻和子畫面數據的多個子流能夠存在于每個VOBU中(例如，立體聲和環 繞聲音頻子流和/或德語和葡萄牙語字幕)。這種多路傳輸數據的組合構成了 “A/V流”。 在多角度片斷中，將多個A/V流交錯于單個視頻對象(VOB)流中，以允許為了無縫或接近無 縫切換而從一個流到另一個流的快速訪問。DVD規范定義了交錯單元(ILVU)作為具有一個或更多個VOBU的塊，以便將多角度 的A/V流內容與公共時間戳對齊，從而提供A/V流的同步。在重放期間，同步器32僅對與 當前所選的A/V流相對應的ILVU進行解碼和顯示。DVD規范定義了基于角度數量(即，可 用流的數量)的ILVU的最大尺寸、物理設備的掃描速度、以及解碼緩沖器(未示出)的大 小。如果超過這個最大尺寸，則不能保證任意角度的無縫重放。根據實施例，提供了如下一種方法對并行呈現的多個視聽流中至少一個內的子 畫面/字幕和/或音頻數據進行存儲，以保持子畫面/字幕、音頻和視頻數據之間的同步， 以及當在呈現期間選擇不同的音頻/視頻(AV)流時提供這些數據之間的連續性。為了保證并行呈現的A/V流之間上下文不同的音頻和子畫面/字幕與視頻的恒定 同步和對應，視頻對象單元(VOBU)或傳輸流(TS)應包括其到達時間戳與視頻分組的到達 時間戳相匹配(分別在子畫面/字幕或音頻分組的一個時間基準單元內)的子畫面/字幕 和音頻分組。可以理解的是，子畫面/字幕典型地不具有固有幀速率，而是其幀速率通常以 某種方式得自視頻幀速率或與視頻幀速率相關。相同規則應用于呈現時間戳，VOBU或TS應 包括其呈現時間戳與視頻分組的呈現時間戳相匹配(分別在子畫面/字幕或音頻分組的一 個時間基準單元內)的子畫面/字幕和音頻分組。如果以這種方式來打包VOBU或TS，則音 頻、子畫面/字幕與視頻數據之間的同步和上下文對應得以維持，其中音頻或子畫面/字幕 數據在不同A/V流的VOBU或TS之間是上下文不同的。另一個問題是，當呈現新的A/V流的ILVU時音頻或子畫面/字幕數據的潛在訛誤 (corruption)，這是因為該ILVU中的第一 VOBU的開始處(或者在TS的角度改變點標記 處)的音頻或子畫面數據分組可能被分段，并且在后續的整個分組出現之前不能被解碼。為了解決這個問題，ILVU中的第一 VOBU的開始處(或TS的角度改變點標記處) 的音頻數據分組應包括音頻幀報頭，而ILVU中的最后VOBU中的最后音頻分組(或者在緊 靠TS的角度改變點標記之前的最后音頻分組)應包括完整的音頻幀，即，在任何ILVU邊界 處(或者在任何角度改變點標記上)都不應出現任何音頻幀分段。類似地，子畫面/字幕 數據必須以子畫面單元(SPU)報頭或信號出現時間(Epoch)開始報頭而開始。轉到圖2，附圖標記200大體示出了一種用于對并行呈現的A/V流之間上下文不同 的分組進行同步流打包的方法。方法200包括開始框205，其把控制傳遞給功能框210。功能框210識別其到達時 間戳與視頻分組的到達時間戳相匹配的子畫面/字幕和/或音頻分組，并將控制傳遞給功 能框220。功能框220利用所識別的子畫面/字幕和音頻分組以及具有相匹配的到達時間戳 的視頻分組對視頻對象單元(VOBU)或傳輸流(TS)進行打包，并將控制傳遞給結束框225。結束框225結束此方法。轉向圖3，附圖標記300大體示出了一種用于對并行呈現的A/V流之間上下文不同 的分組進行同步流打包的方法。方法300包括開始框305，其把控制傳遞給功能框310。功能框310識別其呈現時 間戳與視頻分組的呈現時間戳相匹配的子畫面/字幕分組和/或音頻分組，并將控制傳遞 給功能框320。功能框320利用所識別的子畫面/字幕和音頻分組以及具有相匹配的呈現 時間戳的視頻分組對視頻對象單元(VOBU)或傳輸流(TS)進行打包，并將控制傳遞給結束 框325。結束框325結束此方法。轉向圖4，附圖標記400大體示出了一種用于從在并行呈現中上下文不同的多個 A/V流中呈現出不同A/V流的方法。方法400包括開始框405，其把控制傳遞給功能框410。功能框410將音頻幀報頭 打包到交錯單元(ILVU)中第一視頻對象單元(VOBU)開始處的音頻分組中，或者將音頻幀 報頭打包到傳輸流(TS)的角度改變點標記處的音頻分組中，并將控制傳遞給功能框420。功能框420將最后音頻分組打包到ILVU(或者相同A/V流中的另一個ILVU)的最 后VOBU中，或者將最后音頻分組打包到緊靠TS中另一個角度改變點標記之前，從而以完整 的音頻幀作為結束(任何ILVU邊界或角度改變標記上不存在音頻幀分段)，并將控制傳遞 給功能框430。功能框430將子畫面/字幕分組打包為以子畫面單元(SPU)報頭或信號出現時間 開始報頭作為開始，并將控制傳遞給結束框435。結束框435結束此方法。轉向圖5，附圖標記500大體示出了多路傳輸的A/V流與多角度視頻的VOBU和 ILVU數據結構之間的關系。如圖5所示，由圖1中的解碼器22所解碼的節目流中的每個 塊都包括導航分組(NV_PCK)、視頻分組(V_PCK)、音頻分組(A_PCK)、以及子畫面分組(SP_ PCK)。DVD規范在每個VOBU開始處的NV_PCK的導航數據結構(DSI)部分中定義了無縫角 度信息數據結構(SML_AGLI)，其包括由指示每個無縫角度的下一 ILVU所處位置的ILVU開 始點組成的表。該信息使圖1中的CPU 38能夠在準備好開始呈現下一 ILVU時控制伺服裝 置14移動到VOB流內的何處。此外，DVD規范在每個VOBU開始處的導航數據的部分中定義了若干數據結構，其 描述了交錯按鈕的高亮信息(HLI)。這些數據結構，例如高亮普通信息(HLI_GI)、按鈕顏色 信息表(BTN_C0LIT)、以及按鈕信息表(BTN_IT)定義了在屏幕顯示中出現的按鈕的數量、 位置、外觀、以及功能。基于這里的教益，本發明的這些和其它特征和優點可以由相關領域的普通技術人 員容易地獲知。可以理解的是，本發明的教益可以以各種形式的硬件、軟件、固件、專用處理 器、或這些的組合來實現。最為優選地，本發明的教益以硬件和軟件的組合而實現。此外，軟件優選地以有形 地體現于程序存儲單元上的應用程序而實現。該應用程序可以上載到包括任意適合的體系 結構的機器中，并由該機器執行。這里所描述的各種處理和功能可以是能夠由CPU執行的 微指令代碼的一部分、或者應用程序的一部分、或者其任意組合。還可以理解的是，由于附圖中所描述的構成系統組件和方法中的一些優選地以軟 件來實現，所以系統組件或處理功能塊之間的實際連接可以根據對本發明的規劃方式而有
8所不同。給定這里的教益，相關領域的普通技術人員將能夠設想本發明的這些和相似的實 現或配置。 盡管這里已經參考附圖對示例性實施例進行了描述，可以理解的是，本發明并不 局限于那些明確的實施例，并且在不背離本發明的范圍和精神的前提下，相關技術領域中 的普通技術人員可以對其實現各種改變和修改。所有這些改變和修改都將會包括在所附權 利要求中所提出的本發明的范圍內。
權利要求
一種用于從并行呈現的上下文不同的多個A/V流中呈現出不同的A/V流的方法，所述方法包括將音頻幀報頭打包(410)到交錯單元ILVU中的第一視頻對象單元VOBU的開始處的音頻分組中或傳輸流TS的角度改變點標記處的音頻分組中；以及將最后音頻分組打包(420)到多個A/V流中同一流的ILVU的最后VOBU中或另一個ILVU中的最后VOBU中，或者打包到緊靠TS中另一個角度改變點標記之前，從而以完整的音頻幀作為結束。
2.如權利要求1所述的方法，其中，所述方法在以下之一中執行數字通用光盤(DVD) 播放器、數字視頻盤(DVD)播放器、高清晰度數字通用光盤(HD DVD)播放器、以及藍光盤 (BD)播放器。
3.如權利要求1所述的方法，其中，對最后音頻分組進行打包，使得任何ILVU邊界或角 度改變標記上不存在音頻幀分段。
4.如權利要求1所述的方法，還包括步驟把子畫面/字幕分組打包(430)為以子畫 面單元(SPU)報頭和信號出現時間開始報頭之一而開始。
全文摘要
本發明提供了用于對在并行呈現的A/V流之間上下文不同的分組進行同步流打包的方法和設備。該方法包括步驟識別(210)具有與視頻分組的到達時間戳和/或呈現時間戳分別相匹配的到達時間戳和/或呈現時間戳的子畫面/字幕分組和/或音頻分組。該方法還包括步驟利用所識別的子畫面/字幕和音頻分組以及具有相匹配的時間戳的視頻分組，對視頻對象單元(VOBU)和/或傳輸流(TS)進行打包(220)。
文檔編號G11B27/30GK101902628SQ20101021838
公開日2010年12月1日 申請日期2006年3月16日 優先權日2005年4月26日
發明者拉爾夫·奧斯特曼, 約瑟夫·桑德森·里斯, 馬克·羅杰斯·約翰遜 申請人:湯姆森許可貿易公司;Mx娛樂公司