專利名稱：用于分析包含內容項的內容流的裝置和方法
技術領域：
本發明涉及一種用于分析包含內容項的內容流的裝置和方法，并 涉及一種實現可程序化設備的計算機程序產品。
背景技術：
US 2004/0078811A1公開了一種寬帶通信系統，用于將節目內容 和計劃表數據傳輸給接收器，其中所述計劃表數據涉及EPG數據(電 子節目指南)形式的節目開始時間和節目結束時間。在廣播節目之后， 將節目的實際廣播開始和結束時間同EPG數據進行比較，以便對可能 不準確的EPG數據進行重新定義，并在廣播流中查找節目的實際內容。 實際的廣播開始和結束時間由操作員手動提供。可選地，使用自動技 術來監控實際的廣播開始和結束時間。自動技術涉及在廣播流中對漸 變黑(fade-to-black)幀的檢測。
才艮據US 2004/0078811A1所知的系統存在這樣一個問題，即仍沒 有在廣播流中可靠地識別實際廣播的開始和結束時間。
期望提供這樣一種對包含內容項的內容流進行分析的裝置和方 法，其允許以增加的可靠度對內容項的邊界的確切標志進行識別。

發明內容
根據本發明，該方法包括步驟
一利用內容分析處理器識別內容流中內容項邊界的確切標志，其 中所述利用包括
一確定一個遠離所述邊界的遠程標志；并且
一使用內容分析處理器從遠程標志開始朝向邊界分析內容流，以 識別確切標志。
在本發明中，基于可能是不準確的初始標志來識別內容項邊界的 確切標志。所述初始標志(例如EPG數據)用于確定遠程標志，并從 遠程標志開始沿初始標志方向分析內容流。在某點處，通過內容分析 處理器查找到內容項的邊界，并建立確切的標志。
初始標志為內容流中內容項的邊界位置給出了良好的指示。例
如，如果遠程標志在內容項距離初始標志例如5或IO分鐘，則認為遠 程標志位于內容項中是可靠的。初始標志可以指示內容項的開始或結 束。例如，在指示開始的情況下，遠程標志在時間方面晚于初始標志， 以便遠程標志很可能位于內容項中。因此，內容流的內容分析在內容 項內部開始以朝向要查找的邊界前進是很可靠的。
本發明的裝置包括內容分析處理器，用于
一識別內容流中內容項的邊界的確切標志，其中所述識別包括
一確定遠離所述邊界的遠程標志，并且
一從所述遠程標志開始朝向邊界分析內容流，以識別確切標志。 該裝置根據本發明的方法起作用。


通過示例、參考下列附圖對本發明的這些和其它方面進行進一步 的解釋和說明，附圖中
圖1是本發明方法的一個實施例；
圖2是內容流中一個內容項的定時圖，其中示出了基于EPG數據、 通過使用內容分析方法對內容項邊界的確切標志的檢測；以及 圖3是根據本發明的裝置的實施例的功能框圖。
具體實施例方式
媒體內容供應商事情計劃內容項的廣播，并提供用來指示廣播內 容項的預期時間的計劃表信息。在廣播時，在計劃中可能出現沒有預 料到的改變，而廣播內容項的接收者通常意識不到這些改變。有時， 廣播員者不能確切提供預期的廣播時間。由于片尾的最后補充 (last-minute addition)或內容項之前的商業廣告，或者由于諸如 足球比賽或突發新聞之類的直播事件(內容項)的延遲或延長，在特 定內容項的傳輸中也可能出現延遲。此外，將確切廣播時間告知接收 者對于廣播者來說可能是不利的，例如這是因為此時接收者可能不再 觀看內容項之間插入的廣告。然而，接收者自然想要精確知道內容項 被實際傳輸的時間。知道了內容項的確切廣播時間，即內容項的確切 開始和結束(邊界)，接收者可以避免記錄和/或觀看不包括所期望內
容項的內容流部分。
內容項可包括至少一段可視信息(例如，視頻圖象、照片、圖片) 和音頻信息，或者它們的任意組合。表述"音頻信息"或"音頻內容" 在下文中用作同音頻相關的數據，所述音頻包括可聽音調、靜音、語
音、音樂、寧靜、外部噪聲等。音頻信息可以具有象MPEG-1層n (mp3) 標準(運動圖像專家組)、AVI (音視頻交錯)格式、WMA (微軟媒體 音頻)格式等那樣的格式。表述"視頻信息"或"視頻內容"用作諸 如活動畫面、"靜止畫面"、視頻文本等之類的可視數據。視頻數據 可以具有象GIF (圖形互換格式)、JPEG (以聯合圖像專家組命名)、 MPEG-4等那樣的格式。
圖1示出本發明方法的實施例，其中分析內容流來精確檢測內容 項的邊界。在步驟110，例如從廣播者接收內容項在內容流中的邊界的 初始標志，其可以連同內容項一起接收或分開接收。初始標志可指示 內容項的近似傳輸時間。例如，本領域公知的EPG(電子節目指南)數 據可用作初始標志。EPG數據通常包括有關TV節目的開始和結束廣播 時間的信息。應該注意的是，EPG只是一個示例，來自其它數據庫(例 如Internet上或通過Internet可提供)的其它服務(例如PDC/VPS ) 或數據也可用來例如指示或傳遞例如開始和結束時間。
可通過任4可方式、例如以經由衛星、陸i也、電^、 Internet (流 化傳輸(streaming)、視頻點播、對等網絡)或其它鏈接接收的數字 電視信號(例如以數字視頻廣播格式之一)的形式獲得內容流。在步 驟120，使用內容分析方法分析內容流，以基于初始標志識別內容項邊 界的確切標志。內容分析方法利用初始標志確定起始點，應該從此開 始內容流的分析以可靠地查找內容項的邊界。可以由適當不值的(數 字)處理器來執行內容分析方法。
在步驟130中將遠程標志確定為內容流中執行內容分析的開始 點。遠程標志遠離初始標志。例如，在EPG(或者，在VHS記錄器情況 下，通過節目傳遞控制(ProgramDeliveryControl ) /視頻節目系統 (VideoProgrammingSystem))數據中規定為內容項邊界(即，初始 標志)的時刻接收特定段內容流。如果內容流的特定段實際上不屬于 該內容項，則初始標志與內容項實際邊界之間的偏差可能是例如15秒 到5分鐘或以上的量級(或者例如就多個視頻幀而言，內容流的相應
段)。可設置(固定或可變)閥值來提供距離初始標志的可靠距離， 例如該閾值為閥值持續時間或視頻幀的閥值數目，并認為這個閥值以 后的內容流屬于該內容項。遠程標志可以指示內容流中遠離由初始標 志所指示的位置達所述閥值的位置。由于內容項有兩個邊界，即開始 和結束，因此遠程標志應當優選為不在由所述(開始和結束)初始標 志所指示的內容項外側。因此，從(固定或可變)閥值以后接收的內 容流開始內容分析是可靠的。
初始標志僅用作開始參考，但是一旦我們找到基于相似性的聚類
(cluster)，就給予初始標志的降低的優先級。
在步驟140，沿相應初始標志的方向從遠程標志所指示的位置開始 分析內容流。將內容分析方法應用于內容流，以找到內容項的邊界， 并由此生成指示邊界的確切標志。通常，可以在由初始標志給定附近 的內容流中找到邊界。
根據本發明，嚴格說來，通過獲取初始標志來確定遠程標志并非 強制性的。步驟110在本發明方法中可以是可選的，而且可能不需要 包括初始標志的EPG數據。例如，用戶能夠在內容流中手動指定要與 遠程標志相關聯的位置。換句話說，用戶可例如通過在DVD記錄器中 手動預設時間選擇遠程標志，其中在這個時間處，根據用戶，將廣播 內容項。以這種方式，用戶"告知"DVD記錄器將在該預設時間由DVD 記錄器接收內容流。DVD記錄器將沿兩個方向(時間向后和向前)從與 預設時間(遠程標志)相對應的位置開始分析內容流，以檢測內容項 的邊界。可選地，而不是實時接收內容流廣播，內容流可以由DVD記 錄器例如從Internet預先記錄和下栽。
圖2示出了指示由例如在EPG數據中的初始標志所提供的、內容 流201中內容項的開始時間211和結束時間212的定時圖。內容項可 具有分別偏離開始時間211和結束時間212的第一邊界"1和第二邊 界222。在圖2所示的示例中，與EPG數據中所預定和指示的相比，實 際上內容項稍晚接收。
在確定遠程標志之前，可從對應于開始時間211的開始位置到對 應于結束時間212的結束位置對內容流進行處理，以驗證是否出現任 何廣告插播。還可在開始時間和結束時間之外執行這種驗證，這是因 為廣告插播可能位于開始時間和結束時間附近。可采用公知的廣告檢
測方法來檢測廣告插播。例如，在開始和結束位置之間的內容流中檢
測到了廣告插入240。在發現廣告插入處的部分內容流可能對于確定實 際邊界沒有關聯。因此，可以從進一步的內容分析中排除廣告插入的 部分(此外，對進一步的內容分析來說，可將廣告插入附近的某些區 域標記為"禁止區域，，)。例如，在N. Dimitrova、 S. Jeannin、 J. Nesvadba、T. McGee、L. Agnihotri、G. Mekenkamp發表的"Real-1 ime commercial detect ion us ing MPEG f eatures，，( Proc. 9th Int. Conf. On information processing and management of uncertainty in knowledge-based systems (IPMU 2002)，第481-486頁，Annecy， France)中描述了一種合適的廣告檢測方法。
在由初始標志提供的開始時間和廣告插入240之間的內容流中建 立遠程標志。例如，可以基于所觀察到的、特定廣播者的EPG數據的 平均精度(即，這可以通過統計計算或這可以只是個體的個人選擇) 來選擇初始標志和遠程標志之間的距離。例如，如圖2所示，遠程標 志231同內容流中的廣告插入240的開頭相鄰。可選地，可以采用內 容流中距離初始標志的固定時段，例如15秒到10分鐘。在另一個方 式中，遠程標志位于開始時間211和結束時間212的中間(排除廣告 塊區域)
此外，從由遠程標志231所指示的位置開始向初始標志(例如， 開始時間211)處理內容流。只要找到內容項和其它內容之間的轉換并 檢測到內容項的邊界221，就可以不同方式分析內容流。
在本發明的一個實施例中，通過使用鏡頭邊界檢測(SBD)方法來 分析內容流，該SBD方法可以從Dirk Farin、 Wolf gang Eff el sberg、 Peter H. N. de With發表的文章"Robust Clustering-Based Video—Summarization with Integration of Domain—Knowledge" (IEEE International Conference on Multimedia and Expo, 1，第 89-92頁，Lausanne, Switzerland, 2002年8月)得知。鏡頭通常 包括看起來由單個相機動作定義的多個連續視頻幀。內容流中視頻鏡 頭之間的邊界可被確定為，例如可視參數(如運動矢量)從靜態轉變 成更分散的行為的位置(視頻幀)。這些視頻鏡頭的邊界可以是內容 項邊界的指示。在這個實施例中，可將內容流中最接近開始時間位置 211 (最近之一的鄰域內)的鏡頭間邊界選為內容項的(實際)邊界，
并由此生成確切標
在本發明的另 一個實施例中，使用視頻場景邊界檢測方法來從遠
程標志231開始分析內容流。可將已知的方法應用于場景邊界檢測。 例如，下面的文章中公開了一種適當地方法J. Nesvadba、 N. Louis、 J. Benois-Pineau、 M. Desainte-Catherine和M. Klein Middel ink 發表的文章"Low—level cross—media statistical approach for semantic partitioning of audio—visual content in a home multimedia environment" ( Proc. IEEE IWSSIP，04 (Int. Workshop on Systems, Signals and Image Processing)，第 235-238 頁， Poznan, Poland, 200年9月13到15日)。 一個場景可能對應于一 序列可能通過音頻而相互關聯的連續視頻鏡頭(聚類)。當鏡頭邊界 和音頻靜音中斷(一定持續時間的音頻靜音)或任何其它音頻轉換同 時出現時，可檢測到場景邊界。場景間的邊界可以與確切標志相關聯。 例如，可選擇同初始標志位置最為接近的場景邊界。
原則上，自動執行邊界和確切標志的檢測。然而，可以(使用輸 入設備)使用戶能夠手動指定與自動選擇的最近視頻鏡頭或場景邊 界，或(音頻或視頻)內容流中的任何其它明顯轉換不同的視頻鏡頭 邊界或場景邊界。
與選擇最接近的場景邊界或最接近的鏡頭邊界相反，可通過相似 性參數確定鏡頭或場景邊界是否屬于該內容項。如果例如這些鏡頭中 的幀的顏色直方圖相似，則認為這些視頻鏡頭屬于相同的內容項。作 為選擇，如果視頻鏡頭或場景通常呈現出相同音頻風格或類別的音頻 (例如語音，音樂)，則認為它們屬于相同的內容項。因此，僅僅將 從遠程標志開始的、彼此相似的內容塊(即，內容序列，例如視頻鏡 頭或視頻場景)確定為屬于相同的內容項。如果從遠程標志開始朝向 初始標志，在內容流中的某點處不再可能檢測到屬于相同內容項的內 容塊，則在那點處找到了內容項的邊界。
另一個實施例中，采用類型分類方法從遠程標志開始朝向初始標 志分析內容流，直至檢測到內容項的邊界為止，其中所述類型分類方 法自動確定內容項的類型，而且內容項的邊界對應于內容流中存在著 類型轉換的位置。為這個目的可采用適當的已知的類型分類方法，例 如WO03010715中公開的方法。例如，Zhu Liu、 Yao Wang、 Tsuhan Chen
的文章 "Audio feature extraction and analysis for scene segmentation and classification" (Journal of VXSI Signal Processing Systems (special issue on multimedia signal processing),第20巻，第l-2期，第61-79頁，1998年10月)中 描述了一種使用僅考慮音頻特征的神經網絡分類器來鑒別諸如廣告、 籃球比賽、足球比賽、新聞報道和天氣預報之類的TV類型的方法。還 可采用使用音頻和可視特征二者的統計模式分類方法。
在本發明 一個實施例中，可以通過應用平均位速率檢測器來在內 容流中檢測內容項的邊界，所述平均位速率檢測器本身在本申請人提 交的PCT申請IB2004/051219中公開了。可從遠程標志開始朝向初始 標志計算該平均位速率。可以確定該位速率，其是數字視頻流中分配 給內容項的數據速率。該位速率可以作為數字流中的附加信息被指 示。例如，在數字視頻廣播(DVB)中，可以傳輸栽有形成某個類型包 的視頻、音頻、控制數據的多個流。由于數據包中的視頻數據具有預 定或指示的尺寸，因此有可能確定音頻流的位速率。可采用各種方法 (例如僅對連續的時段)計算平均位速率，或者可選地，可確定位速 率的移動平均(moving average)。當然，可以i殳想在一個時段上計 算位速率值的其它方式。
例如可以在通過確定平均位速率值超過預定閥值的偏差、平均位 速率值的改變超過所述值一定百分比的偏差等檢測平均位速率改變的 基礎上，確定內容項的邊界。平均位速率檢測器具有這樣的優點，即 在內容項邊界檢測方面，平均位速率檢測是可靠且穩健的。在所述時 段上確定平均位速率平滑了并非指示內容類型的真正改變的差異。
另一個實施例中，利用本身從W02004054256所得知的電影模式 (FilmMode)檢測器、從遠程標志開始朝向初始標志分析內容流來確 定內容項的邊界。該檢測器能夠區分電影(逐行掃描(progressive)) 模式和視頻(隔行掃描(interlaced))模式。好萊塢長片很可能是整 個以電影模式拍攝的(3-2/2-2下拉模式(pulldown))，而與電影 相鄰的插入項以視頻模式拍攝(制作起來更加便宜)。
圖3示出了用于分析包括內容項的內容流地裝置300的實施例。 該裝置包括用于分析內容流的(數字數據)處理器310(即內容分析處 理器)，并可選地包括接收器320和存儲單元330。
接收器320被布置為如在視頻點播系統、Internet廣播網絡等中 已知的那樣、從Internet接收內容流如數字電視信號或數字視頻信 號。接收器320也可被布置為獲取包含初始標志的數據如EPG數據。 存儲單元330被布置為存儲處理器310可訪問的內容流。存儲單元可 以是已知的RAM (隨機存儲器)存儲模塊、計算機硬盤驅動器或其它存 儲設備。
處理器310被布置為在初始標志的基礎上確定遠程標志。可在存 儲單元330中緩沖在確定遠程標志之前接收的內容流。此外，將處理 器配置為從遠程標志朝向初始標志分析內容流，以識別確切標志。可 由處理器310從存儲單元330訪問要被分析的內容流。
處理器310可以是被適當布置為實現本發明、并能夠使裝置如上 面參考方法所述進行操作的中央處理器(CPU)。可將處理器310配置 為從存儲單元330讀取至少一條指令來實現所述裝置的功能。
裝置300可被布置為在內容流中包括多個內容項邊界的標記，并 例如將內容流重新傳送到遠程客戶設備35 0，例如通過數據網絡重新發 送至電視機或便攜式PC。因此，可將該裝置集成到(例如，電視機電 纜供應商的)服務提供設備中。
可選地，可將帶有標記的內容流傳遞至耦接到裝置300的記錄器 360。換句話說，該裝置可以在諸如帶有電纜、衛星或其它鏈接的電視 機(TV機)之類的消費者電子設備(或多用途平臺/設備)、錄像帶或 HDD記錄器、家庭攝像系統、諸如iPronro遠程控制之類的遠程控制 設備等的任何一種中實現。
在本發明概念的范疇內，所述實施例的變形和修改都是可能的。 例如，內容流可以是音頻內容流，并且為了本發明目的可應用適當的 音頻內容分析方法。
處理器可執行軟件程序以便能夠執行本發明的方法中的步驟。該 軟件可使本發明的裝置與它的運行地點無關。為了啟動該裝置，處理 器可將軟件程序傳送至例如其它(外部)設備。當該軟件被制造或利 用以便在消費電子產品上運行時，獨立方法權利要求和計算機程序產 品權利要求可用來保護本發明。外部設備可使用諸如藍牙，IEEE 802. 11 [a-g]等之類的現有技術連接到處理器。處理器可根據UPnP(通 用即插即用)標準同外部設備進行交互。
將"計算機程序"理解為在諸如軟盤之類的計算機可讀介質上存
儲的，可通過諸如Internet之類的網絡下栽的，或以任何其它方式在 市場上銷售的任何計算機軟件產品。
各種程序產品可實施本發明中的系統和方法的功能，這些程序產 品可通過多種方式與硬件結合，或者位于不同設備中。可通過包括多 個互不相同的元件的硬件或通過適當編程的計算機來實現本發明。
權利要求
1.一種對包括內容項的內容流(201)進行分析的方法，所述方法包括步驟-利用內容分析處理器來識別內容流中內容項的邊界(221，222)的確切標志，其中所述利用包括-確定遠離所述邊界的遠程標志(231)，并且-使用所述內容分析處理器從所述遠程標志開始朝向所述邊界分析內容流，以識別所述確切標志。
2. 如權利要求1所述的方法，其中所述遠程標志可由用戶選擇。
3. 根據權利要求1所述的方法，還包括 接收內容流中的內容項邊界的初始標志(211， 212)的步驟。
4. 根據權利要求3所述的方法，其中基于所述初始標志確定所 述遠程才示志，以4更所述遠程才示志遠離所述初始才示志。
5. 根據權利要求4所述的方法，其中從所述遠程標志開始朝向 所述初始標志分析內容流。
6. 根據權利要求3所述的方法，其中所述初始標志是EPG數據。
7. 根據權利要求3所述的方法，其中所述初始標志能由用戶選擇。
8. 根據權利要求1所述的方法，其中內容分析處理器被布置為 自動地確定內容流的類型，并檢測內容流中類型的轉換。
9. 根據權利要求l所述的方法，其中內容分析器被布置為- 識別內容流中的內容塊；- 如果所述內容塊屬于所述內容項，則將這些內容塊聚類；以及- 如果沒有識別到屬于所述內容項的進一步其它塊，則將邊界內 容塊與所述確切標志相關聯。
10. 才艮據權利要求3所述的方法，其中所述確切標志與內容流中 一個相應內容塊的邊界相關聯，所述邊界最接近于初始標志。
11. 才艮據權利要求9或10所述的方法，其中所述內容流為視頻 流，且每個內容塊屬于相應的視頻場景或相應的視頻鏡頭。
12. —種對包括內容項的內容流(201)進行分析的裝置(300 )， 所述裝置包括內容分析處理器(310)，用于 - 識別內容流中內容項邊界(221， 222 )的確切標志，其中所述 識別包括- 確定遠離所述邊界的遠程標志(231 );以及- 從所述遠程標志開始朝向所述邊界分析內容項，以識別所述確 切標志。
13. 根據權利要求12所述的裝置，其中所述遠程標志能由用戶選擇。
14. 根據權利要求12所述的裝置，其中所述內容分析處理器被布 置為接收內容流中內容項邊界的初始標志(211， 212)。
15. 根據權利要求14所述的裝置，其中所述內容分析處理器被布 置為在初始標志的基礎上確定遠程標志，以^使所述遠程標志遠離初始標志o
16. 根據權利要求15所述的裝置，其中所述內容分析處理器被布 置為從遠程標志開始朝向初始標志分析內容流。
17. —種實現可編程設備的計算機程序產品，當執行所述產品的 計算機程序時，實現權利要求1-11中任何一個的方法。
全文摘要
本發明涉及一種對包括內容項的內容流(201)進行分析的裝置(300)和方法，并涉及一種實現可編程設備的計算機程序產品。該裝置包括內容分析處理器(310)，用于識別內容流中的內容項邊界(221，222)的確切標志，其中所述識別包括確定遠離所述邊界的遠程標志(231)，并從所述遠程標志開始朝向所述邊界分析內容流，以便識別確切標志。
文檔編號H04N5/44GK101107851SQ200680002648
公開日2008年1月16日 申請日期2006年1月17日 優先權日2005年1月19日
發明者D·布拉澤羅威克, J·A·D·尼斯瓦德巴 申請人:皇家飛利浦電子股份有限公司