一種視頻物體檢索的方法及其系統的制作方法
【技術領域】
[0001] 本發明涉及計算機處理技術領域，尤其涉及一種視頻物體檢索的方法及其系統。
【背景技術】
[0002] 物體檢測系統在現今商業和娛樂產業中越發受到青睞。例如，很常見的，用戶樂于 去尋找那些與在他觀看的視頻中出現的感興趣物體相同或者相似的物體。傳統的基于內容 的圖像檢索方法（CBIR)在低層的圖像特征與高層的語義內容之間的圖像理解差距中建立 聯系時，著重于通過分析靜態圖像的內容，而沒有考慮用戶的興趣。把目光放到那些更具發 展潛力的圖像處理領域，已經出現一些考慮人類觀念的圖像處理方法。其通過將圖像劃分 成一個個區域并且將圖像內容通過被稱為區域局部特征的特征進行模式化。但是這些方法 由于圖像分割技術的限制以及圖像顯著性檢測的局限，特別是包含許多不同種類圖像時， 其檢測結果還遠不能達到令人滿意的要求。
[0003] 當處理數碼視頻中的視頻幀而非靜態圖像時，進行物體檢索的困難程度提升到了 一個新的層次，因為視頻通常在復雜的沒有變化規律的光線環境中拍攝而成。具體的，在視 頻中進行有效的物體檢索主要面臨三個困難。第一、用戶感興趣的潛在目標物體有復雜多 變的環境背景噪聲，例如變形，被遮擋，旋轉，仿射變換和轉換。第二、如何有效的描述或者 表示圖像（視頻幀）的內容。上述效果對于準確地在視頻中對相似或者相同物體進行檢索 是非常重要的。第三、對于圖像檢索系統的評價是個人主觀的，缺乏廣泛，明確的數據判斷 標準。這使得提升物體檢索效果非常困難。
[0004] 本發明公開的方法及其系統用于解決現有技術中的一個或者多個問題。

【發明內容】

[0005] 本發明的一方面公開了一種視頻中物體檢索的方法。所述方法包括：將一段輸入 視頻分成許多視頻片段，每個視頻片段都包含一個到多個視頻幀。在每個視頻片段中檢測 目標類型以及相關類型的物體圖像。上述方法還包括：預處理包含物體圖像的邊界裁影圖， 并且自動進行物體圖像提取。進一步的，所述方法還包括：對物體圖像進行對象級特征提取 和整合，并依據相似度得分生成可視檢索結果。
[0006] 本發明另一方面公開了一種物體檢索系統。所述系統包括：物體檢測模塊，用于在 每個視頻片段中檢測目標類型以及相關類型的物體圖像。所述系統還包括：預處理模塊， 用于預處理包含物體圖像的邊界裁影圖。進一步的，還包括：物體提取模塊，用于通過自動 grab-cut算法進行物體圖像自動提取。上述系統還進一步包括：對象級特征獲取模塊，用 于對物體圖像進行對象級特征提取和整合。相似度計算模塊，用于計算顏色自相關直方圖 (ACC)和顏色和邊緣的方向性描述符（CEDD)的相似度。相似度融合和排列模塊，用于依據 相似度得分來實現相似度融合和生成最終的可視檢索結果。
[0007] 本發明的其他方面，所屬技術領域技術人員能夠依據本發明的權利要求書，說明 書，以及附圖有效實施并充分公開。
【附圖說明】
[0008] 圖1為本發明【具體實施方式】中視頻物體檢索方法的工作系統示意圖。
[0009] 圖2本發明【具體實施方式】中的計算系統的結構框圖。
[0010] 圖3為本發明【具體實施方式】中的自動物體檢索系統的示意圖。
[0011] 圖4為本發明【具體實施方式】中的自動物體檢測系統的方法流程圖。
[0012] 圖5為本發明【具體實施方式】中的預處理包含物體圖像的最小矩形的方法流程圖。
[0013] 圖6為本發明【具體實施方式】中圖像特征提取步驟的方法流程圖。
【具體實施方式】
[0014] 附圖中展示的部分將被引用以具體說明，闡述本發明具體技術實施方案。說明書 中引用的數字代表附圖的相應部分。
[0015] 如圖1所示，這是本發明【具體實施方式】中的工作系統100。所述工作系統100中包 括有：電視機102、遙控器104、服務器106、用戶108、網絡系統110。當然還可以包括其他 合適的設備。
[0016] 電視機102可以是任何合適類型的電視機，例如等離子電視、LCD電視、背投式電 視、智能電視或者非智能電視。電視機102還可以包括一個計算系統，例如個人電腦，掌上 電腦或者智能手機等。進一步的，所述電視機102還可以是任何內容演示的設備。所述設 備由遙控器104控制，能夠在一個到多個頻道中演示多個節目。
[0017] 所述遙控器104可以是任何合適類型的能夠遙控操作電視機2102的遙控器、例如 配套的電視遙控器、通用電視遙控器、掌上電腦、智能手機或者其他能夠實現遙控功能的智 能設備。遙控器104還可以包括其他不同類型的設備，例如動作感應遙控設備、圖像感應遙 控設備以及其他一些簡單輸入設備，例如鍵盤、鼠標、聲控輸入等。
[0018] 具體的，所述服務器106可以是任何用于提供個人信息內容給用戶108的一個或 者多個計算機服務器。所述服務器106還用于幫助在遙控器104和電視機102之間進行通 信連接，數據存儲和數據處理。電視機102,遙控器104以及服務器106通過網絡系統110 建立通信連接，例如有線網絡、手機網絡、或者其他具體的網絡。
[0019] 用戶108使用遙控器104控制電視機102播放不同的節目或者進行其他用戶感興 趣的活動。如果電視機102配備有動作感應或者圖像感應裝置，用戶還可以簡單的使用手 勢動作進行控制。用戶108可以是一個人也可以是多個，例如全部家庭成員在一起觀看電 視節目。
[0020] 電視機102,遙控器104和/或服務器106在一個合適的電子計算平臺實現其功 能。圖2是本發明【具體實施方式】中的一種可用于實現上述設備102、104和/或106的功能 的計算系統的結構框圖。
[0021] 如圖2所示，所述計算系統包括一個處理器202、存儲器204、播放器206、通信模 塊208、數據庫214以及外圍設備212。所述計算系統可以減省上述設備，也可以添加一些 其他類型的設備，而不限于上述設備。
[0022] 所述處理器202可以是任何合適的處理器或處理器組。具體的，所述處理器202為 能夠進行多線程處理的多核心處理器。存儲器204可以是任何合適的存儲設備，例如ROM、 RAM、閃存或者大容量存儲器，例如CD-ROM、硬盤等。存儲器204用于存儲為進行各種數據處 理而預設的計算機運行程序。
[0023] 所述外圍設備212具體包括：各種類型的傳感器以及輸入，輸出設備、例如鍵盤、 鼠標。通信模塊208具體包括：各類網絡交互設備，用于在設備間通過網絡系統建立連接。 數據庫214具體包括一到多個用于存儲不同數據以及對數據進行一些處理，例如搜索數據 的數據庫。
[0024] 電視機102,遙控器104和/或服務器106可以成為一個物體識別系統，用于為用 戶108識別物體。圖3展示了本發明【具體實施方式】中自動物體檢索系統300。
[0025] 如圖3所示，自動物體檢索系統300具體包括：一段輸入視頻302、物體檢測模塊 304、預處理模塊306、物體圖像提取模塊308、對象級特征提取模塊310、相似度計算模塊 312、圖像數據庫314、相似度融合和排列模塊316、可視檢索結果318。上述系統可以減省所 述設備，也可以添加一些其他類型的設備，而不限于所述設備。所述系統300具體可以由硬 件實現其功能，也可以由軟件實現其功能，還可以結合硬件和軟件一起實現其功能。
[0026] 所述輸入視頻302具體可以是任何類型的視頻內容或者視頻資源。輸入視頻302 的內容包括視頻數據以及元數據。輸入視頻的一系列視頻幀包含了輸入視頻302的內容并 用于其他模塊進行處理。當然，所述輸入視頻也可以是一幅單獨的圖片。
[0027] 所述物體檢測模塊304用于在每一個視頻片段中檢測物體圖像，包括相關類型和 目標類型物體圖像的檢測。也就是說，所述物體檢測模塊304能夠在實際上較短的時間內， 自動檢測感興趣的通用區域以便于用戶能夠描述他想要尋找的目標物體。物體檢測模塊 304可以依據實際情況設置在電視機102中或者電視機102外。
[0028] 預處理模塊306用于預處理包含物體圖像的邊界裁影圖（boundingboximage)。 例如，預處理模塊306能夠通過直方圖均衡化處理來調整圖像全局對比度，并且通過圖像 融合來平衡圖像質量和圖像全局對比度。
[0029] 物體提取模塊308用于通過自動運行grab-cut算法進行物體提取。對象級特征 提取模塊310用于依據計算顏色自相關直方圖（ACC)和顏色和邊緣的方向性描述符（CEDD) 對物體圖像進行對象級特征提取和整合。
[0030] 相似度計算模塊312用于計算ACC和CEDD的相似度。具體的，圖像數據庫314可 以任何合適的用于存儲視頻數據或者視頻數據的元數據，ACC特征向量，CEDD特征向量等 的數據庫。
[0031] 在物體檢測以及特征提取完成后，相似度融合和排列模塊316用于實現圖像融合 以及依據相似度得分排列，生成最終的圖像檢索結果。相似度融合和排列模塊316具體的 還可以分為相似度得分融合單元3162以及排列單元3164。
[0032] 相似度得分融合單元3162用于進行相似度融合。排列單元3164用于依據相似度 得分生成最終的圖像檢索結果。一系列相似度各異的檢索結果由排列單元3164進行修正 和排列。也就是，依據相似度得分融合單元3162計算得出的數據，排列單元3164生成最終 的依據相似度得分高低排列的圖像檢索結果318呈現給用戶。
[0033] 圖4是本發明【具體實施方式】中的自動物體檢測系統的方法流程圖。如圖4所示， 首先，將一段輸入視頻分成許多視頻片段（S402)。
[0034] 在每個視頻片段中檢測可能目標物體圖像（S404)。也就是，在獲取視頻片段后，檢 測片段中的物體圖像。例如，假設有兩個不同的物體圖像在S404中檢測出，一個檢測物體 圖像屬于目標類別，另一個檢測物體圖像屬于相關類別。那么，上述兩個檢測物體都要被納 入到物體檢索系統中。