專利名稱：使用數字攝像機捕獲事件信息的制作方法
使用數字攝像機捕獲事件信息
背景技術：
視頻監視系統一般包括多個攝像機，并且各攝像機可捕獲該攝像機視野中特定區 域的圖像。攝像機可捕獲數據，并且壓縮視頻數據，然后將經壓縮數據發送給中央計算系 統。


本文所述的本發明在附圖中通過示例方式而不是通過限制方式進行說明。為了說 明的簡潔和清楚起見，圖中所示的要素不一定按比例繪制。例如，為了清楚起見，一些要素 的尺寸可能相對其它要素經過放大。此外，在認為適當的情況下，參考標號可在附圖中重復 以指明對應或相似要素。圖1根據一個實施例示出包括一個或多個事件感知視頻系統(EAVS event aware video system)的視頻監視系統。圖2根據一個實施例示出其中支持事件捕獲技術的事件感知視頻系統(EAVS)。圖3是根據一個實施例示出可由EAVS執行的操作的流程圖。圖4是根據一個實施例示出由EAVS執行的計算和壓縮操作的流程圖。圖5根據一個實施例示出由EAVS捕獲的一個或多個情景(scenario)。
具體實施例方式以下說明描述通過使用數碼相機捕獲事件信息的技術的實施例。在以下描述中， 提出例如邏輯實現、資源劃分或共享或者復制實現、系統組件的類型和相互關系以及邏輯 劃分或綜合(integration)選擇的許多具體細節，以便提供對本發明的更透徹了解。然而， 本領域技術人員將領會，即使沒有這類具體細節，也可實施本發明。在其它情況下，沒有詳 細示出控制結構、門級電路和完全軟件指令序列，以免混淆本發明。通過所包含的描述，本 領域技術人員將能夠實現適當的功能性而無需過分實驗。說明書中提到“ 一個實施例”、“實施例”、“示例實施例”表示所述實施例可包括具 體特征、結構或特性，但每一個實施例可能不一定都包括該具體特征、結構或特性。此外，這 類短語不一定是指同一實施例。此外，在結合一個實施例描述具體特征、結構或特性時，無 論是否明確描述，均認為使這種特征、結構或特性結合其它實施例起作用處于本領域技術 人員的知識內。本發明的實施例可通過硬件、固件、軟件或者它們的任何組合來實現。本發明的實 施例還可實現為存儲于機器可讀介質的指令，指令可被一個或多個處理器讀取和運行。機 器可讀介質可包括用于存儲或傳送具有機器(例如計算裝置)可讀形式的信息的任何機 構。例如，機器可讀介質可包括只讀存儲器(ROM)；隨機存取存儲器(RAM)；磁盤存儲 介質；光存儲介質；閃速存儲器裝置；電、光、聲或其它形式的傳播信號。此外，本文中可將 固件、軟件、例程和指令描述為執行某些動作。但是，應當領會，這類描述只是為了方便起見，并且這類動作實際上由運行固件、軟件、例程和指令的計算裝置、處理器、控制器及其它
裝置產生。根據一個實施例可支持捕獲事件信息的視頻監視系統100在圖1中示出。在一 個實施例中，視頻監視系統100可包括事件感知視頻系統(EAVS) 150-1至150-N、網絡160 以及中央計算系統190。在一個實施例中，EAVS 150-1至150-N可分別捕獲場景110-1至 110-N中的圖像。中央計算系統190可接收由EAVS 150發送的事件信息，并且可執行進一步分析。 在一個實施例中，事件信息可包括通過處理事件幀的事件所生成的經處理數據。在一個實 施例中，中央計算系統可保存例如處理周期的資源，以便進一步處理經處理數據。在一個實 施例中，中央計算系統190可由可接收來自EAVS 150-1至150-N的事件信息并且監控包括 場景110-1至110-N的大區域的安全主管使用。在一個實施例中，中央計算系統190可表 示具有存儲事件信息還供在以后時間點進行查看的大存儲能力的服務器系統。網絡160可包括路由器、交換機、網關和類似的其它這類裝置，以便在EAVS 150與 中央計算系統190之間傳遞事件信息。在一個實施例中，當表示事件信息的經處理數據通 過網絡160來傳遞時，可保存網絡160的帶寬。網絡160可表示局域網、廣域網、城域網、因 特網或者任何其它這類網絡。在一個實施例中，網絡160可以是基于有線的或基于無線的 或者有線和無線技術的組合。網絡160可支持例如傳輸控制協議/因特網協議(TCP/IP)、 用戶數據報協議/因特網協議(UDP/IP)和這類其它類似協議的協議。在一個實施例中，EAVS 150可建立‘無事件幀’，將入局幀與無事件幀進行比較，并 且確定入局幀是事件幀還是無事件幀。在一個實施例中，如果‘無事件幀’與入局幀之差大 于閾值，則EAVS 150可確定入局幀是‘事件幀’。在一個實施例中，‘無事件幀’可用作用其 執行比較以檢測事件發生的參考幀。在一個實施例中，為了建立無事件幀，EAVS 150可在將視頻幀標記為‘無事件幀’ 之前，在時間段‘K’以規則間隔捕獲視頻幀(Pl、P2、...Pt)。在一個實施例中，EAVS 150可 比較在時間段‘K’的各相鄰幀對，以便確定視頻幀是否為‘無事件幀’。例如，EAVS 150可比 較第一對相鄰幀(P2和Pl)，以及如果第一對相鄰幀之差小于閾值，則EAVS 150可進一步比 較第二對相鄰幀(P3和P2)。同樣，EAVS 150可比較相鄰幀{(P4和P3) · · · (Pt和Pt-I)}， 直到時間段K過去。如果相鄰視頻幀對之差小于閾值，則EAVS 150可將最近的幀(Pt)標 記為無事件幀。例如，如果場景110-1表示大型購物中心的空停車場，則EAVS150可在時間點Tl 至TlO捕獲圖像Pl至P10,并且比較相鄰幀{(P2，Pl)，(P3，P2) · · · (ΡΙΟ, P9)}，以及如果沒 有檢測到活動，則圖像PlO可被標記為‘無事件幀’。此外，EAVS 150可在時間點Tll捕獲 圖像P11，將圖像Pll與圖像PlO進行比較，以及如果PlO與Pll之差小于閾值，則圖像Pll 可被丟棄，同時將Pio保持為無事件幀。在一個實施例中，EAVS 150可將空停車場標記為 第一無事件幀，并且將第一無事件幀存儲在無事件幀緩沖器260中。但是，如果在圖像Pll檢測到例如汽車進入停車場的事件，則EAVS 150可捕獲該 事件，將圖像標記為‘事件幀’，以及將事件傳送給中央計算機系統190。在一個實施例中， EAVS 150可比較Pll和P10，并且當事件(汽車進入停車場)已經發生時，差可大于閾值。 在一個實施例中，EAVS 150可捕獲下一 10個圖像P12至P21，并且比較相鄰幀對以檢測事件。如果沒有檢測到事件，則包括停放在停車場的汽車的幀P21可被標記為‘無事件幀’。 可以注意到，第一 ‘無事件幀’是空停車場，而第二無事件幀是具有停放在停車場的汽車的 停車場。在一個實施例中，EAVS 150可在無事件幀緩沖器260中用‘第二無事件幀’取代第 一‘無事件幀’。在一個實施例中，EAVS 150可按照第一幀速率并按照第一空間質量向中央 計算系統190發送該無事件幀。在一個實施例中，事件感知視頻系統EAVS 150可捕獲當前視頻幀(第P+1個視頻 幀)，以及如果(第P+1個視頻幀)與(第P個視頻幀)之差大于閾值并且如果(第P+1個 視頻幀)實質上與‘無事件’幀不同，則將當前視頻幀標記為‘事件幀’。在一個實施例中， 閾值可根據統計或經驗方法確定。在一個實施例中，從無事件幀連續收集在各像素位置的 顏色值直方圖(即經驗概率分布)。如果在當前視頻幀(P+1視頻幀)的相同像素位置的顏 色值超過無事件幀顏色分布的90%的似然值，則那個像素可被標記為事件幀的候選像素。 在一個實施例中，似然值可以是可調系統配置參數。另外，如果在當前視頻幀(第P+1個視 頻幀)中存在事件幀的候選像素的至少一個大區域，則整個幀可被標記為事件幀。另外，在一個實施例中，整個幀可被分為許多小區域Al、A2...Ak。與前一視頻幀 的區域Al中相同X個像素相比，可將閾值施加于當前視頻幀的各區域Al中X個像素的平 均顏色等級的變化。在一個實施例中，如果區域Al中X個像素的平均顏色等級改變例如色 標(例如0-255顏色等級)上的10個等級，則EAVS 150可將區域Al標記為事件幀的候選 者。在一個實施例中，如果候選小區域Al、A2. . .AJ連接在一起以形成較大區域，則當前視 頻幀(P+1視頻幀)可被標記為事件幀。在一個實施例中，當前視頻幀可被稱作‘事件幀’， 而前一視頻幀(第P個視頻幀)可被稱作‘無事件幀’。在一個實施例中，事件感知視頻系統(EAVS) 150可捕獲事件幀、從事件幀提取事 件信息、分析事件信息以及將事件信息傳遞給中央計算系統190。在一個實施例中，發送給 中央計算系統190的第一事件信息可包括無事件幀(第P個幀)與第一事件幀(第P+1個 幀)之差。另外，下一事件信息可包括第一事件幀(第P+1個幀)與下一事件幀(P_next 幀)之差。在一個實施例中，EAVS 150可按照第二幀速率(SFR)并按照第二空間質量等級 (SQ)發送事件信息。在一個實施例中，第二幀速率可高于第一幀速率，而第二空間質量可低 于第一空間質量。根據一個實施例可支持捕獲事件信息的事件感知視頻系統(EAVS) 150在圖2中示 出。EAVS 150可包括圖像捕獲系統210、數據轉換系統220、幀緩沖器230、EAVS使能控制 器EEC 250、無事件幀緩沖器260、存儲器280和網絡接口 290。圖像捕獲系統210可捕獲圖像，并且可包括例如電荷耦合器件(CXD)的圖像捕獲 裝置、例如有源(active)像素傳感器的CMOS傳感器以及類似的這類其它裝置。圖像捕獲 系統210可捕獲光信號，并且將光信號轉換成電信號。數據轉換系統220可包括模數轉換 器和其它信號調節裝置，例如放大器、衰減器、噪聲消除裝置以及這類其它類似裝置。數據 轉換系統220可接收來自圖像捕獲系統210的電信號、調節電信號以及將經調節信號提供 給幀緩沖器230。在一個實施例中，幀緩沖器230可存儲表示經調節電信號的數據。在一個實施例 中，幀緩沖器230可存儲從數據轉換系統230接收的可被EEC 250快速檢索的少量幀(例 如2至3幀)。
無事件幀緩沖器260可用于存儲‘無事件幀’。在任何給定時間點，可存在一個無 事件幀，它可被存儲在無事件幀緩沖器260中。在一個實施例中，無事件幀緩沖器260可包 括少量高速存儲器。但是，無事件幀緩沖器260可以規則時間間隔進行更新，并且因而可提 供有支持較高刷新速率的能力。存儲器280可存儲可被EAVS使能控制器EEC 250用于捕獲事件信息的指令。存 儲器280可存儲數據和/或軟件指令，并且可包括例如在例如視頻監視系統100的系統中 使用的DRAM(動態隨機存取存儲器)裝置、SDRAM(同步DRAM)裝置、DDR(雙倍數據速率) SDRAM裝置或者其它易失和/或非易失存儲器裝置的一種或多種不同類型的存儲器裝置。網絡接口 290可接收來自EAVS使能控制器250的數據分組，并且可通過網絡接口 290傳遞數據分組。在一個實施例中，網絡接口 290可包括網絡接口卡(NIC)以將數據分組 傳遞給網絡150的適當路由選擇裝置。EAVS使能控制器(EEC) 250可捕獲事件信息，并且將事件信息傳遞給中央計算系 統190。在一個實施例中，EEC 250可從幀緩沖器230檢索視頻幀，并且確定視頻幀是‘無事 件幀’還是‘事件幀’。在一個實施例中，如果視頻幀是事件幀，則EEC 250可從視頻幀提取 事件信息。在一個實施例中，如果視頻幀是‘無事件幀’，則EEC 250可將視頻幀標記為‘無 事件幀’，并且可將‘無事件幀’存儲在無事件幀緩沖器260中。事件感知視頻系統(EAVS) 150的EAVS使能控制器(EEC) 250根據一個實施例捕獲 事件信息的操作在圖3中示出。在框305，EEC 250可將可變時間范圍TS (time span)初始化為0。在一個實施例 中，時間范圍TS可表示時間窗口，在該時間窗口期間，當輸入幀中沒有事件發生時，所有輸 入幀與無事件幀不同。在一個實施例中，大TS值可暗示當前‘無事件’幀可能不再有效，并 且可需要重新建立新‘無事件’幀。在框310，EEC 250可使當前‘無事件幀’無效。在一個實施例中，使當前‘無事件 幀’無效以建立新‘無事件幀’，新‘無事件幀’可在捕獲任何事件之前提供可表示在場景 110-1的情景的準確參考。例如，在框305被無效的當前‘無事件幀’可表示有陽光的停車場。但是，云彩可 能在某個時間之后并且在捕獲事件之前移到停車場上方，可建立在停車場上方有云彩的新 ‘無事件幀’。在一個實施例中，EEC 250可使當前‘無事件幀’(有陽光的停車場)無效，并 且重新建立新‘無事件幀’(有云彩的停車場)以避免假警報。在一個實施例中，圖5的幀 510 (F (ne))可表示重新建立的‘無事件’幀，它可表示云彩遮蓋的停車場。在框315，EEC 250可從幀緩沖器230檢索新幀F (η)。在一個實施例中，EEC 250 可檢索圖5中可被捕獲并且存儲在幀緩沖器230中的幀520 ( = F(n))。在框320，EEC 250 可檢查是否建立有效‘無事件’ F (ne)，并且如果‘無事件’幀有效則控制轉到框325，否則轉 到框370。在框325，EEC 250可計算F (η)(幀520)與F (ne)(幀510)之差，并且控制可轉到 框330。在框330，EEC 250可檢查F (η)(幀520)與F(ne)(幀510)之差是否大于閾值，以 及如果F(η)(幀520)與F(ne)(幀510)之差小于閾值則控制轉到框335，而如果F(η)與 F(ne)之差大于閾值則控制轉到框345。在框335，EEC 250可將時間范圍初始化為0。在框340，EEC 250可將幀F (η)標記為‘無事件’幀，并且將‘無事件幀’傳遞給中央計算機系統190。控制轉到框315。在一 個實施例中，如果汽車尚未進入停車場，則幀520與510之差可小于閾值。因此，幀520可 被標記為‘無事件’幀。在框345，EEC 250可計算在新幀F(η)之前接收的幀F(n_l)之間的差。在框350， EEC 250可檢查F (η)與F(n_l)之差是否大于閾值，以及如果F (η)與F(n_l)之差大于閾值 則控制轉到框355，否則轉到框360。在框352，EEC 250可將時間范圍初始化為0。在框355，EEC 250可計算并且壓縮運動對象的動作。在框358，EEC 250可壓縮運 動對象的身份(identity)。在框359，EEC 250可將‘事件幀’(幀520)傳送給中央計算機 系統190。在框360，EEC 250可遞增時間范圍(TS)，以及控制轉到框363。在框363，EEC 250 可檢查TS的值是否大于持續時間‘K’，以及如果TS的值大于持續時間K則控制轉到框310， 否則轉到框355。在框370，EEC 250可傳送空(null)標簽。在一個實施例中，空標簽可指明‘無事 件幀’尚待被建立。在框374，EEC 250可計算在新幀F(n)之前接收的幀F(n_l)之差。在框378，EEC 250可檢查F (η)與F(n_l)之差是否大于閾值，以及如果F (η)與 F(n-l)之差大于閾值則控制轉到框380，否則轉到框390。在框380，EEC 250可將時間范圍初始化為0，以及控制轉到框315。在框390，EEC 250可遞增時間范圍(TS)，以及控制轉到框394。在框394，EEC 250可檢查TS的值是否大于持續時間‘K，，以及如果TS的值大于 持續時間K則控制轉到框398，否則轉到框315。在框398，EEC 250可通過用新幀F (η)取 代‘無事件幀’ F(ne)使F(ne)幀有效。事件感知視頻系統(EAVS) 150的EAVS使能控制器(EEC) 250根據一個實施例計算 和壓縮事件幀中的事件信息的操作在圖4中示出。在框405，EEC 250可從‘事件幀，(幀520)去除背景信息。在一個實施例中，EEC 250可在從幀520去除背景信息之后生成幀560。在一個實施例中，EEC 250可包括有限脈 沖響應(FIR)濾波器，其可將新幀F(n)的每一個像素與‘無事件幀’F(ne)中的對應像素進 行比較。在比較之后，EEC 250可識別其中F(ne)和F(n)中顏色等級差小于閾值的像素。 在一個實施例中，EEC 250可將差小于閾值的所有像素標記為背景的一部分。在一個實施例中，識別為背景一部分的像素的紅(R)、綠(G)和藍(B)顏色等級可 設置成表示黑色。在一個實施例中，將像素的顏色等級設置成黑色可相當于去除背景信息。 在一個實施例中，其中可去除背景信息的新幀F(n)可被稱作背景去除幀BRF(η)。在一個實 施例中，FIR濾波器可包括乘法器、累加器、存儲器行以及DMA邏輯以執行濾波和背景信息 去除。在一個實施例中，EEC 250可生成1位位圖b(n)，其可指明運動對象在背景去除當前 幀BRF(n)中的位置。在一個實施例中，位圖b (η)可指明幀BRF(n)的各像素是運動對象的 一部分還是背景。例如，行1的像素3-8和行2的像素1至14可表示運動對象的一部分， 并且對于這些像素(行1的3至8和行2的1至14)位圖b (η)可包括第一邏輯值(例如 1)，而對于其余像素位圖b (η)可包括第二邏輯值(例如0)。但是，為了識別事件，以較高速率捕獲幀520和530。例如，在時間點Tl捕獲的新 幀520可在時間點Τ2捕獲下一幀530之后成為前一幀，其中Tl在Τ2之前出現。在一個實施例中，幀F(n)(幀530)可表示在最近時間點T2捕獲的新幀，BRF(η)(幀570)可表示從 其去除背景信息的幀F(η)(幀530)，以及b (η)可表示BRF(η)(幀570)的位圖。在一個實 施例中，在F (η)之前即時捕獲的幀520可被稱作前一幀F(η-1)，且BRF(η-1)(幀560)可表 示從其去除背景信息的前一幀F(n-l)(幀520)，以及b(n-l)可表示BRF(n-l)的位圖。在 一個實施例中，位圖b(n-l)可指明運動對象在幀BRF(η-1)中的位置。在框410，EEC 250可標注表示事件的運動對象。在一個實施例中，事件幀可包括 一個或多個運動對象，并且EEC 250可用標識符(運動對象ID)標注運動對象中的每個。在 一個實施例中，EEC 250可在標注運動對象之前掃描位圖b (η)和幀BRF (η)，并且可使用變 量‘i’標注運動對象，其中，‘i’可以是識別運動對象中每個的正整數值(例如，i = 1,2, 3... L)，其中L是幀中運動對象的總數。BRF(n)中的各像素可在邏輯上被標注為屬于運動 對象中之一或者背景。另外，對于各運動對象，EEC 250可收集統計向量V(i，k)，其中‘i’ 可表示運動對象ID且‘k’可表示幀索引。在一個實施例中，統計向量可包括BRF(η)中邊 界矩形的大小和位置、運動對象的Y、U和V分量的總質量、運動對象中每個的Y分量的重心 位置以及這類其它類似統計，它們實現運動對象的準確識別。在框415，EEC 250可將新幀BRF (η)(幀570)和前一幀BRF (η-1)(幀560)中的運 動對象組對。在一個實施例中，EEC 250可使用在框410確定的統計向量V(i，k)和V(i’， k-1)將運動對象組對。在一個實施例中，EEC 250可檢測與BRF(η)和BRF(n-l)中運動對 象對應的對。在一個實施例中，EEC 250可對BRF(n)中的各運動對象確定BRF(n_l)中的 對應運動對象，使得這兩個運動對象表示事件幀的相同部分。在一個實施例中，EEC 250可 使用以下原理根據BRF (η)的統計V(i，k)和BRF (η-1)的V(i’，k_l)執行組對假定0(i，k)和0(i’，k-l)是與V(i，k)和V(i’，k-1)對應的兩個對象，則如果縮放(scale)到V(i，k)的邊界矩形區域的V (i，k)總質量與V (i’，k-1)的 相同量相似，則o(i，k)和o(i’，k-i)更可能是相同對象；如果相對于V (i，k)邊界矩形中心的V (i，k)重心位置與V (i’，k-1)的相同量相 似，則0(i，k)和0(i’，k-l)更可能是相同對象；例如，如果V(i，k)重心位置為Lgi而V (i，， k-1)的為Lgi，，以及如果V(i，k)邊界矩形中心為Lbi而V(i，，k-1)的為Lbi，，則如果 {(Lgi-Lbi)-(Lgi，-Lbi，)}為0或者極小那么0(i，k)和0(i，，k-1)更可能是相同對象； 以及可最大限度地存在與0(i，k)匹配的一個0(1’，1^-1)。在一個實施例中，由于對象組對，EEC 250可確定對象級運動向量，其指明0(i’， k-1)重心位置與0(i，k)重心位置之間的空間偏移。在框420，EEC 250可對預先組對的運動對象調整大小。在一個實施例中，對于 BRF (η)和BRF (η-1)中的各組對對象，EEC 250可對BRF (η)中的邊界矩形調整大小，使得 BRF(η)中的邊界矩形可具有與BRF(η-1)中的邊界矩形相同的大小。在另一實施例中，對于 BRF (η)和BRF (η-1)中的各組對對象，EEC 250可對BRF (n_l)中的邊界矩形調整大小，使得 BRF(η-1)中的邊界矩形可具有與BRF(η)中的邊界矩形相同的大小。在一個實施例中，EEC 250可將邊界矩形的大小選擇成小于總圖像大小的1/5。在一個實施例中，EEC 250可對經 調整大小運動對象中存在的像素的Y分量執行內插。在一個實施例中，BRF(η)中Y分量內 插可產生可覆蓋(cover) 0(i，k)的Y(i，k)。在一個實施例中，BRF(n_l)中Y分量內插可產生可覆蓋 0 (i，，k-Ι)的 Y (i，，k-1)。在一個實施例中，對預先組對運動對象調整大小可提高運動向量估計的精度，并 且減小運動誤差。在一個實施例中，可執行預先組對運動對象的調整大小，以便保持運動對 象的大小。在一個實施例中，保持運動對象的大小可提高精度，因為與對在視野(view)中 改變其大小的運動對象估計運動向量相比，如果運動對象的大小在視野中未改變大小則更 易于對運動對象估計運動向量。在一個實施例中，背景去除可允許運動對象的按組對調整 大小。在一個實施例中，調整大小可使用像素的線性內插來執行。例如，幀BRF(n-l)的邊界矩形大小可等于Q ( = 3 X 3像素矩陣)，并且BRF (η)的 邊界矩形大小可等于Ζ( = 2X2)像素陣列。在一個實施例中，可使大小Q等于Ζ。在一個 實施例中，Q可等于3X3像素矩陣，并且可包括元素{(1，2，3}，(4，5，6)，及(7，8，9)]。在 一個實施例中，3X3像素矩陣可被調整大小為包含元素{(3，4)，(6，7)}的2X2像素矩陣。 在一個實施例中，第一元素(=3)可通過下列步驟來生成對包含元素(1，2，4，5)的左上 部2X2矩陣的最初四個元素求和(1+2+4+5= 12)，并且將該和除以左上部矩陣的元素數量 (=4)。所得經調整大小的2X2矩陣可包含元素{(3，4)，(6，7)}。在框430，EEC 250可估計運動對象的實際(real)運動向量(V)。在一個實施例 中，EEC 250可通過計算邊界矩形B(k)和B(k-l)的重心來確定實際運動向量，并且B(k) 與B(k-l)的重心之差可表示實際運動向量。在一個實施例中，V(i，k)和V(i’，k-1)的重 心位置可提供運動對象的運動向量。在一個實施例中，在前一幀中，對象的邊界框B(k-l) 可以坐標(X，Y) = (7，13)為中心，并且B(k-l)內部的像素可等于{(1，2)，(3,4)} 0在一 個實施例中，在當前幀中，同一對象的邊界框B(k)可以坐標(X，Y) = (25,49)為中心，并 且B(k-l)內部的像素可等于{(9，7)，(10,8)} 0在一個實施例中，B(k-l)的重心坐標可等 于(X，Y) = (7. 1，12. 8)，并且B (k)的重心可等于(X，Y) = (24.94,48.97)。在一個實施例 中，可對B(k-l)和B(k)如下計算重心的定義對于B (k-Ι)，X 坐標=(7-0. 5) X (1+3) / (1+2+3+4) + (7+0. 5) X (2+4) / (1+2+3+4) =7. 1 ；并且，Y 坐標=(13-0. 5) X (3+4)/(1+2+3+4)+ (13+0. 5) X (1+2) / (1+2+3+4)= 12. 8。對于B(k)，X 坐標=(25-0. 5) X (9+10) / (7+8+9+10) + (25+0. 5) X (7+8)/ (7+8+9+10) = 24. 94 ；并且，Y 坐標=(49-0. 5) X (10+8) / (7+8+9+10) + (49+0. 5) X (9+7) / (7+8+9+10) = 48。在一個實施例中，從B(k-l)至B(k)的重心得出的實際運動向量則為 (24. 94-7. 1,48. 97-12. 8) = (17. 84，36. 17)。在框450，EEC 250可估計運動誤差。在一個實施例中，EEC 250可將B(k_l)中的 運動對象偏移實際運動向量，以生成B (k)中的所估計運動對象。在一個實施例中，EEC 250 可通過計算實際與所估計運動向量之差來確定運動誤差。在一個實施例中，EEC 250可通 過根據運動向量Y(i，k)和Y(i’，k-1)計算Y(i，k)與Y(i，k)運動估計之差來估計運動誤 差。在一個實施例中，B(k-l)至B(k)的運動向量可用于使B(k-l)中的運動對象偏移量V， 以成為稱作B’ (k)的運動估計B(k)。在一個實施例中，B(k-l)至B(k)的所估計運動向量 可通過使B(k-l)中的運動對象偏移量V以得到稱作B’ (k)的運動估計B(k)來確定，誤差 ‘e’可使用e = [B(k)_B’ (k)]來計算。
在框470，EEC 250可確定運動誤差是否大于可允許誤差閾值，以及如果運動誤差 大于可允許誤差閾值則控制轉到框480，而如果運動誤差小于可允許誤差閾值則控制轉到 框490。在一個實施例中，EEC250可將誤差‘e’與可允許誤差閾值進行比較，以及如果誤差 ‘e’大于可允許誤差閾值，則邊界框B(k)的細化(refined)運動估計可通過將邊界框B(k) 分成‘X，個更小矩形，例如Bsmal 1 (k，m)，m = 1，2，3，4，來執行。在框480，EEC 250可執行運動細化，以及控制轉到框450。在一個實施例中，對于 每個較小矩形Bsmall(k，m)，可通過在B(k-l)中四處移動Bsmall (k，m)以查找Bsmall (k， m)與B(k-l)中相同大小的矩形之間的最佳匹配來執行傳統運動搜索。在一個實施例中，這 種方式可對較小矩形中的每個生成四個運動向量V(m)，m= 1，2，3，4。在一個實施例中，較 小矩形中每個的運動誤差可按上文所述進行確定。如果誤差足夠小，則對那個特定小矩形 的運動誤差細化可被認為已完成。但是，如果誤差較大，則較小矩形可進一步被分成更小矩 形，例如分成X個較小矩形，并且可對較小矩形再次執行運動估計。在一個實施例中，該過 程可繼續，直到運動誤差全部處于限制內。這種過程可被稱作“運動細化”。在框490，EEC 250可執行運動向量和運動誤差編碼。在一個實施例中，EEC 250 可使用例如對YUV運動誤差的離散余弦變換(DCT)、DCT系數量化、運動誤差壓縮以及這類 其它類似操作來執行編碼。在一個實施例中，例如所有運動對象的邊界矩形、所有運動對象 的對象級運動向量、對象組對和調整大小因數、經編碼和經壓縮運動誤差值的事件信息可 通過網絡發送給中央計算機系統190。已經參照示例實施例描述了本發明的某些特征。但是，本描述并不是要以限制方 式進行解釋。對本發明所涉及領域的技術人員顯而易見的示例實施例的各種修改以及本發 明的其它實施例被認為落入本發明的精神和范圍之內。
權利要求
一種視頻捕獲裝置中的方法，包括在第一時間段期間捕獲第一多個視頻幀，從所述第一多個視頻幀建立當前無事件幀，其中，如果所述第一多個視頻幀的相鄰幀對之差小于閾值，則將所述第一多個視頻幀的最后一幀標記為所述當前無事件幀，建立事件幀，其中，如果在建立所述無事件幀之后捕獲的當前幀與在所述當前幀之前捕獲的前一幀之差大于所述閾值，則將所述當前幀標記為所述事件幀，以及將事件信息提供給中央計算系統，其中通過處理從所述事件幀提取的事件來生成所述事件信息。
2.如權利要求1所述的方法，還包括如果所述當前幀與所述無事件幀之差小于所述 閾值，則拒絕在所述第一時間段之后捕獲的所述當前幀。
3.如權利要求1所述的方法，其中，處理所述事件包括在將所述事件信息發送給所述 中央計算系統之前去除所述事件幀的背景信息。
4.如權利要求3所述的方法，其中，去除所述背景包括 在所述事件幀中識別排除所述事件的區域，以及將第一顏色值分配給所述區域的像素，其中將所述第一顏色分配給所述區域的像素去 除所述事件幀中的背景信息。
5.如權利要求3所述的方法，其中，處理所述事件包括生成所述事件幀中運動對象的 實際運動向量。
6.如權利要求5所述的方法，其中，生成所述運動對象的實際運動向量包括 標注所述運動對象，將所述事件幀中的運動對象與所述前一幀中的運動對象組對， 對所述事件幀中運動對象的邊界調整大小以匹配所述前一幀中運動對象的邊界，以及 計算所述事件幀和所述前一幀中運動對象的邊界重心的坐標。
7.如權利要求6所述的方法，還包括計算所述運動對象的運動誤差。
8.如權利要求7所述的方法，其中，計算所述運動誤差包括通過使用所述運動向量將所述前一幀中的運動對象位移來生成所估計運動向量，以及 計算所述實際運動對象圖像與所述運動估計運動對象圖像之差。
9.如權利要求7所述的方法，還包括如果所述運動誤差大于可允許誤差閾值，則執行運動細化，以及 如果所述運動誤差小于所述可允許誤差閾值，則執行運動誤差編碼。
10.如權利要求9所述的方法，執行所述運動細化還包括將所述事件幀中運動對象的邊界細分成第一、第二、第三和第四較小矩形，以及 確定所述第一、第二、第三和第四較小矩形的第一、第二、第三和第四運動向量及誤差。
11.如權利要求9所述的方法，執行所述運動誤差編碼還包括 通過對所述運動誤差執行離散余弦變換來生成變換值，以及 執行所述運動誤差的壓縮。
12.—種設備，包括圖像捕獲單元，在第一時間段期間捕獲第一多個視頻幀，事件感知視頻系統使能控制器，耦合到所述圖像捕獲單元，其中所述事件感知視頻系統使能控制器將從所述第一多個視頻幀建立當前無事件幀，其中，如果所述第一多個視頻幀的相鄰幀 對之差小于閾值，則將所述第一多個視頻幀的最后一幀標記為所述當前無事件幀，以及建立事件幀，其中，如果在建立所述無事件幀之后捕獲的當前幀與在所述當前幀之前 捕獲的前一幀之差大于所述閾值，則將所述當前幀標記為所述事件幀，以及網絡接口，耦合到所述事件感知視頻系統使能控制器，其中，所述網絡接口將事件信息 傳遞給中央計算系統，其中通過處理從所述事件幀提取的事件來生成所述事件信息。
13.如權利要求12所述的設備，還包括幀緩沖器，耦合到所述事件感知視頻系統使能控制器，其中所述幀緩沖器將存儲所述 第一多個圖像，以及無事件幀緩沖器，耦合到所述事件感知視頻系統使能控制器，其中所述無事件幀緩沖 器將存儲所述無事件幀。
14.如權利要求12所述的設備，其中，所述事件感知視頻系統使能控制器將在處理所 述事件幀時去除所述事件幀的背景信息。
15.如權利要求14所述的設備，其中，所述事件感知視頻系統使能控制器將 在所述事件幀中識別排除所述事件的區域，以及將第一顏色值分配給所述區域的像素，其中將所述第一顏色分配給所述區域的像素去 除所述事件幀中的背景信息。
16.如權利要求14所述的設備，其中，所述事件感知視頻系統使能控制器將生成所述 事件幀中運動對象的實際運動向量。
17.如權利要求16所述的設備，其中，所述事件感知視頻系統使能控制器將 標注所述運動對象，將所述事件幀中的運動對象與所述前一幀中的運動對象組對， 對所述事件幀中運動對象的邊界調整大小以匹配所述前一幀中運動對象的邊界，以及 計算所述事件幀和所述前一幀中運動對象的邊界重心的坐標。
18.如權利要求17所述的設備，其中，所述事件感知視頻系統使能控制器將計算所述 運動對象的運動誤差。
19.如權利要求18所述的設備，其中，所述事件感知視頻系統使能控制器將通過使用所述運動向量將所述前一幀中的運動對象位移來生成所估計運動向量，以及 計算所述實際運動對象圖像與所述運動估計運動對象圖像之差。
20.如權利要求18所述的設備，其中，所述事件感知視頻系統使能控制器將 在所述運動誤差大于可允許誤差閾值時執行運動細化，以及在所述運動誤差小于所述可允許誤差閾值時執行運動誤差編碼。
21.如權利要求20所述的設備，其中，所述事件感知視頻系統使能控制器將 把所述事件幀中運動對象的邊界細分成第一、第二、第三和第四較小矩形，以及 確定所述第一、第二、第三和第四較小矩形的第一、第二、第三和第四運動向量及誤差。
22.—種系統，包括 事件感知視頻系統，其中，所述事件感知視頻系統將從第一多個視頻幀建立當前無事件幀，其中如果所述第一多個視頻幀的相鄰幀對之差小于閾值，則將所述第一多個視頻幀的最后一幀標記為所 述當前無事件幀，以及其中，所述事件感知視頻系統將建立事件幀，其中如果在建立所述無事件幀之后捕獲 的當前幀與在所述當前幀之前捕獲的前一幀之差大于所述閾值，則將所述當前幀標記為所 述事件幀，以及網絡，將所述事件感知視頻系統耦合到中央計算系統，其中所述網絡將事件信息傳遞 給中央計算系統，其中通過處理從所述事件幀提取的事件來生成所述事件信息。
23.如權利要求22所述的系統，其中，所述事件感知視頻系統將，通過將所述幀標記為所述事件幀來檢測場景中事件的發生，以及通過處理所述事件幀來生成經處理數據，其中通過從所述事件幀去除背景信息、確定 所述事件幀中運動對象的運動、確定運動誤差以及對所述運動誤差進行編碼來生成經處理 數據。
24.如權利要求22所述的系統，其中，所述中央計算系統將接收所述經處理數據，并且 再現所述事件信息，其中再現所述經處理數據將保存所述中央計算系統的處理周期。
25.如權利要求22所述的系統，其中，所述網絡將所述經處理數據傳遞給所述中央計 算系統，其中傳遞所述經處理數據保存所述網絡的帶寬。
全文摘要
事件感知視頻系統(EAVS)將在第一時間段期間捕獲視頻幀，并處理視頻幀的事件部分，然后將經處理數據傳遞給中央計算系統。EAVS可從視頻幀建立當前無事件幀，其中如果視頻幀的相鄰幀對之差小于閾值，則視頻幀的最后一幀被標記為當前無事件幀。EAVS可建立事件幀，其中如果當前幀與在當前幀之前捕獲的前一幀之差大于閾值，則在建立無事件幀之后捕獲的當前幀被標記為事件幀。EAVS可通過處理事件幀的事件來生成經處理數據。
文檔編號H04N7/18GK101978696SQ200980110616
公開日2011年2月16日 申請日期2009年3月16日 優先權日2008年3月18日
發明者C·楊, M·阿迪萊塔 申請人:英特爾公司