專利名稱：用于基本計算機的視覺監視的最佳多攝像機設置的制作方法
本申請請求已于2001年9月27日提交的美國臨時申請NO.60/325,399的優先權，代理人卷號US010482P。
本發明涉及安全系統領域，并且特別是涉及有助于計算機視覺應用的多臺攝像機的放置。
攝像機常用于安全系統和其它視覺監視應用中。不斷地開發出來計算機程序和應用程序以用于處理從一臺攝像機或多臺攝像機獲取的圖像信息。臉部和圖形識別系統提供當被識別人或物品在一個視場或多個視場中移動時對他們進行跟蹤的能力。
US專利6,359,647“用于在多攝像機系統中圖形跟蹤的自動攝像機移交系統(Automated camera handoff system for figuretracking in a multiple camera system)”，于2002年3月19日頒發給Soumitra Sengupta，Damian Lyons，Thomas Murphy和Daniel Reese，其中公開了一種自動跟蹤系統，這種跟蹤系統被配置成用來在多攝像機環境下在一個受保護的建筑物或區域中，當目標從一間房間到另一間房間或從一個區域到另一個區域時自動指引攝像機保持目標圖像至少在一臺攝像機的視場內，其在這里引用作為參考。其它的多攝像機圖像處理系統在本技術領域內是常見的。
在多攝像機系統中，每一臺攝像機的放置影響圖像處理系統的性能和有效性。典型地，每臺攝像機正確放置的判定都是人工操作，其中保安專業人員評定區域并且將攝像機放置能夠提供有效和充分的覆蓋的位置。有效的覆蓋通常定義為可以最小化每一個攝像機的視場內的“盲點”的攝像機放置。充分覆蓋通常定義為盡可能的少使用攝像機，以降低花費和復雜性。
由于在多攝像機調配中可能出現攝像機視場的交集，并且由于與每臺攝像機位置相關的障礙物所產生的不同的隱藏視場，所以決定最佳的攝像機放置通常并非一件無足輕重的事情。持續地開發算法，以便最優化攝像機的放置，從而有效和充分地覆蓋受保護區域。PCT申請PCT/US00/40011“用于視頻覆蓋的最優化方法(Method foroptimization of video coverage)”，作為WO 00/56056于2000年9月21日為Moshe Levin和Ben Mordechai公布，在這里引用作為參考，講授一種使用了遺傳算法和模擬鍛煉算法來決定多臺攝像機最佳覆蓋的位置和角度方向的方法。生成并且評估可供選擇的潛在的位置，直到該算法找到一種使系統所提供的覆蓋最優化的解決方案。
在用于在受保護區域內最優地放置多臺攝像機的常規方案中，無論是人工的方案還是自動的方案，或者是兩者的結合，放置的目標都是使用最少數量的攝像機來最大化受保護區域的視覺覆蓋。然而，達到這一目標對于計算機視覺應用來說通常既不有效也不充分。
本發明的一個目標就是提供一種有助于計算機視覺應用的用于在多臺攝像機環境下決定攝像機放置的方法和系統。本發明更進一步的目標是在傳統的多攝像機調配中決定附加的攝像機放置以有助于計算機視覺應用。
這些目標和其它目標通過定義攝像機調配的有效性測量值來實現，攝像機調配的有效性包括提供圖像信息給計算機視覺應用的攝像機有效性。除了基于多臺攝像機調配所提供的視覺覆蓋的測量值以外，或作為其替代，調配的有效性包括在一個或更多計算機視覺應用的能力基礎上使用調配的攝像機提供的圖像信息來執行他們預期功能的測量。特別要注意的是，攝像機的調配還要考慮該調配提供的透視信息。
參考附圖使用舉例的方法更詳細地解釋了發明，在附圖中

圖1說明依照本發明的多攝像機調配系統示例的流程圖。
圖2說明依照本發明的多攝像機調配系統第二個示例的流程圖。
在這些圖中，同樣的標記數字表明相似或者相應的特征或功能。
本發明基于這樣的觀察為前提提供有效地視覺覆蓋的攝像機調配不必要為有效的計算機視覺處理提供充分的圖像信息。提供寬的覆蓋范圍的攝像機位置可以不提供透視信息；提供透視辨別力的攝像機位置可以不提供可辨別的范圍信息；諸如此類。在典型的“最優”攝像機調配中，例如，一間沒有障礙物的規則形狀的房間將分配一臺攝像機，位于房間的上部拐角處，并且對準方向和房間對角線一致，稍微地朝向下方。假定攝像機的視場足夠寬，足以包含整個房間，或者可以通過調整來掃視整個房間，一臺攝像機足夠用于房間的視覺覆蓋。如在作為參考的US專利6,359,647中所闡明的，房間或走廊很少包含超過一臺攝像機，附加的攝像機僅僅在障礙物干擾攝像機視場時才被使用。
為了識別觀察范圍并基于場景內物體的三維位置提供對于該場景的解釋，計算機視覺系統通常要求對于一個場景的超過一臺攝像機的視圖。同樣地，通過放置攝像機來提供視覺覆蓋通常是不夠的。盡管已經可以得到多個算法以用于根據單幅2-D圖像或根據多幅來自于具有pan-tilt-zoom功能的攝像機的2-D圖像來估計3-D尺寸，但這樣的方法與使用來自不同視點的同一場景的圖像的算法相比，基本上缺乏有效性或者充分性。
一些來自單一攝像機的2-D圖像提供極好的3-D尺寸確定，例如一臺懸掛式的攝像機的自頂向下的視圖，因為圖像標識出目標對象在房間中的位置，并且這種對象標識出它的大概高度。然而，這樣的圖像明顯地不足于決定場景的范圍，特別地，不足以用于典型的計算機視覺應用，例如圖像或姿態識別。
圖1說明一種依照本發明的包含調配的計算機視覺有效性考慮的多攝像機調配系統示例流程圖。在110，定義了一種建議的初始攝像機調配，例如，通過識別在受保護區域的顯示平面圖上的攝像機位置。可選地，在120，使用在本技術領域內常用的技術，評定調配提供的視覺覆蓋。在130，確定了調配的“計算機視覺有效性”，這一點在下文中進一步地討論。
每個計算機視覺應用基于從圖像中提取的選擇參數執行自己的函數。特殊的參數和每個函數的靈敏度是可識別的。例如，姿態識別函數可以對水平和垂直運動(揮舞胳膊等)非常敏感，又對縱深運動有些不敏感。分別地定義x、y和z為水平、垂直和縱深方向，姿態識別函數可以說成是對delta-x和delta-y檢測敏感。因此，在這個例子中，確定用于姿態識別的計算機視覺調配的有效性將基于該調配提供的來自圖像的delta-x和delta-y參數的好壞程度。這樣的一種確定基于每臺攝像機相對于受保護區域的位置和方向，例如使用一種幾何模型和傳統的微分學。試探法和其他簡化也可以使用。明顯地，例如，一臺朝向下方瞄準的攝像機將提供最小的(如果有的話)delta-y信息，并且它的用于圖形識別的有效性測量值將是不佳的。可以應用一種評價系統代替正式的幾何模型，其中基于每臺攝像機的相對于水平方向的視角賦予它一個值。
同樣地，圖像識別函數也許對圖像在x和y方向上的分辨率敏感，并且將基于在所覆蓋區域上可實現的分辨率來測量圖像識別的有效性。在這個例子中，房間中墻上的攝像機可以為墻附近的對象提供好的x和y分辨率，但是對于遠在對面墻附近的對象只能提供差的x和y辨析率。在這樣的例子中，在遠在對面的墻上放置附加的攝像機將增加在整個房間內可以得到的分辨率，但是相對于提供房間的視覺覆蓋來說則是多余的。
另一方面，預測在受保護區域內入侵者路線的運動估計函數在不提供垂直出口的區域(例如房間內)也許對于水平和縱深運動(delta-x和delta-z)敏感，但是對垂直運動(delta-y)相對地不敏感，在提供垂直出口的區域(例如樓梯內)對垂直運動敏感。在這樣的應用中，計算機視覺有效性的測量值將包括由房間內攝像機提供的delta-x和delta-z敏感性測量值和走廊上攝像機提供的delta-y敏感性測量值。
要注意的是，計算機視覺系統的敏感性不只局限于以上討論的例子x，y，z參數。無論被識別人面向什么方向，面部識別系統都希望識別出這個人。同樣地，除了x和y分辨率之外，系統將對每臺攝像機的視場方向敏感，并且調配的有效性將依賴于來自很多方向的相交視場。
調配的有效性的評估是一種典型的基于每臺攝像機的有效性以及多個攝像機組合的有效性的復合測量。例如，如果計算機視覺應用對delta-x，delta-y和delta-z敏感，那么即使兩臺攝像機都不提供全部三個參數，兩臺攝像機相互之間以及和受保護區域之間的關系都可以提供充分的透視信息用以確定delta-x，delta-y和delta-z。在這樣的情況下，當這臺攝像機和另一臺攝像機的組合確定了一個較高的值時，本發明的調配系統配置成“忽略”由單獨攝像機確定的較差的值。
考慮到這個公開以及考慮到計算機視覺應用所執行的特別的函數，這些和其它的用于確定調配的計算機視覺有效性的方法對于本技術領域內普通技術人員將是明顯的。
在優選的實施例中，如果特殊的計算機視覺應用是未知的，則調配系統配置為假定調配必須為在受保護區域內的對象提供正確的x，y和z坐標，并且根據調配所提供的透視信息測量計算機視覺有效性。如上所述，這種透視測量值通常是基于兩臺或者更多臺在受保護區域內具有視場交集的攝像機的位置和方向確定的。
在140，基于從130測量的計算機視覺有效性，以及可選地，基于從120測量的該調配所提供的視覺覆蓋來評估調配的可接受性。如果調配不可接受，則在150對其進行修改，并且過程130-140(可選地120-130-140)將重復直到找到一種可接受的調配。在150處的修改可以包括對現存的攝像機重新定位或者給調配增加新的攝像機，或者兩者兼有。
在150處的修改可以是自動的或是人工的，或是兩者的結合。在優選的實施例中，調配系統突出顯示具有不足的計算機視覺有效性的一個或多個區域，并且為附加的攝像機建議一個位置。因為初始的調配110被典型地設計為保證充分的視覺覆蓋，所以假定提供一臺附加的攝像機是對于改變初始攝像機的位置的優選替換方案，盡管用戶可以選擇改變這些初始的位置。并且，這個調配系統特別適于增強現有的多攝像機系統，而且增加攝像機通常是比移動一臺以前安裝的攝像機更容易的任務。
圖2說明依照本發明的多攝像機調配系統第二個示例的流程圖。在這個實施例中，為了提供充分的視覺覆蓋，在210確定攝像機位置。在210的這個調配可以跟現有的已經安裝用于提供視覺覆蓋的調配一致，或者可以跟提議的調配一致，例如像以上參考PCT申請PCT/US00/40011所公開的技術提供的，或在本技術領域內常用的其它自動調配方法。
與以上討論的關于圖1的塊130一樣，調配的計算機視覺有效性在220確定。在230，確定調配的可接受性。在這個實施例中，因為在210初始的調配是明確地被設計為提供充分的視覺覆蓋，所以在230調配的可接受性只取決于在220確定的計算機視覺有效性。
在240，將一臺新的攝像機加入到調配，而在250，確定每臺新攝像機的位置。在本發明的優選實施例中，確定現有調配在前述特殊計算機視覺應用的敏感性方便的特殊不足。例如，如果當前的調配沒有提供delta-z敏感性，則懸掛式的攝像機位置是一種可能的解決方案。在優選的實施例中，讓用戶選擇識別在其中可以加入和/或不加入新的攝像機的區域。例如，在外部區域中，將標出現有的桿或其它可以在上邊安裝攝像機的結構的位置。
需要注意的是，在本發明優選的實施例中，過程250被配置為，每當加入一臺新的攝像機，都要重新確定加入的每臺攝像機的位置。更確切地說，正如在本技術領域內眾所周知的如果另一臺攝像機也要放置，那么一臺攝像機的最佳放置也許不符合該攝像機的最佳放置。同樣地，如果第三臺攝像機加入，最初的兩臺攝像機的最佳位置也許會改變。
在優選的實施例中，為了在復雜的環境中使處理任務容易，將受保護區域分割成多個子區域，在其中在一個子區域中的攝像機的調配實質上和另一個子區域中的調配是相互獨立的。換句話說，例如，因為在一間房間中調配的攝像機的計算機視覺有效性很可能和在與第一間房間基本視覺隔離的另一間房間中調配的攝像機的計算機視覺有效性相互獨立，所以每間房間內攝像機的調配作為獨立的調配過程來處理。
上述僅僅說明了本發明的原理。應該理解，在本技術領域內的普通技術人員將能設計各種裝置，這些裝置盡管不能在這里明確地描述或說明，但是體現了本發明的原理并且因此屬于權利要求的范圍和精神內。
權利要求
1.一種在多攝像機系統中調配攝像機的方法，包含至少部分地基于由位于多個攝像機位置處的攝像機的調配提供的對于期望的計算機視覺有效性的測量值，確定(130，220)有效性的測量值，并且基于該調配的有效性的測量值來確定(140，230)該調配是否可接受。
2.權利要求1的方法，進一步包括修改(150，240-250)多個攝像機位置中的一個或多個攝像機位置，以提供可供選擇的調配，至少部分地基于可供選擇的調配來確定(130，220)有效性的第二測量值，并且基于有效性的第二測量值來確定(140，230)可供選擇的調配是否可接受。
3.權利要求1的方法，進一步包括通過向多個攝像機位置增加一個或更多的攝像機位置來修改(240-250)調配以提供可供選擇的調配，至少部分地基于可供選擇的調配來確定(130，220)有效性的第二測量值，并且基于有效性的第二測量值來確定(140，230)可供選擇的調配是否可接受。
4.權利要求1的方法，其中至少部分地基于由位于多個攝像機位置的攝像機的調配提供的期望的視覺覆蓋來進一步確定(130，220)有效性的測量值。
5.權利要求1的方法，其中計算機視覺有效性的測量值是基于由調配提供的透視測量值的。
6.權利要求1的方法，進一步包括在多個攝像機位置調配(160，260)攝像機。
7.一種在多攝像機系統中調配攝像機的方法，包含基于由調配提供的期望的視覺覆蓋來確定(210)位于多個攝像機位置的攝像機的第一調配，確定(220)由位于多個攝像機位置的攝像機的第一調配提供的期望的計算機視覺有效性的測量值，并且基于第一調配和期望的計算機視覺有效性的測量值來確定(250)攝像機的第二調配。
8.權利要求7的方法，其中第二調配包含第一調配的多個攝像機位置和提供比第一調配更高的期望的計算機視覺有效性的測量值的一個或更多個附加的攝像機位置。
9.權利要求7的方法，其中期望的計算機視覺有效性的測量值包含由第一調配提供的透視測量值。
10.權利要求7的方法，進一步包含依照第二調配來調配(160，260)攝像機。
11.一種計算機程序，當在計算機系統上運行時，使計算機系統執行以下操作至少部分地基于由位于多個攝像機位置的攝像機的調配提供的期望的計算機視覺有效性的測量值來確定(130，220)有效性的測量值，和基于調配的有效性的測量值來確定(140，230)該調配是否可接受。
12.權利要求11的計算機程序，其中該計算機程序進一步使計算機系統修改(150)多個攝像機位置中的一個或更多攝像機位置以提供可供選擇的調配，至少部分地基于可供選擇的調配來確定(130)有效性的第二測量值，并且基于有效性的第二測量值來確定(140)可供選擇的調配是否可接受。
13.權利要求11的計算機程序，其中該計算機程序進一步使計算機系統通過向多個攝像機位置增加一個或更多的攝像機位置來修改(240-250)調配以提供可供選擇的調配，至少部分地基于可供選擇的調配來確定(220)有效性的第二測量值，并且基于有效性的第二測量值來確定(230)可供選擇的調配是否可接受。
14.權利要求11的計算機程序，其中計算機系統進一步至少部分地基于由位于多個的攝像機位置的攝像機的調配提供的期望視覺覆蓋的測量值(120)來確定有效性的測量值。
15.權利要求11的計算機程序，其中計算機視覺有效性的測量值是基于由調配提供的透視測量值的。
16.一個多攝像機調配系統，包含一個測量單元，被安排成用來至少部分地基于由位于多個的攝像機位置的攝像機的調配提供的期望計算機視覺有效性的測量值來確定(130，220)有效性的測量值，并且一個測試單元，被安排成用來基于調配的有效性的測量值來確定(140，230)該調配是否可接受。
全文摘要
對于攝像機調配的有效性測量包括攝像機在為計算機視覺應用提供圖像信息方面的有效性。除了基于由多臺攝像機調配提供的視覺覆蓋進行的測量之外，或作為其替代，調配的有效性還包括基于一個或更多計算機視覺應用的能力進行的測量以便使用調配的攝像機提供的圖像信息執行它們的預期功能。特別要注意的是，攝像機的調配還要考慮由該調配所提供的透視信息。
文檔編號G08B13/196GK1561640SQ02819058
公開日2005年1月5日 申請日期2002年9月11日 優先權日2001年9月27日
發明者M·特拉科維 申請人:皇家飛利浦電子股份有限公司