專利名稱：成像設備和方法、計算機程序產品、以及成像系統的制作方法
技術領域：
本發明涉及成像設備和方法、計算機可讀介質上的計算機程序產品、以及成像系統，用于通過順序變換成像方向進行成像所獲得的全景圖像實現寬范圍場景的監視。
背景技術：
在已經廣泛使用的電子靜止攝像機中，釋放攝像機快門以便拍攝對象而通過鏡頭的光能夠由諸如CCD(電荷耦合器件)的固態圖像傳感器轉換成圖像信號，并且將圖像信號記錄到記錄介質上。一次記錄的圖像信號可以從記錄介質中讀出用于再現。多數電子靜止攝像機具有能夠顯示所捕獲的靜止圖像的監視器，并且在監視器上能夠顯示從已經記錄在記錄介質上的靜止圖像中的一個。在電子靜止攝像機中，供應給監視器的圖像信號相應于每屏一個對象。由于該原因，同時顯示在監視器上的每一個圖像尺寸受到限制，并由此不能用于同時監視任意的寬范圍場景。
由此，已經越來越流行允許監視寬范圍場景的監視攝像機，通過順序變換成像方向以產生由多個單元圖像構成的全景圖像來拍攝對象。近來，已經提出一種收縮/合成多個視頻信號以產生一幀視頻信號的技術(如1998年的日本待審專利申請公開No.108163)、以及能夠從多個現有監視視頻攝像機收集監視視頻信號并將該信號記錄到諸如錄像帶的記錄介質的集中監視/記錄系統，用于監視目的(如日本待審專利申請公開No.)。

發明內容
在此種監視攝像機安裝在禁入區域(受限區域)的情況下，最重要的問題是僅對禁入該禁入區域的人等進行″最有效且精確″的成像。
但是，為了在觀察記錄在諸如上述錄像帶的記錄介質中的監視圖像時檢測成像范圍內的某些變化，觀察者應當仔細觀察每一次掃描所供應的監視圖像。觀察者必須時時小心以便不會忽略被觀察圖像的甚至很小的變化、非常小的對象的出現等等，這需要很多勞力和時間。此外，由于監視/監測系統依賴于觀察者的眼睛，因此他或她有可能不能發現場景的這些變化。
為了在晚上監視此區域，觀察者必須非常仔細，以便在光線不足時由攝像機捕獲的黑暗圖像中不漏掉任何入侵者。尤其是在被監視的場景范圍較廣時，發現入侵者極其困難。
此外，由于晚上攝像機捕獲的圖像本身非常暗，以致很難知道入侵的細節，即，人從哪個建筑的哪個部分進入禁入區域或者入侵者按照什么路徑移動。被監視的場景范圍越廣，越難以知道上述細節。
另外，由無需考慮對象亮度而能夠對對象進行成像的紅外攝像機捕獲的視頻信息被轉換成單色圖像向外部輸出。因此，在對缺乏形狀和溫度分布的變化的對象進行成像的情況下，大多很難驗證目標和目標周圍的場景。
因此，期望克服現有技術的上述缺陷，本發明提供一種能夠日夜進行寬范圍地監視諸如涉及背景的人之類的特定對象的成像設備和方法、使計算機通過成像方法控制成像設備的成像操作的計算機可讀介質上的計算機程序產品、以及成像系統。
根據本發明，提供一種成像設備，包括彩色成像部件，用于通過順序調整一起形成全景圖像的每一個單元圖像的成像方向進行彩色成像；紅外成像部件，用于通過順序調整一起形成全景紅外圖像的每一個單元圖像的成像方向由紅外輻射測量進行成像；全景圖像存儲/管理部件，用于存儲/管理通過疊加由彩色成像部件捕獲的彩色的多個單元圖像一個到另一個上所生成的全景彩色圖像、和通過疊加由紅外成像部件紅外輻射測量捕獲的多個單元圖像一個到另一個上所生成的全景紅外圖像；圖像合成部件，用于在通過將紅外成像部件的成像方向控制到成像范圍內的一個期望方向上所拍攝的對象的圖像上、疊加全景圖像存儲/管理部件所存儲/管理的全景彩色圖像中相應于紅外成像部件已經對對象進行成像的位置處的彩色圖像；以及圖像顯示部件，用于顯示圖像合成部件疊加生成的圖像。
根據本發明，還提供一種成像方法，包括步驟通過順序設置一起形成全景圖像的每一個單元圖像的成像方向進行彩色成像；通過順序設置一起形成全景紅外圖像的每一個單元圖像的成像方向由紅外輻射測量進行成像；存儲/管理通過疊加在彩色成像步驟中捕獲的彩色的多個單元圖像一個到另一個上所生成的全景彩色圖像、和通過疊加在全景紅外成像步驟中由紅外輻射測量捕獲的多個單元圖像一個到另一個上所生成的全景紅外圖像；將成像方向控制到成像范圍內的一個期望方向上通過紅外輻射測量對對象進行成像；在紅外成像步驟中通過紅外輻射測量所捕獲的對象的紅外圖像上、疊加全景圖像存儲/管理步驟所存儲/管理的全景彩色圖像中相應于紅外成像步驟已經對對象進行成像的位置處的彩色圖像；以及顯示在圖像合成步驟中疊加生成的圖像。
根據本發明，還提供一種計算機可讀介質上的計算機程序產品，所述計算機程序產品使計算機執行包括下列步驟的成像控制處理通過順序設置一起形成全景圖像的每一個單元圖像的成像方向進行彩色成像；通過順序設置一起形成全景紅外圖像的每一個單元圖像的成像方向由紅外輻射測量進行成像；
存儲/管理通過疊加在彩色成像步驟中捕獲的彩色的多個單元圖像一個到另一個上所生成的全景彩色圖像、和通過疊加在全景紅外成像步驟中由紅外輻射測量捕獲的多個單元圖像一個到另一個上所生成的全景紅外圖像；將成像方向控制到成像范圍內的一個期望方向上通過紅外輻射測量對對象進行成像；在紅外成像步驟中通過紅外輻射測量所捕獲的對象的紅外圖像上、疊加全景圖像存儲/管理步驟所存儲/管理的全景彩色圖像中相應于紅外成像步驟已經對對象進行成像的位置處的彩色圖像；以及顯示在圖像合成步驟中疊加生成的圖像。
根據本發明，還提供一種成像系統，包括彩色成像設備，用于通過順序調整一起形成全景圖像的每一個單元圖像的成像方向進行彩色成像；紅外成像設備，用于通過順序調整一起形成全景紅外圖像的每一個單元圖像的成像方向由紅外輻射測量進行成像；以及控制器，用于通過網絡控制彩色成像設備和紅外成像設備的操作，所述控制器包括全景圖像存儲/管理部件，用于存儲/管理通過疊加由彩色成像設備捕獲的彩色的多個單元圖像一個到另一個上所生成的全景彩色圖像、和通過疊加由紅外成像設備紅外輻射測量捕獲的多個單元圖像一個到另一個上所生成的全景紅外圖像；圖像合成部件，用于在通過將紅外成像設備的成像方向控制到成像范圍內的一個期望方向上所拍攝的對象的圖像上、疊加全景圖像存儲/管理部件所存儲/管理的全景彩色圖像中相應于紅外成像設備已經對對象進行成像的位置處的彩色圖像；以及圖像顯示部件，用于顯示圖像合成部件疊加生成的圖像。
根據本發明，在通過將成像方向控制到成像范圍內的一個期望方向上由紅外輻射測量拍攝對象所獲得的紅外圖像上、疊加全景彩色圖像中相應于對象的成像位置處的彩色圖像，以便生成用以顯示的合成圖像。因此，即使在晚上也能夠將對象存在的區域顯示為紅外圖像的亮度分布，并且由此相對于其背景對象存在的區域的位置也能夠明確地識別。另外，由于能夠防止遺漏人類的任何輕微移動，因此本發明能夠實現高分辨率的監視/監測。


圖1示出根據本發明的監視/監測系統的結構；圖2是攝像機單元和監視器的方框圖；圖3說明使用攝像機單元以視角對背框(back-framed)觀察范圍進行成像；圖4示出顯示器上的觀察區域的成分示例；圖5示出顯示在顯示器上的合成圖像示例；圖6示出由監視/監測系統中的監視器5進行的成像控制的操作流程；圖7A和7B示意示出在成像控制中的預處理1的內容；圖8示意示出在成像控制中的預處理2的內容；以及圖9A和9B說明在成像控制中關于成像位置的坐標變換信息的生成。
具體實施例方式
下面將參照附圖詳細描述本發明的實施例。
本發明應用到例如如圖1所示構造的監視/監測系統1。
監視/監測系統1包括可見光彩色攝像機單元2，通過拍攝對象生成圖像信號；紅外攝像機82；監視器5，至少從彩色攝像機單元2向其供應圖像信號；顯示器6，連接到監視器5；終端單元9，由多個用戶使用以執行他們的應用；終端顯示器10，連接到終端單元9；以及網絡8，在彩色攝像機單元2、監視器5和終端單元9之間進行雙向通信。
在監視/監測系統1中，彩色攝像機單元2是搖擺/傾斜器3和攝像機模塊4的集成。搖擺/傾斜器3形成為能夠關于傾斜和搖擺軸轉動的旋轉平臺，以便例如自由地改變成像方向。
攝像機模塊4安裝在作為旋轉平臺的搖擺/傾斜器3上，以便在監視器5的控制下使其成像方向水平或垂直地改變時拍攝對象。另外，在監視器5的控制下，當視角改變時攝像機模塊4通過增加或減小其光焦度對對象進行成像。通過為一個監視器5提供多個攝像機模塊4，能夠使用攝像機單元在不同的視角分別拍攝對象，并由此從多個視點獲得圖像信息。
監視器5由諸如個人計算機等的電子設備構成，記錄從彩色攝像機單元2和紅外攝像機82發送的圖像信號，并將如此記錄的圖像信號發送給顯示器6用以顯示給用戶。另外，當用戶指定圖像的期望部分或點時，監視器5選擇最優的記錄圖像信號并控制顯示器6顯示所指定的圖像部分或點。監視器5起到所謂的中央控制器的作用，以便控制整個網絡8和在終端單元9請求時發送圖像給終端單元9。應該指出的是，監視器5的結構將在下文中詳細描述。
網絡8是能夠進行信息雙向通信的公共通信網絡，例如通過電話網絡連接到監視器5的因特網、連接到TA/調制解調器的ISDN(綜合服務數字網)/B-ISDN(寬帶ISDN)等。應該指出的是，在監視/監測系統1用在固定的窄區域的情況下，網絡8可以由LAN(局域網)構成。另外，網絡8可以由所謂的光纖通信網絡構成。此外，可以將網絡8設計為發送MPEG圖像以及靜止圖像。在這種情況下，將根據因特網協議(IP)從一個信道連續發送MPEG數據，而從另一個信道以恒定時間間隔發送靜止圖像數據。
終端單元9是個人計算機(PC)，通過其每一個家庭或辦公室中的用戶能夠通過網絡8從監視器5獲取圖像，以便執行此圖像數據的期望處理。通過將多個終端單元9連接到網絡8，針對監視/監測系統1的應用能夠同時提供給多個用戶。終端單元9在終端顯示器10上顯示從監視器5獲得的圖像。另外，終端單元9響應用戶輸入的命令生成請求信號，并將該信號發送給監視器5。應該指出的是，終端單元9的模塊結構與下文中將要描述的監視器5類似，由此不再詳細描述。
下面將參照圖2說明和描述根據本發明的監視/監測系統1的每一個組件。
如圖2所示，彩色攝像機單元2、紅外攝像機82和監視器5連接到公共控制器總線21。
包括在彩色攝像機單元2中的搖擺/傾斜器3包括用于改變成像方向的傾斜模塊3a和搖擺模塊3b。彩色攝像機單元2包括攝像機模塊4。攝像機模塊4主要包括鏡頭控制器23，用于改變鏡頭模塊22的視角；成像設備24，布置在垂直于鏡頭模塊22的光軸的位置上；IEEE(電氣和電子工程師協會)1394接口25，用于將成像設備24生成的圖像信號發送到圖像輸入/輸出單元13；GPS(全球定位系統)接收器28，用于檢測彩色攝像機單元2的當前位置；以及元數據生成器29，設置在GPS接收器28中。應該指出的是，IEEE1394接口25可以用Ethernet(以太網，注冊商標)替換。
監視器5包括連接到1394接口25的緩沖存儲器51、連接到緩沖存儲器51的編碼器52、服務器53、壓縮從服務器53讀取的圖像的圖像壓縮器54、連接到服務器53和圖像壓縮器54用于生成在顯示器6上顯示的圖像的圖形控制器55、通過控制器總線21控制每一個組件的CPU56、以及分別連接到I/O端口58的存儲器卡61和時鐘62。
監視器5還包括由用戶使用的鍵盤59和鼠標60，用以在顯示器6顯示的圖像中指定期望的圖像區域和位置。
在每一個傾斜模塊3a和搖擺模塊3b中，根據從CPU 56供應的驅動信號，驅動設計為旋轉平臺的驅動源的步進電機以便旋轉。由此，能夠水平或垂直地改變配置在旋轉平臺上的攝像機模塊4的成像方向。
鏡頭控制器23根據從CPU 56供應的驅動信號控制鏡頭模塊22進行自動光圈控制和聚焦控制。另外，鏡頭控制器23根據該驅動信號改變相對于對象的視角。因此，攝像機單元4也能夠使用順序調整的放大率來拍攝對象。
成像設備24是諸如CCD的固態圖像傳感器。在成像設備24中，通過鏡頭模塊22入射的對象圖像形成在成像屏幕上并被轉換成電信號以生成圖像信號。將圖像信號發送到IEEE1394接口25。
配置GPS接收器28用以根據從GPS系統發送的信號檢測彩色攝像機單元2的位置和成像方向。尤其是在配置多個彩色攝像機單元2的情況下，GPS接收器28允許彼此協同地控制彩色攝像機單元2的成像方向。GPS接收器28的輸出信號供應給元數據生成器29，配置元數據生成器29用于根據GPS系統的定位結果生成包括經度、緯度、方位、海拔高度等的位置信息，并且生成包括時間和各種參數的元數據。元數據生成器29將位置信息和元數據供應給編碼器52。應該注意的是在本發明中，可以省略上述GPS接收器28和元數據生成器29。
應指出的是，紅外攝像機82的構造與彩色攝像機單元2類似，在此省略其詳細描述。
但是應注意的是，紅外攝像機82是包括用于檢測例如從人體表面發射的紅外輻射的熱圖像傳感器或IRCCD圖像傳感器的熱攝像機或IRCCD攝像機。也就是說，紅外攝像機82使用所謂的熱敏成像法來測量人體表面溫度變化，形成所謂的熱圖像或所謂的紅外圖像。在紅外攝像機82中，來自人體的紅外輻射由與彩色攝像機單元2中的成像設備24相對應的傳感器(未示出)檢測。在該圖像傳感器(未示出)中，將所檢測的紅外輻射的強度轉換成相應的電信號，將該電信號放大到預定電平，從而形成紅外圖像。在下面的描述中，形成該紅外圖像的信號將被稱作″紅外圖像信號″。
應注意，將紅外攝像機82設計為捕獲在設置溫度范圍內的對象的圖像作為紅外圖像。通過將溫度范圍設置為大約人體溫度±3℃，能夠以精確方式僅檢測來自人體的紅外輻射。應該指出的是，對于紅外攝像機82，用戶可以使用鼠標60隨意設置溫度比率，這將在下文中詳述。
在CPU 56供應的控制信號的控制下，緩沖存儲器51臨時存儲從IEEE1394接口25供應的圖像信號和紅外圖像信號。臨時存儲在緩沖存儲器51中的圖像信號和紅外圖像信號供應給編碼器52，根據諸如JPEG(聯合圖像專家組)的標準進行壓縮編碼。應該指出的是，編碼器52可以是將元數據生成器29供應的位置信息和元數據添加到待壓縮編碼的圖像信號和紅外圖像信號的編碼器。編碼器52將壓縮編碼的圖像信號和紅外圖像信號輸出到服務器53或圖像壓縮器54。應該指出的是，在供應的圖像信號和紅外圖像信號不必進行壓縮編碼的情況下，編碼器52將不進行壓縮編碼。
服務器53與位置信息和元數據相關聯一個接一個地記錄從編碼器52供應的圖像信號和紅外圖像信號。應該指出的是，服務器53可以用硬盤或可移除盤形記錄介質替代。在CPU 56的控制下，將記錄在服務器53中的圖像信號讀出到圖像壓縮器54和圖形控制器55。還應注意，通過受CPU 56控制的服務器53將其中記錄的圖像信號和紅外圖像信號傳送到存儲器卡61，用戶可以將如此捕獲的圖像移動到其它個人計算機(PC)。另外，通過受CPU 56控制的服務器53將其中記錄的圖像信號和紅外圖像信號傳送到前面提及的網絡服務器(未示出)，可以用網絡服務器(未示出)取代服務器53。
圖像壓縮器54將從服務器53讀出的JPEG格式的圖像信號壓縮成壓縮圖像或縮略像。另外，CPU 56控制圖像壓縮器54從服務器53讀出圖像并生成運動圖像。應該指出的是，如此將圖像數據壓縮成運動圖像可以根據MPEG、運動-JPEG、運動-JPEG2000等進行。
圖形控制器55根據從服務器53讀出的圖像信號和紅外圖像信號或從圖像處理器54供應的圖像信號和紅外圖像信號進行用于顯示器6的圖形處理。另外，圖形控制器55由CPU 56控制，對顯示器6的對比度和亮度進行控制。
在用戶通過使用鍵盤59或鼠標60指定圖像區域和位置的情況下，CPU 56通過控制器總線21發送用于驅動搖擺/傾斜器3和鏡頭控制器23的驅動信號以及用于控制監視器5中的每一個組件的控制信號。另外，在從終端單元9供應預定請求信號時，CPU 56選擇記錄在服務器53中的最優靜止圖像、運動圖像或各種信息，并控制服務器53將所述圖像或信息發送到終端單元9。
下面將描述根據本發明的監視/監測系統1的圖像拾取操作。
如圖3所示，彩色攝像機單元2以視角u捕獲黑框成像范圍中的圖像。為了能夠以視角u覆蓋整個成像范圍，需要水平或垂直地順序變換成像方向。假定成像范圍的尺寸可以用i×j倍的以任意視角u成像獲得的方框尺寸(下文中將稱作″單元圖像″)表示，則至少需要設置i×j種成像方向。通過疊加i×j個以視角u捕獲的單元圖像一個到另一個上，能夠合成表示整個成像范圍的總圖像。
假定成像范圍包括坐標(M，N)處的單元圖像，其中單元圖像1、2、…、M、i從范圍的左端沿著水平坐標按照該順序布置，并且單元圖像1、2、…、N、j從上端沿著垂直坐標按照該順序步驟，則CPU 56發送驅動信號給傾斜模塊3a和搖擺模塊3b，首先將攝像機模塊4的成像方向設置到左上角坐標(1，1)進行成像。基于通過捕獲坐標(1，1)處的單元圖像所生成的單元圖像的圖像信號臨時存儲在緩沖存儲器51種，然后根據JPEG標準在編碼器52中進行壓縮編碼。將具有指示成像方向等的位置信息的圖像信號和從GPS 28發送的元數據記錄到服務器53中。
類似地，CPU 56發送驅動信號給傾斜模塊3a和搖擺模塊3b以便向右改變攝像機模塊4的成像方向一幀到坐標(2，1)進行成像。通過捕獲坐標(2，1)處的圖像所生成的圖像信號類似地記錄到服務器53中。在CPU 56的控制下，攝像機模塊4通過使其成像方向水平地順序變換到坐標(3，1)、(4，1)、…、(i，1)進行成像。
在完成沿著第一行成像范圍的成像之后，CPU 56控制攝像機模塊4調整成像方向到第2行中的坐標(1，2)進行成像，然后水平地順序改變成像方向進行成像。重復上述操作在完成成像到坐標(i，j)時，服務器53將記錄基于每一個在一個坐標處捕獲的i×j個單元圖像的圖像信號。
在此應該注意，記錄在服務器53中的基于單元圖像的圖像信號由圖像壓縮器54一個接一個地讀出，并壓縮到與顯示器6的顯示屏幕相適。如此壓縮的單元圖像通過圖形控制器15并顯示在顯示器6上。將服務器53中記錄的所有i×j個單元圖像顯示在顯示器6上，以合成一幅整個全景圖像(全景圖像)。通過以規則間隔執行上面所述的成像操作，可以獲取描繪攝像機模塊4的成像范圍覆蓋的最新場景的整個圖像，并且在服務器53中存儲和管理該整個圖像。
圖4示出通過疊加攝像機模塊4捕獲的i×j個單元圖像所合成的整個圖像顯示在顯示器6上的整個圖像顯示區域70中的示例。應該指出的是，監視器5適宜在整個圖像顯示區域70中描繪一起形成整個圖像的單元圖像之間的縫隙或邊界、或者僅在顯示區域70中顯示整個無縫圖像。另外，監視器5可以設計為在整個圖像顯示區域70顯示以完整成像范圍替代整個全景圖像的視角所捕獲的一幅整個圖像。
顯示器6具有顯示屏幕45。如圖所示，顯示屏幕45還包括放大圖像顯示區域71，其中以增大的縮放比例顯示單元圖像。在該放大圖像顯示區域71中，可以顯示用戶指定的顯示在整個圖像顯示區域70上的一起形成整個圖像的單元圖像中的一個，或者可以按照它們的成像方向順序顯示用戶指定的單元圖像。由此，用戶能夠實時地檢查每一個指定的單元圖像的成像方向。
使用鍵盤59或鼠標60，用戶能夠在整個圖像顯示區域70和放大圖像顯示區域71中指定期望的圖像區域和位置。應該指出的是在每一個顯示區域70和71中，也可以顯示十字線或指針，隨著鼠標60等的移動同步地進行用于上述指定的操作。
使用按鍵72、73、75和76替代鼠標60進行對顯示屏幕45的輸入操作，可以增加或減小顯示在放大圖像顯示區域71中的單元圖像的縮放比率、控制成像方向以水平或垂直調整攝像機模塊4的成像方向、以及設置各種可能模式中期望的一種。
應該指出的是，通過以與彩色攝像機單元2相同的方式操作紅外攝像機82，可以形成全景紅外圖像。
根據本發明的監視/監測系統1中的監視器5存儲并管理通過疊加彩色攝像機單元2捕獲的彩色的多個單元圖像所生成的全景彩色圖像、以及通過疊加紅外攝像機82由紅外輻射測量捕獲的多個單元圖像所生成的全景紅外圖像。如圖5所示，例如監視器5在通過將紅外攝像機82的成像方向控制到期望的方向上實時捕獲的對象的圖像PI上疊加服務器5存儲和管理的全景彩色圖像中與紅外攝像機82拍攝的對象的位置相對應的彩色圖像PC，從而提供合成圖像PIC用以在顯示器6上進行顯示。
也就是說，在監視/監測系統1的監視器5中，CPU 56根據存儲在ROM 57中的如圖6的流程圖所示的成像控制程序控制成像操作。
在成像控制過程的預處理1中，由彩色攝像機單元2和紅外攝像機82兩者捕獲整個成像范圍以形成如圖7A和7B所示全景彩色圖像PPC和全景紅外圖像PPI，并且在服務器53中存儲和管理該圖像PPC(步驟S1和S2)。
更具體地說，在步驟S1中，彩色攝像機單元2彩色地捕獲整個成像范圍以便提供多個彩色單元圖像，將單元圖像一個疊加到另一個上以形成全景彩色圖像PPC，并在服務器53中存儲和管理圖像PPC。
在下一步驟S2中，由紅外攝像機82通過紅外輻射測量捕獲整個成像范圍以多個紅外單元圖像，將單元圖像一個疊加到另一個上以形成全景紅外圖像PPI，并在服務器53中存儲和管理圖像PPI。
在成像控制過程的第二預處理2中，將兩個全景圖像PPC和PPI彼此相關地進行定位，如圖8所示，以便獲得關于彩色攝像機單元2和紅外攝像機82的坐標變換信息(步驟S3)。
更具體地說，在步驟S3中，通過疊加彩色地捕獲的多個單元圖像一個到另一個上所形成的全景彩色圖像、以及通過疊加由紅外輻射測量捕獲的多個單元圖像所形成的全景紅外圖像by彼此相關聯地定位，以便生成關于全景彩色和紅外圖像的成像位置的坐標變換信息。
假定全景彩色和紅外圖像位于無失真的兩維平面上，則全景彩色和紅外圖像的成像位置(X，Y)和(x，y)例如具有如圖9所示的下述關系X＝ax+bY＝cy+d通過確定在各自全景圖像中表示相同對象的兩點P1和P2的坐標，可以確定系數a、b、c和d。
通過使用具有前述效果的預處理1和預處理2(步驟S1至S3)，在夜晚監視期間下述常規處理(步驟S4至S7)有效。
也就是說，在常規處理中，監視器5在步驟S4中通過將紅外攝像機82的成像方向控制到成像范圍中期望的成像方向上捕獲對象的圖像，以便獲取包括位置信息的紅外圖像。
在下一步驟S5中，根據包括在步驟S4獲取的紅外圖像中的位置信息，將相應于在步驟S4中對對象進行成像的位置處的彩色圖像從服務器53存儲和管理的全景彩色圖像中提取出來。
在下一步驟S6中，將相應于對象的成像位置處的彩色圖像疊加到紅外圖像上以形成合成圖像。
然后在步驟S7中，將在步驟S6中通過疊加形成的合成圖像顯示在顯示器6上。
通過在將成像方向控制到成像范圍內的一個期望方向上由紅外輻射測量捕獲對象的圖像所獲得的紅外圖像上、疊加包括在全景彩色圖像中的相應于對象的成像位置處的彩色圖像，合成彩色圖像，并且顯示所合成的彩色圖像，即使在晚上也能夠使用紅外圖像的亮度分布顯示對象存在的區域，并且由此能夠在合成圖像中明確地識別相對于對象背景對象存在的區域的位置。另外，由于能夠防止遺漏人類的任何輕微移動，因此本發明能夠實現高分辨率的監視/監測。
此外，使用存儲在成像系統1的服務器53中的該合成圖像，通過網絡8訪問監視器5的終端單元9的用戶能夠在終端顯示器10上觀看該合成圖像。在多個此類終端單元9通過網絡8連接到成像系統1上的情況下，多個用戶能夠同時觀看合成圖像。而且，使用一個接一個地存儲在服務器53中的合成圖像，每一個終端單元9的用戶能夠從服務器53調用過去的合成圖像，以便詳細地進行檢查。
本領域的普通技術人員應該理解，在不脫離所附權利要求及其等價的范圍的情況下，根據設計要求和其它因素可以對本發明進行各種修改、組合、子組合和替換等。
權利要求
1.一種成像設備，包括彩色成像部件，用于通過順序調整一起形成全景圖像的每一個單元圖像的成像方向進行彩色成像；紅外成像部件，用于通過順序調整一起形成全景紅外圖像的每一個單元圖像的成像方向由紅外輻射測量進行成像；全景圖像存儲/管理部件，用于存儲/管理通過疊加由彩色成像部件捕獲的彩色的多個單元圖像一個到另一個上所生成的全景彩色圖像、和通過疊加由紅外成像部件紅外輻射測量捕獲的多個單元圖像一個到另一個上所生成的全景紅外圖像；圖像合成部件，用于在通過將紅外成像部件的成像方向控制到成像范圍內的一個期望方向上所拍攝的對象的圖像上、疊加全景圖像存儲/管理部件所存儲/管理的全景彩色圖像中相應于紅外成像部件已經對對象進行成像的位置處的彩色圖像；以及圖像顯示部件，用于顯示圖像合成部件疊加生成的圖像。
2.根據權利要求1所述的成像設備，其中全景圖像存儲/管理部件關于通過疊加由紅外成像部件紅外輻射測量捕獲的單元圖像一個到另一個上所生成的全景紅外圖像、定位通過疊加由彩色成像部件預捕獲的彩色的單元圖像一個到另一個上所生成的全景彩色圖像，以生成關于彩色成像部件的成像位置和紅外成像部件的成像位置的變換信息，并根據所述變換信息將相應于紅外成像部件的成像位置處的彩色圖像供應給圖像合成部件。
3.一種成像方法，包括步驟通過順序設置一起形成全景圖像的每一個單元圖像的成像方向進行彩色成像；通過順序設置一起形成全景紅外圖像的每一個單元圖像的成像方向由紅外輻射測量進行成像；存儲/管理通過疊加在彩色成像步驟中捕獲的彩色的多個單元圖像一個到另一個上所生成的全景彩色圖像、和通過疊加在全景紅外成像步驟中由紅外輻射測量捕獲的多個單元圖像一個到另一個上所生成的全景紅外圖像；將成像方向控制到成像范圍內的一個期望方向上通過紅外輻射測量對對象進行成像；在紅外成像步驟中通過紅外輻射測量所捕獲的對象的紅外圖像上、疊加全景圖像存儲/管理步驟所存儲/管理的全景彩色圖像中相應于紅外成像步驟已經對對象進行成像的位置處的彩色圖像；以及顯示在圖像合成步驟中疊加生成的圖像。
4.根據權利要求3所述的成像方法，其中在全景圖像存儲/管理步驟，關于通過疊加在紅外成像步驟中由紅外輻射測量捕獲的單元圖像一個到另一個上所生成的全景紅外圖像、定位通過疊加在彩色成像步驟中預捕獲的彩色的單元圖像一個到另一個上所生成的全景彩色圖像，以生成關于彩色成像步驟中的成像位置和紅外成像步驟中的成像位置的變換信息；以及在圖像合成步驟中，根據所述變換信息，通過在紅外圖像上疊加包括在全景彩色圖像中并相應于紅外成像步驟中的成像位置處的彩色圖像來生成合成圖像。
5.一種計算機可讀介質上的計算機程序產品，所述計算機程序產品使計算機執行包括下列步驟的成像控制處理通過順序設置一起形成全景圖像的每一個單元圖像的成像方向進行彩色成像；通過順序設置一起形成全景紅外圖像的每一個單元圖像的成像方向由紅外輻射測量進行成像；存儲/管理通過疊加在彩色成像步驟中捕獲的彩色的多個單元圖像一個到另一個上所生成的全景彩色圖像、和通過疊加在全景紅外成像步驟中由紅外輻射測量捕獲的多個單元圖像一個到另一個上所生成的全景紅外圖像；將成像方向控制到成像范圍內的一個期望方向上通過紅外輻射測量對對象進行成像；在紅外成像步驟中通過紅外輻射測量所捕獲的對象的紅外圖像上、疊加全景圖像存儲/管理步驟所存儲/管理的全景彩色圖像中相應于紅外成像步驟已經對對象進行成像的位置處的彩色圖像；以及顯示在圖像合成步驟中疊加生成的圖像。
6.一種成像系統，包括彩色成像設備，用于通過順序調整一起形成全景圖像的每一個單元圖像的成像方向進行彩色成像；紅外成像設備，用于通過順序調整一起形成全景紅外圖像的每一個單元圖像的成像方向由紅外輻射測量進行成像；以及控制器，用于通過網絡控制彩色成像設備和紅外成像設備的操作，所述控制器包括全景圖像存儲/管理部件，用于存儲/管理通過疊加由彩色成像設備捕獲的彩色的多個單元圖像一個到另一個上所生成的全景彩色圖像、和通過疊加由紅外成像設備紅外輻射測量捕獲的多個單元圖像一個到另一個上所生成的全景紅外圖像；圖像合成部件，用于在通過將紅外成像設備的成像方向控制到成像范圍內的一個期望方向上所拍攝的對象的圖像上、疊加全景圖像存儲/管理部件所存儲/管理的全景彩色圖像中相應于紅外成像設備已經對對象進行成像的位置處的彩色圖像；以及圖像顯示部件，用于顯示圖像合成部件疊加生成的圖像。
7.一種成像設備，包括彩色攝像機單元，用于通過順序調整一起形成全景圖像的每一個單元圖像的成像方向進行彩色成像；紅外攝像機，用于通過順序調整一起形成全景紅外圖像的每一個單元圖像的成像方向由紅外輻射測量進行成像；服務器，用于存儲/管理通過疊加由彩色攝像機單元捕獲的彩色的多個單元圖像一個到另一個上所生成的全景彩色圖像、和通過疊加由紅外攝像機紅外輻射測量捕獲的多個單元圖像一個到另一個上所生成的全景紅外圖像；圖像合成器，用于在通過將紅外攝像機的成像方向控制到成像范圍內的一個期望方向上所拍攝的對象的圖像上、疊加服務器所存儲/管理的全景彩色圖像中相應于紅外攝像機已經對對象進行成像的位置處的彩色圖像；以及圖像顯示器，用于顯示圖像合成器疊加生成的圖像。
8.一種成像系統，包括彩色攝像機設備，用于通過順序調整一起形成全景圖像的每一個單元圖像的成像方向進行彩色成像；紅外攝像機，用于通過順序調整一起形成全景紅外圖像的每一個單元圖像的成像方向由紅外輻射測量進行成像；以及控制器，用于通過網絡控制彩色攝像機設備和紅外攝像機的操作，所述控制器包括服務器，用于存儲/管理通過疊加由彩色攝像機設備捕獲的彩色的多個單元圖像一個到另一個上所生成的全景彩色圖像、和通過疊加由紅外攝像機紅外輻射測量捕獲的多個單元圖像一個到另一個上所生成的全景紅外圖像；圖像合成器，用于在通過將紅外攝像機的成像方向控制到成像范圍內的一個期望方向上所拍攝的對象的圖像上、疊加服務器所存儲/管理的全景彩色圖像中相應于紅外攝像機已經對對象進行成像的位置處的彩色圖像；以及圖像顯示器，用于顯示圖像合成器疊加生成的圖像。
全文摘要
可以在寬范圍內日夜顯現相對于其背景的諸如人體的特定對象，以便在紅外攝像機捕獲的紅外圖像中也能夠明確識別對象相對于背景的位置。為此，本發明提供一種成像設備，包括彩色攝像機單元，用于通過順序調整一起形成全景圖像的每一個單元圖像的成像方向進行彩色成像；紅外攝像機，用于通過順序調整一起形成全景紅外圖像的每一個單元圖像的成像方向由紅外輻射測量進行成像；服務器，用于存儲/管理通過疊加由彩色攝像機單元捕獲的彩色的多個單元圖像一個到另一個上所生成的全景彩色圖像、和通過疊加由紅外攝像機紅外輻射測量捕獲的多個單元圖像一個到另一個上所生成的全景紅外圖像；圖像合成器，用于在通過將紅外攝像機的成像方向控制到成像范圍內的一個期望方向上所拍攝的對象的圖像上、疊加服務器所存儲/管理的全景彩色圖像中相應于紅外攝像機已經對對象進行成像的位置處的彩色圖像；以及圖像顯示器，用于顯示圖像合成器疊加生成的圖像。
文檔編號H04N5/77GK1870738SQ20061008785
公開日2006年11月29日 申請日期2006年5月26日 優先權日2005年5月26日
發明者池田幸雄 申請人:索尼株式會社