計算機視覺對物體進行識別的裝置及其系統的制作方法
【技術領域】
[0001]本發明是計算機視覺對物體進行識別的裝置及其系統，本發明可快速監測到物體，尤其具有特定外形輪廓的物體。
技術背景
[0002]行人監測是計算機視覺中的一個關鍵問題，不過在目前所開發出來的計算機視覺監控系統中，大多是采用固定位置攝影機，而且其背景往往維持不變。同時，此種監控系統雖然能判斷是否出現行人或車輛，卻不能跟隨待測物自動進行實時追蹤，因此無法應用在例如掃地機器人等方面，或是其他需要對環境物體進行實時監測與追蹤的行動裝置。
[0003]其次，雖然利用雷達波或紅外線等方式也可以達到監測周圍環境的目的，但此種監測方式需耗費相當長時間來進行運算與構建環境，因此將不利在實時監測追蹤的應用，而往往只能應用在靜態環境的構建。
[0004]另外，利用全球定位系統（GPS)搭配適當的算法，雖然可以評估預測例如車輛等物體的移動狀態，但是此方法必須搭配全球定位系統的使用，而無法應用在居家環境或是行人監測。

【發明內容】

[0005]本發明的主要目的是為提供一種可利用計算機視覺對特定物體進行實時監測與追蹤的裝置及其應用，用于回避或追蹤物體。
[0006]本發明是要提供一種利用計算機視覺進行實時監測與追蹤的裝置，來實時監測與追蹤物體。裝置包括影像采集單元、影像分析處理單元、影像金字塔生成單元、監測單元與追蹤單元。其中，影像采集單元會自環境采集待判定影像。影像分析處理單元是用于去除待判定影像的不必要信息，從而產生處理后的影像。影像金字塔生成單元是依據處理后影像，產生影像金字塔。監測單元是利用物體特征信息，掃描影像金字塔的各影像層進行分類判斷，以產生實時物體信息。追蹤單元是依據此實時物體信息，產生追蹤信息。
[0007]通過前述技術手段的具體實現，本發明可應用在較矮的自動化行動機器人，例如：撿球機器人、寵物機器人、掃地機器人等。詳細說明如下：當撿球機器人在進行撿球時，可以同時監測運動員所在的區域，就可以避開此區域，讓運動員與機器人同時動作；而就寵物機器人而言，其可以監測到人類的位置，并且進行追蹤人類，并與人類進行互動；掃地機器人在進行掃地的同時，也可以與撿球機器人相似的監測到行人的存在，進而選擇避開。
【附圖說明】
[0008]圖I是本發明利用計算機視覺，進行實時監測與追蹤物體的系統的方塊示意圖。
[0009]圖2至圖5本發明利用計算機視覺，進行實時監測與追蹤物體的系統應用示意圖。
[0010]圖6是系統進行實時監測與追蹤物體的流程圖。
[0011]圖7系統在監測到多個物體時，進行實時追蹤的流程圖。
【具體實施方式】
[0012]本發明的簡要架構，如圖I中所示，此系統具有影像采集單元110、影像分析處理單元120、影像金字塔生成單元130、訓練單元140、監測單元150、追蹤單元160與運動單元170。
[0013]影像采集單元110是用在自環境采集連續的待判定影像，以判斷是否存在待監測物體。
[0014]根據影像采集單元110所采集的一個待判定影像，影像分析處理單元120是用來去除待判定影像內的不必要信息，以產生處理后影像。影像前處理模塊120是對待判定影像進行影像灰階化操作與小波轉換操作。影像灰階化操作是去除影像的色彩信息，而小波轉換操作則是降低影像的分辨率。圖2中的A圖與B圖是顯示影像前處理模塊對灰階化影像進行小波轉換的示意圖，A圖是轉換前的影像，B圖是轉換后的影像。此兩種圖像處理的操作的目的在于縮小影像整體信息量。
[0015]影像金字塔生成單元130是依據處理后影像來產生影像金字塔。如圖3所示，影像金字塔是依據處理后的影像，連續建立多個分辨率漸減的影像層。影像金字塔生成單元130是將影像分析處理單元120所產生的分辨率為80X60的影像，分解為四個分辨率漸減的影像層。分辨率與影像金字塔的影像層的數量，可視待監測物體的特征復雜度、系統運算能力、實時性監測等需求而進行調整。
[0016]監測單元150是依據物體特征信息，來掃描影像金字塔的各影像層并進行分類判斷，以產生實時物體信息。物體特征信息是用以供監測單元150判定影像金字塔的各個影像層中，是否存在待監測物體。
[0017]訓練單元140是依據多個物體訓練樣本與非物體訓練樣本，來產生前述物體特征信息。
[0018]追蹤單元160是在監測單元150確定監測到物體后，再依據待判定影像內的物體的定位信息與監測單元150所建立的物體影像模型，產生追蹤信息。在物體追蹤過程中，可利用物體的運動、邊緣及顏色等資訊作為相似性比對的特征。追蹤單元160在運算后所產生的追蹤信息，可單純用來追蹤物體的移動方位，以避免裝置(例如行動機器人）與物體相撞，也可在物體向裝置前進而可能發生碰撞時產生警示。
[0019]運動單元170是依據追蹤單元160所產生的追蹤信息，而視需求來追蹤物體或回避物體。
[0020]圖6是為圖5的系統進行實時監測與追蹤的方法的流程圖。如圖中所示，首先，如步驟T510所示，自環境采集待處理的影像。隨后，如步驟T511與T512所示，對此待處理影像依次進行影像灰階化與小波轉換，以產生處理后影像。然后，如步驟T514所示，依據此處理后影像來產生多個分辨率遞減的影像層（即影像金字塔)。接下來，如步驟T516與T518所示，以高斯濾波去除影像層的噪聲，并以直方圖來強化其影像對比度，以便于后續分類判斷。然后，如步驟T520所示，對處理后的影像金字塔的各個影像層進行掃描，并利用物體特征信息對掃描到的影像進行分類判斷（即判斷是否為物體影像)。如圖4所示，就實例而言，此物體特征信息是來自在經訓練后的類神經網絡(尤其是其中的隱藏層的神經元與權重值)。依據類神經網絡的輸出值是更接近O還是1，即可判斷掃描到的影像是否為物體影像。
[0021]如圖6所示，如步驟T530所示，在倒傳遞類神經網絡的訓練程序中，先將物體訓練樣本與非物體訓練樣本調整成預設分辨率大小。如步驟T532所示，將這些樣本是依序提供到類神經網絡以進行倒傳遞類神經網絡訓練，并逐步調整類神經網絡的參數，縮減網絡輸出值與目標輸出值的差異，以提升物體影像判斷的準確度。完成此訓練步驟后，此類神經網絡的相關參數即可作為進行分類判斷所需的物體特征資訊并供步驟T520使用。如步驟T521與T522所示，分類判斷的結果若是存在物體影像，便隨即產生定位信息，并建立物體影像模型，以供后續的物體追蹤使用。相反，如步驟T524所示，若未監測到物體影像，此監測流程隨即終止。如步驟T540所示，在確認監測到物體影像后，隨即確認是否對物體進行追蹤。若需對物體進行追蹤，則如步驟T542所示，本實施例是采用粒子濾除器的技術，依據步驟T522所取得的定位信息與物體影像模型（目標物)，而在后續的待判定影像中采集適當的窗口影像(候選物)中，進行相似度比較以產生追蹤信息，以達到動態追蹤物體的目的。若不需對物體進行追蹤，此流程即告終止。圖6圖6是針對監測到單物體的情形來說明。
[0022]圖7則顯示監測到多個物體后所實行的追蹤方法。承接第六圖的步驟T540，如步驟T544所示，在確定需要對物體進行追蹤后，先判斷待判定影像中是否存在多個物體。若僅存在單一個物體，則如步驟T542所示，即可利用如粒子濾除器等方式，將步驟T522所建立的目標物與候選物間的相似度比較，以產生追蹤信息。若是待判定影像中監測到多個物體，如步驟T546所示，需先判斷各個物體間是否存在遮蔽的情形。若否，如步驟T542所示，則采取如同單物體的處理方式，對各個物體分別進行追蹤，即可利用如粒子濾除器等方式將步驟T522所建立的各個目標物與下個待判定影像中的各個候選物的相似度比較，以產生各個被追蹤物體的追蹤信息。若是發生遮蔽的情形，則是如步驟T548所示，進行遮蔽處理，并加入移動方向特征，再進行追蹤，即可利用如粒子濾除器等方式將步驟T522所建立的目標物特征加上T548所建立的移動方向特征來與下個待判定影像中的各個候選物的相似度比較，以產生各個物體的追蹤信息。最后承接回T540以判斷是否繼續追蹤。
[0023]經由前述的結構設計及說明，讓本發明可快速監測到物體，尤其是例如行人的腿部的具有特定外形輪廓的物體，并且進行追蹤。以行人腿部的監測為例，通過行人腿部的監測，即可判定行人的位置，而不需對行人整體較復雜的外形進行監測。此外，由于目前市面存在的行動機器人的高度通常低于正常人的高度，其所取得的影像內容也會受限在行動機器人的高度。因此，本發明尤其適用在此類型的行動機器人，諸如掃地機器人或其他需要對環境物體進行實時監測與追蹤的行動裝置中。
【主權項】
1.一種計算機視覺對物體進行識別的裝置及其系統，其特征是，裝置包括: 影像采集單元，用于采集待判定影像； 影像分析處理單元，用于去除待判定影像的不必要信息，以產生處理后影像； 影像金字塔生成單元，依據處理后影像，來產生影像金字塔； 監測單元，利用物體特征信息，掃描影像金字塔的各影像層，并進行分類判斷，以產生實時物體信息； 追蹤單元，依據實時物體信息，來產生追蹤信息。
2.根據權利要求書I的利用計算機視覺進行實時監測與追蹤物體的裝置，其特征是，包含訓練單元，訓練單元適用在依據多個訓練樣本，而由倒傳遞類神經網絡，來產生物體特征信息。
3.根據權利要求書I的利用計算機視覺進行實時監測與追蹤物體的裝置，其特征是，包括用于依據追蹤信息，而追蹤或回避物體的運動單元。
4.根據權利要求書I的利用計算機視覺進行實時監測與追蹤物體的裝置，其特征是，追蹤模塊包括粒子濾除器，其是依據實時物體信息而在后續的至少待判定影像中，進行相似度比較以產生追蹤信息，并且實時物體信息包含有定位信息與物體影像模型。
5.根據權利要求書I的利用計算機視覺進行實時監測與追蹤物體的裝置，其特征是，監測模塊是以默認窗口尺寸，來掃描影像金字塔的各影像層以進行分類判斷，進而在待判定影像中定位物體。
【專利摘要】本發明涉及一種計算機視覺對物體進行識別的裝置，其包含有影像采集單元、影像分析處理單元、影像金字塔生成單元、監測單元、追蹤單元與運動單元。其中影像采集單元用于采集待判定影像；影像分析處理單元用于去除待判定影像的不必要信息，以產生處理后影像。影像金字塔生成單元是依據處理后影像產生影像金字塔。監測單元是利用物體的特征信息，掃描影像金字塔的各影像層進行分類判斷，在待判定影像中定位待監測物體。追蹤單元是依據監測單元提供的物體信息，產生追蹤信息。運動單元是依據此追蹤信息追蹤或回避待監測物體。
【IPC分類】G06T7-00, H04N5-232, G06T7-20, H04N7-18
【公開號】CN104754311
【申請號】CN201510205096
【發明人】宋強, 劉凌霞
【申請人】劉凌霞
【公開日】2015年7月1日
【申請日】2015年4月28日