基于計算機視覺的中式菜肴識別裝置制造方法
【專利摘要】一種基于計算機視覺的中式菜肴識別裝置，包括視覺采集裝置和計算機系統。計算機系統設有視頻數據接收軟件模塊、菜肴識別軟件模塊和顯示輸出軟件模塊，其執行步驟依次為：視頻數據接收軟件模塊接收包含中式菜肴的連續視頻圖像；菜肴識別軟件模塊對獲得的視頻圖像進行預處理、子圖像裁切、特征提取和特征分類，實現中式菜肴種類的識別；顯示輸出軟件模塊顯示中式菜肴識別結果，并且把識別結果發送給其他系統或裝置。本發明可用于餐館和食堂等餐飲行業場所，為實現中式菜肴相關的自動結算提供條件。
【專利說明】基于計算機視覺的中式菜肴識別裝置
【技術領域】
[0001]本發明專利涉及一種中式菜肴的自動檢測識別裝置，特別涉及一種基于計算機視覺的中式菜肴識別裝置。
【背景技術】
[0002]在一些酒店、餐館和食堂等餐飲行業場所，就餐人員數量較多，結算收銀員工作壓力很大，迫切需要能夠實現菜肴自動識別和自動結算的系統。目前，市場上已經存在的餐廳自助結算系統產品(如杭州雄偉科技開發有限公司的“智盤系統”)以及以編碼磁鋼實現碗碟識別的餐廳托盤自動結算系統(專利申請號CN201210175894.9)和基于圖像識別技術的食堂支付系統及方法(專利申請號201210512810.6)等相關產品和技術，利用碗碟內部自帶的智能卡，或者利用計算機視覺技術基于碗碟圖像特征進行碗碟盛裝菜肴食物的識別分析。現有相關產品和技術存在缺點包括:自帶智能卡的碗碟價格較貴，不宜推廣；需要打菜人員記住不同類型碗碟和價格的對應關系，且價格種類較少等。

【發明內容】

[0003]本發明的目的在于克服現有技術中存在的不足，提供基于計算機視覺的中式菜肴識別裝置，可用于餐館和食堂等餐飲行業場所，為實現中式菜肴相關的自動結算提供條件。
[0004]為實現本發明所述目的，本發明提供一種基于計算機視覺的中式菜肴識別裝置，該識別裝置包括:視覺采集裝置和計算機系統。
[0005]本發明的視覺采集裝置安裝于收銀臺面上方恰當高度，碗碟直接放在臺面上或者放在托盤上經過該視覺采集裝置下方，臺面、托盤和碗碟的顏色要求有較大差異。中式菜肴經過視覺采集裝置下方時，視覺采集裝置采集包含若干盛裝中式菜肴的碗碟的連續視頻圖像，并將所獲得的視頻圖像傳送給計算機系統。
[0006]計算機系統設有視頻數據接收軟件模塊、菜肴識別軟件模塊和顯示輸出軟件模塊，并執行如下步驟:
[0007]a)視頻數據接收軟件模塊接收由視覺采集裝置傳送來的包含中式菜肴的連續視頻，供顯示軟件模塊和菜肴識別軟件模塊使用，并可根據需要對視頻進行存儲；
[0008]b)菜肴識別軟件模塊對視頻圖像進行圖像預處理、子圖像裁切、特征提取和特征分類，從而基于中式菜肴的圖像信息完成中式菜肴的辨識，并將識別結果傳送給顯示輸出軟件模塊；
[0009]c)顯示輸出軟件模塊對采集的視頻進行按要求顯示，并匯總、顯示菜肴識別結果信息，并把識別結果發送給其他系統或裝置。
[0010]所述菜肴識別軟件模塊包括圖像預處理子模塊、子圖像裁切子模塊、特征提取子模塊和特征分類子模塊等四大功能子模塊，具體工作過程為:
[0011]I)從視頻數據接收軟件模塊讀取的視頻圖像首先由圖像預處理子模塊進行濾波去噪和圖像復原等預處理，并將預處理之后的視頻圖像傳送給子圖像裁切子模塊；[0012]2)子圖像裁切子模塊執行子圖像裁切處理過程，首先裁切盡可能小的包含內有菜肴的碗碟的子圖像，再在該子圖像中裁切不包含碗碟的菜肴子圖像，該處理過程基于碗碟、菜肴和背景圖像的顏色差異確定菜肴碗碟的子圖像；
[0013]3)特征提取子模塊利用圖像變換算法對子圖像裁切子模塊傳送的各幅菜肴子圖像進行特征變換，得到各幅菜肴子圖像的低維特征向量，并將其傳送給特征分類子模塊；
[0014]4)特征分類子模塊采用模式識別領域的分類算法進行子圖像的特征分類，根據分類結果判斷各特征向量所對應的子圖像中菜肴的種類，并將識別結果傳送給顯示輸出軟件模塊；
[0015]本發明是一種基于計算機視覺的中式菜肴識別裝置，這種識別裝置根據計算機視覺的原理實現盛裝于碗碟的中式菜肴的自動識別，碗碟內部不需要安裝高成本的智能卡，也不需要不同顏色和形狀碗碟來區別不同價格菜肴，具有成本低、速度快的特點，為實現中式菜肴相關的自動結算提供條件。
【專利附圖】

【附圖說明】
[0016]圖1是本發明的結構框圖；
[0017]圖2是本發明各模塊和子模塊之間的連接示意圖。
【具體實施方式】
[0018]如圖1所示，本發明包括兩個組成部分:視覺采集裝置和計算機系統I。視覺采集裝置包含CXD圖像傳感器3和圖像采集接口模塊2。視覺采集裝置采集中CXD圖像傳感器3采集到包含若干盛裝中式菜肴的碗碟的連續視頻圖像信號，通過圖像采集接口模塊2進行信號轉換后，將所獲得的視頻圖像傳送給計算機系統I。本具體實施例中，計算機系統I是普通工控機，圖像采集接口模塊2為PCI圖像采集卡，CXD圖像傳感器3為工業CXD相機。
[0019]如圖2所示，計算機系統I中設有視頻數據接收軟件模塊4、菜肴識別軟件模塊5和顯示輸出軟件模塊6。計算機系統I的視頻數據接收軟件模塊4接收由視覺采集裝置傳送來的包含中式菜肴的連續視頻，并可根據需要對視頻進行存儲。菜肴識別軟件模塊5對視頻圖像進行圖像預處理、子圖像裁切、特征提取和特征分類，從而基于中式菜肴的圖像信息完成中式菜肴的辨識，并將識別結果傳送給顯示輸出軟件模塊6 ;顯示輸出軟件模塊6對采集的視頻進行按要求顯示，并匯總、顯示菜肴識別結果信息，并把識別結果發送給其他系統或裝置。
[0020]本發明的視覺采集裝置安裝于收銀臺面上方80cm左右，CXD圖像傳感器3對準收銀臺面，收銀臺面為純黑色。盛裝有中式菜肴的白色圓形碗碟放在紅色托盤上，由用餐人員自行推動經過該視覺采集裝置下方。中式菜肴經過視覺采集裝置下方時，視覺采集裝置采集包含若干盛裝中式菜肴的碗碟的連續視頻圖像，并將所獲得的視頻圖像傳送給計算機系統I。
[0021]本發明的計算機系統I采用Windows XP，視頻數據接收軟件模塊4、菜肴識別軟件模塊5和顯不輸出軟件模塊6米用Visual C++軟件編程實現。
[0022]如圖2所示，菜肴識別軟件模塊5包括圖像預處理子模塊7、子圖像裁切子模塊8、特征提取子模塊9和特征分類子模塊10。各子模塊分別從前一模塊獲得圖像或數據，并通過對圖像數據進行處理，將處理之后的圖像數據傳送給下一模塊。
[0023]計算機系統I所屬的各軟件模塊和各子模塊進一步詳細說明如下:
[0024]I)視頻數據接收軟件模塊4接收CCD圖像傳感器I采集并經過圖像采集接口模塊2轉換的菜肴視頻圖像，供顯示軟件模塊6和菜肴識別軟件模塊5使用。
[0025]2)顯示輸出軟件模塊6。顯示輸出軟件模塊6用于顯示視頻數據接收軟件模塊4所獲得的連續視頻圖像，也能夠顯示菜肴識別軟件模塊5輸出的中式菜肴識別匯總結果。
[0026]3)菜肴識別軟件模塊5。該模塊根據視頻數據接收軟件模塊4提供的視頻圖像，在線完成中式菜肴的識別，它包括圖像預處理子模塊7、子圖像裁切子模塊8、特征提取子模塊9和特征分類子模塊10。圖像預處理子模塊7讀取包含托盤和盛放中式菜肴碗碟的原始視頻圖像并進行圖像預處理，供子圖像裁切子模塊8使用；子圖像裁切子模塊8使用相應算法確定圖像中是否有托盤，并確定各碗碟在各幀圖像中的位置，同時從圖像中裁切菜肴的子圖像；特征提取子模塊9應用一定算法對子圖像裁切子模塊8傳送的各菜肴子圖像進行特征變換，計算得到各子圖像的特征向量，供特征分類子模塊10使用；特征分類子模塊10利用相應特征分類方法，對各特征向量進行分類，從而識別各特征向量所對應的子圖像中的中式菜肴種類，并把識別結果傳送給顯示輸出軟件模塊6。菜肴識別軟件模塊5各子模塊進一步詳細介紹如下。
[0027]a)圖像預處理子模塊7。圖像預處理子模塊7從視頻數據接收軟件模塊4中，獲取原始的包含臺面、托盤和碗碟菜肴等的連續視頻圖像進行預處理，為子圖像裁切子模塊8提供所需的圖像。由于臺面為純黑色，托盤為紅色，顏色反差明顯，因此圖像預處理子模塊7根據前后兩幀圖像的顏色變化，判斷是否存在一次托盤進入臺面的動作。如果判斷得出有托盤進入CXD圖像傳感器I下方臺面處，圖像預處理子模塊7抽取紅色面積最大的一幀圖像作為需要傳送給子圖像裁切子模塊8的圖像。此外，由于CCD圖像傳感器I和圖像采集接口模塊2等電子設備本身會引入圖像噪聲，因此圖像預處理子模塊7進一步使用滑動窗口平均等圖像濾波去噪算法對該圖像進行濾波去噪后，再傳送給子圖像裁切子模塊8。
[0028]b)子圖像裁切子模塊8。子圖像裁切子模塊8實現的功能是確定視頻圖像中的中式菜肴的位置，并裁切中式菜肴的子圖像。為實現該目的，子圖像裁切子模塊8利用托盤為純紅色和碗碟為白色特點，裁切得到盡可能小的包含菜肴的各圓形碗碟子圖像，再截取這些碗碟子圖像中心處的邊長為碗碟半徑二分之一的各菜肴子圖像。菜肴子圖像的數量和托盤中碗碟數量對應，這些菜肴子圖像是只包含菜肴的子圖像，去除了紅色托盤背景和白色碗碟背景。子圖像裁切子模塊8把這些菜肴子圖像傳送給特征提取子模塊9。
[0029]c)特征提取子模塊9。特征提取子模塊9針對子圖像裁切子模塊8提供的各菜肴子圖像，分別計算相應圖像的R、G、B均值和標準方差等六個值，作為各菜肴子圖像的特征向量傳送給特征分類子模塊10。
[0030]d)特征分類子模塊10。特征分類子模塊10基于神經網絡分類算法對特征提取子模塊9傳送的特征向量進行分類，從而判斷對應子圖像中的中式菜肴種類。特征分類子模塊10中的神經網絡事先經過訓練和優化，能夠準確的實現常見中式菜肴子圖像的特征分類。
[0031]經過以上處理，最終完成中式菜肴的自動識別。
【權利要求】
1.一種基于計算機視覺的中式菜肴識別裝置，其特征在于，它包括:視覺采集裝置和計算機系統(1)，而計算機系統(1)設有視頻數據接收軟件模塊(4)、菜肴識別軟件模塊(5)和顯示輸出軟件模塊(6)，為準確實現盛裝在不同碗碟內的中式菜肴的識別和定位，所述計算機系統(1)執行如下步驟: a)視頻數據接收軟件模塊(4)接收由視覺采集裝置傳送來的包含中式菜肴的連續視頻，并可根據需要對視頻進行存儲； b)菜肴識別軟件模塊(5)對視頻圖像進行圖像預處理、子圖像裁切、特征提取和特征分類，從而基于中式菜肴的圖像信息完成中式菜肴的辨識； c)顯示輸出軟件模塊(6)對采集的視頻進行按要求顯示，并匯總、顯示菜肴識別結果信息，并把識別結果發送給其他系統或裝置。
2.根據權利要求1所述的基于計算機視覺的中式菜肴識別裝置的計算機系統(I)的執行步驟，其特征是 ，所述菜肴識別軟件模塊(5)進行的子圖像裁切處理過程，首先裁切盡可能小的包含內有菜肴的碗碟的子圖像，再在該子圖像中裁切不包含碗碟的菜肴子圖像，該處理過程基于碗碟、菜肴和背景圖像的顏色差異確定菜肴碗碟的子圖像。
【文檔編號】G06K9/62GK103942569SQ201410169078
【公開日】2014年7月23日 申請日期:2014年4月16日 優先權日:2014年4月16日
【發明者】王凌, 陳長駿, 趙文杰, 陳錫愛 申請人:中國計量學院