專利名稱：一種人臉識別學生考勤裝置及方法
技術領域：
本發明屬于圖像識別技術領域，特別涉及一種人臉識別學生考勤裝置及方法。
背景技術：
通常考勤方式包括考勤機、人為考勤等方式，目前，高校學生上課考勤可采用的考 勤機包括打卡式考勤機和指紋式考勤機，這兩種方式都存在以下缺點這兩種方式都需要 人為主動配合，容易造成人為操作錯誤，其中打卡式考勤機的卡容易丟失，指紋式考勤機容 易出現排隊使用考勤機的情況，耽誤上課時間，影響效率；教師點名的方式，存在以下問題 學生在幾百人的大教室上課，容易出現排隊使用考勤機的情況，耽誤上課時間且很難堅持， 而且上下課人流較大，耽誤上課時間，影響效率。

發明內容
為解決以上考勤方式之不足，本發明提出一種人臉識別學生考勤裝置及方法，利 用此考勤裝置及考勤方法，以達到提高效率，減少替答，自動完成考勤的目的。本發明的技術方案是這樣實現的人臉識別學生考勤裝置包括有手持終端、攝 像機、前端處理機和數據庫服務器，其中，手持終端分別與前端處理機和數據庫服務器連 接，攝像機與前端處理機連接，前端處理機與數據庫服務器連接；本發明一種人臉識別學生考勤方法包括步驟如下步驟1 手持終端將課程信息和考勤請求發送給前端處理機；步驟2 前端處理機接收考勤請求后，將收到的課程信息存儲到緩存中，并啟動攝 像機；步驟3 判斷是否是大教室，如是則執行以下步驟攝像機啟動后按預先設置的k 個預置位巡航，從第1個預置位開始拍攝，在每個預置位停留ts并抓拍圖像，將圖片存入緩 存中后進入下一個預置位，重復第一個預置位的工作，直至遍歷k個預置位后，結束預置位 巡航；并發送關閉信號給攝像機；執行步驟5 ；步驟4 判斷是否是小教室，如是則執行以下步驟1)開啟攝像機，啟動預置位巡航功能；2)攝像機從第1個預置位開始拍攝，在每個預置位停留ts并抓拍圖像，將圖像存 入緩沖中；3)確定人臉在圖片中的位置利用膚色模型將圖片二值化，將膚色區域與非膚色 區域分割開；經過去噪和形態學計算，獲得膚色連通區；4)判斷圖片邊緣是否存在不完整的人臉，若存在不完整的人臉，則執行步驟5)， 否則執行步驟6)；其中，判斷圖片邊緣存在不完整人臉的規則為若連通區經過圖片上邊緣且不經 過左邊緣，則判定圖片上邊緣含有不完整的人臉；若連通區經過了圖片右邊緣且不經過下 邊緣，則判定圖片右邊緣含有不完整的人臉；
5)確定攝像機水平旋轉調整量α和俯仰調整量β，調整攝像機的拍攝角度，采集 完整的人臉圖像；具體方法如下首先計算出圖片中每個邊緣膚色連通區面積，以覆蓋的像素點數 計算；保留經過上邊緣的最大的膚色區域和經過右邊緣的最大的膚色區域，分別計算他們 的質心，并將這兩個坐標記錄下來；質心坐標是基于圖像像素坐標系，將圖像像素坐標與圖像物理坐標進行轉換設質心標系為(U，V)，單位為像素，圖像物理坐標系為(X，y)，單位為毫米，原點為 透鏡光軸與圖像平面的交點，(u，ν)平面和(X，y)平面的關系為
<formula>formula see original document page 5</formula>用矩陣表示為<formula>formula see original document page 5</formula>其中c為1毫米圖像含有的像素值；攝像機采用透視投影模型，過程如下設當前幀上人臉中心到圖像中心的偏移是(dx，dy)，則攝像機的水平旋轉調整量 為α =Z O1OP'，俯仰調整量為β =Z POP，，根據三角關系，α和β應滿足<formula>formula see original document page 5</formula>(3)其中，0為攝像機光學中心；射線OO1為攝像機光軸；線段OO1的長度為攝像機的焦 距f ；P是目標在像平面上的投影；6)攝像機在新的預置位拍照，并將圖片保存在緩存中；執行步驟3)；步驟5 前端處理機對采集到的圖片逐張做人臉檢測和人臉識別算法計算；訪問 數據庫服務器，與數據庫服務器中的圖片進行對比，前端處理機計算出攝像機拍攝的圖片 中含有某位同學，則將該同學的考勤標記量設置為1 ；步驟6 使用手持終端訪問數據庫，獲得缺勤人員名單，教師按該名單對缺勤人員 進行核對，如有誤判，通過手動方法修改數據庫中缺勤人員的考勤標記，進一步保證考勤準 確度。步驟3所述的大教室是指百人以上座位固定的教室，步驟4所述的小教室是指小 于百人的座位不固定的教室。在設備安裝時按實際情況手動選擇設置。本發明的優點本發明根據教室大小不同，應用不同的攝像機移動控制策略，真正 實現了不需要被考察者主動配合，不影響正常上下課秩序，進而提高了效率，避免替答現象 的發生。


圖1為本發明人臉識別學生考勤裝置位置示意圖；圖2為本發明人臉識別學生考勤裝置數據庫服務器考勤表屬性圖3為本發明人臉識別學生考勤裝置前端處理機結構框圖；圖4為本發明人臉識別學生考勤方法整體流程圖；圖5為本發明人臉識別學生考勤裝置前端處理機工作流程圖；圖6為本發明人臉識別學生考勤方法大教室策略流程圖；圖7為本發明人臉識別學生考勤方法小教室策略流程圖；圖8為本發明人臉識別學生考勤方法邊緣是否存在人臉計算方法流程圖；圖9為本發明人臉識別學生考勤方法預置位與邊緣膚色連通區關系示例圖；圖10為本發明人臉識別學生考勤方法圖像像素坐標系與圖像物理坐標系轉換關 系圖；圖11為本發明人臉識別學生考勤方法攝像機調整量計算示意圖；圖12為本發明人臉識別學生考勤方法攝像機調整前后拍攝區域比較圖。
具體實施例方式下面結合附圖和實施例對本發明作進一步詳細說明。圖1為人臉識別學生考勤裝置。其中，手持終端由教師攜帶，攝像機和前端處理機 放置在黑板上方位置，數據庫服務器放置在遠端機房。各部件功能如下手持終端信息輸入，發送考勤請求，訪問數據庫服務器；攝像機采集圖像信息。在攝像機安裝時，預先根據教室的大小具體情況手動設定 好攝像機的預置位和圖像采集策略；前端處理機1)手動設置攝像機預置位，并保存每個預置位焦距；2)控制攝像機 的開啟、關閉、預設點位置抓圖及云臺的水平旋轉、俯仰角度調整；3)接收手持終端發送來 的信息；4)人臉和檢測算法計算；5)訪問數據庫；數據庫服務器數據庫服務器中設置有考勤表，考勤表中包括課程代碼、教師編 號、時間、學生姓名、學生學號、考勤標記，其中學生學號包括學生信息、學生信息包括姓名、 學號和照片，如圖2所示。圖3為本發明人臉識別學生考勤裝置前端處理器結構框圖，前端處理器包括核心處理芯片、緩存和通信接口，核心處理芯片的輸入端與攝像機連接，核心處理芯片的輸出端 與攝像機、緩存和通信接口連接。圖4和圖5為人臉識別學生考勤方法整體流程，包括如下步驟步驟1 手持終端發送課程信息和考勤請求給前端處理機教師使用手持終端上 的小鍵盤，輸入課程代號和上課時間，其中，上課時間不使用具體時分秒，采用課程節數來 代替，例如2010年3月3日第一節課可表示為2010030301 ；步驟2 前端處理機接收考勤請求后，將收到的課程信息存儲到緩存中，啟動攝像 機；步驟3 判斷課程是否在大教室，如是則采用大教室策略，執行步驟5 ；否則執行步 驟4;步驟4 判斷課程是否在小教室，如是則采用小教室策略，執行步驟5 ；步驟5 前端處理機對采集到的圖片逐張做人臉檢測和人臉識別算法計算；訪問數據庫服務器，與數據庫服務器中的圖片進行對比，前端處理機計算出攝像機拍攝的圖片 中含有某位同學，則將該同學的考勤標記量設置為1 ；步驟6:使用手持終端訪問數據庫，獲得缺勤人員名單，教師按該名單對缺勤人員 進行核對，如有誤判，通過手動方法修改數據庫中缺勤人員的考勤標記，進一步保證考勤準 確度。其中，步驟3所述的大教室策略如圖6所示，具體過程如下首先預設k個預置位， 標記變量i賦值為1，所述的預置位在安裝時設定，為給人臉檢測與人臉識別算法提供較好 的圖片源，每張圖片中人臉不能過多，即預置位不能太少，本實施例選擇支持128預置位的 云臺，每個預置位拍攝4張人臉；攝像機在該預置位停留4秒，前端處理機每1秒抓一幀圖 保存在flash中，4s圖像采集時間過去后，將標記變量i加1，進入下一個預設位，重復第一 個預置位做的工作，以此類推，遍歷所有k個預置位，預置位巡航結束后，即前端處理機檢 測到i = k+Ι，前端處理機向攝像機發送關閉信號，攝像機關閉。步驟4中所述的小教室策略如圖7圖 12所示。首先，小教室的特點是座位是可搬移的普通課桌椅，即座位分布不固定，隨之導 致人臉出現的位置也不可預料。因此像大教室那樣只采取攝像機預置點巡航，以固定路線 掃描的方法，可能出現以下問題人臉出現跨越兩個預置點覆蓋區域，即一張人臉一部分在 i預置點采集的圖片上，另一部分出現在j預置點采集的圖片上，結果導致在i預置點和j 預置點都識別不出該人臉。因此在預置位巡航的基礎之上，加入步驟S701和步驟S702，如圖7所示。圖8對 步驟S701作進一步說明步驟S701 利用基于膚色的人臉檢測方法判斷圖片邊緣是否有 人臉，如果有，則將攝像機調整到邊緣人臉的位置，以拍攝到原來處于邊緣的人臉的完整圖 像，具體方法如下步驟1 對圖片做基于膚色的圖像分割，即利用膚色模型將圖片二值化，將膚色區 域與非膚色區域分割開來；步驟2 經過去噪和形態學計算，獲得膚色連通區；步驟3 判斷圖片邊緣是否存在不完整人臉，判斷規則為膚色連通區經過了上邊 緣且不經過左邊緣，則判定上邊緣含有不完整的人臉；膚色連通區經過了右邊緣，且沒有經 過下邊緣，則判斷為右邊緣含有不完整的人臉；這里主要是為了采集到更多更準確的圖像， 并不涉及準確的檢測與識別，因此忽略了該膚色連通區可能是大面積的身體膚色區域的影 響。在本預置點中處于下邊緣的人臉必然處于相鄰預置點的上邊緣，在本預置點處于 左邊緣的人臉必然處于相鄰預置點的右邊緣，因此，為了盡量避免重復工作，不考慮左邊緣 和下邊緣，在圖9中給出了預置位與邊緣膚色連通區的關系，假設當前處于第5個預置位， 拍攝的圖片經過膚色檢測確定了幾個膚色區，膚色區的位置如圖中橢圓所示，橢圓中的數 字表示對該邊緣人臉做出反應的預置位，預置位5位置，只對右邊緣和上邊緣的膚色區做 判斷，而左邊緣和下邊緣的膚色區也不會被遺漏，會由其他預置位對其做出掃描反應；步驟4 計算出每個邊緣膚色面積，即覆蓋的像素點數，保留經過上邊緣的最大的 膚色區域(如果有的話)和經過右邊緣的最大的膚色區域(如果有的話)，分別計算他們 的質心，將這兩個坐標記錄下來，這兩個坐標有可能是同一個，進入攝像機調整量計算過程S702步驟。圖10 圖12對步驟S702作進一步說明將攝像機的光心移動到邊緣的膚色區 域，以采集處于邊緣的人的完整人臉圖像，步驟S701中計算得質心是基于圖像像素坐標系 的，為了計算出攝像機水平旋轉調整量α和俯仰調整量β，需要將兩個坐標系做轉換，如 圖10所示，圖像像素坐標系設為(U，ν)，單位為像素，圖像物理坐標系為(X，y)，單位為毫 米，原點為透鏡光軸與圖像平面的交點，(u，ν)平面和(X，y)平面的關系為<formula>formula see original document page 8</formula>⑴用矩陣表示為<formula>formula see original document page 8</formula>(2)其中c為1毫米圖像含有的像素值。攝像機模型采用計算機視覺中廣泛采用的Pin-hole模型，即透視投影模型，它在 物理上相當于薄透鏡成像，如圖11所示設當前幀上人臉中心到圖像中心的偏移是(dx，dy)，則攝像機的水平旋轉調整量 為α =Z O1OP'，俯仰調整量為β =Z POP，，根據三角關系，α和β應滿足<formula>formula see original document page 8</formula>，(3)其中，0為攝像機光學中心；射線OO1為攝像機光軸；線段OO1的長度為攝像機的焦 距f ;P是目標在像平面上的投影；攝像機定位到人臉的問題轉化為，將攝像機光軸OO1移動 至謝線OP位置，即將原點O1移動到P點的問題。本發明方法對f的計算引入反饋機制，即根據上次對攝像機角度調整的結果修改 f，這種反饋機制能使平臺的轉動更平穩。圖12給出了攝像機調整前后拍攝區域比較示意圖。
權利要求
一種人臉識別學生考勤裝置，包括手持終端、前端處理機和數據庫服務器，其特征在于該考勤裝置還包括攝像機，手持終端分別與攝像機和數據庫服務器連接，攝像機與前端處理機連接，前端處理機與數據庫服務器連接。
2.權利要求1所述的一種人臉識別學生考勤裝置的人臉識別學生考勤方法，其特征在 于包括以下步驟步驟1 手持終端將課程信息和考勤請求發送給前端處理機；步驟2:前端處理機接收考勤請求后，將收到的課程信息存儲到緩存中，并啟動攝像機；步驟3 判斷是否是大教室，如是則執行以下步驟攝像機啟動后按預先設置的k個預 置位巡航，從第1個預置位開始拍攝，在每個預置位停留ts并抓拍圖像，將圖片存入緩存 中后進入下一個預置位，重復第一個預置位的工作，直至遍歷k個預置位后，結束預置位巡 航；并發送關閉信號給攝像機；執行步驟5 ；步驟4 判斷是否是小教室，如是則執行以下步驟1)開啟攝像機，啟動預置位巡航功能；2)攝像機從第1個預置位開始拍攝，在每個預置位停留ts并抓拍圖像，將圖像存入緩 沖中；3)確定人臉在圖片中的位置利用膚色模型將圖片二值化，將膚色區域與非膚色區域 分割開；經過去噪和形態學計算，獲得膚色連通區；4)判斷圖片邊緣是否存在不完整的人臉，若存在不完整的人臉，則執行步驟5)，否則 執行步驟6)；其中，判斷圖片邊緣存在不完整人臉的規則為若連通區經過圖片上邊緣且不經過左 邊緣，則判定圖片上邊緣含有不完整的人臉；若連通區經過了圖片右邊緣且不經過下邊緣， 則判定圖片右邊緣含有不完整的人臉；5)確定攝像機水平旋轉調整量α和俯仰調整量β，調整攝像機的拍攝角度，采集完整 的人臉圖像；具體方法如下首先計算出圖片中每個邊緣膚色連通區面積，以覆蓋的像素點數計算； 保留經過上邊緣的最大的膚色區域和經過右邊緣的最大的膚色區域，分別計算他們的質 心，并將這兩個坐標記錄下來；質心坐標是基于圖像像素坐標系，將圖像像素坐標與圖像物理坐標進行轉換 設質心標系為(u，ν)，單位為像素，圖像物理坐標系為(X，y)，單位為毫米，原點為透鏡 光軸與圖像平面的交點，(u，ν)平面和(X，y)平面的關系為 x=u-u0/c, y=v-v0/c用矩陣表示為<formula>formula see original document page 2</formula>其中C為1毫米圖像含有的像素值；攝像機采用透視投影模型，過程如下設當前幀上人臉中心到圖像中心的偏移是(dx，dy)，則攝像機的水平旋轉調整量為α = ZO1 0Ρ，，俯仰調整量為β =Z POP，，根據三角關系，α和β應滿足<formula>formula see original document page 3</formula>其中，0為攝像機光學中心；射線OO1為攝像機光軸；線段OO1的長度為攝像機的焦距 f;p是目標在像平面上的投影；6)攝像機在新的預置位拍照，并將圖片保存在緩存中；執行步驟3)； 步驟5 前端處理機對采集到的圖片逐張做人臉檢測和人臉識別算法計算；訪問數據 庫服務器，與數據庫服務器中的圖片進行對比，前端處理機計算出攝像機拍攝的圖片中含 有某位同學，則將該同學的考勤標記量設置為1 ；步驟6:使用手持終端訪問數據庫，獲得缺勤人員名單，教師按該名單對缺勤人員進行核對，如有誤判，通過手動方法修改數據庫中缺勤人員的考勤標記，進一步保證考勤準確 度。
全文摘要
一種人臉識別學生考勤裝置及方法，屬于圖像識別技術領域，該裝置包括手持終端、前端處理機、數據庫服務器和攝像機，手持終端分別與攝像機和數據庫服務器連接，攝像機與前端處理機連接，前端處理機與數據庫服務器連接。本發明根據教室大小不同，應用不同的攝像機移動控制策略，真正實現了不需要被考察者主動配合，不影響正常上下課秩序，進而提高了效率，避免替答現象的發生。
文檔編號G07C1/10GK101819687SQ201010147939
公開日2010年9月1日 申請日期2010年4月16日 優先權日2010年4月16日
發明者劉軍立, 劉旸, 孫勁光, 孫志鵬, 張敏, 楊淵波, 楊迪, 王詩, 秦宏偉, 程自龍 申請人:阜新力興科技有限責任公司