一種基于計算機視覺的講故事機器人的制作方法
【專利摘要】一種基于計算機視覺的講故事機器人,包括：當講故事進行至需要用戶交互時，微處理器提醒用戶進行交互，通過攝像頭接收用戶提供的實物或卡片的信息傳送至微處理器，微處理器進行信息的解碼，采樣再進行檢測與識別得出結果，并將結果與預先設定的故事答案比較；若相同，則反饋出正確并繼續故事的講述；若不相同，則反饋不正確并提醒用戶進行交互；若不相同超過一定次數，則反饋出正確答案并繼續故事的講述；若檢測不到實物或卡片，則反饋檢測不到實物或物體并提醒用戶進行交互；若檢測不到實物或卡片超過一定次數，則反饋出正確答案并繼續故事的講述。通過這一種有趣的方式，使用戶通過故事充分接觸現實與識別物體，使之成為輔助幼兒教學的優秀工具。
【專利說明】
一種基于計算機視覺的講故事機器人
技術領域
[0001 ]本發明涉及機器人領域，計算機視覺領域，模式識別領域，特別涉及一種基于計算機視覺的講故事機器人。
【背景技術】
[0002]—般的講故事系統，用戶只能單一的接受故事，或者通過語音來與系統進行交互。互動性不足，用戶不能通過故事將故事與現實聯系起來。

【發明內容】

[0003]本發明的目的是提供一種基于計算機視覺的講故事機器人，允許用戶用實物與卡片與機器人進行交互，機器人通過識別實物和卡片后，與預設的故事答案進行比對，再進行反饋。通過這一種有趣的方式，使用戶通過故事充分認識現實中的物體，使之成為輔助幼兒教學的優秀工具。
[0004]為解決上述技術問題，本發明采用的一個技術方案是:機器人講述故事的過程中，若遇到需要進行交互識別環節，微處理器通過音響提示用戶進行識別操作，并在屏幕上顯示將答案鏤空的故事畫面與位于畫面下方的開始檢測鍵。用戶將與故事相關聯的實物或者卡片靜止的放置于機器人的攝像頭前，并點擊屏幕上的開始檢測鍵。機器人開啟攝像頭并通過攝像頭獲取用戶放置在攝像頭前的物體的信息，同時屏幕顯示檢測識別中，獲取完信息后傳至微處理器，并通過微處理器運行程序來處理信息，檢測實物或者卡片的位置，再進行識別操作。如果在一段時間內檢測不到實物或者卡片則通過屏幕顯示未檢測成功并重新進行交互識別環節;若檢測失敗一定次數后則通過屏幕公布正確答案，并繼續進行故事流程的講述;如果識別出實物或者卡片但并不是正確選項則通過屏幕提示用戶重新選擇實物或者卡片并重新進行交互識別環節;若識別出不正確選項一定次數后則通過屏幕公布正確答案，并繼續進行故事流程的講述;如果識別出實物或者卡片是正確選項則通過屏幕表示選項正確并繼續進行故事流程的講述。
[0005]例如，機器人講述白雪公主的故事時，在講述到白雪公主吃毒蘋果的片段的時候，進入交互識別環節。屏幕顯示白雪公主吃毒蘋果的畫面，其中毒蘋果為陰影的鏤空畫面，并在畫面底下顯示開始檢測鍵。機器人通過音響問用戶這是什么東西，并提示用戶進行識別操作。用戶將蘋果或者蘋果卡片放置于攝像頭前，并點擊開始檢測鍵。屏幕顯示檢測識別中，微處理器開啟攝像頭并通過攝像頭獲取一段時間的錄像，微處理器將獲得的錄像進行解碼成多張圖像，再進行采樣，檢測與識別操作。若檢測不到物體或卡片，則提示用戶重新進行檢測，并重新進入交互識別環節。檢測失敗一定次數后則通過屏幕公布正確答案是蘋果，并繼續進行故事流程的講述;如果識別出不是蘋果或蘋果卡片則通過屏幕提示用戶重新選擇實物或者卡片，并重新進入交互識別環節;若識別出不正確選項一定次數后則通過屏幕公布正確答案，并繼續進行故事流程的講述;如果識別出是蘋果則通過屏幕表示選項正確并繼續進行故事流程的講述。
[0006]若微處理器檢測識別到多個物體或卡片，則將檢測出的多個結果逐一與預設的故事答案進行比較，若有一個正確，則進入正確流程，若全部答案都錯誤，則進入錯誤流程。
【附圖說明】
[0007]通過實例并參照附圖，本發明將被進一步闡明，其中:圖1是本發明的方法的流程圖。
[0008]圖2是本發明的主視圖。
[0009]圖3是本發明的系統框圖。
【具體實施方式】
[0010]參見圖1，本發明的方法包括八個步驟。步驟I機器人通過音響提示用戶進行檢測操作，并在屏幕上顯示故事答案的陰影畫面并在畫面下顯示開始檢測鍵。步驟2在屏幕上顯示檢測識別中，微處理器開啟攝像頭，攝像頭獲取信息并傳送至微處理器，微處理器將傳送的信息進行處理，檢測用戶提供的物體或卡片位置，并進行識別。步驟3判斷是否檢測到物體或卡片，如果檢測不到物體則跳轉步驟4，如果檢測到物體就跳轉步驟5。步驟4判斷檢測不到物體的次數是否超出了一定次數，如果沒有超過則跳轉回步驟1，如果超出一定次數則跳轉至步驟8。在步驟5將檢測到的物體或卡片與預設的故事答案進行比較并進入步驟6。步驟6如果比較不正確則跳轉步驟7，否則跳轉步驟8。步驟7判斷比較不正確的次數是否超出了一定次數，如果沒有超過則跳轉回步驟1，如果超出一定次數則跳轉至步驟8。步驟8為公布正確答案并繼續故事的講述。
[0011]請參閱圖2，本發明實施例包括:1、機器人，2、屏幕，3、攝像頭，4、微處理器，存儲器集成在一起，5、音響。
[0012]圖3的講故事機器人系統包括:1、攝像頭，2、微處理器，3、存儲器，4、音響，
5、屏幕。
[0013]本發明實施例中，圖3中的1、攝像頭可以獲取攝像頭正前方錄像，并將錄像發至微處理器進行處理。1、攝像頭與2、微處理器進行雙向通信。
[0014]本發明實施例中，圖3中的2、微處理器可以運行3、存儲器中的程序算法與故事數據，控制故事流程。當2、微處理器遇到需要與用戶交互的環節時，發送需要交互的信號至
1、攝像頭。待1、攝像頭傳輸回錄像時，對1、攝像頭傳送的錄像進行解碼，采樣成多張圖像后，再進行檢測與識別，再將識別出來的結果與預設的故事答案進行比較。并根據比較的結果發送至屏幕與音響進行反饋。
[0015]本發明實施例中，圖3中的3、存儲器包含例如硬盤或類似閃存等固態存儲器。存儲器可以用于存儲一個或多個故事的數據與必要的算法程序。存儲器與微處理器相連可進行雙向通信。
[0016]本發明實施例中，圖3中的4、音響可以輔助2、微處理器進行故事的講述，進行交互的提示及交互結果的反饋。4、音響與2、微處理器進行單向通信。
[0017]圖3中的5、屏幕可以輔助2、微處理器進行故事的講述，故事答案的提示(故事答案的鏤空圖)，讓機器人進入檢測識別環節(用戶點擊位于故事畫面下方的檢測開始鍵)及交互結果的反饋。5、屏幕與2、微處理器進行單向通信。
【主權項】
1.一種基于計算機視覺的講故事機器人，包括:當講故事進行至需要用戶交互時，微處理器提醒用戶進行交互，通過攝像頭接收用戶提供的實物或卡片的信息，微處理器進行信息解碼，采樣，再檢測與識別得出結果，并將結果與預先設定的故事答案比較;若相同，則反饋出正確并繼續故事的講述;若不相同，則反饋不正確并提醒用戶再次重新進行交互;若不相同超過一定次數，則反饋出正確答案并繼續故事的講述;若檢測不到實物或卡片，則反饋檢測不到實物或物體并提醒用戶再次重新交互;若檢測不到實物或卡片超過一定次數，則反饋出正確答案并繼續故事的講述。2.如權利要求1所述的一種基于計算機視覺的講故事機器人，其特征在于，若微處理器檢測識別到多個物體或卡片，則將檢測出的多個結果逐一與預設的故事答案進行比較，若有一個正確，則進入正確流程，若全部答案都錯誤，則進入錯誤流程。3.如權利要求1所述的一種基于計算機視覺的講故事機器人，其特征在于，當講故事進行至需要用戶交互時，屏幕顯示故事答案的鏤空圖，來提示用戶答案。4.如權利要求1所述的一種基于計算機視覺的講故事機器人，其特征在于，當講故事進行至需要用戶交互時，微處理器通過音響來提醒用戶進行交互，若音響提醒被用戶選擇進入檢測識別階段打斷，則進入檢測識別階段。5.如權利要求1所述的一種基于計算機視覺的講故事機器人，其特征在于，當講故事進行至需要反饋時，微處理器通過屏幕與音響來反饋給用戶結果。6.如權利要求1所述的一種基于計算機視覺的講故事機器人，其特征在于，當微處理器檢測識別時，屏幕顯示檢測識別中的畫面。7.如權利要求1所述的一種基于計算機視覺的講故事機器人，其特征在于，故事數據與算法程序都存儲在存儲器中被供微處理器調用。8.如權利要求1所述的一種基于計算機視覺的講故事機器人，其特征在于，攝像頭接收錄像并傳至微處理器，微處理器對錄像進行解碼采樣獲得多張圖像后進行檢測識別操作。
【文檔編號】G06K9/00GK106056109SQ201610611478
【公開日】2016年10月26日
【申請日】2016年7月30日
【發明人】張迪, 程忠光, 張猛, 龔莉杰, 許杰雄
【申請人】深圳市寒武紀智能科技有限公司