交互式顯示系統中的絕對與相對定位傳感器融合的制作方法
【專利說明】交互式顯示系統中的絕對與相對定位傳感器融合
【背景技術】
[0001] 本發明為交互式顯示系統的領域。更具體來說，本發明的實施例針對于對控制裝 置在計算機系統的交互式操作期間正指向的顯示器處的位置的定位。
[0002] 演講者將消息傳遞到觀眾的能力通常通過使用視覺信息結合口頭語言來增強。在 現代，使用計算機及相關聯顯示系統來產生并向觀眾顯示視覺信息已變得很普通，舉例來 說，借助于例如可從微軟公司（Microsoft Co巧oration)購得的POWERPOINT呈現軟件程序 的應用程序。對于大的觀眾群（例如在禮堂環境中），顯示系統通常為投影系統（正面投 影或背面投影）。對于較小的觀眾群（例如在會議室或教室環境中），尤其是隨著平板（例 如，液晶）顯示器的成本在近幾年來已下降，該些顯示器已變得普遍。不需要特殊屏幕且因 此甚至更容易部署的新顯示技術（例如小型投影儀（"微微型投影儀"））現在正在進入市 場。對于向非常小的觀眾群（例如，一兩個人）的呈現，膝上型計算機的圖形顯示器可足W 呈現視覺信息。在任何情況下，增加的計算機能力與更好且更大的顯示器（均具有較低成 本）的組合已增加基于計算機的呈現系統在廣泛的情景（例如，商業、教育、法律、娛樂）中 的使用。
[0003] 典型的基于計算機的呈現設及演講者站在遠離顯示系統處W便不阻擋觀眾對視 覺信息的觀看。由于視覺呈現是計算機產生且計算機控制的，因此呈現能夠被交互地控制， W允許選擇對于特定觀眾特別重要的視覺內容、由演講者在呈現期間注釋或圖解視覺信息 及調用例如縮放等效果、選擇到呈現中別處的信息的鏈接（或在線）、將顯示元素從一個顯 示位置移動到另一顯示位置等等。此交互性大大地增強了呈現，從而使得對于觀眾來說其 更有趣且更具吸引力。
[0004] 因此，期望演講者從遠處與所顯示視覺內容交互的能力。更具體來說，因此，期望 遠程定位的操作者可用來指向并與所顯示視覺信息交互的手持式裝置。
[0005] 2012年7月10日頒布、標題為"交互式顯示系統（Interactive Display System)"、與本案共同轉讓且W引用的方式并入本文中的第8, 217, 997號美國專利描述 一種包含構造為包含攝像機或其它視頻捕獲系統的手持式指向裝置的無線人類接口裝置 ("HID")的交互式顯示系統。所述指向裝置捕獲由計算機顯示的圖像，包含由計算機插入 到所顯示圖像數據中的一或多個人類可感知定位目標。經恢復定位目標的位置、大小及定 向識別遠程指向裝置相對于顯示器的瞄準點。還描述對定位目標（人類可感知或人類不可 感知）進行時間定序W定位指向裝置。
[0006] W對應于顯示系統的帖速率的速率來執行根據上文所參考的第8, 217, 997號美 國專利中所描述的方法對指向裝置的瞄準點的定位。更具體來說，隨著顯示每一新的數 據帖，可通過組合新帖（及其定位目標）與緊接的先前帖（及其互補定位目標）來確定 新位置。此方法在許多情形中相當有效，特別是在于計算機系統中導航及控制圖形用戶 接口的情景中，例如指向并"點擊"圖標、設及所顯示窗口及帖的點擊并拖動操作等等。第 8, 217, 997號美國專利中所描述的此方法的特別益處是，在確定的結果是顯示器上的特定 位置（例如，像素坐標）的意義上，定位是"絕對的"。根據此方法執行的定位的準確度在顯 示器與手持式裝置之間的寬廣距離范圍內（舉例來說，介于從與顯示屏幕物理接觸之處到 遠離數十英尺處的范圍內）是相當準確的。
[0007] 但是由于定位速率對顯示帖速率的相依性，此方法的能力具有若干限制。例如當 在電子交互式"白板"應用中于顯示屏幕上"書寫"時手持式裝置的快速移動可呈現可能不 能通過W帖速率進行定位而完全捕獲的運動。另外，在一些情形中，用戶及觀眾可能會注意 到手持式裝置的移動與顯示響應之間的時間滯后。
[000引基于運動傳感器的常規人類接口裝置在此項技術中是已知的。運動傳感器感測裝 置隨時間（例如，在取樣時間之間）的運動。運動傳感器的實例包含例如加速度計、巧螺 儀等慣性傳感器、例如磁力計等磁場傳感器及例如在光學鼠標中使用的視覺系統等視覺系 統。在未直接確定顯示器的絕對位置而是運動傳感器確定在先前時間點相對于顯示器的所 指向位置的意義上，基于運動傳感器的定位結果是相對的。然而，基于運動傳感器的指向裝 置操作的取樣速率不受顯示器的帖速率限制，且可高得多（假設對相對定位的恰當對齊）。 另外，與絕對定位所需的計算相比，導出相對定位結果需要較少的計算。然而，遺憾地，由于 由該些裝置提供的定位是相對的，因此漂移或其它誤差可能隨時間積累。對于那些依賴于 加速度計運動感測的裝置，誤差會加劇，該是因為為了將所感測加速度轉換成線性距離需 要兩次積分。如此，基于運動傳感器的相對定位的準確度通常不如絕對定位方法的準確度。
[0009] 總的來說，用于確定人類接口裝置正指向的顯示器的位置的絕對及相對系統兩者 在此項技術中是已知的。絕對定位提供良好準確度但是W相對緩慢的最大速率進行，而相 對定位可W高速率操作，但易受誤差影響。

【發明內容】

[0010] 本發明的實施例提供一種用于快速且準確地定位手持式人類接口裝置在交互式 顯示系統的操作期間正指向的顯示器處的位置的系統及方法。
[0011] 本發明的實施例提供其中可在介于從裝置物理上觸碰顯示器之處到所述裝置被 跨越大的房間操作之處的距離范圍內執行此定位的此種系統及方法。
[0012] 本發明的實施例提供在其中可不存在可見內容的交互式白板應用中有用的此種 系統及方法。
[0013] 本發明的實施例提供可在針對相對運動取樣時間產生的位置之間內插裝置的位 置且可預測即將來臨的位置的此種系統及方法。
[0014] 本發明的實施例提供可對先前所計算的位置進行反向校正化ack-correct) W正 確地顯示由裝置指示的路徑的此種系統及方法。
[0015] 參考W下說明書連同其圖式的所屬領域的技術人員將明了本發明的實施例的其 它目標及優點。
[0016] 本發明的實施例可實施到一種交互式顯示系統及其操作方法中，其中遠程人類接 口裝置包含可從其確定所述裝置正指向的顯示器處的絕對位置的圖像捕獲子系統W及可 從其確定相對定位結果的一或多個運動傳感器。絕對及相對定位電路可位于產生所顯示信 息的計算機系統處或內的定位系統中、交互式裝置本身中或兩者的組合中。所述定位系統 確定在一時間點的絕對所指向位置并計算對應于所述同一時間點的相對位置。確定對應于 所計算絕對位置與相對位置之間的差的誤差值，并使用所述誤差值來調整由所述定位系統 基于運動傳感器而產生的相對位置。
【附圖說明】
[0017] 圖la及化是使用根據本發明的實施例的交互式顯示系統執行演講者呈現的示意 性透視圖。
[0018] 圖2a及化是呈框形式的電路圖，每一圖說明根據本發明的實施例的交互式顯示 系統。
[0019] 圖3a及3b分別是相對于指向裝置的實際移動路徑說明如通過絕對及相對定位確 定的所述裝置的所估計路徑的曲線圖。
[0020] 圖3c是說明如通過本發明的實施例確定的指向裝置的所估計路徑的曲線圖。
[0021] 圖4是呈框形式的功能圖，其說明根據本發明的實施例的交互式顯示系統中的定 位子系統的功能架構。
[0022] 圖5是說明根據本發明的實施例的圖4的架構的操作的流程圖。
[0023] 圖6a及6b是說明確定在兩個相對定位取樣點之間的圖像捕獲時間的相對位置的 曲線圖。
[0024] 圖6c是根據圖像帖內絕對位置的位置對補償加權因子的相依性的圖解說明。
[0025] 圖7是說明根據本發明的實施例的動態校準方法的操作的流程圖。
[0026] 圖8是根據本發明的實施例如在絕對與相對定位之間的協作中使用的指向裝置 的定向軸的透視圖。
[0027] 圖9a到9c是顯示器的視圖，其說明根據本發明的實施例的視覺相對定位方法的 操作。
【具體實施方式】
[002引將結合本發明的實施例中的一或多者來描述本發明，即，實施成包含觀眾可見的 顯示器的計算機化呈現系統，因為預期本發明在應用于此系統時將特別有益。然而，還預 期，本發明結合其它應用（例如在游戲系統、用戶到計算機系統中的一般輸入中等）可為 有用的。因此，應理解，W下描述僅通過實例提供且并不打算限制所主張的本發明的真實范 圍。
[0029] 圖la說明其中本發明的實施例有用的環境的簡化實例。如圖1中所展示，演講者 SPKR正在使用視覺輔助物給出觀眾A現場呈現。在此情況下，視覺輔助物呈由計算機22 產生并W觀眾A可見的方式在房間大小的圖形顯示器20上顯示的計算機圖形及文本的形 式。如此項技術中已知，此類呈現在商業、教育、娛樂及其它情景中為常見的，其中特定觀眾 群大小及系統元件廣泛地變化。圖la的簡化實例說明其中觀眾A包含觀看呈現的數個或 更多成員的商業環境；當然，環境的大小可從容納數百個觀眾成員的禮堂到其中觀眾A由 單個人組成的單個書桌或桌子而變化。
[0030] 用于向觀眾A呈現視覺輔助物的顯示器20的類型也可變化，此通常取決于呈現環 境的大小。在介于從會議室到大型禮堂的范圍內的房間中，顯示器20可為投影顯示器，包 含安置于顯示屏幕前方或后方的投影儀。在所述環境中，計算機22將產生視覺輔助圖像數 據并將其轉發給投影儀。在較小環境中，顯示器20可為由計算機22中的圖形適配器直接 驅動的例如等離子或液晶（LCD)類型的外部平板顯示器。對于向一兩個觀眾成員的呈現， 呈膝上型或桌上型計算機的形式的計算機22可僅僅使用其自己的顯示器20來呈現視覺信 息。此外，對于較少觀眾A，手持式投影儀（例如，"口袋型投影器"或"微微型投影儀"）正 在變得更普遍，在所述情況中，顯示屏幕可為墻壁或白板。
[0031] 使用計算機呈現軟件來產生并在呈現的情景中呈現圖形及文本現在為普遍的。此 呈現軟件的眾所周知的實例為可從微軟公司購得的POWERPOINT軟件程序。在圖la的環境 中，此呈現軟件將由計算機22執行，其中在顯示器20上顯示呈現中的每一幻燈片，如此實 例中所展示。當然，特定視覺信息無需為在計算機22處執行的先前所創建的呈現，而是可 為；經由計算機22訪問的網頁；包含圖標、程序窗口及致動按鈕的桌面顯示；來自正由計算 機22讀取的DVD