電子裝置和信息處理方法
【專利說明】電子裝置和信息處理方法
[0001]相關申請的交叉引用
[0002]該申請依據并要求2012年11月5日提交的日本專利申請N0.的優先權，通過引用將其全部內容結合在本文中。
技術領域
[0003]這里所描述的實施例通常涉及一種例如信息處理裝置的電子裝置、一種信息處理方法和一種程序。
【背景技術】
[0004]投射信息的信息處理裝置(電子裝置)，例如投影儀(投影裝置)，被廣泛地使用。
[0005]作為用于在投影圖像中顯示任意位置的方法，有用于通過使用指示器等來直接指定投影圖像中的預定位置的方法，有用于將例如光標顯示的圖片信息添加到通過投影裝置保存的投影之前的信息的方法，以及其他方法，其中，投影圖像是例如由投影裝置(投影儀)投影的文檔或者照片。
[0006]使用指示器等的方法需要指示裝置。用于將光標顯示等添加到投影之前的信息的方法需要用于移動光標顯示的操作。
[0007]本發明的目的在于作為一種用于在由投影裝置投影的投影圖像中顯示任意位置的方法，提供與指定者的用于指定位置的操作相結合以高可見度實現指定的電子裝置、信息處理方法和程序。
【附圖說明】
[0008]現在將參考附圖描述實現實施例的各種特征的一般結構。附圖和相關的描述是用來圖解本發明的實施例，而不是為了限制本發明的范圍。
[0009]圖1是顯示使用根據實施例的信息處理裝置的處理系統的實例的示例圖；
[0010]圖2是顯示根據實施例的信息處理裝置的實例的示例圖；
[0011]圖3是顯示根據實施例的信息處理方法的實例的示例圖；
[0012]圖4是顯示根據實施例的信息處理方法的實例(站立位置判斷)的示例圖；
[0013]圖5是顯示根據實施例的信息處理方法的實例(單擊識別)的示例圖；
[0014]圖6是顯示根據實施例的信息處理方法的實例的示例圖；且
[0015]圖7是顯示根據實施例的信息處理方法的實例的示例圖。
【具體實施方式】
[0016]以下將參考【附圖說明】各種實施例。
[0017]通常，根據一個實施例，電子裝置的特征在于，包括:移位校正模塊，被配置成將獲取的投影圖像的位置與原始圖像的位置進行比較，用于校正位置，并被配置成獲得透視變換后的(perspective-transformed)圖像；色彩/亮度校正模塊，被配置成將透視變換后的圖像的色彩或者亮度與原始圖像的色彩或者亮度進行比較，用于校正色彩或者亮度，并被配置成獲得校正后的圖像；陰影圖像生成模塊，被配置成將校正后的圖像與原始圖像進行比較并被配置成生成陰影圖像；陰影圖像位置識別模塊，被配置成識別在投影圖像上由陰影圖像所指定的位置；以及輸出圖像處理模塊，被配置成將通過陰影圖像位置識別模塊識別的陰影圖像疊加到投影圖像上并被配置成輸出疊加后的圖像。
[0018]下面將參考附圖詳細描述實施例。
[0019]圖1顯示使用根據實施例的的信息處理裝置(電子裝置)的投影系統(信息處理系統)的實例。應當注意，如下所述的部件、結構或功能可以通過硬件被實現或者它們可以借助于微型計算機(CPU或者處理器)等通過軟件被實現。
[0020]投影系統I包括:電子裝置，即信息處理裝置101 ;將與從信息處理裝置101輸出的投影信息相關聯的投影圖像輸出到例如屏幕(投影平面)的投影裝置201 ;以及獲取由投影裝置201提供的投影圖像的成像裝置301。操作者可以位于預定位置處，例如，在屏幕(投影平面)S的左側或者右側的任意位置。操作者不需要位于例如能夠看見由信息處理裝置101提供的圖像顯示(整體包含在信息處理裝置101中的顯示屏幕)的位置處。可以將成像裝置301與例如信息處理裝置101結合成一體。
[0021]圖2顯示包含在圖1中所描繪的投影系統中的信息處理裝置的配置的實例，其中信息處理裝置例如為個人計算機(PC)等的電子裝置。
[0022]信息處理裝置101包括:投影信息結合模塊113，投影內容經由投影信息輸入模塊111被輸入到該投影信息結合模塊113中，其中，投影信息輸入模塊111為例如應用程序或者圖像處理軟件(軟件);移位校正模塊115，校正通過使用成像裝置301獲得的被獲取的圖像的移位，以便獲取由投影裝置201投影的投影圖像，其中，該投影圖像是要通過投影信息結合模塊113被結合的投影信息；和投影信息獲取模塊(屏幕捕捉功能/屏幕捕捉模塊)117，該投影信息獲取模塊117獲取與由投影裝置201投影的投影圖像相關聯的投影信息。
[0023]信息處理裝置101還包括:色彩或者亮度校正模塊(下文中將稱為色彩/亮度校正模塊)121，該色彩/亮度校正模塊121將來自移位校正模塊115的透視變換后的圖像的色彩或者亮度進行校正以與原始圖像的色彩或者亮度相一致；差異生成模塊123，該差異生成模塊123通過使用由色彩/亮度校正模塊121提供的校正后的圖像Ic (X，y)和原始圖像(捕捉的圖像)1 (x, y)來計算差異圖像 Idiff (X，y)= Ic (x, y)-1o(x, y) | ;微暗(dimness)提取模塊125，該微暗提取模塊125根據由色彩/亮度校正模塊121提供的校正后的圖像Ic (X，y)和原始圖像(捕捉的圖像)1 (X，y)來計算微暗圖像Idim=閥值(Ic, <閾值I);和陰影提取模塊127，該陰影提取模塊127根據從差異生成模塊123的輸出和從微暗提取模塊125的輸出來計算陰影圖像Ishadow=閥值(Idiff X Idim，<閾值2)。
[0024]信息處理裝置101還包括:站立位置檢測模塊131，該站立位置檢測模塊131判斷操作者出現(站立)在左側和右側中的哪一側；指尖檢測模塊133，該指尖檢測模塊133檢測操作者的指尖；以及指尖追蹤模塊135，該指尖追蹤模塊135通過使用(操作者的)先前的指尖位置信息來輸出最終的指尖位置。
[0025]信息處理裝置101進一步包括:操作信息生成模塊141，該操作信息生成模塊141檢測最終的指尖位置已經指向大致相同的位置一段固定時間；操作輸出模塊143，該操作輸出模塊143判定最終的指尖位置作為光標位置，檢測最終的指尖位置已經出現了一段固定時間(時期)以判定單擊(輸入判定)，并還將操作輸出到信息處理裝置101;以及投影疊加信息輸入模塊145，該投影疊加信息輸入模塊145生成要與從操作輸出模塊143輸出的圖像相結合并要在圖像信息結合模塊113中被結合的疊加信息，即通過重疊等結合原始圖像的疊加信息。
[0026]應當注意，信息處理裝置101包括:控制塊(MPU) 103，該MPU103控制以上所述的各個模塊；R0M105，該R0M105保存用于操作MPU103的程序；RAM107，該RAM107起到在實際處理中的工作區域的作用；非易失性存儲器109，該非易失性存儲器109保存數值數據、應用程序等；以及其他部件等。
[0027]圖3顯示在圖1和圖2中所描述的投影系統中的操作的實例。
[0028][[移位校正]]
[0029]投影內容經由投影信息輸入模塊111被輸入到投影信息結合模塊113，且成像裝置301獲取通過投影裝置201投影到投影平面上的圖像(投影平面圖像)。由成像裝置301獲取(獲得)的圖像(下文中將被稱為被獲取的圖像)被提供到移位校正模塊115 (圖3中的[a])。
[0030]投影內容還在投影信息獲取模塊117中(通過使用例如PClOl的屏幕捕捉功能)被內部捕捉(獲取)并作為原始圖像被提供到移位校正模塊115 (圖3中的[b])。
[0031]移位校正模塊Il5計算哪種(類型的)透視變換能夠相對于被獲取的圖像被執行，從而被獲取的圖像能夠與原始圖像相一致。舉例來說，提取局部特征值，例如SURF，執行被提取的局部特征值的交叉匹配，并通過使用例如RANSAC來估算為3X3矩陣的單應性矩陣(homography matrix)(圖 3 中的[I])。
[0032]也就是說，從移位校正模塊115輸出的圖像(圖3中的[c])是基于單應性矩陣經過透視變換的被獲取的圖像(下文中將稱為透視變換后的圖像)。
[0033][[色彩/亮度校正]]
[0034]由移位校正模塊115提供的透視變換后的圖像被饋送到色彩/亮度校正模塊121(圖3中的[2])。
[0035]這里，用透視變換后的圖像的色彩或者亮度能夠與原始圖像的色彩或者亮度相一致的方式來執行校正。舉例來說，在所有像素的每個色彩(或者亮度)中，假定Ii (舉例來說，值范圍為[0..255])是在透視變換后的圖像中的位置(X，y)處的像素的色彩或者亮度且Ij (舉例來說，值范圍為[0..255])是在原始圖像中的位置(X，y)處的像素的色彩或者亮度，計算在原始圖像中通過所有點[U，y)]得到的Ij的值的平均值m(Ij)，其中，所有點[(X，y)]在透視變換后的圖像中得到給定值Ii，并且該值被判定為將校正后的色彩或者亮度返回給Ii的函數f (Ii)。當Ij的值的數目對應于圍繞f (Ii)的Ii的某一數值時，可以使用并插入。
[0036]從色彩/亮度校正模塊121輸出的圖像是通過對透視變換后的圖像中的所有像素應用f(.)獲得的(在下文中將稱為校正后的圖像)(圖3中的[d])。
[0037]因此，可以消除包含在原始圖像和被獲取的圖像中的色相的影響，即在投影圖像中產生的背景上染色成分，其中，每一個被獲取的圖像都具有通常大體上為白色的背景(應當基本上是白色的圖像被略微染色)。
[0038][[陰影圖像的生成]]
[0039]差異生成模塊123通過使用由色彩/亮度校正模塊121提供的校正后的圖像Ic (X，y)和原始圖像1 (X，y)來計算差異圖像Idiff (x, y) = | Ic (x, y)_1(x, y) |。更進一步地，微暗提取模塊125通過使用閾值I來計算微暗圖像Idim=閥值(Ic，<閾值I)(圖3中的[3])。
[0040]陰影提取模塊127通過使用閾值2根據Idiff和Idim來計算陰影圖像Ishadow=閥值(I di f f X I dim，〈閾值2 )。在這方面，閥值(I，pred )是產生圖像的函數，其中當二進制函數pred被用于(X，y)且獲得pred (I (x, y))時，閥值(I, pred)變為I，或者在其他情況下變為O。
[0041]這個處理(圖3中的[e]和[f])用于檢測出現在投影平面(屏幕)和投影裝置201之間的對象和陰影作為Idiff，檢測包括陰影的微暗作為Idim，并通過使用這些被檢測到的成分的乘積來提取形狀(目的是為了提取陰影)。
[0042][[指尖的追蹤]]
[0043]在站立位置檢測模塊131中，對于陰影圖像，根據區域㈧和區域⑶中的每一個，圖4中所示的每一個U形部分中的像素值的總合被判定為Ls或者Rs。如果Ls〈Rs，則Rs偵U，即右側，具有更多陰影。因此，如果Ls〈Rs，則判定操作者出現在右側(區域⑶)。如果不是，則判定操作者出現在左側(區域(A))。
[0044]當操作者出現在左側時，指尖檢測模塊133計算允許滿足Ishadow (x, y) >0的X變為