圖像處理客戶端的制作方法
【專利說明】
[0001] 相關申請的奪叉引用
[0002] 本申請是在2014年5月1日遞交的具有申請號14/267,840的名為"圖像處理" 的美國非臨時申請的部分延續，其繼而要求在2013年5月1日遞交的臨時申請61/956, 927 的優先權；本申請進一步要求以下美國臨時專利申請的優先權和權益：
[0003] 在2014年4月4日遞交并具有申請號61/975, 691的"視覺搜索"；
[0004] 在2014年4月7日遞交并具有申請號61/976, 494的"視覺搜索廣告"；
[0005] 在2014年5月1日遞交并具有申請號61/987, 156的"圖像處理"；
[0006] 在2014年7月31日遞交并具有申請號62/031，397的"圖像處理中的實時目標選 擇"；
[0007] 在2014年10月27日遞交并具有申請號62/069, 160的"分布式圖像處理"；以及
[0008] 在2014年11月25日遞交并具有申請號62/084, 509的"選擇性圖像處理"。
[0009] 所有以上專利申請通過引用被并入本文。
技術領域
[0010] 本申請處于圖像處理的領域，更具體地，處于特征化圖像的內容的領域。
【背景技術】
[0011] 通常從圖像中提取信息比從文本數據中提取信息更難。然而，一大部分信息在圖 像中被找到。自動的圖像辨識系統的可靠度高度取決于圖像的內容。例如，光學字符辨識 比面部辨識更可靠。圖像辨識的目標是對圖像添加標簽。標簽指的是特征化圖像的內容的 標簽（單詞）的識別。例如，汽車的圖像可以被添加有單詞"汽車"、"福特格拉納達（Ford Granada) "或"具有損壞前燈的白色1976年福特格拉納達"的標簽。這些標簽包括不同數 量的信息，并可由此在用途上變化。

【發明內容】

[0012] 本申請的實施例包括添加圖像標簽的雙管齊下的方法。第一個方法是在圖像上執 行自動的圖像辨識。該自動的圖像辨識導致圖像的審核（review)。該圖像審核包括識別圖 像的內容的一個或多個標簽并且可選地還包括表示自動圖像識別的可靠度的置信度的度 量。該對圖像添加標簽的方法中的第二個方法包括圖像的手動添加標簽。手動添加標簽包 括人觀看每個圖像、考慮圖像的內容并且手動地提供表示圖像內容的標簽。自動的圖像辨 識具有分析每個圖像的時間上或金錢上的成本可以相對低的優點。圖像的手動標簽添加具 有更高的準確度和可靠度的優點。
[0013] 本發明的實施例結合了自動圖像辨識和手動圖像辨識兩者。在一些實施例中，自 動圖像辨識首先被執行。產生的圖像審核通常既包括特征化圖像的一個或多個標簽也包括 這些標簽在準確度上的置信度的度量。如果置信度高于預定閾值，那么這些標簽與該圖像 關聯并被提供作為添加標簽過程的輸出。如果置信度低于預定閾值，那么該圖像的手動審 核被執行。手動審核導致特征化圖像的內容的附加和/或不同標簽。在一些實施例中，自 動的圖像辨識和圖像的手動審核被并行地執行。如果自動圖像辨識導致一個或多個標簽具 有高于預定閾值的置信度則手動審核被可選地取消或終止。
[0014] 在一些實施例中，圖像的辨識可以被升級。圖像辨識過程的升級包括針對表示圖 像的內容的進一步或改進的標簽的要求。例如，如果自動圖像辨識導致標簽"白車"，該辨識 的升級可以導致標簽"白色福特格拉納達"。在一些實施例中，升級的審核利用專家人類審 核者。例如，以上示例可以包括利用具有汽車的專業知識的人類審核者。人類審核者的專 業知識的其它示例在本文的其它地方被討論。
[0015] 本發明的各種實施例包括導向改進圖像辨識的準確度同時還最小化成本的特征。 通過舉例的方式，這些特征包括人口審核者的有效利用、圖像標簽的實時遞送、和/或圖像 辨識的無縫升級。本文公開的圖像辨識的方法被可選地用來生成適于執行互聯網搜索和/ 或選擇廣告的圖像標簽。例如，在一些實施例中，圖像標簽被自動地用來執行谷歌搜索和/ 或基于谷歌的AdWords而賣廣告。
[0016] 本發明的各種實施例包括圖像處理系統，該圖像處理系統包括被配置為在通信網 絡上傳送圖像和圖像標簽的I/O ;自動識別接口，被配置為將圖像向自動識別系統傳送并 且接收來自自動識別系統的圖像的計算機生成的審核，該計算機生成的審核包括識別圖像 的內容的一個或多個標簽；目的地邏輯，被配置為確定將圖像發送到的第一目的地，以用于 由第一人類審核員對該圖像進行第一手動審核；圖像張貼邏輯，被配置為將圖像張貼至目 的地；審核邏輯，被配置為接收來自目的地的圖像的手動審核并且接收計算機生成的審核， 該手動審核包括識別圖像的內容的一個或多個圖像標簽；響應邏輯，被配置為向通信網絡 提供計算機生成的審核的圖像標簽以及手動審核的圖像標簽；存儲器，被配置為存儲圖像； 以及微處理器，被配置為至少執行目的地邏輯。
[0017] 本發明的各種實施例包括處理圖像的方法，該方法包括接收來自圖像源的圖像； 向自動圖像識別系統分配圖像；接收來自自動圖像識別系統的計算機生成的審核，該計算 機生成的審核包括被自動圖像識別系統指派給該圖像的一個或多個圖像標簽和置信度的 度量，該置信度的度量是被指派至圖像的圖像標簽正確地特征化圖像的內容的置信度的度 量；將圖像置于圖像隊列中；確定目的地；將用于手動審核的圖像張貼至第一目的地，該第 一目的地包括人類圖像審核員的顯示設備；以及接收來自目的地的圖像的手動圖像審核， 該圖像審核包括被人類圖像審核員指派至圖像的一個或多個圖像標簽，該一個或多個圖像 標簽特征化圖像的內容。
[0018] 本申請的各種實施例包括圖像源，其包括被配置為采集圖像的相機；顯示器，被配 置為向用戶呈現圖像；眼跟蹤邏輯，被配置為檢測用戶的一個或多個眼睛的動作；可選的 圖像標記邏輯，被配置為將標記置于圖像上，該標記被配置為指示圖像的特定子集并且響 應于所檢測的動作；顯示邏輯，被配置為實時地將標記顯示在圖像上；1/0,被配置為提供 圖像至計算機網絡；以及處理器，被配置為至少執行顯示邏輯。
[0019] 本申請的各種實施例包括圖像源，其包括被配置為采集圖像的相機；顯示器，被配 置為向用戶呈現圖像；眼跟蹤邏輯，被配置為檢測用戶的一個或多個眼睛的動作；圖像標 記邏輯，被配置使用戶指示圖像的特定子集并且突出該子集內的對象，該指示響應于所檢 測的動作；顯示邏輯，被配置為實時地將所突出的顯示在圖像上；1/0,被配置為向計算機 網絡提供圖像和特定子集的指示；以及處理器，被配置為至少執行顯示邏輯。
[0020] 本發明的各種實施例包括圖像源，其包括被配置為采集圖像的相機；顯示器，被配 置為向用戶呈現圖像；選擇邏輯，被配置用于選擇；圖像標記邏輯，被配置使用戶指示圖像 的特定子集并且突出該子集內的對象，該指示響應于所檢測的手指；1/0,被配置為向計算 機網絡提供圖像和特定子集的指示；顯示邏輯，被配置為實時地顯示圖像并且響應于圖像 顯示從計算機網絡接收的圖像標簽，該圖像標簽特征化圖像的內容；以及處理器，被配置為 執行至少顯示邏輯。
[0021] 本發明的各種實施例包括圖像處理系統，該圖像處理系統包括被配置為在通信網 絡上傳送圖像序列和圖像標簽的I/O ;可選的自動識別接口，被配置為將圖像序列向自動 識別系統傳送并且接收來自自動識別系統的圖像的計算機生成的審核，該計算機生成的審 核包括識別圖像的內容的一個或多個標簽；目的地邏輯，被配置為確定將圖像序列發送至 的第一目的地，以用于由第一人類審核者對該圖像序列進行第一手動審核；圖像張貼邏輯， 被配置為將圖像序列張貼至目的地；審核邏輯，被配置為接收來自目的地的圖像序列的手 動審核并且可選地接收計算機生成的審核，該手動審核包括識別圖像序列內的動作的一個 或多個圖像標簽；響應邏輯，被配置為向通信網絡提供計算機生成的審核的圖像標簽以及 手動審核的圖像標簽；存儲器，被配置為存儲圖像序列；以及微處理器，被配置為至少執行 目的地邏輯。
[0022] 本發明的各種實施例包括處理圖像的方法，該方法包括：在圖像處理服務器經由 通信網絡接收來自遠程客戶端的圖像的一個或多個第一描述符；將所接收的第一描述符與 本地存儲在圖像處理服務器的第二描述符比較以確定是否第一描述符匹配第二描述符的 集合；響應于第一描述符與第二描述符的集合相匹配，獲取與第二描述符的集合相關聯而 存儲的一個或多個圖像標簽；并且向客戶端提供一個或多個圖像標簽。
[0023] 本發明的各種實施例包括在圖像處理服務器處理圖像的方法，該方法包括：接收 來自遠程客戶端的圖像和特征化該圖像的數據；確定針對圖像的目的地，該目的地與人類 圖像審核者相關聯，該目的地的確定基于特征化圖像的數據與人類審核者的專長之間的 匹配；將圖像張貼至所確定的目的地；接收來自目的地的特征化圖像的一個或多個圖像標 簽；并且向客戶端提供一個或多個圖像標簽。
[0024] 本發明的各個實施例包括處理圖像的方法，該方法包括：接收來自移動設備的特 征化圖像的數據，該數據特征化包括所識別的圖像的或圖像的描述符的特征的圖像；基于 特征化圖像的數據生成圖像標簽；向移動設備提供圖像標簽。
[0025] 本發明的各種實施例包括處理圖像的方法，該方法包括：使用便攜設備接收圖像； 使用便攜設備的處理器識別圖像的特征；經由通信網絡向遠程圖像處理服務器提供特征； 接收來自圖像處理服務器的基于特征的圖像標簽；并且在便攜設備的顯示器上顯示圖像標 簽。
[0026] 本發明的各種實施例包括處理圖像的方法，該方法包括：使用便攜設備接收圖像； 使用便攜設備的處理器識別圖像的特征；基于所識別的特征導出圖像描述符；經由通信網 絡向遠程圖像處理服務器提供描述符；接收來自圖像處理服務器的基于描述符的圖像標 簽；并且在便攜設備的顯示器上顯示圖像標簽。
[0027] 本發明的各種實施例包括處理圖像的方法，該方法包括：使用便攜設備接收圖像； 使用便攜設備的處理器識別圖像的特征；基于所識別的特征導出圖像描述符；將圖像描述 符與之前存儲在便攜設備上的圖像描述符的集合比較以確定是否在圖像描述符與所存儲 的圖像描述符的集合之間存在匹配；如果在圖像描述符與所存儲的圖像描述符的集合之間 存在匹配則從便攜設備的存儲器獲取與圖像描述符的集合相關聯的一個或多個圖像標簽； 將所獲取的一個或多個圖形標簽顯示在便攜設備的顯示器上。
[0028] 本發明的各種實施例包括處理圖像的方法，該方法包括：使用便攜設備接收圖像； 使用便攜設備的處理器識別圖像的特征；基于所識別的特征導出圖像描述符；將圖像描述 符與之前存儲在便攜設備上的圖像描述符的集合比較以確定是否在圖像描述符與所存儲 的圖像描述符的集合之間存在匹配；基于在圖像描述符與所存儲的圖像描述符的集合之間 的匹配分類圖像；向遠程圖像處理服務器發送圖像和圖像的分類；接收基于圖像的一個或 多個圖像標簽；并且將一個或多個圖像標簽顯示在便攜設備的顯示器上。
[0029] 本發明的各種實施例包括圖像處理系統，其包括被配置為在通信網絡上傳送圖像 和圖像標簽的I/O ;圖像分級器，被配置為確定用于對圖像添加標簽的優先級；目的地邏 輯，被配置為確定將圖像發送到的第一目的地以用于被第一人類審核者對圖像的第一手動 審核；圖像張貼邏輯，被配置為將圖像張貼至目的地；審核邏輯，被配置為接收來自目的地 的圖像的手動審核，該手動審核包括識別圖像的內容的一個或多個圖像標簽；存儲器，被配 置為將一個或多個圖像標簽存儲在數據結構中；以及微處理器，被配置為至少執行圖像分 級器。
[0030] 本發明的各種實施例包括圖像處理系統，其包括被配置為在通信網絡上接收圖像 的I/O ;圖像分級器，被配置為確定圖像的優先級并且確定是否基于該優先級對圖像添加 標簽和/或如何對圖像添加標簽；用于對圖像添加標簽以產生特征化圖像的一個或多個圖 像標簽的手動或自動裝置；存儲器，被配置為在數據結構中存儲圖像以及特征化圖像的一 個或多個圖像標簽；以及微處理器，被配置為至少執行圖像分級器。
[0031] 本發明的各種實施例包括圖像處理系統，其包括被配置為在通信網絡上接收圖像 的I/O ;圖像分級器，被配置為確定圖像的優先級并且基于該優先級選擇對圖像添加標簽 的過程；用于對圖像添加標簽以產生特征化圖像的一個或多個圖像標簽的裝置；存儲器， 被配置為在數據結構中存儲圖像以及特征化圖像的一個或多個圖像標簽；以及被配置為至 少執行圖像分級器的微處理器。
[0032] 本發明的各種實施例包括圖像處理系統，其包括被配置為在通信網絡上傳送圖像 和圖像標簽的I/O ;圖像分級器，被配置為確定用于基于包括圖像的視頻被觀看多少次來 對圖像添加標簽的優先級；目的地邏輯，被配置為確定將圖像發送到的目的地以用于被人 類審核者對圖像的手動審核；圖像張貼邏輯，被配置為將圖像張貼至目的地；審核邏輯，被 配置為接收來自目的地的圖像的手動審核，該手動審核包括識別圖像的內容的一個或多個 圖像標簽；存儲器，被配置為將一個或多個圖像標簽存儲在數據結構中；以及微處理器，被 配置為至少執行圖像分級器。
[0033] 本發明的各種實施例包括處理圖像的方法，該方法包括接收來自圖像源的圖像； 向自動圖像識別系統分配圖像；接收來自自動圖像識別系統的計算機生成的審核，該計算 機生成的審核包括被自動圖像識別系統指派至該圖像的一個或多個圖像標簽和置信度的 度量，該置信度的度量是被指派至圖像的圖像標簽正確地特征化圖像的內容的置信度的度 量；基于置信度的度量將優先級指派至圖像；基于優先級確定圖像應當被手動標簽；將用 于手動審核的圖像張貼至第一目的地，該第一目的地包括人類圖像審核員的顯示設備；以 及接收來自目的地的圖像的手動圖像審核，該圖像審核包括被人類圖像審核者指派至圖像 的一個或多個圖像標簽，被人類圖像審核者指派的該一個或多個圖像標簽特征化圖像的內 容。
[0034] 本發明的各種實施例包括處理圖像的方法，該方法包括接收來自圖像源的圖像； 使用微處理器自動地確定圖像的優先級；基于優先級確定圖像應當怎樣被添加標簽；對圖 像添加標簽以產生一個或多個標簽，該一個或多個標簽特征化圖像的內容；并且將該圖像 和該一個或多個標簽存儲在數據結構中。
【附圖說明】
[0035] 圖1圖示了根據本發明的各種實施例的圖像處理系統。
[0036] 圖2圖示了根據本發明的各種實施例的圖像采集屏幕。
[0037] 圖3圖示了根據本發明的各種實施例的基于圖像分析的搜索結果。
[0038] 圖4圖示了根據本發明的各種實施例的處理圖像的方法。
[0039] 圖5圖示了根據本發明的各種實施例的處理圖像的可替代方法。
[0040] 圖6圖示了根據本發明的各種實施例的管理審核者池的方法。
[0041] 圖7圖示了根據本發明的各種實施例的實時地接收圖像標簽的方法。
[0042] 圖8圖示了根據本發明的各種實施例的升級圖像審核的方法。
[0043] 圖9圖示了根據本發明的各種實施例的包括電子眼鏡的圖像源120A的示例。
[0044] 圖10圖示了根據本發明的各種實施例的處理圖像源上的圖像的方法。
[0045] 圖11圖示了根據本發明的各種實施例的基于圖像描述符處理圖像的方法。
[0046] 圖12圖示了根據本發明的各種實施例的使用反饋處理圖像的方法。
[0047] 圖13和14圖示了根據本發明的各種實施例的基于圖像描述符提供圖像標簽的方 法。
[0048] 圖15圖示了根據本發明的各種實施例的按優先級排序圖像標簽的方法。
【具體實施方式】
[0049] 圖1圖示了根據本發明的各種實施例的圖像處理系統110。圖像處理系統110被 配置用于對圖像添加標簽并且可以包括一個或多個分布式計算設備。例如，圖像處理系統 110可以包括位于地理上不同地點的一個或多個服務器。圖像處理系統110被配置為經由 網絡115進行通信。網絡115可以包括多種的通信網絡，諸如互聯網和/或蜂窩電話系統。 網絡115通常被配置為使用諸如IP/TCP、FTP等標準協議傳送數據。被圖像處理系統110 處理的圖像從圖像源120 (單獨標記為120A、120B等）被接收。圖像源120可以包括被連 接至互聯網和/或個人移動計算設備的計算源。例如，圖像源120A可以是被配置為提供社 交網站或圖片分享服務的網絡服務器。圖像源120B可以是智能電話、相機、可穿戴相機、電 子眼鏡或其它便攜圖像采集設備。圖像源可以被統一資源定位符、互聯網協議地址、MC地 址、蜂窩電話標識符和/或類似物所識別。在一些實施例中，圖像處理系統110被配置為接 收來自大量圖像源120的圖像。
[0050] 由圖像處理系統110執行的圖像標簽的部分包括向目的地125(分別標記為125A、 125B等）發送圖像。目的地125是人類圖像審核者的計算設備并且通常在地理上遠離圖像 處理系統110。目的地125至少包括顯示器和數據輸入設備，諸如觸摸屏、鍵盤和/或麥克 風。例如，目的地125可以是與圖像處理系統110不同的建筑物、城市、州和/或國家。目 的地125可以包括個人計算機、平板電腦、智能電話等。在一些實施例中，目的地125包括 被特別配置為促進圖像的審核的（計算）應用。該應用被可選地從圖像處理系統110提供 至目的地125。在一些實施例中，圖像處理系統110被配置用于人類圖像審核者從目的地 125登錄用戶賬號。目的地125通常與個體審核者相關聯并且可以被互聯網協議地址、MAC 地址、登錄會話標識符、蜂窩電話標識符和/或類似物所識別。在一些實施例中，目的地125 包括音頻至文本轉換器。由人類圖像審核者在若干目的地125提供的圖像標簽數據被發送 至圖像處理系統110。圖像標簽數據可以包括文本圖像標簽、包括語言化標簽的音頻數據、 和/或諸如升級請求或不適當（明確的）材料標識之類的非標簽信息。
[0051] 圖像處理系統110包括被配置用于與外部系統通信的1/0(輸入/輸出）130。I/O 130包括路由器、交換機、調制解調器、防火墻、和/或類似物。I/O 130被配置為接收來自 圖像源120的圖像，向目的地125發送圖像，接收來自目的地125的標簽數據，并且可選地 向圖像源120發送圖像標簽。I/O 130包括通信硬件以及可選地包括應用程序接口（API)。
[0052] 圖像處理系統110進一步包括存儲器135。存儲器135包括被配置用于諸如圖像、 圖像標簽、計算指令以及其它本文所討論的數據之類的數據的非暫時性儲存的硬件。例如， 存儲器135可以包括隨機存取存儲器（RAM)、硬盤驅動器、光儲存介質和/或類似物。存儲 器135被配置為通過使用特定的數據結構、索引、文件結構、數據訪問例程、安全協議和/或 類似物而存儲特定的數據（如本文所描述）。
[0053] 圖像處理系統110進一步包括至少一個處理器140。處理器140是諸如電子微處 理器之類的硬件設備。處理器140被配置為通過硬件、固件或將軟件指令載入處理器140 的寄存器而執行特定功能。圖像處理系統110可選地包括多個處理器140。處理器140被 配置為執行本文討論的各種類型的邏輯。
[0054] 由圖像處理系統110接收的圖像首先被存儲在圖像隊列145中。圖像隊列145是 存儲在存儲列表中的待審核的圖像的有序列表。存儲在圖像隊列145中的圖像通常與用于 引用圖像的圖像標識符相關聯地被存儲并且可以具有不同的優先級。例如，從圖片分享網 站接收的圖像可以具有比從智能電話接收的圖像更低的優先級。通常，相對于針對一些其 它目的使用的圖像標簽的那些圖像，針對請求者正在等待接收實時地表示圖像的圖像標簽 的那些圖像被給予更高的優先級。圖像隊列145可選地被存儲在存儲器135中。
[0055] 在圖像隊列145中，圖像被可選地與圖像標識符或索引以及其它與每個圖像關聯 的數據相關聯地存儲。例如，圖像可以與關于圖像源120中的一個的源數據相關聯。源數據 可以包括諸如全球定位系統坐標、街道和/或城市名、郵編、和/或類似物的地理信息。源 數據可以包括互聯網協議地址、統一資源定位符、賬戶名、智能電話的標識符、和/或類似 物。源數據可以進一步包括關于使用在圖像源120的成員上的語言、請