用于緊密耦合的低功率圖像處理的方法和裝置的制造方法
【專利說明】用于緊密耦合的低功率圖像處理的方法和裝置
[0001]公開領域
[0002]本公開的技術領域涉及視頻數據通信和處理。
[0003]背景
[0004]某些視頻系統具有光傳感器，光傳感器將視頻幀傳遞到具有視頻編碼器/解碼器(VCODEC)和本地存儲器的視頻電路內的相機核。視頻幀必須經過相機核并最終到達VCODEC以供編碼和后續處理。然而，相機核不能直接將視頻幀交遞給VC0DEC，因為相機核和本地存儲器缺乏足以充當視頻幀緩沖器的存儲容量。相機核通常還缺乏用于將視頻幀傳遞到VCODEC所需的握手功能。因此，視頻電路將整個視頻幀從相機核卸載至外部存儲器，隨后從該外部存儲器檢索這些卸載的視頻幀并將這些幀輸入至VC0DEC。視頻幀的卸載和檢索一般由應用處理器來控制。然而，外部存儲器和應用處理器各自消耗相當多的功率。
[0005]用于減少或彌補這一功率的現有手段和努力包括將外部存儲器以及相機核與外部存儲器之間的接口電路系統放置得更為接近，以及針對視頻幀傳遞使用更高的突發長度以提高總線效率。現有手段和努力還包括總線和內核時鐘的縮放。現有手段和努力盡管減少了功耗，但不能免除外部存儲器或應用處理器的功耗。
[0006]概述
[0007]本概述并非所有構想方面的綜覽，或者為了描繪任何實施例或其任何方面的范圍。其唯一目的是為了呈現一些示例概念，其中所有這些概念將從本公開的稍后章節闡述的各個示例性實施例的更為詳細的描述中被進一步理解。
[0008]根據一個示例性實施例，一種圖像處理方法可包括在相機核處接收圖像并隨后以塊為基礎將該圖像從該相機核傳遞到下游處理引擎，并且在一個方面，以塊為基礎的傳遞可包括在該相機核和該下游處理引擎之間傳達直接握手信號。
[0009]在一個方面，在相機核與下游處理引擎之間傳達直接握手信號可經由耦合至該相機核且耦合至該下游處理引擎的直接握手路徑。
[0010]在一個方面，在相機核處接收圖像可包括在光傳感器處將圖像劃分為多個(N個)塊，以及并發地將N塊的量存儲到相機核和本地存儲器中的至少一者中。
[0011]在一個方面，在相機核處接收圖像可包括在光傳感器處執行N次圖像掃描，對于N次掃描中的每一次掃描將至少一塊圖像傳遞到相機核和與該相機核相關聯的本地存儲器中的至少一者，以及并發地將N塊的量存儲到該相機核和該本地存儲器中的至少一者中。
[0012]根據一個示例性實施例，一種圖像處理方法可包括掃描光傳感器以獲得一次圖像掃描，提取該一次圖像掃描的給定N塊劃分的塊，將所提取的塊存儲到相機核或與該相機核相關聯的本地存儲器中的至少一者中，將所提取的那一塊從相機核或本地存儲器中的至少一者傳遞到下游處理引擎，以及將掃描、提取、存儲和傳遞重復N次以向處理引擎提供該圖像。
[0013]在一個方面，將所提取的那一塊從相機核或本地存儲器中的至少一者傳遞到下游處理引擎包括在相機核和下游處理引擎之間傳達握手信號。
[0014]根據一個示例性實施例，一種圖像處理器可包括用于掃描光傳感器以獲得一次圖像掃描的裝置，用于提取該一次圖像掃描的給定N塊劃分的塊的裝置，用于將所提取的塊存儲到相機核或與該相機核相關聯的本地存儲器中的至少一者中的裝置，用于將所提取的那一塊從相機核或本地存儲器中的至少一者傳遞到下游處理引擎的裝置，其中將所提取的那一塊從相機核或本地存儲器中的至少一者傳遞到下游處理引擎包括在相機核和下游處理引擎之間傳達握手信號。
[0015]根據一個示例性實施例，圖像處理器可包括相機核、通過數據互連耦合至該相機核的下游處理器；以及耦合至該相機核且耦合至該下游處理器的直接握手路徑，并且在一個方面，該相機核可被配置成接收給定的視頻幀并將該視頻幀作為N個像素塊傳遞到下游處理器，以及通過直接握手路徑控制每個像素塊的傳遞。
[0016]根據一個示例性實施例，一種計算機程序產品可包括包含以下代碼的計算機可讀介質:用于使至少一個計算機掃描光傳感器以獲得一次圖像掃描的代碼，用于使至少一個計算機提取該一次圖像掃描的給定N塊劃分的塊的代碼，用于使至少一個計算機將所提取的塊存儲到相機核或與該相機核相關聯的本地存儲器中的至少一者中的代碼，用于使至少一個計算機將所提取的那一塊從相機核或本地存儲器中的至少一者傳遞到下游處理引擎的代碼，以及用于使至少一個計算機將該掃描、提取、存儲和傳遞重復N次以向處理引擎提供該圖像的代碼。
[0017]根據一個示例性實施例，一種圖像處理器可包括:相機核，該相機核具有用于接收圖像的裝置以及用于存儲收到圖像的至少一部分的裝置；以及用于以塊為基礎將該圖像從相機核傳遞到下游處理引擎的裝置，其中該傳遞包括在該相機核和該下游處理引擎之間傳達握手信號。
[0018]附圖簡述
[0019]給出附件中找到的附圖以幫助對本發明實施例進行描述，且提供附圖僅用于解說實施例而非對其進行限定。
[0020]圖1示出了一個示例相關技術視頻流和視頻系統。
[0021]圖2是根據一個示例性實施例的一個視頻直接相機至下游處理器傳遞系統以及一個示例直接視頻相機至下游處理器塊傳遞的功能框圖。
[0022]圖3是根據各個示例性實施例的將視頻幀劃分為N個像素塊以及相應的像素塊直接相機至下游處理器傳遞的一個示例的流程圖。
[0023]圖4示出了根據一個示例性實施例的一個示例個人計算設備的功能框圖。
【具體實施方式】
[0024]本發明的各方面在以下根據本發明的具體解說性實施例的描述和有關附圖中被公開。將理解，這些具體解說性實施例僅是出于輔助本領域普通技術人員進一步理解各個概念的目的，以及用于以從本公開中對這些人員可變得明顯的各個或替換性實施例的任一種來實踐本發明。
[0025]本文中所使用的術語僅用于描述特定實施例的目的，而并不旨在限定本發明的各實施例或其任何方面的范圍。進一步關于術語，措辭“示例性”在本文中用于表示“用作示例、實例或解說”。本文中描述為“示例性”的任何實施例不必被解釋為優于或勝過其他實施例。同樣，術語“本發明的實施例”并不要求本發明的所有實施例都包括所討論的特征、優點、或工作模式。
[0026]另外，單數形式的“一”、“某”和“該”旨在也包括復數形式，除非上下文另有明確指示。將進一步理解，術語“包括”、“具有”、“包含”和/或“含有”在本文中使用時指定所陳述的特征、整數、步驟、操作、要素、和/或組件的存在，但并不排除一個或多個其他特征、整數、步驟、操作、要素、組件、和/或其群組的存在或添加。
[0027]此外，許多實施例是根據可由例如計算設備的元件執行的動作序列來描述的。將認識到，本文中所描述的各種動作能由專用電路(例如，專用集成電路(ASIC))、由正被一個或多個處理器執行的程序指令、或由這兩者的組合來執行。另外，本文中所描述的這些動作序列可被認為是完全體現在任何形式的計算機可讀存儲介質內，其內存儲有一經執行就將使計算機或相關聯的處理器執行本文所描述的功能性的相應計算機指令集。因此，本發明的各個方面可以用數種不同形式來體現，所有這些形式都已被構想落在所附權利要求的范圍內。另外，對于本文中所描述的每個實施例，任何此類實施例的對應形式可在本文被描述為例如“配置成執行所描述的動作的邏輯”。
[0028]本領域技術人員將領會，信息和信號可使用各種不同技術和技藝中的任何一種來表示。例如，貫穿上面描述始終可能被述及的數據、指令、命令、信息、信號、位(比特)、碼元、和碼片可由電壓、電流、電磁波、磁場或磁粒子、光場、電子自旋粒子、電子自旋、或其任何組合來表示。
[0029]此外，本領域技術人員將領會，結合本文中公開的實施例描述的各種解說性邏輯塊、模塊、電路、和算法步驟可被實現為電子硬件、計算機軟件、或兩者的組合。為了清楚地說明硬件與軟件的這一可互換性，各種解說性組件、框、模塊、電路、和步驟在上面是以其功能性的形式作一般化描述的。如本領域普通技術人員將領會的，此類功能性是被實現為硬件、還是軟件還是其組合取決于具體應用和加諸于整體系統的設計約束。此類人員對于每種特定應用可用不同的方式來實現所描述的功能性，但這樣的實現決策不應被解讀成導致脫離了本發明的范圍。
[0030]結合本文中公開的實施例描述的方法、序列和/或算法可直接在硬件中、在由處理器執行的軟件模塊中、或在這兩者的組合中體現。軟件模塊可駐留在RAM存儲器、閃存、ROM存儲器、EPROM存儲器、EEPROM存儲器、寄存器、硬盤、可移動盤、CD-ROM、或本領域中所知的任何其他形式的存儲介質中。示例性存儲介質耦合到處理器以使得該處理器能從/向該存儲介質讀寫信息。替換地，存儲介質可以被整合到處理器。
[0031]相應地，本發明的各個實施例可包括計算機可讀介質或者可使用計算機可讀介質來實踐，該計算機可讀介質體現使該計算機執行或控制其它結構以執行根據該實施例的過程的指令。因此，本發明并不限于所解說的示例且任何用于執行本文所描述的功能的手段均被包括在本發明的實施例中。
[0032]相關技術圖1示出了具有常規視頻電路102的常規視頻系統100，常規視頻電路102與光傳感器103接口并具有由多媒體結構112互連的相機核104、本地存儲器106、視頻編碼器/解碼器(VCODEC) 108和3D處理器110。常規視頻電路102還具有應用(或“apps”)結構114，其連接至多媒體結構112并將應用處理器116與外部存儲器控制器118互連。外部存儲器控制器118與外部存儲器120 (例如，外部DDR)接口，并控制將數據卸載到外部存儲器120以及從外部存儲器120檢索數據，如以下更為詳細地描述的。
[0033]繼續參考圖1，在常規視頻系統100中，外部光傳感器103可以是光像素傳感器的M行XN列的像素陣列(未單獨示出)。在常規視頻系統100的操作中，光傳感器103執行一連串光柵掃描，每個光柵掃描生成MXN的像素幀(下文替換地稱為“原始視頻幀”)。光柵掃描速率可以是每分鐘FS個光柵掃描，其以每分鐘FS幀的幀速率生成原始視頻幀。常規視頻電路102將以幀速率FS從光傳感器103接收的原始視頻幀輸入至相機核104。相機核104隨后對每一幀執行簡單的格式化功能，諸如裁剪和分塊以及亮度以生成本說明書中將稱為“經格式化的原始幀”的幀。更為實質的、較高計算負擔的操作(例如視頻壓縮或3D處理)由下游處理器(諸如解碼器VC0DEC108和/或3D處理器110)來執行。
[0034]繼續參考圖1，由于其有限的存儲器空間，相機核104不能保存比一個幀多太多的幀。同樣，如長久以來已知的，相機核104、多媒體結構112以及下游處理器(例如VCODEC108或3D處理器110)的架構使得相機核104以足以跟上許多應用中使用的幀速率FS的速率直接向這些下游處理器傳遞經格式化的原始幀是不切實際的。
[0035]對于常規視頻系統的上述限制(諸如圖1中所示)的已知解決方案是使處理器資源(諸如示例應用處理器116和存儲器控制器118)執行將經格式化的原始幀卸載到外部存儲器(諸如示例外部存儲器120)(如由以下數據流“卸載”所描繪的)、(如由數據流RTRV (檢索)描繪的)伴隨從該外部存儲器進行對經格式化的原始幀的受控檢索、以及將這些幀有序地輸入至選定的下游處理器(例如，常規視頻電路102內部的VC0DEC108)。如圖1中示出的卸載可