多媒體數據復合法及安卓系統中播放動圖的視頻播放器的制造方法
【技術領域】
[0001]示范性實施方式涉及一種將多媒體數據復合的方法及用于播放運動圖片的視頻播放器；更具體地，涉及一種在移動系統中將多媒體數據，諸如運動圖片和圖像數據，復合的方法及用于在安卓(android)移動系統中播放包含所述復合多媒體數據的運動圖片的安卓視頻播放器。
【背景技術】
[0002]近來，由于運輸和通信技術的高度發展，在特定的局部地區和地點生產和消費的局部文化產品在全球范圍內散布和消費，已經具有日漸增長趨勢。特別是，近來信息和通信技術的令人^(異的發展使具有高音頻/視頻性能的個人移動設備(諸如智能手機和平板電腦)能夠在全球范圍內使用無論是哪個國家和洲，這使得文化產品不論時間和地點在全球范圍內快速地散布和消費。結果，文化產品的市場容量超越各國邊界以指數的方式增加。
[0003]具有音頻和視頻內容的文化產品(諸如電影、電視劇和音樂)往往是通過消費者的情感和感受而消費，因此許多消費者無論他們所處的地理位置均可以共享在文化產品媒體中的相同感受。文化產品的熱心消費者往往組成他們自己的團體(諸如歌迷俱樂部)并且參與和他們自己共享的文化產品有關的各種在線和離線活動，這可產生與文化產品有關的伴生市場。例如，可從電影、音樂和電視劇衍生出時裝、旅游、配飾和人物的市場。
[0004]然而，從消費者的觀點來看，時裝、旅游、配飾和人物(被稱為第二文化內容)的伴生產品通常與電影、電視劇和音樂(被稱為第一文化內容)的關系較弱。
[0005]例如，流行電影和戲劇的主題歌可容易地通過以數字多媒體數據形式從在線互聯網站下載音樂而在消費者自己的個人移動設備中消費。然而，流行電影和戲劇的拍攝場地可以通過高成本的旅游而主動和直接地感受，或者可以僅通過拍攝場地的圖像和運動圖片而被動和間接地感受，這些圖像中的大部分是由第一文化內容的供應商所提供。亦即，從消費者個人觀點來看，拍攝場地與主題歌并不是相互束縛的并且可以被消費者單獨地消費。
[0006]預期上述個人旅游到拍攝場地與主題歌個人下載之間的分離消費會加強，因為這些文化產品是在全球范圍內被散布和消費。主題歌可以僅通過經由個人互聯網下載到個人移動設備中而容易地以低價被消費，無論消費者在哪個國家。然而，旅游到拍攝場地會受到非常嚴格的限制，例如國際旅游的高成本和長時間。由于這些原因，消費者通常僅購買第一文化產品或者由文化產品供應商所提供第一文化產品與第二文化產品的簡單組合，并且不能享受第一文化產品與第二文化產品的個人和情感組合。例如，當韓國電視劇的消費者旅游到韓國的拍攝場地時，在韓國拍攝場的個人感受難以單獨地與在其個人移動設備中的電視劇組合。
[0007]因此，已提出用于在虛擬空間(諸如個人計算機和移動設備)中將第一與第二文化產品的多媒體數據加以復合的各種方案。例如，個人在個人電腦中通過使用常規圖形程序用拍攝場地的圖像代替主題歌音樂視頻的背景圖像。作為另一個例子，在消費者自己的個人電腦中，也可將音樂視頻的演唱者與消費者的個人圖像加以復合。
[0008]然而，大部分所提供的文化產品是為了個人娛樂本身，因此不允許任何復制(諸如其轉換)或復合。因此，個人復合運動圖片是相當粗糙的且質量差，這不足以促進文化產品的消費。
[0009]另外，由于安卓操作系統可訪問的硬件資源和編解碼器程序的限制，多種復合多媒體數據難以在安卓移動設備中顯示。特別是，因為編解碼器程序依賴于各移動設備的操作系統，所以復合多媒體數據并不始終由移動設備的內部視頻播放器所顯示。
[0010]由于這些原因，多媒體數據的個人復合受到移動設備的操作系統和硬件資源的限制。特別是，即使是安卓操作系統，其編程源與其編程源處在供應商APPLE強力控制下的封閉操作系統1S相比是相對開放的，并且可以自由地接入各種程序，也因為編解碼器程序的軟件問題而不能充分地允許多媒體數據的復合和復合多媒體數據在安卓移動設備中的顯示。例如，衍生文化內容(諸如色鍵運動圖片)和衍生文化內容與第二文化內容的復合運動圖片不能顯示在本發明的安卓移動顯示器中。
[0011]因此，對于可容易地將多媒體數據加以復合并且充分地顯示復合多媒體數據的改進的安卓移動設備現已存在需求。

【發明內容】

[0012]本發明的示范性實施方式提供一種在安卓移動設備中將多媒體數據加以復合的方法。
[0013]本發明的其他示范性實施方式提供一種用于操控包含在安卓移動設備中的復合多媒體數據的運動圖片的視頻播放器。
[0014]根據一些示范性實施方式，提供一種在安卓移動設備中將多媒體數據加以復合的方法。從存儲在由安卓操作系統操作的安卓移動設備中的一組多媒體數字數據中選出第一數據和第二數據。通過處理第一和第二數據而生成第一視頻數據、第二視頻數據、第一音頻數據、和第二音頻數據，并且將第一視頻數據與第二視頻數據復合由此形成復合視頻數據。從第一音頻數據、第二音頻數據、以及包含第一和第二音頻數據的至少一種數據的混合數據的一種中選出復合音頻數據。使復合視頻數據與復合音頻數據同步，由此形成復合多媒體數據。
[0015]在一個TJK范性實施方式中，以如下方式選出第一數據和第二數據:在安卓移動設備的顯示器上激活控制圖標，并且在列出多媒體數字數據的顯示器屏幕上進行觸摸。
[0016]在一個示范性實施方式中，以如下方式生成第一視頻數據、第二視頻數據、第一音頻數據、和第二音頻數據:分別從第一數據和第二數據中分離出視頻數據和音頻數據，由此根據第一和第二數據各自的格式類型生成第一和第二經分離的視頻數據及第一和第二經分離的音頻數據。然后，從第一和第二經分離的視頻數據生成第一和第二視頻像素數據。利用色鍵技術處理第一和第二視頻像素數據，由此將第一視頻像素數據轉換成第一視頻數據作為背景去除視頻數據并且將第二視頻像素數據轉換成第二視頻數據作為背景視頻數據。從第一和第二經分離的音頻數據生成第一和第二音頻脈沖編碼調制(PCM)數據。
[0017]在一個示范性實施方式中，以如下方式利用色鍵技術處理第一和第二視頻像素數據:在移動設備中設定第一色鍵值。然后，使第一視頻像素數據的顏色通道與對應于第一色鍵值的第一阿爾法通道相關聯，使得一部分的第一視頻像素數據具有透明顏色并且將剩余部分的第一視頻像素數據形成為背景去除視頻數據。在移動設備中設定第二色鍵值。然后，使第二視頻像素數據的顏色通道與對應于第二色鍵值的第二阿爾法通道相關聯，使得一部分的第二視頻像素數據具有透明顏色并且將第二視頻像素數據形成為背景視頻數據。
[0018]在一個示范性實施方式中，第一視頻像素數據和第二視頻像素數據具有相同的像素大小和幀尺寸，并且第一阿爾法通道與第二阿爾法通道為互補關系。
[0019]在一個示范性實施方式中，由是FFmpeg的庫程序中的一個的imagemux程序來執行第一視頻數據和第二視頻數據。
[0020]在一個示范性實施方式中，第一數據包含由文化產品供應商生成的電影、電視劇和音樂的數字文件，并且第二數據包含由移動設備用戶個人生成的運動圖片和圖像的數字文件。
[0021]在一個示范性實施方式中，第一數據包括由文化產品供應商生成的電影、電視劇和音樂的數字文件，并且第二數據包含由移動設備用戶個人生成電影、電視劇和音樂的數字文件。
[0022]根據一些示范性實施方式，提供一種用于在由安卓操作系統(OS)所操作的移動設備中播放運動圖片的視頻播放器。該視頻播放器包括:控制單元，作為開源多媒體控制程序的FFmpeg程序通過安卓本地開發工具包(NDK)接入所述控制單元，該控制單元控制安卓移動設備的硬件資源由此播放運動圖片；將運動圖片分離成音頻源數據和視頻源數據并單獨地存儲音頻源數據和視頻源數據的數據存儲單元；將音頻源數據和視頻源數據轉換成音頻脈沖模式調制(PCM)數據和視頻像素數據的解碼單元；連接到解碼單元并且響應于控制單元的聲音產生信號而使用java編程語言的Aud1Track類從音頻PCM數據產生聲音的聲音產生單元；和連接到解碼單元并且響應于控制單元的圖像產生信號而通過采用圖形標準應用編程接口(API)從視頻像素數據產生圖像的圖像產生單元，該圖形標準應用編程接口(API)經過GLUE例程連接到安卓操作系統。
[0023]在一個示范性實施方式中，數據存儲單元包括音頻包隊列和視頻包隊列:其中音頻源數據以預定的音頻包按時間順序存儲至所述音頻包隊列，且視頻源數據以預定的視頻包按時間順序存儲至視頻包隊列；并且解碼單元包括:連接到音頻包隊列并且將音頻源數據解碼成音頻PCM數據的音頻解碼器、和連接到視頻包隊列并且將視頻源數據解碼成視頻像素數據的視頻解碼器。
[0024]在一個示范性實施方式中，數據存儲單元還包括通過使用是FFmpeg的庫程序的一個的Iibavformat程序來檢測運動圖片的聲音和圖像信號的格式類型的源閱讀器；并且解碼單元還包括存儲作為FFmpeg的庫程序的編解碼器程序的編解碼庫。
[0025]在一個示范性實施方式中，聲音產生單元包括:具有響應于聲音產生信號而調用Aud1Track類的第一函數調用部的PCM數據傳輸器,通過使用Aud1Track類利用該PCM數據傳輸器從音頻解碼器中連續且順序地傳輸音頻PCM數據；和具有用于調用利用安卓本地開發工具包(NDK)的java本地接口(JNI)而接入移動設備的硬件驅動模塊的第二函數調用部的第一硬件驅動器，該第一硬件驅動器通過使用硬件驅動模塊而驅動用于聲音的硬件資源由此根據音頻PCM數據產生聲音。
[0026]在一個示范性實施方式中，音頻解碼器處于以java線程的形式由控制單元激活的狀態，從而在播放運動圖片時將音頻源數據連續地轉換成音頻PCM數據。
[0027]在一個示范性實施方式中，圖像產生單元包括:連接到視頻解碼器并且從視頻解碼器中順序地將視頻像素數據所傳輸到的視頻圖片隊列；響應于圖像產生信號而產生用于激活圖形標準API的API信號的視頻刷新器；和響應于API信號而從視頻圖片隊列中接收視頻像素數據并且通過利用圖形標準API中的數據處理步驟來處理視頻像素數據由此根據視頻像素數據產生圖像的像素數據處理器。
[0028]在一個示范性實施方式中，像素數據處理器包括:具有響應于API信號而調用OpenGL模塊的GLSur f ac e V i ew類的第三函數調用部的像素數據請求,該Op enGL模塊是圖形標準API中的庫模塊中的一個；像素數據請求激活GLSurfaceView類從而按時間順序從視頻圖片隊列中連續地傳輸視頻像素數據；和處理由GLSurfaceView類所傳輸的視頻像素數據并且在移動設備顯示器上產生圖像的第二硬件驅動器。
[0029]在一個示范性實施方式中，像素數據處理器還包括用于將視頻像素數據幀尺寸控制成等于視頻源數據的幀尺寸以便在顯示器上生成具有視頻源數據的幀尺寸的圖像的幀控制模塊。
[0030]在一個示范性實施方式中，圖形標準API包含是用于嵌入系統的OpenGL的改良版本的OpenGL ES，并且幀控制模塊具有用于調用OpenGL ES的紋理映射類的第四函數調用部。
[003