專利名稱：在網球比賽的影片中搜尋精彩畫面的搜尋方法
技術領域：
本發明涉及一種在網球比賽的影片中搜尋精彩畫面的搜尋方法，特別涉及一種在網球比賽的影片中利用多個球場全觀遠景鏡頭的音頻能量來決定精彩畫面的搜尋方法。
背景技術：
在觀賞一場運動比賽的影片時，常會發現有許多的時間是耗費在球員訪談、球員介紹及廣告上，因此使用者會需要藉由不同時間點的各個精彩畫面(highlight)來預先得知某時間片段(segment)的比賽情形，進而決定出該時間片段的比賽是否精彩而值得觀賞；事實上，一場比賽中精彩有趣的片段通常不會連續出現，因此對使用者而言，若能藉由計算機軟件而由運動比賽的影片中擷取出多個精彩畫面，將會非常有用；以網球比賽為例，可以將一段連續對打(rally)中的多個片段或鏡頭(shot)擷取為精彩畫面，或者選取網球比賽中其它有趣的片段或鏡頭為精彩畫面。
如上所述，使用者可以使用計算機軟件(例如在個人計算機上執行的應用程序)由運動比賽的影片中擷取出多個精彩畫面；然而，由于目前的圖像編輯工具通常不具有自動編輯的功能，因此使用者仍需花費相當多的時間及精力自行來操作此類應用程序，才能達成擷取精彩畫面的圖像編輯效果。

發明內容
因此，本發明的目的之一在于提供一種在網球比賽的影片中利用多個球場全觀遠景鏡頭的音頻能量來決定精彩畫面的搜尋方法，以實現上述自動編輯的功能。
本發明提供一種用于在一網球比賽的影片中搜尋精彩畫面的搜尋方法。該方法包括檢測該影片中多個球場全觀遠景鏡頭；以及利用所述球場全觀遠景鏡頭的音頻能量以決定最后所需的精彩畫面。
本發明的優點之一在于，不僅利用圖像特性(video feature)自影片中檢測出多個球場全觀遠景鏡頭，更利用聲音特性(audio feature，例如音頻能量)自所述球場全觀遠景鏡頭中決定出精彩畫面，再者，由于是同時采用聲音及圖像特性來決定出網球比賽的精彩畫面，因此所得到的結果將會更符合使用者的需求。


圖1表示本發明在網球比賽的影片中搜尋精彩畫面的搜尋方法的一實施例的流程圖。
圖2表示影片中多個鏡頭的不同關鍵畫面間色階分布差異的示意表。
附圖符號說明10～90步驟具體實施方式
在一場網球比賽中，攝影機通常會固定在網球選手后面的位置上，因此在多數時間內皆可以清楚地拍攝到整個網球場，而這個固定的拍攝畫面(亦即固定在網球選手后面位置的拍攝畫面)通常被稱為球場全觀遠景(longfield view)拍攝畫面；在本發明中，可以利用球場全觀遠景拍攝畫面的圖像特性(video feature)來擷取出至少一部份的精彩畫面(highlight)，同時利用音頻能量(audio energy)來辨認球場全觀遠景鏡頭(long-field-viewshot)中的觀眾掌聲，進而決定出所要的精彩畫面；又，在網球比賽中，網球選手可能會發球失誤，本發明更可以將發球失誤所對應的片段(可稱之為發球失誤片段或者是進一步簡稱為失敗片段)加以移除，如此將可以確保擷取出最精華的精彩畫面。
請參閱圖1，其表示本發明在網球比賽的影片中搜尋精彩畫面的搜尋方法的一較佳實施例的流程圖。本發明搜尋方法包括以下步驟步驟10流程開始；步驟20執行分鏡檢測(shot detection)來分析網球比賽的影片以將影片分割成多個鏡頭(shot)；又，分鏡檢測是一個普遍而常用的影片分析技術，故在此不予贅述；再者，本發明搜尋方法在步驟20之后，一并進行步驟30及步驟80；
步驟30檢測所述鏡頭中多個球場全觀遠景鏡頭；步驟80檢測不屬于所述球場全觀遠景鏡頭的多個特定鏡頭；步驟40利用所述球場全觀遠景鏡頭的音頻能量來決定屬于精彩畫面的多個目標球場全觀遠景鏡頭；步驟50分析擊球聲(hit sound)來檢測所選出的球場全觀遠景鏡頭中的發球失誤，且當檢測到發球失誤時，將發球失誤所對應的失敗片段自所選出的球場全觀遠景鏡頭中移除；又，一般來說，發球失誤通常會出現在鏡頭的開始處；步驟60將不屬于所述球場全觀遠景鏡頭的多個特定鏡頭與所選出的球場全觀遠景鏡頭相結合以產生完整且連續的精彩畫面；步驟70判斷精彩畫面長度是否已達到使用者所設定的預期精彩畫面長度；若精彩畫面長度已經足夠，則進行步驟90，否則將回到步驟40；步驟90流程結束；又，至此所有的目標球場全觀遠景鏡頭皆已被選取以形成完整的精彩畫面。
請注意，在步驟50中，本發明揭露一種在網球比賽的影片中檢測發球失誤的方法；由于網球選手必須在一次發球失誤之后再次發球，因此在新的發球的第一個擊球聲與先前的擊球聲間會存在一長時間間隔，藉此便可經由檢測最初數個擊球聲之后的一長時間間隔來找出失敗片段，更進一步而言，經由檢測最初數個擊球聲的最后一個擊球聲與對應于所述最初數個打擊聲的片段之后的下一發球的擊球聲間的一長時間間隔，便可以檢測出鏡頭中的不要的片段(undesired segment，亦即發球失誤片段)；又，失敗片段(亦即發球失誤片段)亦為球場全觀遠景鏡頭的一部份，但不能算是使用者想要的精彩畫面，因此失敗片段會自球場全觀遠景鏡頭中被移除；再者，在步驟60中，會將多個特定鏡頭插置在兩個相鄰的目標球場全觀遠景鏡頭之間，使得精彩畫面能更為平順。
由于在網球比賽的影片中，球場全觀遠景鏡頭是精彩畫面的要素之一，因此如何能檢測出球場全觀遠景鏡頭便相當重要，為了達到此一目的，本發明共揭露了四種方法(如后詳述)；又，正式的網球比賽場地可以分為以下三種紅土(clay)球場、草地(grass)球場及硬地(hard)球場，而每一種網球場地都有相對應的背景顏色，例如，紅土球場為紅色，草地球場為淡綠色，而硬地球場為深綠色；此外，為了使競爭的雙方選手皆能入鏡，球場全觀遠景鏡頭會涵蓋整個網球場，因此可以根據球場顏色來檢測出球場全觀遠景鏡頭。
第一個方法是直接分析影片中的每一個鏡頭的色彩分布特征(colordistribution)，以選出由多數具有一大片相同顏色區域的畫面所構成的鏡頭，更進一步而言，由于球場全觀遠景鏡頭在整場比賽中使用最為頻繁，且球場全觀遠景鏡頭所涵蓋的大部分區域皆為網球場的一部份，因此所選出的鏡頭主要是球場全觀遠景鏡頭；接著，可以將所選出的鏡頭中最常出現的顏色當作判斷基準色，如此一來，當所選出的鏡頭中主要的顏色符合判斷基準色時，該鏡頭便可被判斷為球場全觀遠景鏡頭。
第二個方法是找出足以代表影片中球場全觀遠景鏡頭的特性的關鍵畫面(key frame)，再比較關鍵畫面與影片中的每一個鏡頭的中間畫面(middleframe)來決定此一鏡頭是否為球場全觀遠景鏡頭，換句話說，若每一個鏡頭的中間畫面能代表此一鏡頭的特性，且此中間畫面與關鍵畫面實質上相類似，則此一鏡頭便可被判斷為球場全觀遠景鏡頭；請注意，此方法并非限制在以鏡頭的中間畫面來與關鍵畫面相比較，也就是說，鏡頭中的任一畫面都可以被用來與關鍵畫面相比較。
目前已知由影片中決定出關鍵畫面的方法有很多種，而本發明亦揭露了一種用來辨認關鍵畫面的方法。首先，在一場網球比賽的影片開始和影片結尾通常會有球員訪談、球員介紹或廣告，這些球員訪談、球員介紹或廣告大多不是由球場全觀遠景鏡頭所構成，因此可以將影片的開始部分及結束部分直接忽略，舉例而言，僅需考慮影片的中間10分鐘的部分；接著，由于時間很短的鏡頭通常不太有趣，因此也可以被忽略，換句話說，只有持續超過一預設時間長度(例如10秒鐘)的鏡頭會由影片中被選出；最后，將影片中持續超過預設時間長度的一鏡頭選為一特定鏡頭，舉例而言，使用者可以經由一互動接口來選擇該特定鏡頭，然后把特定鏡頭中的代表性畫面(例如中間畫面)當作關鍵畫面，更進一步而言，在此方法中是直接選出特定鏡頭中的某一畫面來當作關鍵畫面，而忽略同一鏡頭中的其它畫面。
又，本發明更揭露了另一種用來辨認關鍵畫面的方法，其可以自動地決定出目標關鍵畫面。與前一方法相類似，影片的開始部分及結束部分可以直接被忽略，然后將剩下的鏡頭中的每一鏡頭的中間畫面皆當作關鍵畫面；接著，針對每一個關鍵畫面，分別計算該關鍵畫面與其它關鍵畫面間的色階分布(histogram)差異，并累加每一色階分布差異而產生一差異值，然后將具有最小的差異值的關鍵畫面選取為目標關鍵畫面，此一計算方法的實例可參閱圖2，其表示影片中多個鏡頭的不同關鍵畫面間色階分布差異的示意表。由圖上可見多個關鍵畫面間的不同色階分布差異，其中第i行(column)是代表第i個關鍵畫面與其它關鍵畫面間的色階分布差異，舉例而言，Hi-1代表第(i-1)個鏡頭的關鍵畫面與第i個鏡頭的關鍵畫面間的色階分布差異，然后將每一行的色階分布差異累加而產生對應于該行的差異值；又，差異值可顯示出每一個關鍵畫面與其它關鍵畫面間的相似度，因此當某一關鍵畫面所對應的差異值較小時，即表示該關鍵畫面與大部分的其它關鍵畫面相類似，因此可以將具有最小差異值的關鍵畫面選取為目標關鍵畫面，如此一來，此目標關鍵畫面即可用來代表影片中球場全觀遠景鏡頭的特性。
本發明中用來檢測球場全觀遠景鏡頭的第三個方法是找出目標關鍵畫面，再選出與目標關鍵畫面間具有最小色階分布差異的數個關鍵畫面(例如5個關鍵畫面)，并根據所選出的關鍵畫面來建立出網球場的色彩模型(colormodel)。由于球場全觀遠景鏡頭中大部分的區域皆屬于網球場而會趨近于該色彩模型，因此該色彩模型可用來表示影片中球場全觀遠景鏡頭的特性，更進一步而言，經由比較色彩模型與影片中的每一個鏡頭的中間畫面，可以檢測出球場全觀遠景鏡頭；又，色彩模型包括色彩信息且可以被建立在現有的HSV色彩空間(HSV domain)上。
本發明中用來檢測球場全觀遠景鏡頭的第四個方法亦采用色彩模型來檢測出球場全觀遠景鏡頭，然而該色彩模型是預設色彩模型，如前所述，網球場可以被分為三種類別，因此可以分別根據每一種網球場來決定出對應的預設色彩模型，然后經由比較預設色彩模型與影片中的每一個鏡頭的中間畫面，便可以檢測出球場全觀遠景鏡頭。
由影片中檢測出球場全觀遠景鏡頭之后，便可以利用音頻能量(例如網球選手及現場觀眾的鼓掌聲或歡呼聲)來找出更能符合使用者期望的精彩畫面。
以上所述僅為本發明的較佳實施例，凡依本發明申請專利范圍所做的均等變化與修飾，皆應屬本發明的涵蓋范圍。
權利要求
1.一種用于在一網球比賽的一影片中搜尋一精彩畫面的搜尋方法，包括檢測該影片中多個球場全觀遠景鏡頭；以及利用所述球場全觀遠景鏡頭的音頻能量以決定該精彩畫面。
2.如權利要求1所述的搜尋方法，其中，該檢測該影片中多個球場全觀遠景鏡頭的步驟包括分析該影片中多個鏡頭中每一鏡頭的一色彩分布特征；以及將所述鏡頭中具有一特定色彩分布特征的一鏡頭選取為所述球場全觀遠景鏡頭之一。
3.如權利要求1所述的搜尋方法，其中，該檢測該影片中多個球場全觀遠景鏡頭的步驟包括找出該影片中一關鍵畫面；找出該影片中一鏡頭的一畫面；以及比較該關鍵畫面與該畫面以決定該鏡頭是否為所述球場全觀遠景鏡頭之
4.如權利要求3所述的搜尋方法，其中，該畫面是該鏡頭的一中間畫面。
5.如權利要求3所述的搜尋方法，其中，該找出該影片中該關鍵畫面的步驟包括選出該影片中至少一特定鏡頭，該特定鏡頭持續超過一預設時間長度；以及選出該特定鏡頭中一代表性畫面以作為該關鍵畫面。
6.如權利要求5所述的搜尋方法，其中，該代表性畫面是該特定鏡頭的一中間畫面。
7.如權利要求5所述的搜尋方法，其中，該選出該影片中該特定鏡頭的步驟包括忽略該影片的一開始部分及一結束部分；以及選出該影片中持續超過該預設時間長度的該特定鏡頭。
8.如權利要求1所述的搜尋方法，其中，該檢測該影片中多個球場全觀遠景鏡頭的步驟包括找出該影片中至少一目標關鍵畫面；根據該目標關鍵畫面決定一網球場的一色彩模型；找出該影片中一鏡頭的一畫面；以及比較該色彩模型與該畫面以檢測所述球場全觀遠景鏡頭之一。
9.如權利要求8所述的搜尋方法，其中，該畫面是該鏡頭的一中間畫面。
10.如權利要求8所述的搜尋方法，其中，該找出該影片中該目標關鍵畫面的步驟包括針對該影片中多個關鍵畫面中每一關鍵畫面，分別計算該關鍵畫面與其它關鍵畫面間的一色階分布差異，并累加每一色階分布差異以產生一差異值；以及將所述關鍵畫面中具有一最小差異值的一關鍵畫面選取為該目標關鍵畫面。
11.如權利要求10所述的搜尋方法，其中，該關鍵畫面是該鏡頭的一中間畫面。
12.如權利要求1所述的搜尋方法，其中，該檢測該影片中多個球場全觀遠景鏡頭的步驟包括決定一預設色彩模型；找出該影片中一鏡頭的一畫面；以及比較該預設色彩模型與該畫面以檢測該鏡頭是否為所述球場全觀遠景鏡頭之一。
13.如權利要求12所述的搜尋方法，其中，該畫面是該鏡頭的一中間畫面。
14.如權利要求1所述的搜尋方法，更包括分析一擊球聲以檢測該精彩畫面中一鏡頭的一失敗片段；以及自該精彩畫面移除該鏡頭的該失敗片段。
15.如權利要求14所述的搜尋方法，其中，該分析該擊球聲以檢測該精彩畫面中該鏡頭的該失敗片段的步驟包括藉由檢測最初數個擊球聲中最后一擊球聲與對應于所述最初數個打擊聲的一片段之后的下一發球的一擊球聲間的一長時間間隔，以檢測出該鏡頭中一不要片段。
16.如權利要求1所述的搜尋方法，其中，該利用所述球場全觀遠景鏡頭的音頻能量以決定該精彩畫面的步驟包括利用所述球場全觀遠景鏡頭的音頻能量以決定屬于該精彩畫面的多個目標球場全觀遠景鏡頭，以及該搜尋方法還包括將多個特定鏡頭加入所述目標球場全觀遠景鏡頭以滿足一目標精彩畫面長度。
17.如權利要求16所述的搜尋方法，其中，所述特定鏡頭被插置在兩個目標球場全觀遠景鏡頭之間。
全文摘要
本發明揭露一種用于在一網球比賽的影片中搜尋精彩畫面的搜尋方法。該方法包括檢測該影片中多個球場全觀遠景鏡頭；以及利用所述球場全觀遠景鏡頭的音頻能量以決定最后所需的精彩畫面。
文檔編號G06T7/00GK101090453SQ20061017178
公開日2007年12月19日 申請日期2006年12月29日 優先權日2006年6月15日
發明者李士弘, 葉家宏, 施宣輝, 郭宗杰 申請人:智輝研發股份有限公司