專利名稱：運動矢量檢測設備和檢測運動矢量的方法
技術領域：
本發明涉及檢測用于運動圖像壓縮編碼器或類似設備中的運動矢量的檢測設備和方法。
背景技術：
對于監測普通圖像或類似圖像而言，塊匹配型的運動檢測方案是重要的技術，在此方案中，從與運動物體相關的兩個不同圖像中搜索匹配區域，以便由此檢測匹配區域的運動矢量。最近，該方案已作為基本技術投入使用，尤其是用在運動圖像壓縮編碼技術中，例如高效編碼運動圖像的MPEG(運動圖像專家組)。運動矢量的檢測包括必要的大量的計算處理，為了使計算變得更快和更有效，至今已開發出了許多技術(例如，見JP-A-1-295379)。
至今，已有了具有如圖1的框圖中所示的相關計算裝置的運動矢量傳感器。通過使用由參照圖像存儲器102保留的先前幀(以下稱其為“參照圖像”)以及由輸入圖像存儲器101保留的當前幀(以下稱其為“輸入圖像”)來檢測輸入圖像的值得注意的區域(以下稱其為“輸入塊”)的運動矢量。在此情況下，如圖2中的搜索范圍概念圖所示，相關器103確定輸入塊的相關系數及另一圖像區域(以下稱其為“參照塊”)的相關系數，在此，參照塊的尺寸與輸入塊相同，位于與輸入塊垂直或水平分離開的位置上，并把與輸入塊的位置相應的參照圖像中的位置來作為開始搜索的參照位置。將這樣確定的相關系數存儲在相關系數存儲器104中。
用比較器105來比較各個輸入塊彼此的相關系數。將搜索標準位置移到達到最大相關性(即達到最小相關系數)的位置上。這樣，在對在尚未計算相關系數的方向上的參照塊進行相關性操作的同時，對搜索標準位置的相關性變得最大的位置進行搜索。
圖3是視圖，該圖用具體的例子來說明這個方法，這個方法被稱為一次一個(one-at-a-time)方法。參照圖3來說明現有的一次一個方法。首先，計算開始搜索的搜索位置1的相關系數。然后，按時間序列(time-series)方式計算右搜索位置2的相關系數和左搜索位置3的相關系數，比較器從搜索位置1到3的相關系數中找到最小的值。在此，假定搜索位置3的相關系數小于其它搜索位置的相關系數，計算搜索位置3左側的位置(搜索位置4)的相關系數，比較器確定搜索位置3的相關系數大于或小于搜索位置4的相關系數。在此假定比較的結果是(搜索位置4的相關系數)＜(搜索位置3的相關系數)。
在用相同方式將相關系數一直計算到搜索位置7的相關系數的情況下，如果得到(搜索位置6的相關系數)＜(搜索位置7的相關系數)(即右和左搜索位置的相關系數大于中心搜索位置的相關系數)的關系，相關器103則按照時間序列方式，參照搜索位置6來確定上方的搜索位置8的相關系數和下方的搜索位置9的相關系數。比較器104從搜索位置6、8和9的相關系數中確定最小的相關值。如果搜索位置8的相關系數被認為是最小，則計算參照搜索位置8的右搜索位置10的相關系數和左搜索位置11的相關系數，并由比較器103來確定這樣計算的相關系數中的最小值。
隨后，右搜索位置的相關系數和左搜索位置的相關系數以相同的方式確定。將具有較高相關度(即較小的相關系數)的搜索位置用作為搜索中心。與右搜索位置的相關系數和左搜索位置的相關系數相比，如果中心搜索位置的相關系數最大，則搜索上方的搜索位置的相關系數和下方的搜索位置的相關系數，從而把基準改到具有較高相關度的位置上。最后進行相對于上、下、左、右的搜索位置的相關性，中心的相關性變為最大的位置的搜索，從而檢測呈現出最大相關性的搜索位置作為運動矢量。如上所述，根據現有的方法，通過連續的處理，來計算相鄰搜索位置的相關系數并確定呈現出最大相關性的位置。
普通的相關性操作方法是將參照圖像和輸入圖像之間的差的絕對值相加。在公式1中示出了計算相關系數的公式。
S=Σx=0NxΣy=0Ny|I(Px+x,Py+y)-R(Px+x+dx,Py+y+dy)|]]>Nx，Ny....塊的橫向和縱向尺寸I(x，y)，R(x，y)....屬于輸入圖像的位置(x，y)的圖像數據Px，Py....參照搜索位置
dx，dy....距搜索參照位置的偏離量如上面的公式所示，相關性操作需要許多計算操作。因此，如圖4所示，通常執行一種處理方法，使在對圖像數據采樣之前，將塊劃分成位于偶數位置上的一組塊和位于奇數位置上的一組塊(下面將此方法稱為“子采樣(sub-sampling)”)，從而，減少了進行相關操作所需要的計算操作的次數。
在上述的背景技術的方法中，只提供了一個相關運算符。因此，存在這樣的問題，即要耗費極長的時間來搜索最大相關位置。例如，在圖3的實施例中，需要執行15個相關操作。
通常，計算相關系數需要耗費很多時間。因此，在采用這樣的方法的情況下，使得通過該方法對屬于標準塊的圖像數據和屬于參照塊的圖像數據進行子采樣來縮短時間，如圖4所示，屬于偶數位置上的參照塊的子采樣的圖像數據不同于屬于奇數位置上的參照塊的子采樣的圖像數據。
例如，在圖4中，計算第一行的塊所需要的子采樣的圖像數據不同于計算第二行的塊所需要的子采樣的圖像數據。最終，由于子采樣操作而使得流水線(pipeline)處理變得不可能進行。與通過流水線處理來進行計算操作的情況相比，則出現了相關操作需要長得多的時間的問題。

發明內容
本發明提供了一種用于檢測運動矢量的運動矢量檢測設備和方法，與由運動圖像壓縮編碼設備在運動矢量檢測期間所使用的背景技術的一次一個方法所進行的極值搜索相比，本發明方法使極值搜索變得更快。此外，本發明的目的還在于提供一種用于檢測運動矢量的運動矢量檢測設備和方法，使能對偶數的子采樣圖像數據進行流水線處理。
本發明的運動矢量傳感器是這樣的運動矢量傳感器，它通過塊匹配方法來檢測運動矢量，所述塊匹配方法用于計算在標準圖像中的關注的標準塊和參照圖像中的圖像塊之間的相關性，該傳感器包括多個相關性計算單元，對搜索范圍內的搜索位置通過流水線方法進行并行處理，所述搜索范圍通過以參照圖像上的位于與標準塊相同位置的圖像塊作為中心位置來定義；該傳感器還包括搜索裝置，它在根據按照相關性計算的結果而預定的搜索位置設置標準來順序運動中心位置的同時，搜索相關性極值。
根據上述，通過由流水線系統使用多個相關性計算單元來對相關性計算進行并行處理。因此，與通過現有的一次一個方法進行的搜索相比，能夠加快極值搜索。此外，在根據預定的搜索位置設置標準運動中心位置的同時，搜索相關性極值，因而，能夠有效地搜索極值。
本發明的運動矢量傳感器還包括子采樣圖像生成器，通過對標準圖像和參照圖像進行子采樣，根據搜索位置為多個信道產生圖像數據。
據此，使用多信道的子采樣圖像數據來進行相關性計算。從而，避免了由于子采樣而引起的流水線處理的劣化，因此，縮短了搜索運動矢量所需要的時間或擴大了在預定時間段內的運動矢量的搜索范圍。這樣，則可能搜索快速運動對象的運動矢量。
在本發明中，由預定的搜索位置設置標準來確定搜索范圍，以使得在一次運動中心位置之后能夠確定相關性極值，或者在兩次運動中心位置之后能夠確定相關性極值。
據此，在一次運動搜索范圍的中心位置之后，或者，在最壞的情況下，在兩次運動中心位置之后，可以確定相關性極值。
在本發明中，如果用參照圖像上的矩形來表達搜索范圍，而且當最小相關值的當前位置位于矩形的一個邊的中心時，該預定的搜索位置設置標準則設置搜索范圍，以使得該位置成為下一搜索范圍的一個邊的中心，并使得包括最大數量的未搜索的搜索位置；如果最小相關值的當前位置位于矩形的角上，該預定的搜索位置設置標準則設置搜索范圍，以使得該位置成為下一搜索范圍的中心。
據此，設置搜索范圍，以便包括所有的符合第一搜索位置設置標準的搜索位置，從而能夠在下一次搜索結束時，確定當前的最小相關系數是否是極值。
在本發明中，在用參照圖像上的矩形來表達搜索范圍時，如果最小相關值的當前位置位于矩形的一個邊的中心，預定的搜索位置設置標準則設置搜索范圍，以使得該位置成為下一搜索范圍的一個邊的中心，并使得包括最大數量的未搜索的搜索位置；如果最小值的當前位置位于矩形的角上，預定的搜索位置設置標準則設置包括此位置并運動以便包括最大數量的未搜索的搜索位置的搜索范圍。
據此，在做斜向運動時能夠進行這樣一種運動，以包括最大數量的未搜索的搜索位置。因此，在根據搜索位置設置標準來設置搜索范圍，以使得該位置成為如先前所述的下一搜索范圍的中心時，在斜向運動期間完成搜索之前所經歷的時間，增加缺陷的發生可以被防止。
在本發明中，如果最小相關性位置的當前位置位于矩形的角上，并且，在設置包括該位置在內并運動以便包括最大數量的未搜索的搜索位置的搜索范圍之后，如果所達到的最小相關值的位置是相同的位置，該預定的搜索位置設置標準則設置以最小相關值的位置為中心的搜索范圍。
據此，在保證斜向方向上的搜索速度的同時，在至少運動兩次之后，能夠確定當前的最小值是極值。因此，可以跟蹤快速運動的對象，并能減少多余的計算，從而能達到減少電能消耗的效果。
在本發明中，如果相關性計算操作的次數超過了預定的次數，則可通過更換搜索位置設置標準來設置新的搜索范圍。
據此，如果相關性計算操作的次數有所增加，則更換搜索位置設置標準，以便能夠設置新的搜索范圍。從而，能夠在開始啟動搜索和進行搜索的時間之間改變搜索范圍的設置。結果，能夠將搜索直接進行到相關系數的極值附近。這樣，則可指望將搜索直接收斂在極值附近。
在本發明中，如果相關性計算操作的次數降到預定次數以下，則通過更換搜索位置設置標準來設置新的搜索范圍。
據此，如果相關性最小值降到了預定值以下，則更換搜索位置設置標準，以便能夠設置新的搜索范圍。因此，能夠在開始啟動搜索和進行搜索的時間之間改變搜索范圍的設置。結果，能夠使搜索直接進行到相關系數的極值附近。這樣，則可指望將搜索直接收斂于極值附近。
在本發明中，如果與當前標準塊相鄰的標準塊的運動矢量的檢測結果是可用的，則可根據是否使用相鄰標準塊的運動矢量的評估來選擇搜索位置設置標準，從而設置搜索范圍。
據此，如果使用相鄰標準塊的運動矢量，則能通過更換搜索位置設置標準來設置新的搜索范圍。因此，能夠在開始啟動搜索和進行搜索的時間之間改變搜索范圍的設置。結果，能夠使搜索直接進行到相關系數的極值附近。這樣，則可指望將搜索直接收斂在極值附近。
在本發明中，能夠通過進行控制來禁止搜索過的搜索位置的相關性計算。
據此，禁止搜索過的搜索位置的相關性計算，從而，削減多余的計算并達到減少電能消耗的效果。
本發明的運動矢量傳感器還包括相關系數存儲器，用于順序存儲呈現最大相關性的相關性最小值；比較器，它根據相關性計算的進行來檢測呈現最大相關性的相關性最小值和搜索位置；計算范圍設置單元，它根據呈現最大相關性的搜索位置來確定下一搜索范圍；搜索完成確定器，它確定最大相關性位置的相關性最小值是否達到了相關性極值。
根據本發明的檢測運動矢量的方法包括指定圖像幀中的參照像素的地址以及參照像素的相鄰范圍N；計算以參照像素為中心的(2N+1)^2個塊和偏移該(2N+1)^2個塊M(1≤M≤N)個塊的那些塊之間的相關性；在與所獲得的(2N+1)^2塊的相關性中選擇呈現最大相關性的那些塊；輸出所選擇的塊的中心像素的地址。
根據本發明，與用現有的一次一個方法進行的搜索相比，能夠加速極值的搜索。此外，在根據預定的搜索位置設置標準來運動中心位置的同時，搜索相關性極值。因此，能夠有效地進行極值搜索。這樣，在一次運動搜索范圍的中心位置之后，或者，在最壞的情況下，在兩次運動中心位置之后，達到能夠搜索相關性極值的效果。
此外，根據本發明，避免了由于子采樣而造成的流水線處理效率的劣化，并能縮短搜索運動矢量所需要的時間，或者是能夠擴大在預定的時間內的運動矢量的搜索范圍。這樣，則可以搜索快速運動對象的運動矢量。
計算所需要的時間短，這樣則能最終減少處理所需要的電能消耗，并使裝備有運動矢量傳感器的便攜式設備小型化，而且能用電池來長時間地驅動該設備。


圖1是方框圖，該圖示出了背景技術中的運動矢量傳感器的示例配置。
圖2是用于檢測運動矢量的參照圖像的搜索范圍的概念圖。
圖3A是概念圖，該圖說明了用于檢測運動矢量的背景技術的一次一個方法的操作。
圖3B是概念圖，該圖說明了用于檢測運動矢量的背景技術的一次一個方法的操作。
圖4是視圖，該圖示出了示例子采樣的標準塊和示例子采樣的參照塊。
圖5A和圖5B是視圖，該圖示出了根據本發明的第一實施例到第四實施例的在運動矢量傳感器中相關性計算單元的流水線處理的時序。
圖6是方框圖，該圖示出了根據本發明的第一實施例到第四實施例的運動矢量傳感器的配置。
圖7是方框圖，該圖示出了根據本發明的第五實施例的運動矢量傳感器的配置。
圖8A、8B、8C、8D1、8D2、8D3、8E是視圖，該圖示出了按照搜索位置設置標準并根據最小相關系數的當前位置來設置下一搜索范圍的方法。
圖9是視圖，該圖示出了根據本發明的第一實施例的搜索最小相關系數的位置的具體例子。
圖10是視圖，該圖示出了根據本發明的第二實施例的搜索最小相關系數的位置的具體例子。
圖11A1、11A2、11B、11C、11D1、11D2是視圖，該圖示出了根據本發明的第三實施例的搜索最小相關系數的位置的具體例子。
圖12是視圖，該圖示出了根據本發明的第五實施例的運動矢量傳感器中相關性計算單元的流水線處理的時序。
圖13A、13B、13C、13D、13E是視圖，該圖說明了根據搜索位置來改變進行子采樣的位置的方式。
圖14是流程圖，該圖示出了根據本發明的第一實施例到第四實施例來搜索最小相關系數的位置的過程。
圖15是流程圖，該圖示出了根據本發明的第四實施例的在搜索最小相關系數的位置期間搜索范圍設置的過程。
圖16是流程圖，該圖示出了根據本發明的第四實施例的在搜索最小相關系數的位置期間搜索范圍設置的過程。
圖17是流程圖，該圖示出了根據本發明的第四實施例的在搜索最小相關系數的位置期間搜索范圍設置的過程。
圖18是流程圖，該圖示出了在能夠使用相鄰標準塊的運動矢量的情況下，確定搜索開始位置的過程。
具體實施例方式
以下，將參照附圖來詳細說明本發明的實施例。
(第一實施例)圖6是方框圖，該圖示出了根據本發明的第一實施例的運動矢量傳感器的配置。在此實施例中，配置了相關性計算設備，以便能夠在以某個搜索標準位置為中心的八個方向上對相關性操作進行流水線(或并行)處理；這八個方向是朝上的方向、朝下的方向、朝右的方向、朝左的方向、朝右上方的方向、朝右下方的方向、朝左上方的方向、朝左下方的方向。
在圖6中，標號101表示用于保留輸入圖像的輸入圖像存儲器101；標號102表示用于保留參照圖像的參照圖像存儲器；標號103表示用于計算相關系數的多個相關性計算單元(相關性計算設備1到相關性計算設備9)；標號104表示最小相關系數存儲器；105表示比較器；106表示最小相關系數位置存儲器；107表示運動矢量設置設備；108表示地址生成器，它順序產生未示出的行存儲器的地址；109表示搜索終止確定器；110表示計算范圍設置單元；111表示經搜索位置存儲器；112表示相關性計算控制單元。每個相關性計算單元103具有差分運算符，用以計算輸入圖像和參照圖像間的差，還有用于確定差分絕對值的電路，以及對結果進行相加的加法器。
下面將參照圖5A和圖5B和圖6來詳細說明用于計算以搜索標準位置為中心的九個位置的相關系數的流水線處理。本實施例以假定不對輸入圖像和參照圖像進行子采樣為基礎。圖5A是視圖，該圖示出了時序，根據該時序，圖6所示的相關性計算設備1到相關性計算設備9在八個方向上計算中心位置的相關系數和周圍位置的相關系數(所有九個位置上的相關系數)。
圖5B是視圖，該圖示出了輸入圖像數據和參照圖像數據的結構，在計算全部九個位置上的相關性時，這兩者都是需要的。對于16×16像素的標準塊，需要18×18像素的參照圖像，它在垂直和水平方向上都比參照塊要寬一個像素。
在圖5A中，第一行是相關性計算單元1的操作時序，該單元進行參照位置的左上位置(位置1)的相關性操作。同樣地，第二行和隨后的行是位置T、“t”、L、C、R、“b”、B和“r”的相關性計算單元2到9的操作時序。
首先，分別將在輸入圖像存儲器101中的屬于標準塊(16個像素)的行1的圖像數據和在參照圖像存儲器102中的屬于參照圖像(18個像素)的行1的圖像數據分別讀到行存儲器1(未示出)和行存儲器2(未示出)中。相關性計算單元1利用由地址生成器108順序產生的地址，從行存儲器1和行存儲器2中讀取像素數據。利用差分運算符來計算像素數據集之間的差，并將這些差的絕對值相加，從而計算行1的相關系數1。
在相關性計算單元1的差分運算符后面的一個時鐘信號的時間延遲，相關性計算單元2的差分運算符開始操作，計算從行存儲器1和行存儲器2中讀取的像素數據集之間的差，并將這些差的絕對值相加，從而計算行1的相關系數T。
在相關性計算單元1的差分運算符后面的兩個時鐘信號的時間延遲，相關性計算單元3的差分運算符開始操作，計算從行存儲器1和行存儲器2中讀取的像素數據集之間的差，并將這些差的絕對值相加，從而計算行1的相關系數“t”。
如果相關性計算單元1到3已完成了存儲在行存儲器1和行存儲器2中的像素數據的計算(經過18個時鐘信號)，則將參照圖像(18個像素)的屬于行2的圖像數據裝載到行存儲器2中。此外，將標準塊的屬于行2的數據裝載到行存儲器1中。將標準塊的屬于行1的數據裝載到行存儲器3(未示出)中。此時，可以將行存儲器1中的數據作為屬于行存儲器3的數據來傳輸。
相關性計算單元1到3對行存儲器1和行存儲器2再次進行相同的操作，從而繼續計算相關系數“1”、相關系數T和行2的相關系數“t”。相關性計算單元4到6也像相關性計算單元1到3那樣，對行存儲器1和行存儲器3進行相同的操作，從而計算相關系數L、相關系數C和相關系數R。
如果相關性計算單元1到6已完成了上述的操作(經過18個時鐘信號)，則將與標準塊的行3、2和1相對應的像素數據裝載到行存儲器1、行存儲器3和行存儲器4(未示出)中。此外，將屬于參照圖像的與行3相對應的像素數據裝載到行存儲器2中。
隨后，相關性計算單元1到6重復上述的操作，并同時更新在行存儲器中的數據。相關性計算單元7到9也像相關性計算單元1到3那樣，對行存儲器4與2，重復同樣的操作。
隨后，同樣地重復把數據存儲到行存儲器中以及相關性操作，直到各個相關性計算單元完成了標準塊的行1到行16的相關系數的計算為止。現在，將完成了相關系數計算的搜索位置順序地存儲到經搜索位置存儲器111中(也可以采用設置與位置相應的標記而不存儲位置的方法)。
在此實施例中，通過使用未示出的行存儲器來進行相關性操作。然而，也可以使用另一種配置，在此配置中，地址生成器直接指定輸入圖像存儲器的行存儲器的行地址和參照圖像存儲器的行存儲器的行地址來讀取像素數據，而不使用行存儲器。該配置的優點與由上述配置而產生的優點相同。
通常，圖1所示的相關性計算單元103以時間序列方式操作，以計算在上下左右方向上的相關系數。如果需要一個時鐘信號來計算一個像素的差的絕對值，則在現有的方法中需要1024個時鐘信號(16像素×16像素×4步驟)。相反的是，圖6所示的相關性計算單元1到9利用本實施例的流水線處理彼此并行地操作，以使得在九個方向上計算相關系數所需要的操作周期變為324個周期((16+2)×(16+2))。
當中心的相關系數變為最小值時；即，在周圍八個方向上的所有的相關系數都大于中心的相關系數時，由于這些相關性計算操作都是作為圖6所示的相關性計算操作的基本操作來進行的，因此，該計算操作是通過將中心位置作為搜索結果而完成的。
如果已經完成了包括用于搜索相關性極值的輸入塊和周圍塊在內的全部九個位置的相關性操作，比較器105則從存儲在最小相關系數存儲器104中的最小相關系數和此時所獲得的相關系數中搜索最小的相關系數。
如果已經搜索了在最小相關系數的位置周圍的所有的八個方向，搜索終止確定器109則存儲對完成搜索的確定及搜索的結果，從而終止后續的搜索。結果，可以繼續最小相關系數的搜索。例如，即使在第N+1次搜索操作中，遞減的相關系數已變成遞增的相關系數，也能直接確定第N次搜索操作的結果是極值。
如果尚未完成搜索并且上下左右任何一個位置的相關系數都具有最小值，那么，計算范圍確定器110則利用搜索位置設置標準1來設置搜索范圍(搜索標準位置)(見圖8A和8B)。
如果最小值的當前位置是中心(圖8A)，搜索位置設置標準1則設置搜索范圍(搜索標準位置)，以使得該位置成為下一搜索范圍的一個邊的中心，并包含最大數量的未搜索的搜索位置(圖8A中的空白塊)。此外，如果最小值的當前位置是角(圖8B)，則設置搜索范圍以使得該位置成為下一搜索范圍的中心。盡管圖8A中只示出了右搜索標準位置，但是，上、下、左、右方向上的參照位置是彼此相同的。
搜索位置設置裝置設置搜索范圍使得包括所有的搜索位置設置標準，從而，在完成下一搜索操作的時間點，能夠確定當前的最小相關系數是否是極值。在最小相關系數的當前位置周圍的八個方向上的搜索位置之中設置搜索標準位置。這樣做的原因在于，能夠確定當前的最小相關性位置的最小相關系數是否是下一搜索操作中的極值。
當在任何對角線的方向上取得最小值時，則設置搜索標準位置以便包納符合圖8B所示的搜索位置設置標準1的全部搜索位置以及除那些搜索過的位置以外的最大數量的未搜索的位置。這樣做的原因與在上下左右的任何方向上獲取最小值的情況下的原因相同；這就是說，在完成下一搜索操作的時間點，能夠將當前的最小值確定為極值。此外，在搜索過的位置含于當前搜索位置中時，則可以禁止這些位置的相關性計算。
圖9示出了上述的搜索操作的具體例子。圖14示出了搜索過程的流程圖。在圖9中，利用由圖6所示的相關性計算單元1到9執行的相關性計算來計算由位置11到1r指示的計算范圍1中的相關系數。由比較器105來確定最小相關系數的位置。在此，假定位置1L是最小相關系數的位置。
計算范圍設置單元110設置計算范圍2(位置21到2r)，以便包納搜索位置設置標準1(圖9的2t，2R，2r)并最大化未搜索區域。以與搜索范圍1相同的方式，對計算范圍2進行相關性計算和最大相關性位置的確定。此處，假定位置21最小。
計算范圍設置單元110設置計算范圍3(位置31到3r)，以便包納符合根據圖8B的搜索位置設置標準1的搜索位置并進行相關性計算。下面將按照相同的方式來進行相關性計算并繼續搜索，直到在周圍八個方向的中心找到最小相關系數(最大相關性)的位置為止。圖9的概念圖示出了屏幕上參照塊的尺寸。
參照圖14所示的流程圖來說明上述的操作。
步驟201設置搜索開始位置，以便指定第一操作的計算范圍。
步驟202清除相關系數存儲器。
步驟203利用計算范圍設置單元110來指定在標準塊中的圖像數據和參照塊中的圖像數據，這兩個塊都與計算范圍中的搜索過的位置相對應。
步驟204通過流水線處理計算各個搜索位置的相關系數。
步驟205利用比較器105來確定計算范圍內的最小相關系數。
步驟206將在步驟S205中確定的最小相關系數與存儲在存儲器中的最小相關系數相比較，并根據需要，在步驟S207中更新存儲在存儲器中的最小相關系數。
步驟208如果尚未搜索在存儲器中的最小相關系數的搜索位置周圍的八個像素，則回到步驟S203。
步驟209根據在存儲器中的最小相關系數和相應的位置來確定運動矢量。
(第二實施例)在第一實施例中，搜索位置設置裝置確定搜索標準位置，以便總能夠通過下一搜索操作來確定極值。然而，根據此方法，利用在對角線方向位移的時間已經搜索到了四個搜索位置。因此，在快速運動對象的情況下，在完成搜索之前所經過的時間(計算操作的次數)則增加了。于是，則出現增加計算所消耗電能的問題，并在預定的時間段內不能完成運動矢量的搜索(視頻幀速率)。
在上下左右的方向上，能夠確定極值而不包括未搜索的位置。因此，根據第二實施例的搜索位置設置裝置2使得能夠僅在對角線方向上發生最大的運動，而不設置使得能夠確定下一搜索參照位置的極值的區域。然而，如果進行了設置而在當前搜索標準位置和下一搜索標準位置之間又沒有重疊，則可能會搜索到假(false)極值。由于這個緣故，如圖8C所示，至少要提供一個重疊。
然而，即使在最小相關性的位置再次是相同位置的情況下，也不能將這個位置確定為極值。因此，如圖8C所示，增加確定極值所需要的位置作為搜索位置設置標準3；設置搜索范圍，以使得再次是相同位置的最小相關性位置成為該范圍的中心；并計算相關系數。
隨后，在下一次搜索操作之后，在搜索操作時，為了能夠確定當前最小值作為極值，則進行設置以不可避免地包括圖8C所示的未搜索的搜索位置設置標準2，如果已經搜索過了在搜索位置設置標準2中的位置之一，則還應該包括搜索位置設置標準3，以及最大數量的其它未搜索的位置。
圖8D1到8D3示出了這個實施例。在圍繞最小相關系數的當前位置的八個方向上的搜索標準位置中設置搜索標準位置。其原因在于，要確定在下一搜索操作之后，在搜索操作時，最小相關性的當前位置是否是極值。
通過設置如上所述的搜索標準位置，在確保對角線方向上的搜索速度的同時，在至少運動兩次之后，能夠確定當前的最小值是極值。結果，能夠跟蹤快速運動的對象，減少了無用的計算。因此，能夠產生減少電能消耗的效果。
圖10示出了本實施例中的具體的搜索例子。在第一步中，位置11最小。因此，在圖10示出的第二步中，計算范圍設置單元110將以位置2C為中心的范圍設置為包括搜索位置設置標準2的計算范圍，在此范圍中存在最大數量的未搜索過的位置。
圖8D1到圖8D3示出了在完成搜索后直接獲得計算范圍(搜索范圍)的操作。在此，塊中的標號示意性地表明了計算過程的步驟；塊中的標記“a”示意性地代表已經搜索過的搜索位置。
圖8D1示出了三步完成搜索的方式，在此，黑實心塊代表最大相關性。在第二步中，對在第一步中發現的最大相關性位置(黑實心塊)進行相關性計算，此計算是針對包括符合搜索位置設置標準2的搜索位置的計算范圍2而進行的。因此，在黑實心塊呈現最大相關性時，設置計算范圍3，以便包括剩余的搜索位置設置標準3。
圖8D2示出了在已對塊中用標記“a”代表的搜索位置進行了相關性計算的情況下，檢測黑實心塊中的最大相關性的方式。設置計算范圍，以避免在第二步中已計算過相關系數的那些塊。因此，在搜索進行到第三步時，己經計算過了全部的搜索位置設置標準2的相關系數和搜索位置設置標準3中的某一些的相關系數。設置計算范圍，以便包括在第三步中的搜索位置設置標準3。
在圖8D3中，已對塊中用標記“a”代表的搜索位置進行了相關性計算。然而，在搜索已進入第二步時的某點上，已經計算過了搜索位置設置標準2中的某一些。因此，設置計算范圍，以便包括在第二步中剩余的搜索位置設置標準2、3。
圖8E是例子，在此例中，如果在第三步中在橫向上設置了搜索范圍，則設置計算范圍，以避免出現與在第一步中已對其進行過相關性計算的那些塊的重疊；這就是說，使得未搜索過的位置的數目最大化。
(第三實施例)第一和第二實施例已經說明了搜索位置是3×3的情況；這就是說，搜索位置是9。但是，甚至可將相同的概念用到搜索位置的數目增加到超過9的情況之中。然而，在上下左右的方向上，則根據檢測到最小相關系數的位置來改變設置搜索位置的位置，以便更有效地搜索極值。在3×3的搜索范圍中，設置搜索位置以便只在上下左右方向中的一個方向上擴展范圍。例如，在搜索位置為5×5的情況下，可以在圖11A1、11A2、11B、11C、11D1、11D2所示的三個方向上，即稍許向上的方向、稍許向下的方向和右水平方向上，根據檢測的最小值的位置，設置搜索范圍。
圖11A1和11A2與圖8A相對應。相對于上下左右的方向，出現右水平位置、上水平位置以及下水平位置(未示出)的搜索位置設置標準1。圖11B和11C與圖8B和8C相對應，并示出了能夠相應于第一和第二實施例進行操作的搜索位置設置標準1到3。具體地說，圖11C示出了在最小相關系數的位置到達四個角之一時，用來設置搜索位置設置標準2和3的方法。
利用相應于第一實施例的操作，設置下一步的搜索范圍，以便包括所有的未搜索過的搜索位置設置標準1和最大數量的未搜索過的搜索位置(圖11A1、11A2、11B、11C、11D1、11D2中的空白塊)，并由此來搜索最小相關系數的位置。
當四個角的任何一個呈現最小相關系數時，利用相應于第二實施例的操作來設置下一步的搜索范圍，以便包括所有的未搜索過的搜索位置設置標準2。如果只搜索了搜索位置設置標準2中的一個，則設置下一步的搜索范圍，以便包括搜索位置設置標準3和最大數量的其它未搜索過的位置，從而搜索最小相關系數的位置。
圖11D1和11D2示出了在使用搜索位置設置標準2和3時運動搜索范圍的方式。圖11D1示出了在三步中確定最大相關性的位置(黑實心塊)的方式。在第二步中，設置搜索范圍以便包括所有的搜索位置設置標準2。在第三步中，己搜索了所有的搜索位置設置標準2，因此，設置搜索范圍以便包括所有的搜索位置設置標準2和3。
在已對塊中的由標記“a”表示的搜索位置進行了相關計算的情況下，圖11D2示出了在確定最大相關性的位置之前的兩個最近的步驟。在第二步中，在這兩個最近的步驟之前，已搜索了某些搜索位置設置標準2。由于這個緣故，設置搜索范圍以便包括所有的搜索位置設置標準2和3。
(第四實施例)本實施例以自適應方式切換在第一實施例中所描述的搜索位置設置裝置和在第二實施例中所描述的搜索位置設置裝置。在開始啟動搜索時，根據第二實施例來設置搜索范圍。如果已經進行了搜索，則根據第一實施例來設置搜索范圍。結果，能夠使搜索直接進行到極值相關系數附近。從而，能夠指望搜索直接收斂在極值附近。
根據相關系數可將第一實施例的方法切換到第二實施例的方法。如果假定相關系數為預定的尺寸或更大，則根據第二實施例的方法來設置搜索范圍。如果假定相關系數小于預定尺寸，則根據第一實施例的方法來設置搜索范圍，從而，可指望達到類似的效果。
圖15到圖18是流程圖，它們示出了本實施例的搜索過程。圖15到圖17僅示出了圖14中步驟3的計算范圍設置。
在圖15中，如果搜索操作的數目，即進行相關性計算的次數超過了預定數，則切換搜索位置設置標準。在圖16中，如果當前塊的相關系數的尺寸變得小于預定值，則切換搜索位置設置標準。
如果在啟動搜索時，檢測到與當前計算的標準塊相鄰的標準塊的運動矢量，而不是當前計算的標準塊的運動矢量，則通過使用檢測結果來確定搜索開始位置，從而能夠指望加速相關系數的直到極值附近的搜索。
為了控制開始搜索的位置，如圖7的方框圖所示，本實施例的運動矢量傳感器裝配有開始位置設置單元113，下面將要對此加以說明。
圖18是流程圖，該圖說明了在能夠使用相鄰標準塊的運動矢量的情況下，用于確定是否采用搜索開始位置的過程。在圖17中，根據確定的結果來切換搜索位置設置標準。
(第五實施例)相關性計算需要許多計算操作。例如，在對16×16像素的標準塊進行相關性計算的情況下，則需要256次減或256次加。由于這個緣故，通常要進行子采樣操作，例如，如圖4和圖13A、13B、13C、13D、13E所示，僅使用標準塊中的偶數像素。
此時，根據搜索位置來改變進行子采樣的位置。下面將參照圖13A、13B、13C、13D、13E對此加以說明。圖13A示出了對16×16像素的標準塊進行子采樣的方式。用灰色表示圖中所用的像素。
圖13B、13C和13D示出了搜索標準位置的參照塊。在此，用圖13B、13C和13D中的粗線框來表示圖13E中所示的搜索位置“1”、T和“t”的參照塊。通過比較圖13B和13C能夠看出，如果搜索位置偏移像素，則會改變參照塊的子采樣位置。雖然未示出另一搜索位置，但是可以通過使由粗線框指示的參照塊向下偏移一行來達到這個位置。
在進行子采樣時，不能同時進行圖5所示的1、3、4、6、7和9行(而不是搜索位置T、C和B)的流水線處理和2、5和8行(搜索位置T、C和B)的流水線處理。或者，必須為行1、3、4、6、7和9的獨立流水線處理和行2、5和8的獨立流水線處理做好準備。
在本實施例中，準備了兩個通過對參照圖像子采樣而形成的圖像數據信道。對于除了搜索位置T、C和B以外的搜索位置的相關性計算以及搜索位置T、C和B的相關性計算，使用分離的參照塊的圖像存儲器，從而能夠進行流水線處理。
盡管未示出，但同樣地增加了采樣參照塊的圖像存儲器的數量，即使是在對每兩個像素或每三個像素而不是對每個像素進行子采樣的情況下也是如此。例如，在對每兩個像素進行子采樣時，將搜索位置“t”、L和“b”分配給參照圖像存儲器1；將搜索位置T、C和B分配給參照圖像存儲器2；將其它的搜索位置分配給參照圖像存儲器3，從而能達到類似的效果。
圖7是方框圖，該圖示出了根據本發明第五實施例的運動矢量傳感器的配置。在圖7中，對于圖6所示的第一實施例的配置，根據子采樣的方法，將參照圖像存儲器102的數量增加到“n”。
并不需要物理地劃分參照圖像存儲器102，而只需要該參照圖像存儲器能夠進行同時存取。例如，將較高級的單個的地址分配給參照圖像存儲器1，將較低級的單個的地址分配給參照圖像存儲器2(或者可以進而將此單個的地址劃分為多個級別)。
圖12是視圖，該圖示出了在對每個像素進行子采樣的情況下，相關性計算單元1到9按照與圖5A和圖5B相同的方式來計算相關系數的時序。這些相關性計算單元的基本操作與圖5A和圖5B所示的相關性計算單元的基本操作相同。然而，分配給這些相關性計算單元的參照圖像存儲器是不同的。
如上所述，在本實施例中，根據子采樣的方法，使用了多個參照圖像存儲器。因此，避免了由于子采樣造成的流水線效率劣化，并且能夠縮短搜索運動矢量所需要的時間，或者能擴大在預定時間內的運動矢量的搜索范圍。這樣，則可以搜索快速運動對象的運動矢量。
與采用現有的一次一個方法所進行的檢測相比，根據本發明的用于檢測運動矢量的運動矢量檢測設備和方法能夠加速極值的搜索。在根據預定的搜索位置設置標準來運動中心位置的同時，搜索相關性極值。因此，能夠有效地進行極值搜索。在一次運動搜索范圍的中心位置之后，或者，最壞的情況下，在兩次運動中心位置之后，達到了能夠搜索相關性極值的效果。作為由運動圖像壓縮編碼設備使用的運動矢量檢測技術或類似技術，本發明的設備和方法是很有用的。
本申請基于日本專利申請No.，將其合并于此以供參照。
權利要求
1.一種運動矢量傳感器，其通過塊匹配方法來檢測運動矢量，所述塊匹配方法用于計算在標準圖像的關注的標準塊和參照圖像的圖像塊之間的相關性，該傳感器包括多個相關性計算單元，對搜索范圍內的搜索位置通過流水線方法進行并行處理，所述搜索范圍通過以參照圖像上的位于與標準塊相同位置的圖像塊作為中心位置來定義；搜索裝置，根據相關性計算的結果，在按照預定搜索位置設置標準來順序運動中心位置的同時，搜索相關性極值。
2.根據權利要求1的運動矢量傳感器，還包括子采樣圖像生成器，所述子采樣圖像生成器通過對標準圖像和參照圖像進行子采樣，根據搜索位置對多個信道產生圖像數據。
3.根據權利要求1的運動矢量傳感器，其中，預定搜索位置設置標準確定搜索范圍，以便在運動中心位置一次后，能夠確定相關性極值，或者在運動中心位置兩次后，能夠確定相關性極值。
4.根據權利要求3的運動矢量傳感器，其中，如果由參照圖像上的矩形來表示搜索范圍，并且最小相關值的當前位置位于矩形的一個邊的中心，那么，預定搜索位置設置標準設置搜索范圍，以使得該位置成為下一搜索范圍的一個邊的中心，并使得包括最大數量的未搜索的搜索位置；并且，如果最小值的當前位置位于矩形的角，則預定搜索位置設置標準設置搜索范圍，以使得該位置成為下一搜索范圍的中心。
5.根據權利要求3的運動矢量傳感器，其中，如果由參照圖像上的矩形來表示搜索范圍，并且最小相關值的當前位置位于矩形的一個邊的中心，那么，預定搜索位置設置標準設置搜索范圍，以使得該位置成為下一搜索范圍的一個邊的中心，并使得包括最大數量的未搜索的搜索位置；并且，如果最小值的當前位置位于矩形的角，則預定搜索位置設置標準設置搜索范圍，所述搜索范圍包括該位置并被運動以包括最大數量的未搜索的搜索位置。
6.根據權利要求4的運動矢量傳感器，其中，如果最小相關值的當前位置位于矩形的角，并且在設置包括該位置并被運動以包括最大數量的未搜索的搜索位置的搜索范圍之后，所達到的最小相關值的位置是相同位置，則預定搜索位置設置標準設置以最小相關值的位置為中心的搜索范圍。
7.根據權利要求3的運動矢量傳感器，其中，如果相關性計算操作的次數超過了預定數，則通過更換搜索位置設置標準來設置新的搜索范圍。
8.根據權利要求3的運動矢量傳感器，其中，如果相關性計算操作的次數低于預定數，則通過更換搜索位置設置標準來設置新的搜索范圍。
9.根據權利要求3的運動矢量傳感器，其中，如果與當前標準塊相鄰的標準塊的運動矢量的檢測結果可以使用，則根據是否使用相鄰標準塊的運動矢量的評估，來選擇搜索位置設置標準，從而設置搜索范圍。
10.根據權利要求1的運動矢量傳感器，其中，進行控制以禁止經搜索的搜索位置的相關性計算。
11.根據權利要求1的運動矢量傳感器，還包括相關系數存儲器，順序存儲呈現最大相關性的相關性最小值；比較器，根據相關性計算的過程來檢測呈現最大相關性的相關性最小值和搜索位置；計算范圍設置單元，根據呈現最大相關性的搜索位置來確定下一搜索范圍；以及搜索完成確定器，確定最大相關性位置的相關性最小值是否已達到相關性極值。
12.用于檢測運動矢量的方法，包括指定圖像幀中的參照像素的地址以及參照像素的相鄰范圍N；計算在以參照像素為中心的(2N+1)^2個塊和偏移該(2N+1)^2個塊M(1≤M≤N)個塊的塊之間的相關性；在與所得到的(2N+1)^2個塊的相關性中選擇呈現最大相關性的塊；以及輸出所選擇的塊的中心像素的地址。
全文摘要
本發明涉及以位于與關注的標準塊相同位置上的參照圖像塊而確定的搜索范圍中的搜索位置，通過使用多個相關性計算單元，以流水線方法通過并行處理來進行相關性計算。當根據按照相關性計算的結果的預定搜索位置設置標準順序運動中心位置時，搜索相關性極值。此外，在多個信道的系統存儲器中保留與搜索位置相對應的多個信道的子采樣圖像數據，并通過使用多個相關性計算單元，以流水線方法，通過并行處理，對搜索位置進行相關性計算。
文檔編號H04N7/12GK1713732SQ20051008102
公開日2005年12月28日 申請日期2005年6月27日 優先權日2004年6月25日
發明者中村研史, 豬熊一行 申請人:松下電器產業株式會社