專利名稱：：一種實時公交車客流量統計方法
技術領域：
：本發明屬于模式識別
技術領域：
，具體涉及一種實時公交車客流量統計的方法。
背景技術：
：隨著全球經濟的快速發展，對交通運輸的各種需求明顯增長，交通運輸與社會經濟生活的聯系越來越緊密，因此，研究如何對公共交通設施實施有效監測、如何為公共交通調度提供有效數據，從而減少公交車的使用，提高道路交通的安全性，因此開發能夠改善當前行車環境的車載移動增值業務成為我國經濟社會和諧發展的迫切需求，公交車客流統計就是其中之一。公交公司通過實時的獲得該路段在此段時間內的客流量的多少可以更加合理的進行公交車的合理調度，另一方面公交廣告投資商也可以據此對投放的公交廣告受眾進行詳細分析，進而調整廣告投資策略以期將其廣告收益最大化。人體目標的檢測識別以及跟蹤、統計等問題是計算機視覺領域的一個研究熱點，它具體涉及到了運動目標檢測和運動目標跟蹤。在計算機視覺領域中，經典的運動目標檢測方法包括(1)幀間差分法該方法是一種對連續的相鄰兩幀圖像采用基于像素的時間差分并且閾值化來提取圖像中的運動區域的方法(參考J.B.Kim，H.J.Kim.Efficientregion-basedmotionsegmentationforvideomonitoringsystem[J].PatternRecognitionLetters,2003，24:113128)。該方法對動態環境有一定的適應性，但一般不能提取出所有相關的特征像素點，運動時目標體內部容易產生空洞，并且對于光線強烈變化的場景該方法容易產生很多噪聲；(2)背景建模該方法能夠自適應的建立輸入場景背景圖像的模型，利用當前輸入圖像與背景模型做差分和閾值化運算即可檢測出輸入圖像中的前景目標(參考StaufferC，GrimsonW.E丄Adaptivebackgroundmixturemodelsforreal—timetracking,inProceedings.1999IEEEComputerSocietyConferenceonComputerVisionandPatternRecognition(Cat.NoPR00149)IEEEComput.Soc.PartVol.2，1999.)。該方法可以獲得較完整的目標特征數據，對于無光照變化或光線變化緩慢的場景有較好的適用性。但是對于動態場景或者存在劇烈的光照變化的場景，該方法則比較敏感，同時該算法運算量較大，難以保證檢測的實時性；(3)光流法該方法利用運動估計進行分割和跟蹤運動目標，采用運動目標隨時間變化的光流特性，從而有效地提取和跟蹤運動目標。光流場的計算一直以來都是計算機視覺領域的一個研究重點，其中最為經典的算法是L-K(Lucas&Kanade)法和H_S(Horm&Schunck)法。(參考B.K.P.HornandB.G.Schunck.Determiningopticalflow.AIMemo572.MassachusettslnstitueofTechnology,1980.禾口LucasBandKanadeT.AnIterativeImageRegistrationTechniquewithanApplicationtoStereoVision.Proc.Of7thlnternationalJointConferenceonArtificialIntelligence(IJCAI)，pp.674-679.)。光流法的優點是能檢測出獨立運動的對象，而且不需要預先知道場景的任何信息。但是由于噪聲、多光源、陰影、透明性和遮擋性等原因，使得計算出的光流場分布不是十分可靠和精確。同時光流場的計算也十分耗時。同時，計算機視覺領域中經典的運動目標跟蹤算法包括卡爾曼濾波(參考Kalman，R.E.1960."ANewApproachtoLinearFilteringandPredictionProblems,，，TransactionoftheASME-JournalofBasicEngineering，pp.35_45(March1960).)、粒子濾波跟蹤(參考VoB.，SinghS.，andDoucetA.，SequentialMonteCarloImplementationofthePHDFilterforMulti—targetTracking,InProceedingsofInternationalConferenceonlnformationFusion,2003，792-799.)以及均值平移算t去足艮蹤(參考Comaniciu，D.，Ramesh，V.，andMeer，P.，Real—TimeTrackingofNon_RigidObjectsusingMeanShift.InIEEEConferenceonComputerVisionandPatternRecognition，2000，Vol.2，142—149.)。基于此，本發明提供了一種實時公交車客流量統計的方法，該方法具有算法復雜度低，對嵌入式硬件設備要求低，產業化成本低的特點。
發明內容本發明提供了一種實時公交車客流量統計方法，通過利用乘客頭部灰度統計信息的先驗分布實現在輸入視頻圖像中乘客目標的檢測，并對目標實施精確的跟蹤，最后分析目標的運動軌跡，判斷乘客的上下車行為，實現客流統計計數。—種實時公交車客流量統計方法，包括目標檢測、目標跟蹤、目標行為分析及客流統計計數三個步驟，其特征在于所述的目標檢測步驟中，包括以下過程(1)提取目標先驗灰度統計直方圖先人工手動的從預先捕獲的客流視頻圖像中提取多幅只包含乘客人頭區域信息的圖像，形成目標樣本集；再分別提取目標樣本集中每個樣本的灰度統計直方圖Hist^則樣本集的平均灰度統計直方圖為Hz'W二^Z///^。。，其中aa是樣本在樣本集中的索引toto/。。=1值，total為樣本集的大小，表示樣本的數量，這個目標樣本集的平均灰度統計直方圖就作為本發明的目標先驗灰度統計直方圖；(2)基于上述目標先驗灰度統計直方圖對輸入視頻圖像的任一幀It進行反向投影運算，即將It的每個像素點的灰度值映射為該灰度值在目標先驗灰度統計直方圖中的統計次數或概率，得到It對應的反向投影圖像Pt，然后再將Pt的像素值量化到范圍內，其中t表示輸入視頻圖像中的任一幀索引值；(3)對所述反向投影圖像Pt和與該幀t之前相隔t幀的圖像Pt—T進行差分和二值化運算，得到結果圖像St，其中t(4)對所述結果圖像St濾波，以消除圖像中存在的孤立噪聲點和連接斷開的目標區域；(5)連通域標記所述結果圖像St經過濾波處理之后，將其中像素值為255且彼此位于對方的8鄰域中的像素用同一數值標記出來，標記后的圖像中具有相同數值的所有像素則隸屬于同一個連通域，將所有連通域作為It中待檢測的目標壓入檢測目標隊列head_list中；在所述目標跟蹤步驟中，包括以下過程(6)記跟蹤目標隊列為people—list,判斷其是否為空，如果為空，則將上述檢測目標隊列heacLlist中的所有目標作為新進入場景中的目標壓入跟蹤目標隊列people—list中，并直接跳轉到步驟(IO)，如果不為空，則轉入步驟(7);(7)虛警刪除根據虛警刪除機制，刪除跟蹤目標隊列people—list中的虛警目標，其中，所述虛警刪除機制包括(A)目標的位置位于圖像的邊緣，(B)目標的滯留時間達到預設值的上限，(C)目標允許的消失時間達到預設值的上限，D)目標已用于了客流統計計數，若跟蹤目標隊列people—list中的目標滿足所述虛警刪除機制中任何之一，則該目標為虛警目標，刪除該虛警目標，更新跟蹤目標隊列people—list;(8)灰度互相關關聯匹配跟蹤將檢測目標隊列head—list與虛警刪除后的跟蹤目標隊列people—list按照一定的關聯規則進行數據關聯匹配，其中，所述的關聯規則為兩級級聯準則，即在只有滿足第一級準則的條件下才可進入第二級處理，所述第一級準則為只有當兩個目標的中心點分別位于彼此的鄰域之內才認為它們可能有關聯；第二級準則為在上一級中可能相互關聯的目標，若其相似度滿足預設條件則認為它們已經正確的匹配上，具體關聯匹配過程為假設people_list中存在m個目標，head_list中存在n個目標，用akl表示people—list中的任一目標k和head—list中的任一目標1之間的相似度，用dkl表示people_list中的該任一目標k和head_list中的該任一目標1的中心點之間的歐式距離，將該任一目標k或任一目標l所屬圖像區域即目標區域的二維點集R二{It(a，b):ai《a《《b《b2}轉換為按行順序存儲的一維向量X，其中a，b為It中任一像素點It(a，b)的位置，a代表列的位置，b代表行的位置，ai，a2分別為It中的目標區域的最左邊列和最右邊列的位置坐標，h分別為It中的目標區域的最下邊行和最上邊行的位置坐標，記向量X的均值為^[X]二!S^，x。為向量x中任一元素，N為向量X的長度，也就是目標區域的總像素數，N=(a2_ai+l)X(Wl);定義相似度函數如下<formula>formulaseeoriginaldocumentpage7</formula>其中M為向量Xk和&的有效長度，M=min(Nk，N》，表示取Nk，N丄中的較小者，Nk，K分別為people—list中的任一目標k和head—list中的任一目標1所屬目標區域轉換后得到的向量Xk和&的長度，th3是預設的目標鄰域大小，Xfa和Xlt分別為向量Xk和&中任一元素，據此得到people—list和head—list隊列間的相似度關聯矩陣<formula>formulaseeoriginaldocumentpage8</formula>當akl同時滿足如下兩個預設條件akl=min{aklak2Lak(n—1}akn}，akl=min{a^a21La(m—maml}，貝U認為head—list中的目標1與people—list中的目標k相匹配，更新peopleJist中目標k的相應信息；若akl不滿足上述兩個預設條件，則分如下兩種情況分別處理(A)heacLlist中目標1與peopleJist中的目標k不匹配，則people—list中的目標k進一步轉入步驟(9)進行搜索跟蹤；(B)people_list中的目標k與head_list中的目標1不匹配，則head_list中的目標1作為新進入場景中的目標壓入跟蹤隊列people—list中；(9)對people—list中沒有檢測目標與之相匹配的目標采用均值平移算法進行搜索跟蹤，將peopleJist中的目標在上一幀圖像It—:中的位置作為在當前幀It中進行均值平移搜索的初始位置，通過迭代搜索確定目標在It中的可能位置，完成對peopleJist中沒有檢測目標與之相匹配的目標的搜索跟蹤，并清空head—list;在所述的目標行為分析和客流量統計計數步驟中，包括以下過程(10)目標行為分析和客流量統計計數判斷跟蹤目標隊列people—list中是否有滿足計數規則的目標，若有則更新客流量統計數據，其中，所述的計數規則為目標在進入場景時的圖像中的初始位置和其在當前幀圖像It中的位置之間的距離大于預設值，則為下車；目標在當前幀圖像It中的位置與其在進入場景時的圖像中的初始位置之間的距離大于預設值，則為上車。本發明在所述的目標檢測步驟中，對所得到的經差分和二值化運算后的結果圖像St先進行目標重影消除處理，得到處理后的圖像S't，再對所述處理后的圖像S't進行濾波和連通域標記處理，其中，具體的目標重影消除處理過程如下在對Pt和在該幀之前相隔t幀的圖像Pt—T進行差分和二值化運算的同時，單獨再對Pt進行二值化處理，艮卩'255z/(S(/,7〕>^)，0efee其中P't表示Pt二值化后的圖像，Pt(i，j)、P't(i，j)分別表示Pt和P't中的任一像素點，i、j分別表示圖像的第i行和第j列，th2為二值化閾值，用St和P't進行"與"操作，即'255z/(&(U)=255并且i3/(/,_/)=255)，0efae其中S't為處理后的結果圖像，S't(i，j)表示S't中的任一像素點。本發明在所述的目標檢測步驟中，所述的濾波為中值濾波或形態學濾波。本發明計算出符合上述計數規則的目標灰度統計直方圖Hist'和目標先驗灰度尸/(z',力:統計直方圖Hist的相關系數，若相關系數大于預定值，則按照如下的方式更新目標先驗灰度統計直方圖Hist=(l-a)Hist+a.Hist'以用于后續輸入視頻圖像的目標檢測，增強對場景發生變化時的適應性。本發明可以為公交公司實現公交車智能調度、公交車移動傳媒廣告受眾分析等提供細粒度的可靠依據。圖1為本發明整體流程圖；圖2中，(a)形態學平移算子示意圖；(b)形態學腐蝕算子示意圖；(C)形態學膨脹算子示意圖；圖3上車門客流統計示意圖；圖4下車門客流統計示意圖。具體實施例方式下面結合附圖和具體實施例對本發明作詳細描述。圖1為本實施例的實施流程圖，包括目標檢測、目標跟蹤和目標行為分析及客流統計計數幾個步驟，本實施例在分析圖像時，只利用了圖像的亮度信息(即灰度圖像)。在目標檢測步驟中，包括以下過程1，提取目標先驗灰度統計直方圖。直方圖是圖像各灰度值統計特性與圖像灰度值的函數，它統計一幅圖像中各個灰度級出現的次數或概率。先人工手動的從預先捕獲的客流視頻圖像中提取多幅只包含乘客人頭區域信息的圖像，形成目標樣本集；再分別提取目標樣本集中每個樣本的灰度統計直方圖附"^，則樣本集的平均灰度統計直方圖為///^=7^71:///^。。，其中aa是樣本在樣toto/。。=1本集中的索引值，total為樣本集的大小，表示樣本的數量。這個目標樣本集的平均灰度統計直方圖就作為本發明的目標先驗灰度統計直方圖。2，基于上述目標先驗灰度統計直方圖對輸入視頻圖像進行反向投影運算。直方圖反向投影是對待處理圖像的每個像素進行重新編碼的一種運算，反向投影所依賴的直方圖稱之為基準直方圖，具體投影方法為，將待處理的圖像每個像素點的灰度值映射為該灰度值在基準直方圖中的統計次數或概率即可。因為目標先驗灰度統計直方圖反應的是目標區域中所有像素點在各個灰度值上的概率統計分布信息，因此，在對輸入視頻圖像進行基于目標先驗灰度統計直方圖的反向投影運算后，產生的反向投影圖像本質是一個概率圖像，這個概率圖像反映了輸入視頻圖像中的各個像素點隸屬于目標的概率。反向投影圖像中像素值越大的點表明其隸屬于目標區域的概率也就越大。然后再將反向投影圖像的像素值重新量化到范圍內。具體量化方法如下記反向投影圖像中像素值最大的值為v^，像素值最小的值為vmin，v(i，j)表示反向投影圖像中第i行、第j列的像素值，則重新量化后該點的像素值v(/,力':-x255，其中運算符號,,表示不大于9a的最大整數。3，對輸入視頻圖像I進行上述反向投影運算后，記重新量化后的反向投影圖像為P，對所述反向投影圖像P中的第t幀圖像Pt和鄰近的第t-t幀圖像Pt—T進行差分、二值「255//CP,(/,/)-fr(/,/)>賊)化運算，W,力=n,，St表示差分、二值化運算的結果圖像，St(i，j)、Pt(i，j)、Pt—T(i，j)分別表示圖像St，Pt，Pt—T中的任意點，i、j分別表示圖像的第i行和第j列，t^為二值化的閾值(一般設為30-100之間的數值即可)，t表示差分運算時相隔的圖像幀數，t>1，通常t=l時，圖像St中目標區域的會產生比較明顯的空洞效應，t>1時又會造成圖像St中目標出現明顯的重影。本實施例通過如下的方式解決了目標重影。在進行上述差分、二值化處理的同時，,「255//W,/)>A7)單獨再對&進行二值化處理，即《(0)=A/，其中th2為二值化閾值(一般設為30-100之間的數值即可)，P't表示反向投影圖像Pt二值化后的圖像中的第t幀圖像，P't(i，j)為P't中的任意點。用St和P't進行"與"操作，即《(,,7)=&(U)&i^,7)^2557/(&(,,7)=255并且^,7)=255)，S't表示"與"操作后的結果圖像，S't(i，j)為S't中的任意點，i、j分別表示圖像的第i行和第j列，這樣處理后就有效的消除了差分運算產生的目標重影。4，濾波為了消除上述得到的圖像S't中存在的孤立噪聲點和連接斷開的目標區域，本實施例中選用中值濾波器和形態學濾波器對S't進行濾波處理。中值濾波是基于排序統計理論的一種能有效抑制噪聲的非線性信號處理技術，中值濾波的基本原理是把圖像中某像素點的顏色值用該像素點的一個鄰域中各像素點顏色值排序后的中間值代替，讓周圍像素的顏色值更接近真實值，從而消除孤立的噪聲點，本實施例中對S't進行中值濾波時選用的鄰域為該像素的8鄰域，即選取8鄰域中的所有像素的灰度值的中間值作為該像素點濾波后的結果。所謂像素點(i，j)的鄰域是指該像素具有4個水平和垂直的相鄰像素，其坐標為(i+l，j)，(i-l，j)，(i，j+l)，(i，j-l)，這四個點稱之為(i，j)的4鄰域，同時(i，j)的4個對角的相鄰像素具有如下坐標(i+l，j+l)，(i+l，j-l)，(i-l，j+l)，(i-l，j-l)。所有的這8個點稱之為(i，j)的8鄰域，若(i，j)位于圖像的邊界，則它的8鄰域中的某些點落入圖像的外邊，其中i、j分別表示圖像的第i行和第j列。形態學濾波的原理是，形態學將二值圖像看成是集合，并用結構元素進行"探測"，結構元素是一個可以在圖像上平移、且尺寸比圖像小的集合。基本的數學形態學運算是將結構元素在圖像范圍內平移，同時施加交、并等基本集合運算。本實施例中對S't進行形態學濾波選用了形態學運算中的腐蝕算子和膨脹算子。形態學最基本的運算為平移算子，設有一幅圖像A和一個點b(x，y)，用A[b]表示圖像A以向量b進行平移運算的結果，則平移算子可以表示為A[b]={a+b|aGA}。平移計算結果如圖2中(a)所示。腐蝕算子對一個給定的圖像集合A以及結構元素集合B，如果將B在A上移動，那么在每一個當前位置a，結構元素B經過a平移之后的結果B[a]只可能有以下3種狀態(1)剩^j;(2)B[a]^U表示集合A的補集；(3)(B[a]nA)n(B[a]nX)-①。在狀態(1)下，B[a]與A的相關性最大；在狀態(2)下，B[a]與A不相關；在狀態(3)下，B[a]與A部分相關。我們把滿足狀態(1)的所有點a構成的集合稱為結構元素B對A的腐蝕，記為^05=1^W'表示對圖像A中各點經B做平移運算所得結果取交集。腐蝕計算結果如圖2中(b)所示。膨脹算子與腐蝕算子對應，形態學膨脹算子是將A中各點經B做平移運算所得結果取并集，膨脹運算表示為^^=^46]。膨脹計算結果如圖2中(c)所示。本實施例中對圖像S't進行膨脹和腐蝕運算時，采用的結果元素集合B為3X3的矩形結構，坐標原點位于B的中心點，將B按照上述原理對圖像S't進行腐蝕和膨脹運算即可有效的將二值圖像中某些斷開的像素值為255的像素點連接起來。5，連通域標記二值圖像S't經過濾波處理之后，將圖像中像素值為255且彼此位于對方的8鄰域(鄰域的概念在"濾波"那一小節已經給出)中的像素用同一數值標記出來。標記后的圖像中具有相同數值的所有像素則隸屬于同一個連通域，將所有連通域作為當前幀圖像中檢測的目標壓入檢測目標隊列head_list。在目標跟蹤步驟中，包括以下過程6，記跟蹤目標隊列為people—list,判斷其是否為空，如果為空，則將上述檢測目標隊列head—list中的所有目標作為新進入場景中的目標壓入跟蹤目標隊列people—list中，直接跳轉到第10步。如果不為空，則轉入第7步。7，虛警刪除根據虛警刪除機制，刪除當前跟蹤隊列people—list中的虛警目標。本發明定義的虛警刪除機制包括(l)目標的位置已位于圖像的邊緣；(2)目標的滯留時間已達到預設值的上限；(3)目標的消失時間已達到預設值的上限；(4)目標已經用于了客流統計計數。若目標滿足這其中任何條件之一，則刪除該目標，再更新跟蹤目標隊列people—list。8，灰度互相關關聯匹配跟蹤將檢測目標隊列head—list與虛警刪除后的跟蹤目標隊列people—list進行灰度互相關關聯匹配跟蹤。本發明定義的關聯規則包含了兩級級聯準則(所謂兩級級聯是指只有滿足第一級準則的條件下才可進入第二級處理)，第一級為目標間的距離，規定只有當兩個目標的中心點分別位于彼此的鄰域之內(以目標中心點為圓心，一定預設值為半徑的圓形圖像區域稱之為該目標的鄰域，該預設值稱為鄰域大小)才認為它們可能有關聯；第二級為可能相互關聯的目標間的相似度，若其相似度滿足預設條件則認為它們已經正確的匹配上了。具體關聯匹配過程如下假設people_list中存在m個目標，head_list中存在n個目標，用akl表示people—list中的目標k禾口head—list中的目標1之間的相似度，用dkl表示people_list中的目標k和head_list中的目標1的中心點之間的歐式距離，其中k和1分別表示隊列peopleJist和heacLlist中目標的索引值。為描述方便將目標所屬圖像區域(即目標區域)的二維點集R={It(a，b):ai《a《a2，^《b《b2}轉換為按行順序存儲的一維向量X，其中a，b為It中任一像素點It(a，b)的位置，a代表列的位置，b代表行的位置，a"a2分別為It中的目標區域的最左邊列和最右邊列的位置坐標，bpb2分別為It中的目標區域的最下邊行和最上邊行的位置坐標，記向量X的均值為五[X]=!|>￡，^為向量)(中任一元素，N為向量X的長度，也就是目標區域的總像素數，N=(a2_ai+l)X(b2-b一l)。根據上述關聯規則的兩級級聯準則，本實施例定義了如下的相似度函數<formula>formulaseeoriginaldocumentpage12</formula>其中M為向量Xk和&的有效長度，M=min(Nk，N》，表示取Nk，N丄中的較小者，Nk，K分別為people—list中的目標k和head—list中的目標1所屬目標區域轉換后得到的向量Xk和^的長度，仏3是預設的目標鄰域大小，XkJL分別為向量Xk和^中任一元素。akl的定義說明當people—list中的目標k和head—list中的目標1彼此位于對方的鄰域之內時，其相似度為向量Xk和XJ余去均值后在有效長度上的絕對值距離，否則其相似度設為無窮大。顯然a^值越小說明兩個目標越相關。據此得到people—list和heacLlist隊列間的相似度關聯矩陣<formula>formulaseeoriginaldocumentpage12</formula>當people_list中的目標k和head_list中的目標1之間的相似度akl同時滿足如下兩個預設條件akl=min{aklak2Lak(n—"aj禾卩akl=min^ua21La(m—maml}，則認為heacLlist中的目標l與people—list中的目標k相匹配，更新people_list中目標k的相應信息；若akl不滿足上述兩個預設條件，則分如下兩種情況分別處理(A)head—list中的目標l與people—list中的目標k不匹配，則people_list中的目標k進一步轉入步驟9進行搜索跟蹤；(B)在people—list中的目標k與head—list中的目標1不匹配，則head—list中的目標1作為新進入場景中的目標壓入跟蹤隊列people—list中；至此完成了people—list中目標的灰度互相關關聯匹配跟蹤。9，對peopleJist中沒有檢測目標與之相匹配的目標進行搜索跟蹤。本領域中現有常規跟蹤技術包括卡爾曼濾波、粒子濾波跟蹤以及均值平移算法。本實施例選用了均值平移算法進行搜索跟蹤，將people—list中的目標在It—工幀中的位置作為在It中進行均值平移搜索的初始位置，通過迭代搜索確定該目標在It中的位置，完成對peopleJist中沒有檢測目標與之相匹配的目標的跟蹤。這樣peopleJist中所有目標都實現了跟蹤定位，并清空head_list。在目標行為分析和客流量統計計數步驟中，包括以下過程10，目標行為分析和客流量統計計數判斷跟蹤目標隊列people—list中是否有滿足計數規則的目標，若有則更新客流量統計數據。計數規則具體為目標進入場景時在圖像中的初始位置和其當前時刻在圖像中的位置之間的距離大于預設值，則為下車；目標當前時刻在圖像中的位置與其進入場景時在圖像中的初始位置之間的距離大于預設值，則為上車。從圖3和圖4可以看出，本實施例中由于公交車門位于圖像的上部分，且圖像坐標系中垂直方向上坐標值從上往下遞增，而乘客的上下車行為基本約束在垂直方向上，所以最簡單的分析方式就是僅計算目標進入場景時刻的初始位置和目標當前時刻的位置在垂直方向上的距離，若初始位置垂直方向坐標小于當前時刻的位置垂直方向坐標，且二者間的距離大于設定閾值(具體可根據圖像大小來設定，本發明采用的圖像大小為352*288，一般設定閾值為20-50即可)，則認為乘客的行為為上車，更新上車人數；若初始位置垂直方向坐標大于當前時刻的位置垂直方向坐標，且二者間的距離大于設定閾值，則認為乘客的行為為下車，更新下車人數。即實現了公交車客流量的統計，如圖3和圖4所示，圖3為上車門客流統計情況，圖4為下車門客流統計情況。當然，完成客流量統計計數步驟后，為了提高本方法針對場景發生變化時的適應性，可以再計算出符合上述客流統計計數規則的目標灰度統計直方圖分布Hist'和目標先驗灰度統計直方圖Hist的相關系數，若相關系數大于設定的閾值，則按照如下的方式更新目標先驗灰度統計直方圖Hist=(l-a)Hist+aHist'，其中a為學習速率，a越大，則Hist更新也越快，反之Hist更新越慢；更新后的目標先驗灰度統計直方圖繼續用于后續輸入視頻圖像的目標檢測。權利要求一種實時公交車客流量統計方法，包括目標檢測、目標跟蹤、目標行為分析及客流統計計數三個步驟，其特征在于所述的目標檢測步驟中，包括以下過程(1)提取目標先驗灰度統計直方圖先人工手動的從預先捕獲的客流視頻圖像中提取多幅只包含乘客人頭區域信息的圖像，形成目標樣本集；再分別提取目標樣本集中每個樣本的灰度統計直方圖Histaa，則樣本集的平均灰度統計直方圖為其中aa是樣本在樣本集中的索引值，total為樣本集的大小，表示樣本的數量，這個目標樣本集的平均灰度統計直方圖就作為本發明的目標先驗灰度統計直方圖；(2)基于上述目標先驗灰度統計直方圖對輸入視頻圖像的任一幀It進行反向投影運算，即將It的每個像素點的灰度值映射為該灰度值在目標先驗灰度統計直方圖中的統計次數或概率，得到It對應的反向投影圖像Pt，然后再將Pt的像素值量化到范圍內，其中t表示輸入視頻圖像中的任一幀索引值；(3)對所述反向投影圖像Pt和與該幀t之前相隔τ幀的圖像Pt-τ進行差分和二值化運算，得到結果圖像St，其中τ≥1；(4)對所述結果圖像St濾波，以消除圖像中存在的孤立噪聲點和連接斷開的目標區域；(5)連通域標記所述結果圖像St經過濾波處理之后，將其中像素值為255且彼此位于對方的8鄰域中的像素用同一數值標記出來，標記后的圖像中具有相同數值的所有像素則隸屬于同一個連通域，將所有連通域作為It中待檢測的目標壓入檢測目標隊列head_list中；在所述目標跟蹤步驟中，包括以下過程(6)記跟蹤目標隊列為people_list，判斷其是否為空，如果為空，則將上述檢測目標隊列head_list中的所有目標作為新進入場景中的目標壓入跟蹤目標隊列people_list中，并直接跳轉到步驟(10)，如果不為空，則轉入步驟(7)；(7)虛警刪除根據虛警刪除機制，刪除跟蹤目標隊列people_list中的虛警目標，其中，所述虛警刪除機制包括(A)目標的位置位于圖像的邊緣，(B)目標的滯留時間達到預設值的上限，(C)目標允許的消失時間達到預設值的上限，D)目標已用于了客流統計計數，若跟蹤目標隊列people_list中的目標滿足所述虛警刪除機制中任何之一，則該目標為虛警目標，刪除該虛警目標，更新跟蹤目標隊列people_list；(8)灰度互相關關聯匹配跟蹤將檢測目標隊列headl_list與虛警刪除后的跟蹤目標隊列people_list按照一定的關聯規則進行數據關聯匹配，其中，所述的關聯規則為兩級級聯準則，即在只有滿足第一級準則的條件下才可進入第二級處理，所述第一級準則為只有當兩個目標的中心點分別位于彼此的鄰域之內才認為它們可能有關聯；第二級準則為在上一級中可能相互關聯的目標，若其相似度滿足預設條件則認為它們已經正確的匹配上，具體關聯匹配過程為假設people_list中存在m個目標，head_list中存在n個目標，用akl表示people_list中的任一目標k和head_list中的任一目標l之間的相似度，用dkl表示people_list中的該任一目標k和head_list中的該任一目標l的中心點之間的歐式距離，將該任一目標k或任一目標l所屬圖像區域即目標區域的二維點集R＝{It(a，b)a1≤a≤a2，b1≤b≤b2}轉換為按行順序存儲的一維向量X，其中a，b為It中任一像素點It(a，b)的位置，a代表列的位置，b代表行的位置，a1，a2分別為It中的目標區域的最左邊列和最右邊列的位置坐標，b1，b2分別為It中的目標區域的最下邊行和最上邊行的位置坐標，記向量X的均值為xc為向量X中任一元素，N為向量X的長度，也就是目標區域的總像素數，N＝(a2-a1+1)×(b2-b1+1)；定義相似度函數如下<mrow><msub><mi>a</mi><mi>kl</mi></msub><mo>=</mo><mfencedopen='{'close=''><mtable><mtr><mtd><munderover><mi>Σ</mi><mrow><mi>r</mi><mo>=</mo><mn>1</mn></mrow><mi>M</mi></munderover><mo>|</mo><mrow><mo>(</mo><msub><mi>X</mi><mi>kr</mi></msub><mo>-</mo><mi>E</mi><mo>[</mo><msub><mi>X</mi><mi>k</mi></msub><mo>]</mo><mo>)</mo></mrow><mo>-</mo><mrow><mo>(</mo><msub><mi>X</mi><mi>lr</mi></msub><mo>-</mo><mi>E</mi><mo>[</mo><msub><mi>X</mi><mi>l</mi></msub><mo>]</mo><mo>)</mo></mrow><mo>|</mo><mo>,</mo></mtd><mtd><mi>if</mi><mrow><mo>(</mo><msub><mi>d</mi><mi>kl</mi></msub><mo>≤</mo><msub><mi>th</mi><mn>3</mn></msub><mo>)</mo></mrow></mtd></mtr><mtr><mtd><mo>+</mo><mo>∞</mo><mo>,</mo></mtd><mtd><mi>else</mi></mtd></mtr></mtable></mfenced></mrow>其中M為向量Xk和Xl的有效長度，M＝min(Nk，Nl)，表示取Nk，Nl中的較小者，Nk，Nl分別為people_list中的任一目標k和head_list中的任一目標l所屬目標區域轉換后得到的向量Xk和Xl的長度，th3是預設的目標鄰域大小，Xkr和Xlr分別為向量Xk和Xl中任一元素，據此得到people_list和head_list隊列間的相似度關聯矩陣<mrow><mi>A</mi><mo>=</mo><mfencedopen='['close=']'><mtable><mtr><mtd><msub><mi>a</mi><mn>11</mn></msub></mtd><mtd><msub><mi>a</mi><mn>12</mn></msub></mtd><mtd><mi>L</mi></mtd><mtd><msub><mi>a</mi><mrow><mn>1</mn><mrow><mo>(</mo><mi>n</mi><mo>-</mo><mn>1</mn><mo>)</mo></mrow></mrow></msub></mtd><mtd><msub><mi>a</mi><mrow><mn>1</mn><mi>n</mi></mrow></msub></mtd></mtr><mtr><mtd><msub><mi>a</mi><mn>21</mn></msub></mtd><mtd><msub><mi>a</mi><mn>22</mn></msub></mtd><mtd><mi>L</mi></mtd><mtd><msub><mi>a</mi><mrow><mn>2</mn><mrow><mo>(</mo><mi>n</mi><mo>-</mo><mn>1</mn><mo>)</mo></mrow></mrow></msub></mtd><mtd><msub><mi>a</mi><mrow><mn>2</mn><mi>n</mi></mrow></msub></mtd></mtr><mtr><mtd><mi>M</mi></mtd><mtd><mi>M</mi></mtd><mtd><msub><mi>a</mi><mi>kl</mi></msub></mtd><mtd><mi>M</mi></mtd><mtd><mi>M</mi></mtd></mtr><mtr><mtd><msub><mi>a</mi><mrow><mrow><mo>(</mo><mi>m</mi><mo>-</mo><mn>1</mn><mo>)</mo></mrow><mn>1</mn></mrow></msub></mtd><mtd><msub><mi>a</mi><mrow><mrow><mo>(</mo><mi>m</mi><mo>-</mo><mn>1</mn><mo>)</mo></mrow><mn>2</mn></mrow></msub></mtd><mtd><mi>L</mi></mtd><mtd><msub><mi>a</mi><mrow><mrow><mo>(</mo><mi>m</mi><mo>-</mo><mn>1</mn><mo>)</mo></mrow><mrow><mo>(</mo><mi>n</mi><mo>-</mo><mn>1</mn><mo>)</mo></mrow></mrow></msub></mtd><mtd><msub><mi>a</mi><mrow><mrow><mo>(</mo><mi>m</mi><mo>-</mo><mn>1</mn><mo>)</mo></mrow><mi>n</mi></mrow></msub></mtd></mtr><mtr><mtd><msub><mi>a</mi><mrow><mi>m</mi><mn>1</mn></mrow></msub></mtd><mtd><msub><mi>a</mi><mrow><mi>m</mi><mn>2</mn></mrow></msub></mtd><mtd><mi>L</mi></mtd><mtd><msub><mi>a</mi><mrow><mi>m</mi><mrow><mo>(</mo><mi>n</mi><mo>-</mo><mn>1</mn><mo>)</mo></mrow></mrow></msub></mtd><mtd><msub><mi>a</mi><mi>mn</mi></msub></mtd></mtr></mtable></mfenced></mrow>當akl同時滿足如下兩個預設條件akl＝min{ak1ak2Lak(n-1)akn}，akl＝min{a1la2lLa(m-1)laml}，則認為head_list中的目標l與people_list中的目標k相匹配，更新people_list中目標k的相應信息；若akl不滿足上述兩個預設條件，則分如下兩種情況分別處理(A)head_list中目標l與people_list中的目標k不匹配，則people_list中的目標k進一步轉入步驟(9)進行搜索跟蹤；(B)people_list中的目標k與head_list中的目標l不匹配，則head_list中的目標l作為新進入場景中的目標壓入跟蹤隊列people_list中；(9)對people_list中沒有檢測目標與之相匹配的目標采用均值平移算法進行搜索跟蹤，將people_list中的目標在上一幀圖像It-1中的位置作為在當前幀It中進行均值平移搜索的初始位置，通過迭代搜索確定目標在It中的可能位置，完成對people_list中沒有檢測目標與之相匹配的目標的搜索跟蹤，并清空head_list；在所述的目標行為分析和客流量統計計數步驟中，包括以下過程(10)目標行為分析和客流量統計計數判斷跟蹤目標隊列people_list中是否有滿足計數規則的目標，若有則更新客流量統計數據，其中，所述的計數規則為目標在進入場景時的圖像中的初始位置和其在當前幀圖像It中的位置之間的距離大于預設值，則為下車；目標在當前幀圖像It中的位置與其在進入場景時的圖像中的初始位置之間的距離大于預設值，則為上車。FDA00000011.tif,FDA00000031.tif2.根據權利要求1所述的一種實時公交車客流量統計方法，其特征在于，在所述的目標檢測步驟中，對所得到的經差分和二值化運算后的結果圖像St先進行目標重影消除處理，得到處理后的圖像S't，再對所述處理后的圖像S't進行濾波和連通域標記處理，其中，具體的目標重影消除處理過程如下在對Pt和在該幀之前相隔t幀的圖像Pt—T進行差分和二值化運算的同時，單獨再對Pt進行二值化處理，即其中P't表示Pt二值化后的圖像，Pt(i，j)、P't(i，j)分別表示Pt和P't中的任一像素點，i、j分別表示圖像的第i行和第j列，th2為二值化閾值，用St和P't進行"與"操作，即其中S't為處理后的結果圖像，S't(i，j)表示S't中的任一像素點。3.根據權利要求1或2所述的一種實時公交車客流量統計方法，其特征在于，在所述的目標檢測步驟中，所述的濾波為中值濾波或形態學濾波。4.根據權利要求l-3之一所述的一種實時公交車客流量統計方法，其特征在于，計算出符合上述計數規則的目標灰度統計直方圖Hist'和目標先驗灰度統計直方圖Hist的相關系數，若相關系數大于預定值，則按照如下的方式更新目標先驗灰度統計直方圖Hist=(1-a)Hist+aHist'以用于后續輸入視頻圖像的目標檢測，增強對場景發生變化時的適應性。255(/,_/)=255并且i3/(/,_/)=255)全文摘要本發明提供了一種基于目標先驗分布的實時公交車客流量統計的方法，采用了目標檢測、目標跟蹤、目標行為分析等方法，屬于模式識別
技術領域：
。具體為利用目標先驗灰度統計直方圖對輸入視頻圖像進行反向投影運算，再對反向投影圖像進行差分、二值化、濾波、連通域標記等處理實現目標檢測。采用灰度互相關聯匹配跟蹤和均值平移算法搜索跟蹤實現對目標的準確定位。最后分析目標的運動軌跡判斷乘客的上下車行為，實現客流量統計。本發明可以為公交公司實現公交車智能調度、公交車移動傳媒廣告受眾分析等提供細粒度的可靠依據。文檔編號G06T7/20GK101777188SQ20101012268公開日2010年7月14日申請日期2010年3月12日優先權日2010年3月12日發明者劉樂元,唐奇玲,李馳,桑農,王強,王海,羅大鵬,陳景東,高常鑫,黃朝露申請人:華中科技大學