本(ben)發明屬(shu)于計算機(ji)機(ji)器視覺檢測(ce)技術領域(yu)，用于在內河河道船舶(bo)航行(xing)參(can)數(shu)的(de)監測(ce)中(zhong)，使用融(rong)(rong)合區域(yu)紋理梯度的(de)方法(fa)去除船舶(bo)陰(yin)影(ying)對船舶(bo)航行(xing)參(can)數(shu)測(ce)量(liang)的(de)影(ying)響(xiang)，為一種(zhong)融(rong)(rong)合區域(yu)紋理梯度的(de)船舶(bo)陰(yin)影(ying)去除方法(fa)。

背景技術：

為了保障內(nei)河(he)(he)河(he)(he)道(dao)(dao)的(de)(de)航運(yun)安全以(yi)及對(dui)船(chuan)(chuan)舶(bo)運(yun)行(xing)(xing)狀(zhuang)態事實(shi)監測(ce)(ce)(ce)的(de)(de)需要(yao)(yao)，目(mu)(mu)前借助于監控視頻(pin)實(shi)時提取內(nei)河(he)(he)船(chuan)(chuan)舶(bo)運(yun)行(xing)(xing)流量等參(can)(can)數(shu)的(de)(de)船(chuan)(chuan)舶(bo)檢測(ce)(ce)(ce)系統(tong)得以(yi)廣泛應用。在監測(ce)(ce)(ce)過程中(zhong)需要(yao)(yao)獲取船(chuan)(chuan)舶(bo)的(de)(de)位置、速度、長寬等信息，這些(xie)信息對(dui)規范船(chuan)(chuan)舶(bo)型號、防(fang)止橋梁(liang)碰(peng)撞、檢測(ce)(ce)(ce)船(chuan)(chuan)只超速等都有重要(yao)(yao)的(de)(de)意(yi)義。但在實(shi)際的(de)(de)河(he)(he)道(dao)(dao)監測(ce)(ce)(ce)視頻(pin)中(zhong)目(mu)(mu)標(biao)(船(chuan)(chuan)舶(bo))一(yi)般(ban)都存在陰(yin)影，而陰(yin)影的(de)(de)存在導致無法對(dui)船(chuan)(chuan)舶(bo)運(yun)行(xing)(xing)參(can)(can)數(shu)進(jin)(jin)行(xing)(xing)精確的(de)(de)檢測(ce)(ce)(ce)；甚至可能導致兩個(ge)(ge)或(huo)多(duo)個(ge)(ge)目(mu)(mu)標(biao)檢測(ce)(ce)(ce)為一(yi)個(ge)(ge)目(mu)(mu)標(biao)，造成檢測(ce)(ce)(ce)錯誤。因此在對(dui)河(he)(he)道(dao)(dao)監控視頻(pin)進(jin)(jin)行(xing)(xing)船(chuan)(chuan)舶(bo)參(can)(can)數(shu)檢測(ce)(ce)(ce)時，需要(yao)(yao)將船(chuan)(chuan)舶(bo)陰(yin)影去除。

傳統顏(yan)色(se)紋理陰影(ying)去除方(fang)法(se-ct，shadoweliminationbasedoncolorandtexture)主要結合顏(yan)色(se)和紋理不(bu)變(bian)性(xing)特征分割目標(biao)和陰影(ying)。由(you)陰影(ying)光譜屬性(xing)可知，陰影(ying)區(qu)域中的(de)像素點的(de)光強度比背(bei)景區(qu)域的(de)要小(xiao)。在(zai)陰影(ying)區(qu)域中rg分量(liang)的(de)反射比b分量(liang)的(de)強，同時陰影(ying)覆蓋的(de)背(bei)景區(qu)，其(qi)b分量(liang)增加、rg分量(liang)減小(xiao)；在(zai)光照條件(jian)不(bu)斷(duan)變(bian)化的(de)環境中，紋理不(bu)變(bian)性(xing)常被用來做(zuo)陰影(ying)檢測(ce)。

然在實際的(de)河(he)道監(jian)控環(huan)境下(xia)，由于水面波(bo)紋的(de)原(yuan)因陰(yin)影覆蓋(gai)前后區(qu)(qu)域的(de)紋理特(te)征不變性這一假設并(bing)不總(zong)是(shi)成立的(de)。傳統的(de)視(shi)頻檢測(ce)方(fang)法往往難以有效(xiao)區(qu)(qu)分船體邊(bian)界，造成顏色、紋理相(xiang)似的(de)前景和陰(yin)影區(qu)(qu)域檢測(ce)相(xiang)混淆(xiao)。在河(he)道這一特(te)定(ding)環(huan)境下(xia)，船舶陰(yin)影去除任(ren)然是(shi)一個具(ju)有挑戰的(de)問題。

技術實現要素：

本發明需要(yao)解(jie)決的技術問題是：陰影覆蓋前后(hou)，水面(mian)區域的紋(wen)理(li)特征不變(bian)性這一假設并不總是成(cheng)立，從而導致傳統陰影檢(jian)測方法往往難以有效(xiao)區分船體邊界(jie)，造(zao)成(cheng)顏色、紋(wen)理(li)相似的前景和陰影區域檢(jian)測相混淆。

本發明的(de)技術方案為：融合區域紋(wen)理梯度的(de)船舶陰影(ying)去(qu)除(chu)方法，根據內河(he)河(he)道的(de)監控(kong)視(shi)頻，采(cai)用(yong)改進(jin)的(de)顏色及紋(wen)理特征(zheng)對船舶陰影(ying)區域進(jin)行預檢(jian)測，再利用(yong)梯度填充的(de)方法來優化確定(ding)最終的(de)陰影(ying)位(wei)置(zhi)，進(jin)而(er)去(qu)除(chu)陰影(ying)，具(ju)體步(bu)驟(zou)如下：

1)利(li)用監控視頻(pin)(pin)的(de)連(lian)續(xu)視頻(pin)(pin)幀(zhen)(zhen)構建(jian)河(he)道背景模(mo)型(xing)，并(bing)對視頻(pin)(pin)圖像中的(de)河(he)道進行興趣域(yu)檢測及標定，采用混合高斯模(mo)型(xing)進行前景的(de)提(ti)取，并(bing)根(gen)據(ju)連(lian)續(xu)視頻(pin)(pin)幀(zhen)(zhen)的(de)輸入不斷(duan)更新背景幀(zhen)(zhen)b；

2)對提取(qu)出的(de)前(qian)景(jing)目(mu)標利用改(gai)進(jin)的(de)顏色特(te)征(zheng)對陰影區域(yu)進(jin)行(xing)初(chu)步檢測：

2.1)獲取(qu)前景目標(biao)區(qu)域內(nei)的每一個像素點的hsv值；

2.2)候選陰影區域sp^t(p)定義為：

式中，和分別表示t時刻視頻幀f和背景幀b在像素點p處的亮度值；和分別表示t時刻視頻幀f和背景幀b在像素點p處的飽和度；和分(fen)別表示(shi)t時刻視頻幀f和背景幀b在(zai)像素點p處(chu)的色度(du)值(zhi)；α，β，τs，τh分(fen)別表示(shi)大(da)量對照實驗得出的最佳閾值(zhi)；

3)利用改(gai)進的lbp紋理特(te)征對陰(yin)影區域進行檢測(ce)：

對步驟2)的(de)(de)候選陰影(ying)區域利用紋理特征(zheng)進(jin)一步優(you)化，更新候選陰影(ying)區域，改進(jin)的(de)(de)lbp紋理特征(zheng)如下：

式中，(x0,y0)為候選陰影區域(yu)的(de)(de)中心像(xiang)素(su)點(dian)(dian)的(de)(de)坐標，gc為中心像(xiang)素(su)點(dian)(dian)的(de)(de)灰度值，gp和gq為以(x0,y0)為中心的(de)(de)3×3窗口上對(dui)稱(cheng)像(xiang)素(su)點(dian)(dian)的(de)(de)灰度值，gm為以(x0,y0)為中心的(de)(de)周圍圓邊上的(de)(de)m個(ge)對(dui)稱(cheng)像(xiang)素(su)點(dian)(dian)；

4)對(dui)更新處理后得到的(de)陰(yin)影候選(xuan)區域使用梯度(du)填(tian)充的(de)方法來優化得到最終的(de)陰(yin)影區域；

5)把混(hun)合高斯模型提取出來的(de)前景區域與(yu)最(zui)終標出的(de)陰影區域做(zuo)圖像差分，得到去(qu)除陰影的(de)船舶目標。

進一步的(de)，步驟4)獲取最(zui)終的(de)陰影(ying)區域具體(ti)為(wei)：

4.1)對于步驟2)-3)處理后得到的陰影候選區域中的每一塊連通域，像素點p(x,y)的梯度幅值和梯度方向θp定(ding)義如下：

式中，表示水平梯度方向，表示(shi)(shi)垂直梯度方(fang)向，函數arctan2(·)返回(hui)一個在[-π,π]之間的梯度方(fang)向值(zhi)，θp表示(shi)(shi)像素的梯度方(fang)向；

對(dui)于具(ju)有顯著權重(zhong)的像素點p＝(x,y),計算t時刻視頻幀(zhen)f和(he)背(bei)景幀(zhen)b的梯度差δθp：

4.2)利用t時刻(ke)視頻幀f和(he)背景幀b在梯度方向上的(de)相關性(xing)判斷陰(yin)影(ying)區(qu)域，如(ru)下式(shi)：

式中，s為陰(yin)影(ying)檢測(ce)的結果(guo)，n為候選(xuan)陰(yin)影(ying)區(qu)域(yu)(yu)像素的個數(shu)，τa為梯(ti)度閾(yu)值；τc為給定的梯(ti)度差閾(yu)值，如果(guo)s大于τc，則像素點屬(shu)于陰(yin)影(ying)區(qu)域(yu)(yu)，否則屬(shu)于前景，對檢測(ce)出的陰(yin)影(ying)采用數(shu)學(xue)形態(tai)學(xue)的閉運算來填充陰(yin)影(ying)掩碼(ma)，降(jiang)低噪聲影(ying)響，得到最終(zhong)的陰(yin)影(ying)區(qu)域(yu)(yu)。

本發明針對內河河道這(zhe)一特定場景，提(ti)出了(le)一種融合區(qu)(qu)域(yu)紋(wen)理(li)(li)梯度的(de)(de)(de)船舶(bo)陰(yin)(yin)影(ying)去(qu)除(chu)方法，有效解決了(le)傳統的(de)(de)(de)陰(yin)(yin)影(ying)檢測方法在實際的(de)(de)(de)監控(kong)視頻流中，由于陰(yin)(yin)影(ying)覆蓋前(qian)后區(qu)(qu)域(yu)的(de)(de)(de)紋(wen)理(li)(li)特征不(bu)(bu)變性這(zhe)一假設(she)并不(bu)(bu)總(zong)是(shi)成(cheng)立的(de)(de)(de)，造成(cheng)的(de)(de)(de)難以有效區(qu)(qu)分船體邊界，造成(cheng)顏色、紋(wen)理(li)(li)相似(si)的(de)(de)(de)前(qian)景和陰(yin)(yin)影(ying)區(qu)(qu)域(yu)檢測相混淆的(de)(de)(de)問題；提(ti)高了(le)對內河船舶(bo)航(hang)行參數的(de)(de)(de)檢測精度，特別(bie)是(shi)對準確獲得船舶(bo)尺寸(cun)具有重要意義。

附圖說明

圖(tu)1是(shi)本(ben)發明方法實(shi)現船舶(bo)陰影去除(chu)的流程(cheng)步驟框圖(tu)。

圖2是本(ben)發明方(fang)法中船舶陰(yin)影(ying)去(qu)(qu)除(chu)各步驟結果圖，(a)為(wei)(wei)(wei)輸入(ru)圖像，(b)為(wei)(wei)(wei)混合高斯建模，(c)為(wei)(wei)(wei)基準圖，(d)為(wei)(wei)(wei)改(gai)(gai)進(jin)(jin)顏(yan)色(se)特征，(e)為(wei)(wei)(wei)改(gai)(gai)進(jin)(jin)紋理(li)特征，(f)為(wei)(wei)(wei)梯(ti)度填充(chong)，(g)為(wei)(wei)(wei)陰(yin)影(ying)檢測(ce)，(h)為(wei)(wei)(wei)陰(yin)影(ying)去(qu)(qu)除(chu)，(i)為(wei)(wei)(wei)匹配跟蹤。

圖3是本發(fa)明改(gai)進的lbp紋(wen)理(li)檢(jian)測方法中，3×3窗口鄰接像(xiang)素點模(mo)版的實施(shi)例。

具體實施方式

以(yi)下結(jie)合附(fu)圖和具體實施例對本發明進行詳細(xi)說明。

參照圖1，本發明給(gei)出一種內河(he)河(he)道特(te)定場景下(xia)的實現(xian)船舶(bo)陰影(ying)去除(chu)流程包括以下(xia)步(bu)驟：

步(bu)驟(zou)(1)：首先從視頻源(yuan)獲(huo)取視頻，然后采用混(hun)(hun)合高(gao)斯模(mo)型提取出帶有陰影的前(qian)景(jing)目標(biao)區域，使用混(hun)(hun)合高(gao)斯模(mo)型提取出來的前(qian)景(jing)圖像(xiang)如圖2(b)所(suo)示(shi)。

步驟(2)：前面的步驟中，前景區域是通過混合高斯模型來進行提取的，相較于rbg空間，在hsv空間中，由于亮度和色度是分開的，所以該空間適用于可見的陰影檢測，對于提取出來的前景區域，本發明選擇hsv顏色空間檢測陰影。對于提取出來的前景區域，獲取區域內以及對應區域的背景模型內的每一個像素點的hsv值，使用改進的顏色特征篩選出候選陰影區域sp^t(p)。根(gen)據(ju)hsv值綜合(he)判斷陰影區域(yu)的定(ding)義(yi)如下：

式中，和分別表示t時刻視頻幀f和背景幀b在像素點p處的亮度值；和分別表示t時刻視頻幀f和背景幀b在像素點p處的飽和度；和分(fen)別表示(shi)t時刻(ke)視頻幀f和背景幀b在像素點p處的色度值(zhi)；α，β，τs，τh分(fen)別表示(shi)大量(liang)對照實驗得出的最(zui)佳閾值(zhi)；

由上述改進的顏色特征篩選出來的陰影候選區域如圖2(d)所示。

由于傳統(tong)的(de)(de)(de)(de)(de)lbp紋(wen)理特征提(ti)取(qu)是(shi)利用圖(tu)像選定區域的(de)(de)(de)(de)(de)中心(xin)(xin)像素與其(qi)周圍(wei)局部(bu)像素進行閾值對(dui)比(bi)，如果中心(xin)(xin)像素的(de)(de)(de)(de)(de)亮度不小于相(xiang)鄰(lin)像素值，標(biao)記為(wei)1，否則標(biao)記為(wei)0，并(bing)將最終的(de)(de)(de)(de)(de)結果求和(he)。而這(zhe)樣的(de)(de)(de)(de)(de)檢(jian)(jian)(jian)測算法(fa)(fa)(fa)抗噪聲性(xing)能差，細微的(de)(de)(de)(de)(de)噪聲都會引(yin)起(qi)陰影像素的(de)(de)(de)(de)(de)誤檢(jian)(jian)(jian)和(he)漏檢(jian)(jian)(jian)，但由于水(shui)面波紋(wen)總是(shi)存在的(de)(de)(de)(de)(de)，因(yin)此噪聲也是(shi)無法(fa)(fa)(fa)避免的(de)(de)(de)(de)(de)。針(zhen)對(dui)這(zhe)個(ge)問題步(bu)(bu)驟(zou)(3)提(ti)出了一種基于改(gai)進的(de)(de)(de)(de)(de)lbp紋(wen)理特征陰影檢(jian)(jian)(jian)測的(de)(de)(de)(de)(de)方法(fa)(fa)(fa)，并(bing)從步(bu)(bu)驟(zou)(2)得到(dao)的(de)(de)(de)(de)(de)候選陰影掩膜(mo)中利用這(zhe)種方法(fa)(fa)(fa)進一步(bu)(bu)優(you)化。這(zhe)種改(gai)進的(de)(de)(de)(de)(de)lbp紋(wen)理特征陰影檢(jian)(jian)(jian)測方法(fa)(fa)(fa)將中心(xin)(xin)像素點與周圍(wei)圓邊上的(de)(de)(de)(de)(de)對(dui)稱像素點做多次(ci)比(bi)較(jiao)。

步驟(zou)(3)具體為：在步驟(zou)(2)篩選(xuan)出的陰(yin)影(ying)候(hou)選(xuan)區(qu)域中，使用改進(jin)的lbp紋理(li)特征做進(jin)一(yi)步優化，更(geng)新候(hou)選(xuan)陰(yin)影(ying)區(qu)域。改進(jin)的lbp特征定(ding)義如下：

式中(zhong)，(x0,y0)為候(hou)選(xuan)陰影(ying)區域中(zhong)心(xin)(xin)(xin)(xin)像(xiang)素(su)(su)點(dian)(dian)(dian)的(de)坐標，gc為中(zhong)心(xin)(xin)(xin)(xin)像(xiang)素(su)(su)點(dian)(dian)(dian)的(de)灰度值，gp和gq為以(yi)(x0,y0)為中(zhong)心(xin)(xin)(xin)(xin)的(de)3×3窗口(kou)上(shang)對稱(cheng)像(xiang)素(su)(su)點(dian)(dian)(dian)的(de)灰度值，gm為以(yi)(x0,y0)為中(zhong)心(xin)(xin)(xin)(xin)的(de)周(zhou)圍圓(yuan)邊上(shang)的(de)m個(ge)對稱(cheng)像(xiang)素(su)(su)點(dian)(dian)(dian)。本步驟將候(hou)選(xuan)陰影(ying)區域中(zhong)心(xin)(xin)(xin)(xin)像(xiang)素(su)(su)點(dian)(dian)(dian)與周(zhou)圍圓(yuan)邊上(shang)的(de)對稱(cheng)像(xiang)素(su)(su)點(dian)(dian)(dian)做多次比較(jiao)后，用lbp(x,y)值代(dai)替中(zhong)心(xin)(xin)(xin)(xin)像(xiang)素(su)(su)點(dian)(dian)(dian)(x0,y0)的(de)灰度值，進而更新候(hou)選(xuan)陰影(ying)區域。

改進的(de)lbp紋理(li)檢測方法中(zhong)，3×3窗(chuang)口鄰接像素點模版如圖3所示(shi)。

根據上(shang)述改進lbp特征得到的(de)陰影候(hou)選區域(yu)如圖(tu)2(e)所示。

步(bu)驟(4)采用(yong)梯度填充(chong)的(de)方法獲取最終陰影區(qu)域(yu)。

首先對于步驟2)-3)處理后得到的陰影候選區域中的每一塊連通域，像素點p(x,y)的梯度幅值和梯度(du)方向θp定義如下：

式中，表示水平梯度方向，表示垂(chui)直梯(ti)度(du)(du)方(fang)向。函(han)數arctan2(.)返回一個(ge)在[-π,π]之間(jian)的梯(ti)度(du)(du)方(fang)向值，θp表示像素的梯(ti)度(du)(du)方(fang)向。

對于具有顯著(zhu)特征的(de)像素(su)p＝(x,y),計算(suan)前景(jing)幀(f)和背景(jing)幀(b)的(de)梯度(du)差(cha)：

這里具有顯(xian)著(zhu)(zhu)特(te)征是(shi)指：經過上面各步驟的處理，在(zai)船舶(bo)與水面交界處，會(hui)有一些像素(su)點(dian)還沒有辦法判斷是(shi)否(fou)是(shi)陰(yin)影(ying)區域，所謂顯(xian)著(zhu)(zhu)，簡單講就是(shi)一個白色像素(su)點(dian)周圍都是(shi)黑(hei)色的，那么這個白色的像素(su)點(dian)就是(shi)顯(xian)著(zhu)(zhu)的。

梯(ti)度(du)填(tian)充(chong)的方法利用當前幀和背景幀在(zai)梯(ti)度(du)方向上的相關性判斷(duan)陰影區域，表示如下：

式中(zhong)，s為陰(yin)(yin)(yin)(yin)影(ying)(ying)(ying)(ying)檢測的(de)(de)(de)結(jie)果，n為候選陰(yin)(yin)(yin)(yin)影(ying)(ying)(ying)(ying)區域像素的(de)(de)(de)個數。τa為梯度(du)閾(yu)值(zhi)。如(ru)果s大于給定的(de)(de)(de)梯度(du)差(cha)閾(yu)值(zhi)τc，則像素點屬于陰(yin)(yin)(yin)(yin)影(ying)(ying)(ying)(ying)區域，否則屬于前(qian)景。對檢測出的(de)(de)(de)陰(yin)(yin)(yin)(yin)影(ying)(ying)(ying)(ying)采用數學形態學的(de)(de)(de)閉運(yun)算來(lai)填充(chong)陰(yin)(yin)(yin)(yin)影(ying)(ying)(ying)(ying)掩碼，降低(di)噪聲(sheng)影(ying)(ying)(ying)(ying)響，得到最終的(de)(de)(de)陰(yin)(yin)(yin)(yin)影(ying)(ying)(ying)(ying)區域。梯度(du)填充(chong)后的(de)(de)(de)陰(yin)(yin)(yin)(yin)影(ying)(ying)(ying)(ying)圖像如(ru)圖2(f)所(suo)示(shi)，最終檢測出來(lai)的(de)(de)(de)陰(yin)(yin)(yin)(yin)影(ying)(ying)(ying)(ying)區域如(ru)圖2(g)所(suo)示(shi)。

步驟(zou)(5)把(ba)混合高(gao)斯模型提取出來的前景(jing)區域(yu)與最終標(biao)(biao)出的陰(yin)影區域(yu)做圖像差(cha)分以得到去除陰(yin)影的船舶目(mu)標(biao)(biao)，結(jie)果如圖2(h)所示。

如(ru)圖(tu)2(a)所(suo)(suo)(suo)示(shi)，在船(chuan)舶與(yu)水面交(jiao)界部(bu)分(fen)，其(qi)顏色(se)與(yu)紋(wen)(wen)理特征變化不明(ming)顯(xian)。如(ru)圖(tu)2(d)和圖(tu)2(e)所(suo)(suo)(suo)示(shi)僅(jin)通過顏色(se)及紋(wen)(wen)理特征無法準(zhun)確(que)提取(qu)出(chu)陰(yin)影(ying)部(bu)分(fen)。因此(ci)對上面得到(dao)的(de)結果再使用(yong)本(ben)發(fa)明(ming)提到(dao)的(de)梯度(du)修復(fu)的(de)方法可以更加準(zhun)確(que)地區(qu)分(fen)水面與(yu)船(chuan)舶的(de)交(jiao)界，最后采用(yong)本(ben)發(fa)明(ming)方法得到(dao)的(de)去除陰(yin)影(ying)后的(de)船(chuan)舶目標如(ru)圖(tu)2(h)所(suo)(suo)(suo)示(shi)。參照圖(tu)2(c)基準(zhun)圖(tu)，陰(yin)影(ying)去除效果優(you)秀，完全滿足實時性(xing)要求(qiu)。