本發明涉及視(shi)覺(jue)實例搜索領域，尤其是涉及了(le)一種利用全景(jing)圖構(gou)建的(de)視(shi)覺(jue)實例檢索方(fang)法。

背景技術：

隨著多媒體(ti)、網絡技術(shu)的迅速發展，圖(tu)(tu)(tu)像(xiang)、視(shi)頻信息(xi)的應(ying)用(yong)(yong)日(ri)益(yi)廣泛，對規模越來(lai)越大的圖(tu)(tu)(tu)像(xiang)和視(shi)頻庫、視(shi)覺(jue)信息(xi)進(jin)行(xing)有(you)效(xiao)的管理(li)成為迫(po)切人們需要解決(jue)的問題(ti)。近些年，深度學(xue)習在(zai)各種計算(suan)(suan)機(ji)視(shi)覺(jue)任務(wu)上都取得了重大的突破，其中一(yi)個重要因(yin)素就是(shi)其強大的非線性表示(shi)能力，能夠理(li)解圖(tu)(tu)(tu)像(xiang)更(geng)深層次(ci)的信息(xi)。其中，視(shi)覺(jue)實例檢索(suo)是(shi)一(yi)個重要研究方向，它可以實現從候選的圖(tu)(tu)(tu)片(pian)庫中找到那(nei)些與查詢圖(tu)(tu)(tu)片(pian)包含相(xiang)同(tong)物體(ti)的圖(tu)(tu)(tu)片(pian)，這可以應(ying)用(yong)(yong)在(zai)商(shang)(shang)品(pin)搜索(suo)、車輛搜索(suo)和基(ji)于圖(tu)(tu)(tu)像(xiang)的地理(li)位置(zhi)識別等。移動商(shang)(shang)品(pin)圖(tu)(tu)(tu)像(xiang)搜索(suo)就是(shi)通過分析利用(yong)(yong)手機(ji)相(xiang)機(ji)拍攝的商(shang)(shang)品(pin)照片(pian)，從商(shang)(shang)品(pin)庫中找到相(xiang)同(tong)或(huo)相(xiang)似的商(shang)(shang)品(pin)。然而，原來(lai)的檢索(suo)方法占用(yong)(yong)內存太多，查詢時間(jian)長，計算(suan)(suan)成本也很(hen)高(gao)，所以，我們需要尋找更(geng)好(hao)的方法來(lai)實現搜索(suo)。

本(ben)發(fa)明(ming)提(ti)出了(le)一種(zhong)利用全景圖(tu)構建(jian)的(de)視(shi)覺(jue)實例檢索(suo)方法(fa)，先通過卷積神經網絡(luo)獲得(de)特(te)定(ding)的(de)適合(he)于(yu)實例搜(sou)索(suo)的(de)描述(shu)符表示，定(ding)義總和存儲向(xiang)量(liang)(liang)為求和向(xiang)量(liang)(liang)，偽逆存儲向(xiang)量(liang)(liang)為關聯(lian)(lian)向(xiang)量(liang)(liang)，用聚合(he)數據(ju)集圖(tu)像降低查詢(xun)時間(jian)相(xiang)似(si)搜(sou)索(suo)的(de)計算成本(ben)，用關聯(lian)(lian)向(xiang)量(liang)(liang)聚合(he)查詢(xun)向(xiang)量(liang)(liang)提(ti)高搜(sou)索(suo)質量(liang)(liang)，通過隱(yin)式(shi)和顯式(shi)兩種(zhong)方法(fa)構建(jian)全景圖(tu)。本(ben)發(fa)明(ming)中數據(ju)集圖(tu)像的(de)聚合(he)提(ti)高了(le)速(su)度，擴大(da)了(le)內存，同(tong)時降低了(le)性能損失；通過聚合(he)每個(ge)組(zu)中的(de)各個(ge)圖(tu)像的(de)描述(shu)來大(da)大(da)節省空間(jian)，同(tong)時降低了(le)查詢(xun)時間(jian)相(xiang)似(si)搜(sou)索(suo)的(de)計算成本(ben)。

技術實現要素：

針(zhen)對占用內存太(tai)多，查(cha)詢(xun)時間長，計(ji)算成(cheng)本(ben)高(gao)等問題，本(ben)發(fa)明的(de)目(mu)的(de)在于提(ti)供一(yi)種(zhong)利用全景圖構(gou)建(jian)的(de)視覺實(shi)例(li)檢索(suo)方法(fa)，先(xian)通過(guo)卷(juan)積神經(jing)網絡獲得特定的(de)適合于實(shi)例(li)搜索(suo)的(de)描(miao)述符表示，定義總和存儲向量(liang)(liang)為求和向量(liang)(liang)，偽(wei)逆存儲向量(liang)(liang)為關(guan)聯向量(liang)(liang)，用聚合數據集圖像降低查(cha)詢(xun)時間相似搜索(suo)的(de)計(ji)算成(cheng)本(ben)，用關(guan)聯向量(liang)(liang)聚合查(cha)詢(xun)向量(liang)(liang)提(ti)高(gao)搜索(suo)質量(liang)(liang)，通過(guo)隱式和顯式兩種(zhong)方法(fa)構(gou)建(jian)全景圖。

為解決上述問題，本發明提(ti)供一種利用(yong)全景(jing)圖構建的視(shi)覺實(shi)例檢(jian)索方法，其主要內容(rong)包括：

(一)卷(juan)積(ji)神經網絡(luo)(cnn)描述(shu)符檢索；

(二)代表矢量集；

(三(san))聚合數(shu)據(ju)集圖像；

(四)聚合查(cha)詢圖像；

(五)全景圖匹配。

其(qi)中，所述的基于全景(jing)圖(tu)構(gou)建的視(shi)覺(jue)實例檢(jian)索(suo)方(fang)法，該方(fang)法無人監(jian)督，有效提高了性能，而且(qie)通過聚合每個組中的各個圖(tu)像的描述節省空間。

其中，所述的cnn描述符(fu)檢(jian)索，通過(guo)由imagenet訓練的網絡進(jin)行調整，能夠獲得特定的適合于實例搜索的描述符(fu)表示。

其中，所述的代表矢量集，計算一個集合中所有向量的和，給定表示為d×n矩陣，其中xi∈r^d，總和存儲(chu)向量定義為：

假設線性獨立的列(n<d)，偽逆矩陣x⁺，由下式給出：

將總和存儲(chu)向量(liang)(liang)(1)作為求和向量(liang)(liang)，將偽逆存儲(chu)向量(liang)(liang)(2)稱(cheng)為關聯向量(liang)(liang)。

其(qi)中，所述的(de)聚合數據(ju)集(ji)圖像(xiang)，聚合數據(ju)集(ji)圖像(xiang)的(de)主要目的(de)是降低查(cha)詢時間(jian)相(xiang)似搜索的(de)計算成(cheng)本；數據(ju)集(ji)向(xiang)量(liang)(liang)在離線過程中被分配給集(ji)合，并且每(mei)個(ge)集(ji)合由單個(ge)(存儲器)向(xiang)量(liang)(liang)表示；在查(cha)詢時，計算查(cha)詢向(xiang)量(liang)(liang)與每(mei)個(ge)存儲向(xiang)量(liang)(liang)之(zhi)間(jian)的(de)相(xiang)似度，并對其(qi)進(jin)行排序；查(cha)詢只與屬于頂級集(ji)合的(de)數據(ju)庫(ku)向(xiang)量(liang)(liang)進(jin)行比較。

進一步地，所述的(de)(de)聚合查(cha)詢(xun)圖像(xiang)(xiang)，針(zhen)對實例級對象檢(jian)索研究查(cha)詢(xun)圖像(xiang)(xiang)的(de)(de)聚合，描述查(cha)詢(xun)對象的(de)(de)多個圖像(xiang)(xiang)，允(yun)許處理(li)閉(bi)塞、視點變(bian)(bian)化(hua)、大小變(bian)(bian)化(hua)和其他變(bian)(bian)化(hua)；可用(yong)于查(cha)詢(xun)向量(liang)(liang)(liang)的(de)(de)平均值或最大池、創(chuang)建支持向量(liang)(liang)(liang)機(ji)(svm)模型等；使用(yong)關聯向量(liang)(liang)(liang)聚合查(cha)詢(xun)向量(liang)(liang)(liang)可以提高搜索質量(liang)(liang)(liang)。

其(qi)中，所述的(de)(de)全(quan)景圖匹(pi)配，對于每(mei)個可能(neng)的(de)(de)位(wei)置(zhi)，給出一組涵(han)蓋(gai)全(quan)部360度(du)視圖的(de)(de)圖像，連續(xu)圖像具有重疊；通過隱式和(he)顯式兩種(zhong)方法構建全(quan)景圖。

進(jin)一(yi)步地，所述的(de)(de)(de)隱式全景圖的(de)(de)(de)構建，通過聚合來(lai)自同(tong)一(yi)位(wei)置的(de)(de)(de)圖像(xiang)(xiang)的(de)(de)(de)描述符來(lai)形(xing)成全景表示；假設(she)數據集(ji)位(wei)置中的(de)(de)(de)n個(ge)圖像(xiang)(xiang)由d×n矩陣x表示，k個(ge)圖像(xiang)(xiang)在查詢位(wei)置由d×k矩陣y表示；分析兩個(ge)求和向量之間的(de)(de)(de)相似性；

全景相似度由內積給出(chu)，如(ru)上式所示。

進一步(bu)地，所述的全景相(xiang)似度(du)，針(zhen)對向量的全景相(xiang)似度(du)由(you)下(xia)式(shi)給出：

其中，gx＝xtx是x的格拉姆矩陣(內積的對稱矩陣)；與公式(3)相比，加權和后驗交叉匹配，權重由和給出。

進一步(bu)地(di)，所(suo)述(shu)的顯式(shi)全(quan)景(jing)圖的構(gou)建，根據局部尺度不變特征轉(zhuan)換(sift)描(miao)述(shu)符(fu)和(he)異常對象(xiang)自動(dong)對齊、拼接(jie)(jie)和(he)混(hun)合圖像；拼接(jie)(jie)完成后，可以從全(quan)景(jing)圖像中提取(qu)單個全(quan)局描(miao)述(shu)符(fu)，捕(bu)獲(huo)整(zheng)個場(chang)景(jing)。

附圖說明

圖1是本發明一種利用全(quan)景(jing)圖構建的視覺(jue)實例檢索(suo)方法(fa)的系統框架(jia)圖。

圖2是本(ben)發明(ming)一種利用(yong)全景圖構建的(de)視覺實(shi)例檢索(suo)方法(fa)的(de)隱式全景圖的(de)構建。

圖3是本發明一種(zhong)利用全景圖構建(jian)的(de)視(shi)覺(jue)實例檢(jian)索方法的(de)顯式全景圖的(de)構建(jian)。

具體實施方式

需要說明的(de)是，在不沖突的(de)情況(kuang)下(xia)，本申請中(zhong)的(de)實(shi)施例(li)及實(shi)施例(li)中(zhong)的(de)特征(zheng)可以(yi)相互結合(he)，下(xia)面(mian)結合(he)附圖和具體實(shi)施例(li)對本發(fa)明作進(jin)一步詳(xiang)細說明。

圖(tu)1是(shi)本發明一種利用全(quan)景圖(tu)構建(jian)的視覺實(shi)例(li)檢(jian)索方法的系(xi)統框架(jia)圖(tu)。主要包括卷積神經網絡(cnn)描(miao)述符(fu)檢(jian)索，代表(biao)矢量集(ji)(ji)，聚(ju)合數據集(ji)(ji)圖(tu)像，聚(ju)合查(cha)詢圖(tu)像，全(quan)景圖(tu)匹配。

基于全景圖構建的視覺實例檢索方法(fa)無人監督，有效(xiao)提高了(le)性能，而且通過(guo)聚(ju)合每個組中(zhong)的各個圖像的描述節省空間。

cnn描述符檢索(suo)，通過(guo)由imagenet訓練的網絡進行調整，能夠獲(huo)得特定的適合于實例(li)搜索(suo)的描述符表示。

代表矢量集，計算一個集合中所有向量的和，給定表示為d×n矩陣，其中xi∈r^d，總和存儲向量定義(yi)為(wei)：

假設線性獨立的列(n<d)，偽逆矩陣x⁺，由下式給出：

將總(zong)和(he)存儲向(xiang)量(1)作(zuo)為求和(he)向(xiang)量，將偽逆存儲向(xiang)量(2)稱為關聯向(xiang)量。

聚合(he)(he)數(shu)(shu)據集圖像，聚合(he)(he)數(shu)(shu)據集圖像的主要目(mu)的是降低查(cha)詢時間(jian)(jian)相似搜(sou)索的計(ji)算成本；數(shu)(shu)據集向(xiang)量(liang)在(zai)離線(xian)過程中被(bei)分配給集合(he)(he)，并且每個(ge)集合(he)(he)由單(dan)個(ge)(存儲器(qi))向(xiang)量(liang)表示(shi)；在(zai)查(cha)詢時，計(ji)算查(cha)詢向(xiang)量(liang)與每個(ge)存儲向(xiang)量(liang)之(zhi)間(jian)(jian)的相似度，并對其(qi)進(jin)(jin)行排序(xu)；查(cha)詢只與屬于頂級集合(he)(he)的數(shu)(shu)據庫向(xiang)量(liang)進(jin)(jin)行比較(jiao)。

聚合(he)(he)查詢(xun)(xun)(xun)圖像(xiang)，針對(dui)實例級對(dui)象(xiang)檢索(suo)研究(jiu)查詢(xun)(xun)(xun)圖像(xiang)的聚合(he)(he)，描述查詢(xun)(xun)(xun)對(dui)象(xiang)的多(duo)個圖像(xiang)，允許處理閉(bi)塞、視點變(bian)化(hua)、大小(xiao)變(bian)化(hua)和(he)其(qi)他變(bian)化(hua)；可用(yong)于查詢(xun)(xun)(xun)向(xiang)(xiang)量(liang)的平(ping)均值或最(zui)大池、創(chuang)建支持向(xiang)(xiang)量(liang)機(svm)模型等(deng)；使(shi)用(yong)關聯(lian)向(xiang)(xiang)量(liang)聚合(he)(he)查詢(xun)(xun)(xun)向(xiang)(xiang)量(liang)可以提高(gao)搜索(suo)質(zhi)量(liang)。

全景(jing)圖(tu)匹配，對于(yu)每(mei)個可能的(de)(de)位置，給出一組涵(han)蓋(gai)全部360度(du)視圖(tu)的(de)(de)圖(tu)像，連續圖(tu)像具有重疊；通過隱式和(he)顯(xian)式兩種方法構(gou)建全景(jing)圖(tu)。

圖(tu)2是本發明一(yi)種(zhong)利用全(quan)(quan)景圖(tu)構建的(de)(de)視覺實例(li)檢索方法(fa)的(de)(de)隱式全(quan)(quan)景圖(tu)的(de)(de)構建。通過聚(ju)合(he)來自同一(yi)位(wei)置(zhi)的(de)(de)圖(tu)像(xiang)(xiang)的(de)(de)描述符來形成全(quan)(quan)景表(biao)(biao)示；假設數據集位(wei)置(zhi)中的(de)(de)n個圖(tu)像(xiang)(xiang)由d×n矩(ju)陣x表(biao)(biao)示，k個圖(tu)像(xiang)(xiang)在查詢位(wei)置(zhi)由d×k矩(ju)陣y表(biao)(biao)示；分析兩個求和向量之(zhi)間的(de)(de)相似(si)性；

全景相似度由內積給出，如上式所示。

針對向(xiang)量的全景(jing)相似(si)度由下(xia)式給(gei)出：

其中，gx＝x^tx是x的格拉姆矩陣(內積的對稱矩陣)；與公式(3)相比，加權和后驗交叉匹配，權重由和給出。

圖(tu)3是本發明一種利用全(quan)景(jing)圖(tu)構(gou)建的(de)視覺實例(li)檢索方(fang)法的(de)顯式全(quan)景(jing)圖(tu)的(de)構(gou)建。根據局部尺度不變特(te)征轉換(sift)描述符和(he)異常對象自動對齊、拼(pin)接和(he)混合圖(tu)像；拼(pin)接完成后，可以從全(quan)景(jing)圖(tu)像中提取單個全(quan)局描述符，捕(bu)獲整個場景(jing)。

對于本(ben)領域技術人員(yuan)，本(ben)發(fa)(fa)明(ming)(ming)(ming)不限(xian)制(zhi)于上(shang)述實(shi)施例的細節，在不背離本(ben)發(fa)(fa)明(ming)(ming)(ming)的精神和(he)范(fan)(fan)圍(wei)(wei)的情(qing)況下，能夠以其他具體形(xing)式實(shi)現本(ben)發(fa)(fa)明(ming)(ming)(ming)。此外，本(ben)領域的技術人員(yuan)可以對本(ben)發(fa)(fa)明(ming)(ming)(ming)進行各(ge)種改動和(he)變(bian)型而不脫(tuo)離本(ben)發(fa)(fa)明(ming)(ming)(ming)的精神和(he)范(fan)(fan)圍(wei)(wei)，這些改進和(he)變(bian)型也應視(shi)為(wei)本(ben)發(fa)(fa)明(ming)(ming)(ming)的保護范(fan)(fan)圍(wei)(wei)。因(yin)此，所附權(quan)利要求意(yi)欲解釋為(wei)包括(kuo)優選實(shi)施例以及落入本(ben)發(fa)(fa)明(ming)(ming)(ming)范(fan)(fan)圍(wei)(wei)的所有變(bian)更和(he)修(xiu)改。