本發明涉及計算機視覺和(he)生(sheng)物行(xing)為分(fen)析(xi)，具體涉及一種基于resnet50的果蠅行(xing)為識別方法(fa)。

背景技術：

1、果蠅作為(wei)一種常(chang)見的(de)(de)模式生物，除了擁有飼(si)養容(rong)易、繁殖速度快等常(chang)規優勢之外，還(huan)擁有高(gao)度保守的(de)(de)基因，與哺乳(ru)動物類似的(de)(de)行為(wei)邏(luo)輯、共享的(de)(de)代(dai)謝(xie)途徑，相對簡單的(de)(de)神經系(xi)統和豐(feng)富的(de)(de)遺傳學工具。因此，果蠅成為(wei)了在研究本能行為(wei)、定(ding)量描(miao)述(shu)行為(wei)特征(zheng)這一方面實驗中的(de)(de)重要模型(xing)。

2、果(guo)蠅(ying)的(de)行(xing)(xing)(xing)為(wei)(wei)(wei)識別在生(sheng)物學領域的(de)意義是多方(fang)面的(de)，研究人員可以通(tong)(tong)過將果(guo)蠅(ying)的(de)行(xing)(xing)(xing)為(wei)(wei)(wei)與(yu)神經元(yuan)發放相(xiang)偶聯(lian)，推斷出哪些神經元(yuan)參與(yu)了特(te)定(ding)(ding)行(xing)(xing)(xing)為(wei)(wei)(wei)的(de)產生(sheng)，從(cong)而(er)有助(zhu)于神經環路的(de)構建(jian)。同時，許多基(ji)因都與(yu)特(te)定(ding)(ding)的(de)行(xing)(xing)(xing)為(wei)(wei)(wei)表型(xing)相(xiang)關聯(lian)，通(tong)(tong)過行(xing)(xing)(xing)為(wei)(wei)(wei)識別，研究人員可以探索特(te)定(ding)(ding)基(ji)因如(ru)何影響行(xing)(xing)(xing)為(wei)(wei)(wei)表型(xing)，從(cong)而(er)揭(jie)示基(ji)因和行(xing)(xing)(xing)為(wei)(wei)(wei)之間(jian)的(de)復(fu)雜關系。此(ci)外，果(guo)蠅(ying)行(xing)(xing)(xing)為(wei)(wei)(wei)識別技術的(de)應(ying)用(yong)有助(zhu)于將果(guo)蠅(ying)廣泛應(ying)用(yong)于行(xing)(xing)(xing)為(wei)(wei)(wei)學的(de)研究中，為(wei)(wei)(wei)觀察(cha)和理解果(guo)蠅(ying)行(xing)(xing)(xing)為(wei)(wei)(wei)的(de)發生(sheng)機制提供(gong)了一個窗(chuang)口。

3、現有的(de)果蠅(ying)行(xing)為(wei)識別(bie)方法(fa)主要依賴于flybox系統，最后(hou)用matlab(scamp)軟件分析果蠅(ying)的(de)行(xing)為(wei)。這(zhe)種(zhong)方法(fa)僅能夠獲得(de)果蠅(ying)的(de)是否運動(dong)的(de)信息(xi)，無法(fa)區分果蠅(ying)行(xing)走、梳洗等(deng)精細行(xing)為(wei)。

4、隨(sui)著計算機(ji)技術(shu)(shu)和人工智(zhi)能(neng)(neng)的(de)發(fa)展，自動(dong)(dong)化(hua)行(xing)(xing)(xing)(xing)(xing)為(wei)(wei)識(shi)別(bie)(bie)技術(shu)(shu)逐漸成為(wei)(wei)可能(neng)(neng)。基(ji)于(yu)視頻的(de)行(xing)(xing)(xing)(xing)(xing)為(wei)(wei)分析(xi)方法為(wei)(wei)研究者(zhe)提供(gong)了一(yi)種高效的(de)手(shou)段，通過計算機(ji)視覺技術(shu)(shu)從視頻中提取果蠅的(de)行(xing)(xing)(xing)(xing)(xing)為(wei)(wei)數據，并進行(xing)(xing)(xing)(xing)(xing)自動(dong)(dong)分析(xi)。然(ran)而，對現有技術(shu)(shu)的(de)文獻檢索(suo)發(fa)現，目(mu)前(qian)沒有相關專利對果蠅的(de)精(jing)細行(xing)(xing)(xing)(xing)(xing)為(wei)(wei)進行(xing)(xing)(xing)(xing)(xing)準確識(shi)別(bie)(bie)。而其(qi)他適用于(yu)其(qi)他生物的(de)識(shi)別(bie)(bie)方法有“行(xing)(xing)(xing)(xing)(xing)為(wei)(wei)識(shi)別(bie)(bie)方法及裝(zhuang)置(zhi)(zhi)，(申請(qing)號：cn202211652169.6)”，“行(xing)(xing)(xing)(xing)(xing)為(wei)(wei)識(shi)別(bie)(bie)方法及裝(zhuang)置(zhi)(zhi)，(申請(qing)號：cn202310416768.6)”。前(qian)者(zhe)是根據人體(ti)骨架坐標(biao)進行(xing)(xing)(xing)(xing)(xing)動(dong)(dong)作識(shi)別(bie)(bie)，而后者(zhe)是通過提取動(dong)(dong)作關鍵幀(zhen)特(te)征進行(xing)(xing)(xing)(xing)(xing)行(xing)(xing)(xing)(xing)(xing)為(wei)(wei)識(shi)別(bie)(bie)。果蠅體(ti)積較(jiao)小，運動(dong)(dong)頻率高，因此(ci)這些方法并不能(neng)(neng)在(zai)果蠅上較(jiao)好地(di)應(ying)用。

技術實現思路

1、本發(fa)明的(de)目的(de)是提供一種基于視頻處(chu)理和神(shen)經(jing)網絡模(mo)型的(de)果(guo)蠅行(xing)(xing)為(wei)識別(bie)程序，以(yi)解決現有技術中的(de)不足之處(chu)。通過(guo)高效、準確地識別(bie)果(guo)蠅行(xing)(xing)為(wei)，本發(fa)明能夠(gou)顯著(zhu)提升行(xing)(xing)為(wei)研(yan)究(jiu)的(de)自(zi)動化水平(ping)，減(jian)少人(ren)為(wei)主觀誤(wu)差，提升研(yan)究(jiu)效率(lv)。本發(fa)明的(de)目的(de)通過(guo)以(yi)下技術方案實現。

2、本(ben)發明首(shou)先(xian)提供(gong)了一種基于resnet50的果蠅行為識(shi)別方法，包(bao)括以下步驟：

3、1)將(jiang)果(guo)蠅(ying)的頭(tou)部固(gu)定(ding)后，拍攝果(guo)蠅(ying)行為視頻；

4、2)根據步驟1)拍攝的視頻中果蠅的不同行(xing)為，對視頻進行(xing)預處(chu)理，獲得包(bao)含果蠅的圖片(pian)；

5、3)根據果蠅的不同行(xing)為對步(bu)驟2)中(zhong)獲得的圖片進行(xing)標注，得到標注后的圖片集；

6、4)構建resnet50神經網絡基礎模型，并利用標(biao)注后的圖片(pian)集對該模型進(jin)行訓練(lian)，獲得果蠅行為識別分類模型；

7、5)對待(dai)(dai)識(shi)別的(de)果(guo)蠅行(xing)為視(shi)頻進(jin)行(xing)步驟2)的(de)操作，獲得(de)待(dai)(dai)識(shi)別圖片集(ji)，利用果(guo)蠅行(xing)為識(shi)別模(mo)型對待(dai)(dai)識(shi)別圖片集(ji)進(jin)行(xing)識(shi)別和(he)分類，輸(shu)出(chu)果(guo)蠅行(xing)為識(shi)別模(mo)型處(chu)理結果(guo)；

8、6)對(dui)果(guo)蠅行(xing)(xing)為識別模(mo)型處理結(jie)果(guo)進行(xing)(xing)縮并，最終得到果(guo)蠅行(xing)(xing)為識別結(jie)果(guo)。

9、作為(wei)本發明的(de)優選方(fang)案，所述步驟1)中在拍(pai)攝果(guo)蠅(ying)行為(wei)視頻時，固定住果(guo)蠅(ying)頭部，并將果(guo)蠅(ying)放置于(yu)能夠自由轉動(dong)的(de)浮球上，通過側拍(pai)的(de)方(fang)式獲得果(guo)蠅(ying)行為(wei)視頻。

10、作為(wei)(wei)本發明的(de)優選方案，所述步驟2)中(zhong)對(dui)視(shi)頻(pin)進行(xing)(xing)預處(chu)理具體為(wei)(wei)：截(jie)取視(shi)頻(pin)中(zhong)包含果(guo)蠅(ying)的(de)區域圖(tu)片(pian)(pian)，對(dui)相鄰兩(liang)幀圖(tu)片(pian)(pian)的(de)像素(su)絕對(dui)值(zhi)做減(jian)法后輸(shu)出，并(bing)根據設定(ding)的(de)對(dui)比度閾值(zhi)增(zeng)減(jian)圖(tu)片(pian)(pian)的(de)對(dui)比度，從而提(ti)取相鄰幀果(guo)蠅(ying)身體部(bu)位的(de)變化(hua)。進一步的(de)，所述果(guo)蠅(ying)的(de)行(xing)(xing)為(wei)(wei)包括休息、前腿梳洗(xi)、后腿梳洗(xi)、行(xing)(xing)走、伸吻；由于伸吻與其他(ta)行(xing)(xing)為(wei)(wei)能夠同時發生，因此對(dui)視(shi)頻(pin)中(zhong)的(de)伸吻行(xing)(xing)為(wei)(wei)單(dan)獨(du)進行(xing)(xing)預處(chu)理，并(bing)且對(dui)果(guo)蠅(ying)伸吻行(xing)(xing)為(wei)(wei)進行(xing)(xing)預處(chu)理時跳過(guo)(guo)對(dui)相鄰兩(liang)幀圖(tu)片(pian)(pian)的(de)像素(su)絕對(dui)值(zhi)做減(jian)法后輸(shu)出的(de)過(guo)(guo)程，直接截(jie)取視(shi)頻(pin)中(zhong)包含果(guo)蠅(ying)伸吻行(xing)(xing)為(wei)(wei)的(de)區域圖(tu)片(pian)(pian)。

11、作為(wei)(wei)本發明的(de)(de)優選方案，所(suo)述步驟(zou)6)具體為(wei)(wei)：將果蠅(ying)行為(wei)(wei)識別(bie)模型的(de)(de)識別(bie)結果按照視(shi)頻(pin)時序(xu)合并為(wei)(wei)一(yi)個(ge)(ge)總數(shu)(shu)為(wei)(wei)n，類別(bie)數(shu)(shu)量為(wei)(wei)c的(de)(de)一(yi)維(wei)數(shu)(shu)組(zu)x＝{x1,x2,……,xn}；以果蠅(ying)單個(ge)(ge)行為(wei)(wei)時長v秒作為(wei)(wei)每(mei)組(zu)的(de)(de)時長并按照視(shi)頻(pin)拍攝時序(xu)進行分(fen)(fen)(fen)(fen)組(zu)，每(mei)組(zu)視(shi)頻(pin)有k幀(zhen)，那(nei)么總共(gong)有m個(ge)(ge)分(fen)(fen)(fen)(fen)組(zu)，m＝n/k；統計(ji)分(fen)(fen)(fen)(fen)組(zu)中每(mei)個(ge)(ge)類別(bie)出現(xian)的(de)(de)次(ci)數(shu)(shu)，得到(dao)m個(ge)(ge)長度(du)為(wei)(wei)c的(de)(de)向(xiang)量countsi＝{ci1,ci2,…cij…,cic}，其(qi)中cij表(biao)示(shi)類別(bie)j在第i個(ge)(ge)分(fen)(fen)(fen)(fen)組(zu)中出現(xian)的(de)(de)次(ci)數(shu)(shu)；找到(dao)分(fen)(fen)(fen)(fen)組(zu)中出現(xian)次(ci)數(shu)(shu)最多的(de)(de)類別(bie)，即argmaxjcij，用該類別(bie)來代表(biao)該分(fen)(fen)(fen)(fen)組(zu)的(de)(de)類別(bie)；最終得到(dao)一(yi)個(ge)(ge)長度(du)為(wei)(wei)m的(de)(de)一(yi)維(wei)數(shu)(shu)組(zu)y＝{y1,y2,…yi…,ym}，其(qi)中yi表(biao)示(shi)第i個(ge)(ge)分(fen)(fen)(fen)(fen)組(zu)的(de)(de)類別(bie)。

12、本發明還提(ti)供(gong)了一種用于實現上(shang)述(shu)果蠅(ying)行(xing)為(wei)識別(bie)方法的果蠅(ying)行(xing)為(wei)識別(bie)系統，包括：

13、果蠅(ying)行(xing)為(wei)(wei)識別視頻(pin)(pin)采集模(mo)塊，用于(yu)將果蠅(ying)的(de)頭部固定后拍攝(she)爬球果蠅(ying)行(xing)為(wei)(wei)視頻(pin)(pin)；

14、數據(ju)預(yu)處(chu)理模(mo)塊(kuai)，用于根據(ju)果蠅行(xing)為視(shi)(shi)頻(pin)中(zhong)果蠅的不同行(xing)為，對視(shi)(shi)頻(pin)進行(xing)相應的預(yu)處(chu)理，截取視(shi)(shi)頻(pin)中(zhong)包含果蠅的區域(yu)，獲得相應的圖片；

15、圖片標(biao)注(zhu)(zhu)模塊，用(yong)于根據果蠅的不(bu)同行(xing)為(wei)對數據預處理(li)模塊中獲得的圖片進行(xing)標(biao)注(zhu)(zhu)，得到標(biao)注(zhu)(zhu)后的圖片集

16、果蠅行為識別分類(lei)模(mo)型(xing)訓(xun)練模(mo)塊(kuai)，用于構建resnet50神經(jing)網(wang)絡基礎模(mo)型(xing)，并利用標注后的圖片(pian)集對該模(mo)型(xing)進(jin)行訓(xun)練，獲得(de)果蠅行為識別分類(lei)模(mo)型(xing)；

17、果蠅行為(wei)識別(bie)(bie)模(mo)塊(kuai)，用(yong)(yong)于(yu)利用(yong)(yong)果蠅行為(wei)識別(bie)(bie)模(mo)型對預處(chu)理(li)后(hou)的待識別(bie)(bie)圖片進行識別(bie)(bie)和分類(lei)，輸出果蠅行為(wei)識別(bie)(bie)模(mo)型處(chu)理(li)結(jie)果；

18、識(shi)別結果縮并(bing)模塊，用于對果蠅行為識(shi)別模型處理結果進行縮并(bing)，最終得到果蠅行為識(shi)別結果。

19、與現有技術相比，本發明具有以下有益效果(guo)：

20、本發明通(tong)過圖片像素絕(jue)對(dui)值相減(jian)的(de)(de)方法進行(xing)預處理，實現相鄰幀果蠅運動(dong)特征的(de)(de)提取；利用深度(du)學習模型，提高行(xing)為識別的(de)(de)準確性，減(jian)少(shao)人為主觀誤差；自動(dong)化處理和分析視頻(pin)數據，顯著減(jian)少(shao)人工觀察和記錄的(de)(de)工作量。

21、本(ben)發(fa)明的(de)果(guo)蠅行為(wei)識別程序(xu)為(wei)生物學研(yan)究(jiu)提(ti)(ti)供了一(yi)種高效、準確的(de)工(gong)具，能(neng)夠顯著提(ti)(ti)升研(yan)究(jiu)效率，推動(dong)果(guo)蠅行為(wei)學研(yan)究(jiu)的(de)發(fa)展。

技術特征：

1.一(yi)種基于(yu)resnet50的(de)果蠅行為識別方(fang)法，其特征在(zai)于(yu)，包括(kuo)以下步驟：

2.根據權利要求1所述(shu)的(de)(de)果(guo)蠅(ying)行(xing)為識(shi)別方法，其特征在于，所述(shu)步驟(zou)1)中在拍(pai)(pai)攝果(guo)蠅(ying)行(xing)為視(shi)頻時，固定(ding)住(zhu)果(guo)蠅(ying)頭部(bu)，并將(jiang)果(guo)蠅(ying)放置于能夠自由(you)轉動(dong)的(de)(de)浮球上(shang)，通過側拍(pai)(pai)的(de)(de)方式獲得果(guo)蠅(ying)行(xing)為視(shi)頻。

3.根(gen)據(ju)權利要求1所(suo)述(shu)的果蠅(ying)行為(wei)識(shi)別(bie)方法，其(qi)特征在于，所(suo)述(shu)步驟2)中對視頻(pin)進(jin)行預處(chu)理具體為(wei)：截取(qu)視頻(pin)中包(bao)含(han)果蠅(ying)的區(qu)域(yu)圖片(pian)，對相(xiang)鄰(lin)兩幀圖片(pian)的像(xiang)素絕對值做(zuo)減法后(hou)輸出(chu)，并根(gen)據(ju)設定的對比度(du)閾值增減圖片(pian)的對比度(du)，從而提取(qu)相(xiang)鄰(lin)幀果蠅(ying)身體部(bu)位的變(bian)化。

4.根據權利要(yao)求3所述(shu)的(de)果(guo)蠅(ying)(ying)行(xing)為(wei)識別(bie)方法，其特征在于，所述(shu)果(guo)蠅(ying)(ying)的(de)行(xing)為(wei)包括休息、前腿梳(shu)(shu)洗、后(hou)(hou)腿梳(shu)(shu)洗、行(xing)走、伸吻(wen)；由于伸吻(wen)與其他行(xing)為(wei)能(neng)夠同時(shi)(shi)發生，因此對視頻中的(de)伸吻(wen)行(xing)為(wei)單獨進行(xing)預處理(li)，并且對果(guo)蠅(ying)(ying)伸吻(wen)行(xing)為(wei)進行(xing)預處理(li)時(shi)(shi)跳過對相鄰兩幀圖片(pian)的(de)像素絕對值做減法后(hou)(hou)輸出的(de)過程，直接截取(qu)視頻中包含果(guo)蠅(ying)(ying)伸吻(wen)行(xing)為(wei)的(de)區域圖片(pian)。

5.根據(ju)權利要求1所(suo)述(shu)(shu)的(de)(de)(de)果蠅(ying)行(xing)(xing)為(wei)識別方(fang)法，其特(te)(te)征在(zai)于(yu)(yu)，所(suo)述(shu)(shu)resnet50神(shen)經網(wang)(wang)(wang)絡基礎(chu)模(mo)型(xing)包括卷積(ji)層(ceng)、正則化(hua)(hua)層(ceng)、激活函數(shu)(shu)、最大池化(hua)(hua)層(ceng)以及(ji)殘(can)差模(mo)塊；所(suo)述(shu)(shu)卷積(ji)層(ceng)用于(yu)(yu)對輸入的(de)(de)(de)圖片進(jin)行(xing)(xing)卷積(ji)，所(suo)述(shu)(shu)正則化(hua)(hua)層(ceng)用于(yu)(yu)緩(huan)解梯度(du)消失和梯度(du)爆炸問題(ti)，使resnet50神(shen)經網(wang)(wang)(wang)絡基礎(chu)模(mo)型(xing)能夠(gou)更快收斂，提(ti)高訓(xun)練效(xiao)率，并增強模(mo)型(xing)泛化(hua)(hua)的(de)(de)(de)能力(li)；激活函數(shu)(shu)使用的(de)(de)(de)是relu函數(shu)(shu)，為(wei)神(shen)經網(wang)(wang)(wang)絡引入非線性元素；所(suo)述(shu)(shu)最大池化(hua)(hua)層(ceng)中實現了特(te)(te)征的(de)(de)(de)提(ti)取，并減小了特(te)(te)征張量的(de)(de)(de)大小；所(suo)述(shu)(shu)殘(can)差模(mo)塊用于(yu)(yu)增強非線性的(de)(de)(de)擬合能力(li)，并減小參數(shu)(shu)量和計算量。

6.根(gen)據權利(li)要求5所述的(de)果蠅(ying)行為識別方(fang)法(fa)，其特征在于，步驟3)的(de)訓練(lian)(lian)過程中(zhong)計算訓練(lian)(lian)數(shu)據集中(zhong)真實(shi)標(biao)簽y與預測類別之間的(de)損(sun)失(shi)函(han)數(shu)，并(bing)計算損(sun)失(shi)函(han)數(shu)關于模型參(can)數(shu)的(de)梯度(du)；使(shi)用鏈式法(fa)則，從(cong)輸出層(ceng)向輸入層(ceng)傳播梯度(du)，更新每個參(can)數(shu)的(de)值以(yi)最小化損(sun)失(shi)函(han)數(shu)；通過反向傳播，調整(zheng)網絡(luo)中(zhong)的(de)權重和偏置，使(shi)得(de)在給定訓練(lian)(lian)樣本上損(sun)失(shi)函(han)數(shu)收斂或達(da)到設定的(de)訓練(lian)(lian)輪次；損(sun)失(shi)函(han)數(shu)的(de)表達(da)式為：

7.根據權利要(yao)求1所(suo)述的(de)果蠅行(xing)(xing)為(wei)(wei)(wei)(wei)識別(bie)(bie)(bie)方法(fa)，其特(te)征在(zai)于(yu)，所(suo)述步驟6)具體為(wei)(wei)(wei)(wei)：將(jiang)果蠅行(xing)(xing)為(wei)(wei)(wei)(wei)識別(bie)(bie)(bie)模型的(de)識別(bie)(bie)(bie)結(jie)果按照(zhao)視(shi)(shi)頻時(shi)(shi)序(xu)合并(bing)為(wei)(wei)(wei)(wei)一個(ge)總數(shu)(shu)為(wei)(wei)(wei)(wei)n，類別(bie)(bie)(bie)數(shu)(shu)量為(wei)(wei)(wei)(wei)c的(de)一維數(shu)(shu)組(zu)(zu)(zu)x＝{x1,x2,……,xn}；以果蠅單個(ge)行(xing)(xing)為(wei)(wei)(wei)(wei)時(shi)(shi)長(chang)v秒作(zuo)為(wei)(wei)(wei)(wei)每組(zu)(zu)(zu)的(de)時(shi)(shi)長(chang)并(bing)按照(zhao)視(shi)(shi)頻拍攝時(shi)(shi)序(xu)進(jin)行(xing)(xing)分(fen)組(zu)(zu)(zu)，每組(zu)(zu)(zu)視(shi)(shi)頻有(you)(you)k幀，那么總共有(you)(you)m個(ge)分(fen)組(zu)(zu)(zu)，m＝n/k；統計(ji)分(fen)組(zu)(zu)(zu)中(zhong)(zhong)每個(ge)類別(bie)(bie)(bie)出(chu)現(xian)的(de)次(ci)數(shu)(shu)，得到(dao)m個(ge)長(chang)度(du)(du)為(wei)(wei)(wei)(wei)c的(de)向(xiang)量countsi＝{ci1,ci2,…cij…,cic}，其中(zhong)(zhong)cij表示類別(bie)(bie)(bie)j在(zai)第i個(ge)分(fen)組(zu)(zu)(zu)中(zhong)(zhong)出(chu)現(xian)的(de)次(ci)數(shu)(shu)；找(zhao)到(dao)分(fen)組(zu)(zu)(zu)中(zhong)(zhong)出(chu)現(xian)次(ci)數(shu)(shu)最(zui)多的(de)類別(bie)(bie)(bie)，即argmaxjcij，用(yong)該類別(bie)(bie)(bie)來代表該分(fen)組(zu)(zu)(zu)的(de)類別(bie)(bie)(bie)；最(zui)終(zhong)得到(dao)一個(ge)長(chang)度(du)(du)為(wei)(wei)(wei)(wei)m的(de)一維數(shu)(shu)組(zu)(zu)(zu)y＝{y1,y2,…yi…,ym}，其中(zhong)(zhong)yi表示第i個(ge)分(fen)組(zu)(zu)(zu)的(de)類別(bie)(bie)(bie)。

8.一種用于實現權利要求1所述果蠅行(xing)為識(shi)別方法的果蠅行(xing)為識(shi)別系統，其特征在于，包括(kuo)：

技術總結
本發明公開了一種基于ResNet50的果蠅行為識別方法；本發明方法通過圖片像素絕對值相減的方法進行預處理，實現相鄰幀果蠅運動特征的提取；利用深度學習模型，提高行為識別的準確性，減少人為主觀誤差；自動化處理和分析視頻數據，顯著減少人工觀察和記錄的工作量。本發明的果蠅行為識別方法為生物學研究提供了一種高效、準確的工具，能夠顯著提升研究效率，推動果蠅行為學研究的發展。

技術研發人員：王瑋凱,曾鵬宇,陳昱廷,郭方
受保護的技術使用者：浙江大學
技術研發日：
技術公布日：2024/9/19