一種用于果蔬識別算法性能評價的數據質量分析方法
【專利摘要】本發明公開了一種用于果蔬識別算法性能評價的數據質量分析方法，其中用于評價果蔬識別算法性能的數據為對果蔬圖像應用果蔬識別算法后得到的果蔬識別結果圖像中的果蔬識別正確數，將用于獲得果蔬識別結果圖像中的果蔬識別正確數的統計系統作為一種軟測量系統，使用一種基于屬性一致性分析的軟測量系統分析方法對果蔬識別正確數的數據質量進行分析。應用本發明可確定用于評價果蔬識別算法性能的數據能夠真實地反映果蔬識別算法性能的程度，進而確定基于所用數據得到的果蔬識別算法性能評價結論的有效程度。
【專利說明】
一種用于果蔬識別算法性能評價的數據質量分析方法
技術領域
[0001] 本發明涉及一種用于果蔬識別算法性能評價的數據質量分析方法。
【背景技術】
[0002] 果蔬生產費時費力，而農業機器人是實現果蔬生產自動化的一種非常好的解決方 案。作為農業機器人的重要組成部分，視覺系統的主要任務之一是實現果蔬的機器視覺自 動識別。因此，基于機器視覺的果蔬識別算法是目前農業機器人研究領域的熱點。在當前基 于機器視覺的果蔬識別算法研究中，果蔬識別正確率是用于評價果蔬識別算法性能的主要 評價指標。果蔬識別正確率為果蔬識別正確數占被識別果蔬總數的比例。所以，果蔬識別正 確率的計算需以獲得果蔬識別正確數為前提。現有研究中，果蔬識別正確數主要依靠肉眼 對已經過果蔬識別算法處理后得到的果蔬識別結果圖像進行人工統計獲得。果蔬識別正確 數的統計結果容易受到諸如統計人員、統計方法、統計環境等多種因素的影響，因此具有一 定的變差。事實上，不同統計人員對同一果蔬識別結果圖像使用同一統計方法進行多次統 計，果蔬識別正確數的統計結果可能存在一定變差。即使同一統計人員，對同一果蔬識別結 果圖像使用同一統計方法進行多次重復統計，果蔬識別正確數的統計結果同樣可能存在一 定變差。若統計得到的果蔬識別正確數變差過大，則統計所得的果蔬識別正確數并不能真 實地反映果蔬識別算法的性能，即果蔬識別正確數的數據質量較差，因此基于這樣的果蔬 識別正確數得到的果蔬識別算法性能評價的結果也是不可靠的。然而，在當前果蔬識別算 法的研究中，在統計獲得果蔬識別正確數后，果蔬識別正確數被直接用于評價果蔬識別算 法的性能，而沒有經過果蔬識別正確數的數據質量分析。另外，目前也沒有用于果蔬識別算 法性能評價的數據質量分析方法。因此，在果蔬識別算法研究中，非常需要一種能夠用于果 蔬識別算法性能評價的數據質量分析方法，以確保使用高數據質量的數據進行果蔬識別算 法性能的正確評價。

【發明內容】

[0003] 本發明的目的在于提供一種用于果蔬識別算法性能評價的數據質量分析方法，以 確定用于果蔬算法性能評價的數據能夠真實地反映果蔬識別算法性能的程度以及基于所 用數據得到的果蔬識別算法性能評價結論的有效程度。
[0004] 本發明采用的技術方案是：
[0005] 1.-種用于果蔬識別算法性能評價的數據質量分析方法，其中用于評價果蔬識別 算法性能的數據為對果蔬圖像應用果蔬識別算法后得到的果蔬識別結果圖像中的果蔬識 別正確數;將用于獲得果蔬識別結果圖像中的果蔬識別正確數的統計系統作為一種軟測量 系統;使用一種基于屬性一致性分析的軟測量系統分析方法對果蔬識別正確數的數據質量 進行分析。
[0006] 2.所述的一種軟測量系統的組成如下:將對果蔬圖像應用果蔬識別算法后得到的 果蔬識別結果圖像作為軟測量系統中的被測對象;將統計果蔬識別結果圖像中的果蔬識別 正確數的統計方法作為軟測量系統中的軟量具；將統計人員作為軟測量系統中的測量人 員;將統計人員的工作環境作為軟測量系統中的測量環境。
[0007] 3.所述的一種基于屬性一致性分析的軟測量系統分析方法包含如下步驟：
[0008] ①設置變量P的值為0;
[0009] ②確定m幅應用果蔬識別算法后得到的果蔬識別結果圖像，并對這m幅果蔬識別結 果圖像從1至m順序編號，其中m為實際用于果實識別算法性能試驗的果蔬識別結果圖像幅 數；
[00? 0]③選擇n位統計人員，編號分另lj為1至n，其中n由式⑴計算得到:
[0011]
[0012] ④由統計人員η將m幅果蔬識別結果圖像的編號隨機排列，然后由統計人員η將m幅 果蔬識別結果圖像按隨機排列后的編號順序逐幅交給統計人員1，統計人員1使用果蔬識別 正確數統計方法逐幅進行一次果蔬識別正確數的統計，并由統計人員η記錄統計結果，統計 人員1不知道m幅果蔬識別結果圖像的統計順序及統計結果；
[0013] ⑤由統計人員1將m幅果蔬識別結果圖像的編號隨機排列，然后由統計人員1將m幅 果蔬識別結果圖像按隨機排列后的編號順序逐幅交給統計人員2,統計人員2使用果蔬識別 正確數統計方法逐幅進行一次果蔬識別正確數的統計，并由統計人員1記錄統計結果，統計 人員2不知道m幅果蔬識別結果圖像的統計順序及統計結果；
[0014] ⑥若η大于2,則跳轉到步驟⑦;若η等于2,則p加1，然后跳轉到步驟⑧；
[0015] ⑦則統計人員3至統計人員η分別取代步驟⑤中的統計人員2后均重復步驟⑤一 遍，Ρ加1;
[0016] ⑧判斷ρ是否等于2;若ρ等于2,則跳轉到步驟⑨;若ρ不等于2,則間隔7天后，跳轉 到步驟④；
[0017] ⑨應用測量系統分析中屬性一致性分析中的Fleiss Kappa值的計算方法計算統 計人員1和統計人員η所記錄的全部統計結果對應的表征果蔬識別正確數的數據質量的重 復性和再現性的Fleiss Kappa值；
[0018] ⑩對步驟⑨得到的表征果蔬識別正確數的數據質量的重復性和再現性的Fleiss Kappa值應用測量系統分析中屬性一致性分析中的基于FIeiss Kappa值的評價準則，最終 得到果蔬識別正確數的數據質量分析結果，即得到表征果蔬識別正確數的數據質量的重復 性和再現性的分析結果。
[0019] 4.所述的一種軟量具，不同于具有物理實體的量具，是一種統計果蔬識別結果圖 像中的果蔬識別正確數的統計方法，這種軟量具的測量對象為果蔬識別結果圖像，測量結 果為果蔬識別結果圖像的果蔬識別正確數，其中果蔬識別結果圖像為對果蔬圖像應用果蔬 識別算法后得到的結果。
[0020] 5.所述的測量人員為經過培訓，已正確掌握果蔬識別正確數統計方法的統計人 員。
[0021 ]本發明具有的有益效果是：
[0022]本發明通過對用于評價果蔬識別算法的數據的數據質量進行分析，確定用于評價 果蔬識別算法的數據的數據質量，從而能夠確定用于評價果蔬識別算法性能的數據能夠真 實地反映果蔬識別算法性能的程度以及基于所用數據得到的果蔬識別算法性能評價結論 的有效程度，進而可通過使用高數據質量的數據進行果蔬識別算法真實性能的正確評價， 確保果蔬識別算法性能評價結論的有效性。
【附圖說明】
[0023]圖1是軟測量系統組成示意圖。
[0024]圖2是基于屬性一致性分析的軟測量系統分析方法圖。
[0025]圖3是軟量具測量原理示意圖。
[0026]圖4是軟量具輸入輸出示意圖。
【具體實施方式】
[0027]下面結合附圖和實施例對本發明作進一步說明。
[0028] -種用于被遮擋番茄識別算法性能評價的數據質量分析方法的具體實現如下：
[0029] 1.-種用于被遮擋番茄識別算法性能評價的數據質量分析方法，用于評價被遮擋 番茄識別算法性能的數據為對被遮擋番茄圖像應用被遮擋番茄識別算法后得到的被遮擋 番茄識別結果圖像中的被遮擋番茄識別正確數;將用于獲得被遮擋番茄識別結果圖像中的 被遮擋番茄識別正確數的統計系統作為一種軟測量系統;使用一種基于屬性一致性分析的 軟測量系統分析方法對被遮擋番茄識別正確數的數據質量進行分析。
[0030] 2.所述的一種軟測量系統的組成如圖1所示，如下:將對被遮擋番茄圖像應用被遮 擋番茄識別算法后得到的被遮擋番茄識別結果圖像作為軟測量系統中的被測對象;將統計 被遮擋番茄識別結果圖像中的被遮擋番茄識別正確數的統計方法作為軟測量系統中的軟 量具;將統計人員作為軟測量系統中的測量人員；將統計人員的工作環境作為軟測量系統 中的測量環境。
[0031] 3.所述的一種基于屬性一致性分析的軟測量系統分析方法如圖2所示，包含如下 步驟：
[0032]①設置變量p的值為0;
[0033] ②確定m=300幅應用被遮擋番茄識別算法后得到的被遮擋番茄識別結果圖像，并 對這300幅被遮擋番茄識別結果圖像從1至300順序編號；
[0034] ③選擇η = 3位統計人員，編號分別為1至3;其中η由式⑴計算得到：
[0035]
[0036] ④由統計人員3將300幅被遮擋番茄識別結果圖像的編號隨機排列，然后由統計人 員3將300幅被遮擋番茄識別結果圖像按隨機排列后的編號順序逐幅交給統計人員1，統計 人員1使用被遮擋番茄識別正確數統計方法逐幅進行一次被遮擋番茄識別正確數的統計， 并由統計人員3記錄統計結果，統計人員1不知道300幅被遮擋番茄識別結果圖像的統計順 序及統計結果；
[0037] ⑤由統計人員1將300幅被遮擋番茄識別結果圖像的編號隨機排列，然后由統計人 員1將300幅被遮擋番茄識別結果圖像按隨機排列后的編號順序逐幅交給統計人員2,統計 人員2使用被遮擋番茄識別正確數統計方法逐幅進行一次被遮擋番茄識別正確數的統計， 并由統計人員1記錄統計結果，統計人員2不知道300幅被遮擋番茄識別結果圖像的統計順 序及統計結果；
[0038]⑥因為η大于2,所以跳轉到步驟⑦；
[0039] ⑦由統計人員1將300幅被遮擋番茄識別結果圖像的編號隨機排列，然后由統計人 員1將300幅被遮擋番茄識別結果圖像按隨機排列后的編號順序逐幅交給統計人員3,統計 人員3使用被遮擋番茄識別正確數統計方法逐幅進行一次被遮擋番茄識別正確數的統計， 并由統計人員1記錄統計結果，統計人員3不知道300幅被遮擋番茄識別結果圖像的統計順 序及統計結果;Ρ加1;
[0040] ⑧判斷ρ是否等于2;若Ρ等于2,則跳轉到步驟⑨;若Ρ不等于2,則間隔7天后，跳轉 到步驟④；
[0041 ]⑨應用測量系統分析中屬性一致性分析中的F1 e i ss Kappa值的計算方法，如式 (2)所示，計算統計人員1和統計人員3所記錄的全部統計結果對應的表征被遮擋番茄識別 正確數的數據質量的重復性和再現性的Fleiss Kappa值;其中重復性是表征每位統計人員 各自對300幅被遮擋番茄識別結果圖像重復統計2次，2次統計結果間的一致性;計算重復性 的F1 e i s s Kappa值，需計算每個統計人員的重復性F1 e i s s Kappa值;計算所用數據分別為 每位統計人員各自對300幅被遮擋番茄識別結果圖像重復統計2次的統計結果;再現性是表 征3個統計人員對300幅被遮擋番茄識別結果圖像進行統計后，3個統計人員之間的統計結 果的一致性;計算再現性的Fleiss Kappa值需使用3個統計人員的統計結果；
[0043]式中：kFt是Fleiss Kappa;n是被遮擋番前識別結果圖像數量;m是每幅被遮擋番前 識別結果圖像被統計總次數;a是單幅被遮擋番茄識別結果圖像中出現的被遮擋番茄個數 可能值的數量;Xlk是第i幅且其中被遮擋番茄個數為k個的被遮擋番茄識別結果圖像的被統 計次數;Xk是被遮擋番茄個數為k個的被遮擋番茄識別結果圖像的被統計次數；
[0044]⑩對步驟⑨得到的表征被遮擋番茄識別正確數的數據質量的重復性和再現性的 FIeiss Kappa值應用測量系統分析中屬性一致性分析中的基于FIeiss Kappa值的評價準 貝1J，最終得到被遮擋番茄識別正確數的數據質量分析結果，即得到表征被遮擋番茄識別正 確數的數據質量的重復性和再現性的分析結果;其中，基于Fleiss Kappa值的評價準則為： 若Fleiss Kappa值小于0.4,統計結果一致性差;若Fleiss Kappa值大于或等于0.4且小于 或等于0.75,統計結果一致性較好;若Fleiss Kappa值大于0.75,統計結果一致性非常好。 [0045] 4.所述的一種軟量具，不同于具有物理實體的量具，是一種統計被遮擋番茄識別 結果圖像中的被遮擋番茄識別正確數的統計方法，具體實現原理為:統計人員肉眼定性觀 察每幅被遮擋番茄識別結果圖像中所有被遮擋番茄的識別結果，即通過觀察被遮擋番茄識 別算法獲得的被遮擋番茄擬合圓與番茄邊緣擬合的緊密程度判斷識別結果的正確性;若擬 合得非常緊密(如圖3中1所示），則該被遮擋番茄識別正確，被遮擋番茄識別正確數加1;若 被遮擋番茄擬合圓偏大（如圖3中2所示）、或偏小（如圖3中3所示）、或被遮擋番茄擬合圓位 置存在偏差(如圖3中4所示），則該被遮擋番茄識別錯誤，被遮擋番茄識別正確數保持不變； 統計得到每幅被遮擋番茄識別結果圖像中被遮擋番茄識別正確數;軟量具的輸入和輸出如 圖4所示:這種軟量具的輸入即測量對象為被遮擋番茄識別結果圖像，這種軟量具輸出即測 量結果為被遮擋番茄識別結果圖像的被遮擋番茄識別正確數，用于進行數據質量分析，其 中被遮擋番茄識別結果圖像為對被遮擋番茄圖像應用被遮擋番茄識別算法后得到的結果。 [0046] 5.所述的測量人員為經過培訓，已正確掌握被遮擋番茄識別正確數統計方法的統 計人員。
[0047] 試驗結果顯示：統計人員1、2、3各自的重復性Fleiss Kappa值分別為0.7084， 0.8743,和0.8359,表明統計人員1和統計人員2的重復性非常好，統計人員3的重復性較好。 再現性的Fleiss Kappa值為0.5915，表明再現性較好。即3個統計人員對應的所有被遮擋番 茄識別正確數統計結果的再現性數據質量較好，統計人員1和統計人員2的被遮擋番茄識別 正確數統計結果的重復性數據質量非常好，統計人員3的被遮擋番茄識別正確數統計結果 的重復性數據質量較好。為保證所統計的被遮擋番茄識別正確數高度反映被遮擋番茄識別 算法的真實性能，進而確保基于所統計的被遮擋番茄識別正確數得到的被遮擋番茄識別算 法性能評價結果的有效性，建議使用統計人員2或者統計人員3統計所得的具有非常好的數 據質量的被遮擋番茄識別數進行被遮擋番茄識別算法性能評價。
【主權項】
1. 一種用于果蔬識別算法性能評價的數據質量分析方法，其特征在于，用于評價果蔬 識別算法性能的數據為對果蔬圖像應用果蔬識別算法后得到的果蔬識別結果圖像中的果 蔬識別正確數;將用于獲得果蔬識別結果圖像中的果蔬識別正確數的統計系統作為一種軟 測量系統;使用一種基于屬性一致性分析的軟測量系統分析方法對果蔬識別正確數的數據 質量進行分析。2. 如權利要求1所述的一種用于果蔬識別算法性能評價的數據質量分析方法，其特征 在于，所述的一種軟測量系統的組成如下：將對果蔬圖像應用果蔬識別算法后得到的果蔬 識別結果圖像作為軟測量系統中的被測對象;將統計果蔬識別結果圖像中的果蔬識別正確 數的統計方法作為軟測量系統中的軟量具;將統計人員作為軟測量系統中的測量人員；將 統計人員的工作環境作為軟測量系統中的測量環境。3. 如權利要求1所述的一種用于果蔬識別算法性能評價的數據質量分析方法，其特征 在于，所述的一種基于屬性一致性分析的軟測量系統分析方法包含如下步驟： ① 設置變量P的值為0; ② 確定m幅應用果蔬識別算法后得到的果蔬識別結果圖像，并對運m幅果蔬識別結果圖 像從1至m順序編號，其中m為實際用于果實識別算法性能試驗的果蔬識別結果圖像幅數； ③ 選擇η位統計人員，編號分別為1至n，其中η由式(1)計算得到：(1) ④ 由統計人員η將m幅果蔬識別結果圖像的編號隨機排列，然后由統計人員η將m幅果蔬 識別結果圖像按隨機排列后的編號順序逐幅交給統計人員1，統計人員1使用果蔬識別正確 數統計方法逐幅進行一次果蔬識別正確數的統計，并由統計人員η記錄統計結果，統計人員 1不知道m幅果蔬識別結果圖像的統計順序及統計結果； ⑤ 由統計人員1將m幅果蔬識別結果圖像的編號隨機排列，然后由統計人員1將m幅果蔬 識別結果圖像按隨機排列后的編號順序逐幅交給統計人員2,統計人員2使用果蔬識別正確 數統計方法逐幅進行一次果蔬識別正確數的統計，并由統計人員1記錄統計結果，統計人員 2不知道m幅果蔬識別結果圖像的統計順序及統計結果； ⑥ 若η大于2，則跳轉到步驟⑦;若η等于2，則P加1，然后跳轉到步驟⑧； ⑦ 則統計人員3至統計人員η分別取代步驟⑤中的統計人員2后均重復步驟⑤一遍，Ρ加 1; ⑧ 判斷Ρ是否等于2;若Ρ等于2,則跳轉到步驟⑨;若Ρ不等于2,則間隔7天后，跳轉到步 驟④； ⑨ 應用測量系統分析中屬性一致性分析中的Fleiss Kappa值的計算方法計算統計人 員1和統計人員η所記錄的全部統計結果對應的表征果蔬識別正確數的數據質量的重復性 和再現性的Fleiss Ka卵a值； ⑩ 對步驟⑨得到的表征果蔬識別正確數的數據質量的重復性和再現性的Fieiss Kappa值應用測量系統分析中屬性一致性分析中的基于F1 eiSS Kappa值的評價準則，最終 得到果蔬識別正確數的數據質量分析結果，即得到表征果蔬識別正確數的數據質量的重復 性和再現性的分析結果。4. 如權利要求2所述的一種軟測量系統，其特征在于，所述的一種軟量具，不同于具有 物理實體的量具，是一種統計果蔬識別結果圖像中的果蔬識別正確數的統計方法，運種軟 量具的測量對象為果蔬識別結果圖像，測量結果為果蔬識別結果圖像的果蔬識別正確數， 其中果蔬識別結果圖像為對果蔬圖像應用果蔬識別算法后得到的結果。5. 如權利要求2所述的一種軟測量系統，其特征在于，所述的測量人員為經過培訓，已 正確掌握果蔬識別正確數統計方法的統計人員。
【文檔編號】G06F19/00GK106096219SQ201610087127
【公開日】2016年11月9日
【申請日】2016年1月29日 公開號201610087127.0, CN 106096219 A, CN 106096219A, CN 201610087127, CN-A-106096219, CN106096219 A, CN106096219A, CN201610087127, CN201610087127.0
【發明人】項榮, 段鵬飛
【申請人】中國計量學院