專利名稱：一種移動互聯網業務用戶體驗質量測量方法和裝置的制作方法
技術領域：
本發明涉及通信技術領域，特別是涉及一種移動互聯網業務用戶體驗質量評測方法和裝置。
背景技術：
近年來，隨著移動互聯網技術快速發展，移動互聯網業務層出不窮，已經滲透到人們生活的各個方面。隨著移動互聯網應用競爭的日益激烈，用于評價移動互聯網應用質量好壞的用戶體驗質量(QoE, Quality ofExperience)越來越受到網絡運營商與開發者的重視。目前，QoE的評測方法主要有主觀評價方法和客觀評價方法。其中，主觀評價方法就是要直接從用戶感知出發，對業務進行評價；但是由于主觀評價方法要考慮太多因素，耗·費大量時間與人力，因而沒有得到廣泛應用。另外，現有的客觀評價方法，大多數都集中在對網絡服務的研究上，并且大多數的QoE測量方法是針對語音與視頻業務建立的，對于一般的移動互聯網應用不具有普遍適用性。并且現有的測量方法在測量的測量值與實際值之間存在偏差，不夠準確，不能根據測量值就某項移動互聯網業務的用戶體驗質量進行評價。綜上所述，現有的QoE的客觀評測方法適用范圍較窄且不能準確測量出能夠反映移動互聯網業務的用戶體驗質量的數值。
發明內容
本發明公開了一種移動互聯網業務用戶體驗質量測量方法，該方法能夠準確測量出能夠反映各種移動互聯網業務的用戶體驗質量的數值。本發明提供了一種移動互聯網業務用戶體驗質量測量方法，其中，設置至少三種類型的關鍵性能指標KPI，所述三種類型包括第一類型、第二類型和第三類型，屬于第一類型的關鍵性能指標指示終端性能，屬于第二類型的關鍵性能指標指示網絡性能，屬于第三類型的關鍵性能指標指示應用服務性能，所述方法包括采集目標移動互聯網業務的所述至少三種類型的關鍵性能指標；利用采集到的每種類型下的關鍵性能指標分別獲取相應類型下的質量測量值，其中，獲取到的第一類型下的質量測量值為終端質量測量值，獲取到的第二類型下的質量測量值為網絡質量測量值，獲取到的第三類型下的質量測量值為應用服務質量測量值；根據所述各類型下的質量測量值計算得到目標移動互聯網業務的用戶體驗質量的數值。本發明還公開了一種移動互聯網業務用戶體驗質量測量裝置，該裝置能夠準確測量出能夠反映移動互聯網業務的用戶體驗質量的數值。本發明還提供了一種移動互聯網業務用戶體驗質量測量裝置，該裝置包括設置模塊、關鍵性能指標采集模塊、質量測量值計算模塊和用戶體驗質量計算模塊；其中，設置模塊，用于設置至少三種類型的關鍵性能指標，所述三種類型包括第一類型、第二類型和第三類型，屬于第一類型的關鍵性能指標指示終端性能，屬于第二類型的關鍵性能指標指示網絡性能，屬于第三類型的關鍵性能指標指示應用服務性能；關鍵性能指標采集模塊，用于采集目標移動互聯網業務的所述至少三種類型的關鍵性能指標并發送給質量測量值計算模塊；質量測量值計算模塊，用于接收關鍵性能指標采集模塊發送的關鍵性能指標，根據采集到的每種類型下的關鍵性能指標分別獲取相應類型下的質量測量值，其中，獲取到的第一類型下的質量測量值為終端質量測量值，獲取到的第二類型下的質量測量值為網絡質量測量值，獲取到的第三類型下的質量測量值為應用服務質量測量值；用戶體驗質量計算模塊，用于根據所述各個類型下的質量測量值計算得到目標移動互聯網業務的用戶體驗質量的數值。綜上所述，本發明提供的技術方案通過設置多種類型的關鍵性能指標，在測量時采集所設置的多種類型的關鍵性能指標并計算對應的質量測量值，由質量測量值計算移動互聯網業務的用戶體驗質量數值的技術手段，能夠準確測量出反映移動互聯網業務的用戶體驗質量的數值。本發明實施例能夠從終端側、網絡側和應用服務側等方面整體反映當前移動互聯網業務的用戶體驗質量，通過本發明得到的測量結果與實際的用戶體驗非常接近，從而能夠利用本方案得到的測量結果改進移動互聯網業務的相關性能，提高用戶體驗質量。
圖I是本發明中一種移動互聯網業務用戶體驗質量測評方法的流程圖；圖2是本發明中一種用戶體驗質量測量方法的詳細流程圖；圖3是本發明中一種計算無量綱化KPI權重值的流程圖； 圖4是本發明中一種具體實施例中的用戶體驗質量測量的層次示意圖；圖5是本發明一種具體實施例中的關鍵性能指標的總體權重值示意圖；圖6是本發明中一種移動互聯網業務用戶體驗質量測量裝置示意圖。
具體實施例方式為使本發明的目的、技術方案和優點更加清楚，下面將結合附圖對本發明實施方式作進一步地詳細描述。本發明提供的一種移動互聯網業務用戶體驗質量測量方案，該方法通過綜合終端性能、網絡性能和應用服務性能等多種因素全面評測用戶體驗質量。通過本方案測量得到的用戶體驗質量的數值可以反映用戶在網絡中對具體移動互聯網業務的總體感受。網絡運營商和開發者可從自身的角度出發，依據本發明進行QoE評測，改進移動互聯網業務的用戶體驗質量，從而在激烈的競爭中獲得優勢。本發明實施例中，用戶對移動互聯網業務的整體感知程度由QoE來決定。移動互聯網業務 QoE 包括 QoT (Quality of Terminal)> QoS (Quality of Service)和 QoD(Quality of Development),分別對應網絡的終端性能、網絡性能和服務端性能的關鍵質量指標(KQI)。QoS表示網絡運營商提供的移動網絡環境的總體服務質量。QoS是從應用角度評價總體網絡服務質量的指標，依賴于網絡運營商提供的網絡性能。例如，發送成功率、業務建立成功率等都屬于QoS范疇。QoD為衡量應用性能的指標。與應用的開發者有關，不同的應用開發者對于同一款應用程序的開發質量是不一樣的，從而導致用戶在對于不同的應用程序時的用戶體驗質量是不一樣的。QoD包括程序設計、算法、硬件等。QoT表示對QoE產生作用的智能終端性能。QoT主要依賴于用戶使用的智能終端性能，例如，硬件性能、操作系統等。圖I是本發明中一種移動互聯網業務用戶體驗質量測評方法的流程圖；如圖I所示，步驟101，設置至少三種類型的關鍵性能指標，所述三種類型包括第一類型、第二類型和第三類型，屬于第一類型的關鍵性能指標指示終端性能，屬于第二類型的關鍵性能指標指示網絡性能，屬于第三類型的關鍵性能指標指示應用服務性能。
步驟102，采集目標移動互聯網業務的所述至少三種類型的關鍵性能指標。步驟103，利用采集到的每種類型下的關鍵性能指標分別獲取相應類型下的質量測量值，其中，獲取到的第一類型下的質量測量值為終端質量測量值，獲取到的第二類型下的質量測量值為網絡質量測量值，獲取到的第三類型下的質量測量值為應用服務質量測量值。步驟104，根據所述各類型下的質量測量值計算得到目標移動互聯網業務的用戶體驗質量的數值。本發明提供的一種用戶體驗質量的測量方法通過分別測量各種類型的關鍵性能指標，并計算出對應的權重值，得出對應類型的質量測量值；根據所述質量測量值計算與其對應的權重值，最后得出移動互聯網業務的用戶體驗質量的測量值。本發明提供測量方法具有獲取到的測量值接近實際的用戶體驗質量的數值，并且對于不同的移動互聯網業務，各項關鍵性能指標不需要進行調整，只需要調整某些關鍵性能指標的權重值即可，更具有通用性。在如圖I所述的步驟103中，利用采集到的每種類型下的關鍵性能指標分別獲取相應類型下的質量測量值，可以具體為將采集到的KPI通過無量綱化運算轉換為無量綱化KPI ;按照層次分析方式，利用無量綱化KPI計算每種類型下各無量綱化KPI的權重值；利用每種類型下無量綱化KPI和無量綱化KPI的權重值計算得到對應的質量測量值。在上述利用每種類型下無量綱化KPI和無量綱化KPI的權重值計算得到對應的質量測量值，具體為根據公式KQIi= CO1 XKpijco2XKPIdHqconXKPIn計算對應的質量測量值；其中，KQIi表示第i類型下的質量測量值API1為第i類型下第I無量綱化KPI，Co1為與KPI1相對應的權重值；KPI2為第i類型下第2無量綱化KPI，ω2為與KPI2相對應的權重值；KPIn為第i類型下第η無量綱化KPI，ωη為與KPIn相對應的權重值。在如圖I所示的步驟104中，根據所述各種類型下的質量測量值計算得到目標移動互聯網業務的用戶體驗質量的數值，具體為按照層次分析方式，計算各質量測量值的權重值；利用所述質量測量值和所述質量測量值的權重值計算得到所述用戶體驗質量的數值。在上述的利用所述質量測量值和所述質量測量值的權重值計算得到所述用戶體驗質量的數值，具體為根據公式QoE=W1 X KQI Jw2XKQI2+…+Wi X KQIi計算對應的用戶體驗質量的數值；其中，QoE表示用戶體驗質量的數值AQI1為第一類型的質量測量值，W1為與KQIJB對應的權重值；KQI2為第二類型的質量測量值，W2為與KQIJB對應的權重值；KQIiS第i類型的質量測量值，Wi為與KQIi相對應的權重值。在本發明中的具體實施例中，所述按照層次分析方式，利用無量綱化KPI計算各種類型下各無量綱化KPI的權重值包括根據所設置的判斷尺度表，通過將每一類型的無量綱化KPI分別兩兩比較建立所述類型下的性能指標判斷矩陣，其中，所述判斷尺度表指示兩個無量綱化KPI的比較結果與判斷尺度值的對應關系，所述性能指標判斷矩陣由判斷尺度值得到；計算所述性能指標判斷矩陣的特征向量,對特征向量1”進行歸一化處理得到歸一化特征向量將歸一化特征向量《中的各元素分別作為所述各類型下的無量綱化KPI的權重值；
在本發明中的具體實施例中，所述按照層次分析方式，計算各質量測量值的權重值包括根據所設置的判斷尺度表，通過將各質量測量值分別兩兩比較建立質量測量值判斷矩陣，其中，所述判斷尺度表指示兩個質量測量值的比較結果與判斷尺度值的對應關系，所述質量測量值判斷矩陣由判斷尺度值得到；計算所述質量測量值判斷矩陣的特征向量;對特征向量進行歸一化處理得到歸一化特征向量將歸一化特征向量:^中的各元素分別作為各質量測量值的權重值。在將歸一化特征向量^中的各元素分別作為所述各種類型下的無量綱化KPI的權重值之前，所述方法還包括計算所述性能指標判斷矩陣的最大特征值；根據所述性能指標判斷矩陣的最大特征值計算一致性比率，判斷所述一致性比率的數值是否大于預定閾值，若是，確定所述歸一化特征向量5中的各元素為該類型下各無量綱化KPI的權重值；若否，則不將所述歸一化特征向量中的各元素作為該類型下各無量綱化KPI的權重值；在將歸一化特征向量；中的各元素分別作為各質量測量值的權重值之前，所述方法還包括計算所述質量測量值判斷矩陣的最大特征值；根據所述質量測量值判斷矩陣的最大特征值計算一致性比率，判斷所述一致性比率的數值是否大于預定閾值，若是，確定所述歸一化特征向量$中的各元素為各質量測量值的權重值；若否，則不將所述歸一化特征向量M·中的各元素作為各質量測量值的權重值。在諸多移動互聯網業務中，即時通訊業務具有實時、傳送數據類型多、交互性強、用戶數據龐大等特性，在移動互聯網業務中具有代表性。下文以即時通信作為具體實施例，從終端、網絡和應用服務性能三個方面對即時通信業務的用戶體驗質量進行測量的方式詳細說明本發明的具體流程。圖2是本發明中一種用戶體驗質量測量方法的詳細流程圖，如圖2所示，步驟201，設置三種類型的關鍵性能指標。在步驟201中，所設置的三種類型包括第一類型、第二類型和第三類型，屬于第一類型的關鍵性能指標指示終端性能，屬于第二類型的關鍵性能指標指示網絡性能，屬于第三類型的關鍵性能指標指示應用服務性能。其中，屬于終端性能的關鍵性能指標包括終端的CPU性能，即該終端的CPU的運算速度。終端的內存消耗量，即使用與所述移動互聯網業務相關的應用軟件時終端的內存消耗比例。終端的響應時間，即使用終端時，按下鍵盤至屏幕顯示的時間。終端的屏幕分辨率，即屏幕分辨率。終端的操作系統性能，即終端所使用的操作系統。屬于網絡性能的關鍵性能指標包括發送成功率，即成功發送的頂信息占嘗試發送信息的比例。消息時延，即從源終端發送頂信息到目的終端收到頂信息的時間。業務建立成功率，即用戶發起建立的成功數占總數的比例。業務建立時延，即用戶發起建立連接到成功建立的時間。消息傳輸速率，即消息在傳輸時的速率。
屬于應用服務性能的關鍵性能指標包括內存占用量，即服務一個用戶平均消耗內存量。服務端最大連接數，即服務器端能支持的最大連接數。服務器CPU性能，S卩服務器(PU的運算速度。關鍵任務操作步驟，即用戶完成關鍵任務所需的步驟數。數據傳輸開銷，即傳輸單位數據消耗的網絡流量。將上述的各類型的關鍵性能指標標號后列成表格如表I所不表I
權利要求
1.一種移動互聯網業務用戶體驗質量測量方法，其特征在于，設置至少三種類型的關鍵性能指標，所述三種類型包括第一類型、第二類型和第三類型，屬于第一類型的關鍵性能指標指示終端性能，屬于第二類型的關鍵性能指標指示網絡性能，屬于第三類型的關鍵性能指標指示應用服務性能，所述方法包括 采集目標移動互聯網業務的所述至少三種類型的關鍵性能指標； 利用采集到的每種類型下的關鍵性能指標分別獲取相應類型下的質量測量值，其中，獲取到的第一類型下的質量測量值為終端質量測量值，獲取到的第二類型下的質量測量值為網絡質量測量值，獲取到的第三類型下的質量測量值為應用服務質量測量值； 根據所述各類型下的質量測量值計算得到目標移動互聯網業務的用戶體驗質量的數值。
2.根據權利要求I所述的方法，其特征在于， 所述利用采集到的每種類型下的關鍵性能指標分別獲取相應類型下的質量測量值包括 將采集到的關鍵性能指標通過無量綱化運算轉換為無量綱化關鍵性能指標； 按照層次分析方式，利用無量綱化關鍵性能指標計算每種類型下各無量綱化關鍵性能指標的權重值； 利用每種類型下無量綱化關鍵性能指標和無量綱化關鍵性能指標的權重值計算得到所述質量測量值。
3.根據權利要求2所述的方法，其特征在于，所述利用每種類型下無量綱化關鍵性能指標和無量綱化關鍵性能指標的權重值計算得到所述質量測量值包括 根據公式KQIi= GJ1XKPI1+GJ2XKPI2+...+ GJnXKPI1^+算對應的質量測量值；其中，KQIi表示第i類型下的質量測量值API1為第i類型下第I無量綱化關鍵性能指標，O1為與KPI1相對應的權重值；KPI2為第i類型下第2無量綱化關鍵性能指標，ω2為與KPI2相對應的權重值；ΚΡΙη為第i類型下第η無量綱化關鍵性能指標，ωη為與KPIn相對應的權重值。
4.根據權利要求3所述的方法，其特征在于，所述根據各類型下的質量測量值計算得到目標移動互聯網業務的用戶體驗質量的數值包括 按照層次分析方式，計算各質量測量值的權重值； 利用所述質量測量值和所述質量測量值的權重值計算得到所述用戶體驗質量的數值。
5.根據權利要求4所述的方法，其特征在于，所述利用所述質量測量值和所述質量測量值的權重值計算得到所述用戶體驗質量的數值包括 根據公式QoE=W1 X KQI Jw2 X KQI2+…+Wi X KQIi計算對應的用戶體驗質量的數值；其中，QoE表示用戶體驗質量的數值AQI1為第一類型的質量測量值，W1為與KQI1相對應的權重值；KQI2為第二類型的質量測量值，W2為與KQI1相對應的權重值；KQIi為第i類型的質量測量值，Wi為與KQIi相對應的權重值。
6.根據權利要求5所述的方法，其特征在于， 所述按照層次分析方式，利用無量綱化關鍵性能指標計算每種類型下各無量綱化關鍵性能指標的權重值包括 根據所設置的判斷尺度表，通過將每一類型的無量綱化關鍵性能指標分別兩兩比較建立所述類型下的性能指標判斷矩陣，其中，所述判斷尺度表指示兩個無量綱化關鍵性能指標的比較結果與判斷尺度值的對應關系，所述性能指標判斷矩陣由判斷尺度值得到； 計算所述性能指標判斷矩陣的特征向量,對特征向量進行歸一化處理得到歸一化特征向量將歸一化特征向量5中的各元素分別作為所述各類型下的無量綱化關鍵性能指標的權重值； 所述按照層次分析方式，計算各質量測量值的權重值包括 根據所設置的判斷尺度表，通過將各質量測量值分別兩兩比較建立質量測量值判斷矩陣，其中，所述判斷尺度表指示兩個質量測量值的比較結果與判斷尺度值的對應關系，所述質量測量值判斷矩陣由判斷尺度值得到； 計算所述質量測量值判斷矩陣的特征向量對特征向量Gw進行歸一化處理得到歸一化特征向量W ,將歸一化特征向量；中的各元素分別作為各質量測量值的權重值。
7.根據權利要求6所述的方法，其特征在于， 在將歸一化特征向量^中的各元素分別作為所述各類型下的無量綱化關鍵性能指標的權重值之前，所述方法還包括 計算所述性能指標判斷矩陣的最大特征值； 根據所述性能指標判斷矩陣的最大特征值計算一致性比率，判斷所述一致性比率的數值是否大于預定閾值，若是，確定所述歸一化特征向量《 中的各元素為該類型下各無量綱化關鍵性能指標的權重值；若否，則不將所述歸一化特征向量ai中的各元素作為該類型下各無量綱化關鍵性能指標的權重值； 在將歸一化特征向量G中的各元素分別作為各質量測量值的權重值之前，所述方法還包括 計算所述質量測量值判斷矩陣的最大特征值； 根據所述質量測量值判斷矩陣的最大特征值計算一致性比率，判斷所述一致性比率的數值是否大于預定閾值，若是，確定所述歸一化特征向量ι 中的各元素為各質量測量值的權重值；若否，則不將所述歸一化特征向量i中的各元素作為各質量測量值的權重值。
8.一種移動互聯網業務用戶體驗質量測量裝置，其特征在于，該裝置包括設置模塊、關鍵性能指標采集模塊、質量測量值計算模塊和用戶體驗質量計算模塊；其中， 設置模塊，用于設置至少三種類型的關鍵性能指標，所述三種類型包括第一類型、第二類型和第三類型，屬于第一類型的關鍵性能指標指示終端性能，屬于第二類型的關鍵性能指標指示網絡性能，屬于第三類型的關鍵性能指標指示應用服務性能； 關鍵性能指標采集模塊，用于采集目標移動互聯網業務的所述至少三種類型的關鍵性能指標并發送給質量測量值計算模塊； 質量測量值計算模塊，用于接收關鍵性能指標采集模塊發送的關鍵性能指標，根據采集到的每種類型下的關鍵性能指標分別獲取相應類型下的質量測量值，其中，獲取到的第一類型下的質量測量值為終端質量測量值，獲取到的第二類型下的質量測量值為網絡質量測量值，獲取到的第三類型下的質量測量值為應用服務質量測量值； 用戶體驗質量計算模塊，用于根據所述各個類型下的質量測量值計算得到目標移動互聯網業務的用戶體驗質量的數值。
9.根據權利要求8所述的裝置，其特征在于， 所述質量測量值計算模塊，用于將采集到關鍵性能指標通過無量綱化運算轉換為無量綱化關鍵性能指標；按照層次分析方式，利用無量綱化關鍵性能指標計算每種類型下各無量綱化關鍵性能指標的權重值；根據如下公式，利用每種類型下無量綱化關鍵性能指標和無量綱化關鍵性能指標的權重值計算得到所述質量測量值 KQli=Co1XKPIACo2XKPI2+…+ GJnXKPI1^f算對應的質量測量值;其中，KQIi表示第i類型下的質量測量值API1為第i類型下第I無量綱化關鍵性能指標，ω i為與KPI1相對應的權重值；KPI2為第i類型下第2無量綱化關鍵性能指標，ω2為與KPI2相對應的權重值；KPIn為第i類型下第η無量綱化關鍵性能指標，ωη為與KPIn相對應的權重值； 所述用戶體驗質量計算模塊，用于按照層次分析方式，計算各質量測量值的權重值；根據如下公式，利用所述質量測量值和質量測量值的權重值計算得到所述用戶體驗質量的數值 QoE=W1 X KQI Jw2XKQI2+…+Wi X KQIi計算對應的用戶體驗質量的數值；其中，QoE表示用戶體驗質量的數值AQI1為第一類型的質量測量值，W1為與KQIJB對應的權重值；印12為第二類型的質量測量值，W2為與KQI1相對應的權重值；KQIi為第i類型的質量測量值，Wi為與KQIi相對應的權重值。
10.根據權利要求8或9所述的裝置，其特征在于， 質量測量值計算模塊，用于根據所設置的判斷尺度表，通過將每一類型的無量綱化關鍵性能指標分別兩兩比較建立所述類型下的性能指標判斷矩陣，其中，所述性能指標判斷尺度表指示兩個無量綱化關鍵性能指標的比較結果與判斷尺度值的對應關系，所述性能指標判斷矩陣由判斷尺度值得到；計算所述性能指標判斷矩陣的特征向量對特征向量行歸一化處理得到歸一化特征向量將歸一化特征向量5中的各元素分別作為所述各類型下的無量綱化關鍵性能指標的權重值； 用戶體驗質量計算模塊，用于根據所設置的判斷尺度表，通過將各質量測量值分別兩兩比較建立判斷矩陣，其中，所述判斷尺度表指示兩個質量測量值的比較結果與判斷尺度值的對應關系，所述質量測量值判斷矩陣由判斷尺度值得到；計算所述質量測量值判斷矩陣的特征向量;對特征向量^^進行歸一化處理得到歸一化特征向量 ·，將歸一化特征向量G中的各元素分別作為各質量測量值的權重值。
全文摘要
本發明公開了一種移動互聯網業務用戶體驗質量測量方法和裝置。本發明實施例提供的方法包括設置至少三種類型的關鍵性能指標，屬于第一類型的關鍵性能指標指示終端性能，屬于第二類型的關鍵性能指標指示網絡性能，屬于第三類型的關鍵性能指標指示應用服務性能，所述方法包括采集目標移動互聯網業務的所述至少三種類型的關鍵性能指標；利用采集到的每種類型下的關鍵性能指標分別獲取相應類型下的質量測量值，根據所述各類型下的質量測量值計算得到目標移動互聯網業務的用戶體驗質量的數值。本發明提供的技術方案能夠準確測量出能夠反映移動互聯網業務的用戶體驗質量的數值。
文檔編號H04L29/08GK102904755SQ201210374568
公開日2013年1月30日 申請日期2012年9月27日 優先權日2012年9月27日
發明者壽國礎, 羅意, 胡怡紅, 郭志剛 申請人:北京郵電大學