專利名稱：一種dht網絡負載均衡裝置及虛節點劃分的方法
技術領域：
本發明涉及基于DHT的P2P網絡領域，尤其涉及一種負載均衡技術。
背景技術：
基于DHT(Distributed Hash Table，分布式哈希表)的 P2P (Peer-to-Peer，對等) 網絡由于其良好的擴展性、可靠性和去中心化的特性，得到了越來越多的應用。但基于DHT 的P2P網絡也帶來了與之相關的負載均衡問題，嚴重影響了系統的性能。如何能夠迅速、高 效、平衡系統的負載也成為學者們研究的重點。目前負載均衡技術主要包括動態的側重于調整的負載均衡技術和靜態的側重于 預防的負載均衡技術。動態的負載均衡技術通過發現實時發現系統的高負載節點和低負載 節點，轉移負載的方法來完成系統的負載均衡操作。這種技術要實時獲得系統中所有節點 的負載信息，由于P2P系統中節點的數量十分巨大，節點的頻繁加入和退出網絡，節點負載 信息的收集需要消耗很多系統的資源。同時，負載的調配需要一個類似中心的節點來處理 系統中的高負載節點和低負載節點，而這與P2P系統的去中心化特征相違背，會造系統的 單點故障。靜態的負載均衡技術從基于DHT的P2P網絡負載不均衡的原因入手，通過優化 DHT算法和平衡節點負責的ID區域大小方法平衡系統的負載。基于虛服務結點的方法DHT網絡是一種覆蓋網絡，實際物理網絡中的主機通過哈希函數映射到DHT網絡中的一個節點，根據上文所述，每個節點所負責的最大ID區域與 最小ID區域的大小比可達到O(IogN)，為了使每個節點分配的ID區域的大小相等，最簡單 的方法就是將每個主機映射到DHT網絡中的IogN節點上，這樣就使得每個節點的ID區域 大小相等。虛服務的方法指的就是使每個物理節點對應多個DHT網絡上的節點。Rao A首 先提出了虛服務的概念，并在此基礎上提供了三種簡單的負載均衡算法一對一、一對多、 多對多。三種算法的基本思想是轉移負載，不過負載轉移的單位不是傳統的文件，而是重負 載主機上的虛服務，一個虛服務就是DHT網絡中的一個節點，通過轉移虛服務將一段ID區 域由重負載節點轉移到輕負載節點上以達到平衡系統負載的目的。由于轉移虛服務的方法 比較簡單，通過虛服務的加入和退出DHT網絡算法就可以完成，并不需要更改網絡的結構， 所以虛服務的機制得到了廣泛的應用。三種方法的區別在于發現系統中輕負載節點和重負 載節點的手段，在一對一方法中，每個輕負載節點會隨機選擇一個節點，向該節點發出請求 希望獲得對方的負載情況，當發現被請求的節點是重負載節點時將重負載節點的虛擬服務 器轉移到本節點上。在一對多和多對多方法中，系統中的節點計算自身的負載情況，如果發 現自身的負載情況超過一定閥值而成為輕負載節點或重負載節點時，節點將自身的信息發 給系統指定的節點，這些指定的節點被成為目錄節點。目錄節點會獲得系統中的輕負載和 重負載節點的信息，通過與一對一相同的方式轉移虛服務，平衡系統的負載。與一對一方法 中負載僅能在兩個節點間轉移相比，一對多與多對多的方法在調度負載時可以考慮多臺主 機，生成的調度策略能更快使系統負載達到平衡的效果。但一對多和多對多方法也有明顯 的缺點，系統中會存在特定的目錄節點來接受系統中節點的負載信息并生成策略，這樣對目錄節點的性能要求很高，如果目錄節點的負載很高就無法完成系統的負載調度工作。然 而，此算法在過載與非過載節點間轉移虛服務器，并沒有考慮它們之間的位置關系，負載轉 移需要消耗過多的帶寬和延遲(Load balancing in structured P2P systems [C] 2003., 68-79)。David R. Karge也提出一種均衡節點的ID區域大小的方法。在該方法中每個結點 通過不同的哈希函數生成Iog(N)個ID值，結點在任意時刻都自由一個值是激活的，有這個 值當做節點的ID。節點在選取ID時會從中選取使ID空間最小的值，理論證明該方法在很 大概率上會使每個結點獲得0(l/n)大小的弧長。不過，在該方法中節點加入和退出時使得 其他 Log (N)個節點改變節點的 ID值(Simple efficient load balancing algorithmsfor peer-to-peer systems [C] 2004，36-43 頁)。Gurmeet Singh Manku 也提出了一 種利用 虛擬二叉樹調整節點ID空間。這可虛擬的二叉樹是一個平衡的二叉樹，樹的葉子節點代 表節點選取的ID。在節點加入選取ID時，利用平衡二叉樹生成一個葉子節點并將其作 為ID指定給節點。從本質上，節點在加入時考慮了其他節點的ID，進而使得節點ID空間 —肖 (Binary Trees for ID Management and Load Balance in Distributed Hash Tables[C]2004，25-28 頁)。Krishnaram Kenthapadi通過平衡結點負責的空間大小來達到負載平衡，當第k 個結點加入時，隨機探測r個結點，獲得每個結點周圍ν個弧的長度，將點插到r*v個弧中 最大弧長的中間，并證明了任意r和ν的組合使得rXv > clogk，會使得最大與最小弧長 比很大概率為 8 (Decentralized Algorithms using both Local and Random Probes for P2P LoadBalancing2005[C]，18-20 頁)。Marcin Bienkowski 將節點負責的空間按大小分 級，每輪調整都選取負責空間小的節點以1/2的概率離開，在隨機選取 一個ID，若ID在大空 間內，加入到網絡，否則繼續算法。文中指出在理論上經過一定次數調整后，會達到負載均 衡(Dynamic Load Balancing in Distributed Hash Tables[C]2005，217—225 頁)。以上的負載均衡方法，或者動態監控系統的負載情況，或者調整文件的放置策略 和節點的ID區域大小，但并沒有考慮到DHT網絡中節點性能的差異性。某些存儲容量較大 的節點存儲的文件較多也不一定會達到高負載的狀態，對于另外一些節點，它們的性能較 弱，即使存儲的文件不多，也達到了高負載的狀態。基于DHT網絡的特性，設計有效的節點 性能評價方法并虛節點劃分的機制，平衡基于DHT的P2P網絡的負載。

發明內容
本發明的目的在于提供一種資源消耗較低的，不破壞DHT網絡去中心化特征的 DHT網絡負載均衡裝置。本發明的目的還在于提供一種DHT網絡負載均衡裝置的虛節點劃 分的方法。本發明的目的是這樣實現的本發明的DHT網絡負載均衡裝置的構成包括節點存儲容量收集裝置、節點帶寬 收集裝置、節點ID區域收集裝置、節點性能評價裝置、節點鄰居集收集裝置、節點加入裝置 和節點退出裝置；其特征是節點存儲容量收集裝置根據節點提供的存儲資源，計算節點 的存儲容量，節點帶寬收集裝置進行節點測量與收集路由表中節點的帶寬，并將帶寬之和 作為節點在DHT網絡中的網絡性能的體現；節點ID區域收集裝置，節點在加入到DHT網絡 后，計算DHT網絡上的臨近節點，獲得節點負責的ID區域的大小；節點存儲容量收集裝置、節點帶寬收集裝置和節點ID區域收集裝置連接節點性能評價裝置，節點性能評價裝置根據節點存儲容量、節點的帶寬資源和節點的ID區域的大小，建立節點的性能模型，評價節 點的級別；節點鄰居集收集裝置，節點根據GNP(Global NetworkPositioning, GNP，全局網 絡定位)方法計算自身的網絡坐標，通過鄰居節點的發現機制，快速找到節點的鄰居節點， 節點鄰居集收集裝置和節點性能評價裝置連接由節點加入裝置和節點退出裝置構成的虛 節點劃分裝置；節點加入裝置，節點獲得鄰居節點集中節點的性能級別，發現鄰居節點集中 的弱級別節點，節點退出DHT網絡，并與找到的節點建立連接，與找到節點的共用一個ID， 共同承擔負載；節點退出裝置，合并節點退出網絡，如果合并節點不含有路由信息，節點直 接退出，如果節點含有路由信息，節點本身和組成合并節點的其他節點都退出網絡。本發明的DHT網絡負載均衡裝置的虛節點劃分的方法包括以下步驟1)節點加入網絡，節點通過性能模型定義自身節點級別，若本身為弱節點，找到臨 近的弱節點；2)節點合并，節點退出網絡并與找到的臨近弱節點建立連接，共同組成一個強虛 節點，退出節點通過相鄰弱節點與系統中的其他節點交互，其他節點將退出節點看成為強 虛節點的一部分；3)節點合并后的調整。節點查詢裝置只包含強虛節點ID，由強虛節點分配各弱節 點的負載，以達到負載均衡。本發明的主要技術特征1)建立適用于DHT網絡的節點性能模型，考慮節點存儲 容量、帶寬能力和ID區域的大小；2)采用虛節點劃分的負載平衡方法，將相鄰的弱節點劃 分為DHT網中一個節點的方法，平衡系統的負載；經過大量實驗，結果表明，本發明適合于實時、準確的負載均衡處理。本發明的有益效果在于有很低的系統損耗，能較好的平衡系統的負載；可部署 使用基于DHT的P2P網絡的各種應用領域。


圖1是本發明的DHT網絡負載均衡裝置的結構圖。圖2給出了計算節點性能評價的流程圖。圖3是本發明的基于虛節點劃分的DHT網絡負載均衡方法的原理流程圖。圖4為應用負載均衡裝置先后的負載狀況圖。
具體實施例方式下面結合附圖舉例對本發明做更詳細地描述圖1所示為基于節點性能評價及虛節點劃分的DHT網絡負載均衡裝置結構圖，包 括節點存儲容量收集裝置根據節點提供的存儲資源，計算節點的存儲容量；節點帶寬收集裝置節點測量與路由表中節點的帶寬，并將帶寬之和作為節點在 DHT網絡中的網絡性能的體現；節點ID區域收集裝置節點在加入到DHT網絡后，計算DHT網絡上的臨近節點，獲 得節點負責的ID區域的大小；節點性能評價裝置根據節點存儲容量、節點的帶寬資源和節點的ID區域的大小，建立節點的性能模型，評價節點的級別；節點鄰居集收集裝置節點根據GNP方法計算自身的網絡坐標，通過鄰居節點的 發現機制，快速找到節點的鄰居節點；虛節點劃分裝置由節點加入裝置和節點退出裝置構成；節點加入裝置節點獲得鄰居節點集中節點的性能級別，發現鄰居節點集中的弱 級別節點，節點退出DHT網絡，并與找到的節點建立連接，與找到節點的共用一個ID，共同 承擔負載；節點退出裝置合并節點退出網絡，如果合并節點不含有路由信息，節點直接退 出，如果節點含有路由信息，節點本身和組成合并節點的其他節點都退出網絡；圖2所示為計算節點性能評價的流程圖。節點性能評價模型節點的存儲容量有本身計算得出為W，節點的帶寬能力近似為節點與路由表中的 DHT網絡中節點的帶寬和B，節點的ID區域大小與鄰居節點中的平均ID區域大小之比R，利 用節點性能模型M按如下公式計算M = [1/R*W，1/R*B]節點級別由二維模型M中的較小者決定，根據自定義閥值判定節點的能力級別；圖3所示為基于虛節點劃分的DHT網絡負載均衡方法的原理流程圖。節點加入到網絡后，根據圖2流程和節點性能評價模型判定節點性能級別，若為 強節點，則直接加入。若為弱節點，則尋找鄰居節點中的弱節點，若找到則該節點退出，與找 到的弱節點一起組成一個強虛節點并進行合并后的調整。若鄰居節點中沒有弱節點，則直 接加入，等待其他加入的弱節點；圖4所示為應用負載均衡裝置先后的負載狀況圖。下面詳細描述了本發明的實驗例場景，結合本發明的優點，對實施結果進行分析。為了驗證本發明的有效性，以PeerSim仿真軟件為實驗環境，并搭建了典型的應 用環境，實驗采用3000個節點，實驗中隨機發送30萬條查詢消息。并統計應用負載均衡裝 置先后的負載狀況，如圖4，取得了較好的負載均衡效果。綜上，本發明有很好的負載平衡效果，可廣泛應用于各種基于DHT的P2P應用領 域。
權利要求
一種DHT網絡負載均衡裝置，其構成包括節點存儲容量收集裝置、節點帶寬收集裝置、節點ID區域收集裝置、節點性能評價裝置、節點鄰居集收集裝置、節點加入裝置和節點退出裝置；其特征是節點存儲容量收集裝置根據節點提供的存儲資源，計算節點的存儲容量，節點帶寬收集裝置進行節點測量與收集路由表中節點的帶寬，并將帶寬之和作為節點在DHT網絡中的網絡性能的體現；節點ID區域收集裝置，節點在加入到DHT網絡后，計算DHT網絡上的臨近節點，獲得節點負責的ID區域的大小；節點存儲容量收集裝置、節點帶寬收集裝置和節點ID區域收集裝置連接節點性能評價裝置，節點性能評價裝置根據節點存儲容量、節點的帶寬資源和節點的ID區域的大小，建立節點的性能模型，評價節點的級別；節點鄰居集收集裝置，節點根據GNP方法計算自身的網絡坐標，通過鄰居節點的發現機制，快速找到節點的鄰居節點，節點鄰居集收集裝置和節點性能評價裝置連接由節點加入裝置和節點退出裝置構成的虛節點劃分裝置；節點加入裝置，節點獲得鄰居節點集中節點的性能級別，發現鄰居節點集中的弱級別節點，節點退出DHT網絡，并與找到的節點建立連接，與找到節點的共用一個ID，共同承擔負載；節點退出裝置，合并節點退出網絡，如果合并節點不含有路由信息，節點直接退出，如果節點含有路由信息，節點本身和組成合并節點的其他節點都退出網絡。
2.—種DHT網絡負載均衡裝置的虛節點劃分的方法，其特征是包括如下步驟1)節點加入網絡，節點通過性能模型定義自身節點級別，若本身為弱節點，找到臨近的 弱節點；2)節點合并，節點退出網絡并與找到的臨近弱節點建立連接，共同組成一個強虛節點， 退出節點通過相鄰弱節點與系統中的其他節點交互，其他節點將退出節點看成為強虛節點 的一部分；3)節點合并后的調整。節點查詢裝置只包含強虛節點ID，由強虛節點分配各弱節點的 負載，以達到負載均衡。
全文摘要
本發明提供的是一種DHT網絡負載均衡裝置及虛節點劃分的方法。DHT網絡負載均衡裝置的構成包括節點存儲容量收集裝置、節點帶寬收集裝置、節點工D區域收集裝置、節點性能評價裝置、節點鄰居集收集裝置、節點加入裝置、節點退出裝置。虛節點劃分的方法包括1)節點加入網絡，節點通過性能模型定義自身節點級別，若本身為弱節點，找到臨近的弱節點；2)節點合并，節點退出網絡并與找到的臨近弱節點建立連接，共同組成一個強虛節點，退出節點通過相鄰弱節點與系統中的其他節點交互，其他節點將退出節點看成為強虛節點的一部分；3)節點合并后的調整。節點合并后查詢只包含強虛節點ID，由強虛節點分配各弱節點的負載，以達到負載均衡。
文檔編號H04L29/08GK101834897SQ201010153490
公開日2010年9月15日 申請日期2010年4月23日 優先權日2010年4月23日
發明者楊武, 玄世昌, 王巍, 苘大鵬, 趙景寰 申請人:哈爾濱工程大學