一種負載均衡的處理方法和設備的制造方法
【技術領域】
[0001]本發明涉及無線通信技術領域，尤其涉及一種負載均衡的處理方法和設備。
【背景技術】
[0002]BSP (Bulk-Synchronous Parallel,大容量同步并行)模型是基于大數據迭代處理的模型，有別于Map Reduce模型。在BSP模型中數據處理被分為若干任務，每個任務經歷著同樣的迭代階段:同步階段、計算階段和消息通信階段。
[0003]對于BSP模型中并行執行的多任務，動態負載均衡是并行計算中的一個關鍵點。但是，BSP模型在并行環境中高頻迭代場景下，不可避免地存在負載不均衡的情況。
[0004]目前針對負載不均衡這一個問題提出了兩種解決方案:一種是Giraph中的負載均衡策略；另一種是Hadoop中的推測式執行策略。
[0005]其中，Giraph中的負載均衡策略，即為數據的動態劃分策略。在進行數據的動態劃分時采用三種處理方式:第一種是靜態劃分；第二種是根據邊數平衡；第三種是根據頂點數平衡。
[0006]具體地，使用一種簡單的啟發式算法實現工作點之間數據的動態劃分均衡。包括:第一步，對所有的數據分片按照平衡值由大到小進行排序；第二步，根據各個工作點的總平衡值，將工作點進行排序形成工作點堆；第三步，將數據分片從大到小依次放入工作點堆的堆頂中，每放完一個數據分片后，并將放了數據分片的工作點再次放入工作點堆中，這樣保證每次將數據分片放入已用容量最小的工作點中；第四步，返回平衡后的數據分片的信息列表；第五步，根據返回的平衡后的數據分片的信息列表，進行數據的動態劃分遷移。
[0007]Hadoop中的推測式執行策略，主要是Hadoop檢測一次作業中存在的慢任務，并分別對檢測到的慢任務啟動Map任務進行推測式執行，最后從慢任務中選取執行最快的任務的輸出作為Reduce任務的輸入。
[0008]綜上所述，在BSP模型中采用Giraph中的負載均衡策略，每次迭代計算前都需要進行數據遷移，這樣調整需要花費大量的時間作為負載均衡的代價；在BSP模型中采用Hadoop中的推測式執行策略，由于推測任務從O超步開始，與對應的慢任務屬于不同超步，無法進行當前超步的消息通信，因此，需要增加消息通信網絡開銷。

【發明內容】

[0009]有鑒于此，本發明實施例提供了一種負載均衡的處理方法和設備，用于解決目前在BSP模型中采用Giraph中的負載均衡策略存在消耗時間的問題，以及在在BSP模型中采用Hadoop中的推測式執行策略存在增加消息通信網絡開銷的問題。
[0010]一種負載均衡的處理方法，包括:
[0011]獲取一個工作節點的一個迭代周期內每一個任務的運行時間信息；
[0012]根據獲取的所述每一個任務的運行時間信息以及待遷移任務的分析策略，確定所述工作節點在所述迭代周期內的待遷移任務；
[0013]當確定為待遷移任務的次數超過設定數值時，將所述待遷移任務遷移至除了所述工作節點之外的任務處理量小于設定閾值的工作節點。
[0014]根據獲取的所述每一個任務的運行時間信息以及待遷移任務的分析策略，確定所述工作節點在所述迭代周期內的待遷移任務，包括:
[0015]根據獲取的所述每一個任務的運行時間信息，將所述每一個任務的運行時間信息進行排序；
[0016]利用得到的排序信息，確定所述工作節點在所述迭代周期內的準遷移任務；并
[0017]利用遷移代價模型，計算確定的準遷移任務的遷移收益值；
[0018]對于遷移收益值大于設定門限值的準遷移任務，當遷移收益值大于設定門限值的準遷移任務所在的工作節點在設定時間內的任務處理量大于設定閾值時，確定遷移收益值大于設定門限值的準遷移任務為所述工作節點在所述迭代周期內的待遷移任務。
[0019]利用得到的排序信息，確定所述工作節點在所述迭代周期內的準遷移任務，包括:
[0020]針對排序信息中的每一個運行時間信息，在確定運行時間信息大于設定運行時間信息時，確定大于設定運行時間信息對應的任務為所述工作節點在所述迭代周期內的準遷移任務；
[0021]其中，所述設定運行時間信息通過以下方式確定:
[0022]T = V(T2-T1)^l.5 ；T為設定運行時間信息，Τ2為根據得到的排序信息，確定排序信息中四分之三位處對應的時間信息J1為根據得到的排序信息，確定排序信息中四分之一位處對應的運行時間信息。
[0023]利用遷移代價模型，計算確定的準遷移任務的遷移收益值，包括:
[0024]通過以下方式計算確定的準遷移任務的遷移收益值:
[0025]G(T) =T.remainSuperStep* (T.runiime-avgRunTime) -τ.migrateCost ;
[0026]其中，G(T)為確定的準遷移任務的遷移收益值，Τ.p為確定的準遷移任務的剩余超步運行時間信息，Τ.runTiffle為確定的準遷移任務的運行時間信息，avgRunTime為所述工作節點在所述迭代周期內非準遷移任務的平均運行時間信息，T.ffligrateCost為確定的準遷移任務的遷移代價時間信息，等于數據加載的時間長度與消息讀或者寫的時間長度之和。
[0027]當確定為待遷移任務的次數超過設定數值時，將所述待遷移任務遷移至除了所述工作節點之外的任務處理量小于設定閾值的工作節點，包括:
[0028]判斷所述工作節點在連續N個迭代周期內是否存在確定為待遷移任務的次數超過設定數值的待遷移任務；
[0029]當存在確定為待遷移任務的次數超過設定數值的待遷移任務時，判定確定為待遷移任務的次數超過設定數值的待遷移任務為遷移任務，并將判定的所述遷移任務遷移至除了所述工作節點之外的任務處理量小于設定閾值的工作節點中。
[0030]一種負載均衡的處理設備,包括:
[0031]獲取模塊，用于獲取一個工作節點的一個迭代周期內每一個任務的運行時間信息；
[0032]確定模塊，用于根據獲取的所述每一個任務的運行時間信息以及待遷移任務的分析策略，確定所述工作節點在所述迭代周期內的待遷移任務；
[0033]遷移模塊，用于當確定為待遷移任務的次數超過設定數值時，將所述待遷移任務遷移至除了所述工作節點之外的任務處理量小于設定閾值的工作節點。
[0034]所述確定模塊，具體用于根據獲取的所述每一個任務的運行時間信息，將所述每一個任務的運行時間信息進行排序；利用得到的排序信息，確定所述工作節點在所述迭代周期內的準遷移任務；并利用遷移代價模型，計算確定的準遷移任務的遷移收益值；對于遷移收益值大于設定門限值的準遷移任務，當遷移收益值大于設定門限值的準遷移任務所在的工作節點在設定時間內的任務處理量大于設定閾值時，確定遷移收益值大于設定門限值的準遷移任務為所述工作節點在所述迭代周期內的待遷移任務。
[0035]所述確定模塊，具體用于針對排序信息中的每一個運行時間信息，在確定運行時間信息大于設定運行時間信息時，確定大于設定運行時間信息對應的任務為所述工作節點在所述迭代周期內的準遷移任務；
[0036]其中，所述設定運行時間信息通過以下方式確定:
[0037]T = V(T2-T1)^l.5 ；T為設定運行時間信息，Τ2為根據得到的排序信息，確定排序信息中四分之三位處對應的時間信息J1為根據得到的排序信息，確定排序信息中四分之一位處對應的運行時間信息。
[0038]所述確定模塊，具體用于通過以下方式計算確定的準遷移任務的遷移收益值:
[0039]G ⑴一Τ.remainSuperStep* (Τ.runTime_avgRunTime) _T.migrateCost ；
[0040]其中，G(T)為確定的準遷移任務的遷移收益值，T.remainSuperStep為確定的準遷移任務的剩余超步運行時間信息，T.runTiffle為確定的準遷移任務的運行時間信息，avgRunTime為所述工作節點在所述迭代周期內非準遷移任務的平均運行時間信息，T.ffligrateCost為確定的準遷移任務的遷移代價時間信息，等于數據加載的時間長度與消息讀或者寫的時間長度之和。
[0041]所述遷移模塊，具體用于判斷所述工作節點