專利名稱：數據區域重疊的邊界數據零通信并行計算方法和系統的制作方法
技術領域：
本發明涉及大量數據處理，尤其是涉及一種數據區域重疊的邊界數據零通信并行計算方法和系統。
背景技術：
在對大量數據處理時，可以將數據分割成多個較小的數據塊，分別同時由多個處理單元并行處理，然后將處理后的結果匯總，可以大大提高數據處理效率。傳統的并行處理中，多個相鄰數據塊之間需要互通有無，由于相鄰數據塊之間的通信，所需數據尚未到達時，會造成并行進程的等待，降低并行處理的效率。
發明內容基于此，有必要提供一種能夠提高并行處理效率的數據并行處理方法。一種數據區域重疊的邊界數據零通信并行計算方法，包括如下步驟將待處理的母數據分割成多個子塊數據，其中每個子塊數據冗余存儲與之相鄰的子塊數據中的邊界數據；將多個子塊數據進行并行處理。優選地，所述將待處理的母數據分割成多個子塊數據的步驟中，對母數據采用冗余切割，使切割后的子塊數據包含冗余的邊界數據。優選地，所述將待處理的母數據分割成多個子塊數據的步驟具體包括將母數據進行無冗余切割；相鄰的子塊數據之間相互獲取邊界數據并進行冗余存儲。優選地，所示并行處理是并行計算、分布式計算、網絡計算、網格計算、云計算或海計算的子步驟。此外還提供一種數據區域重疊的邊界數據零通信并行計算系統。一種數據區域重疊的邊界數據零通信并行計算系統，包括數據分割模塊，用于將母數據進行冗余切割，使每個子塊數據冗余存儲與之相鄰的子塊數據中的邊界數據；并行處理單元，用于接受調度，并行處理子塊數據。優選地，所述并行處理單元用于進行并行計算、分布式計算、網絡計算、網格計算、云計算或海計算。以及一種數據區域重疊的邊界數據零通信并行計算系統，包括數據分割模塊，用于將母數據進行無冗余切割；數據交換模塊，用于將相鄰的子塊數據的邊界數據相互交換并進行冗余存儲；并行處理單元，用于接受調度，并行處理子塊數據。優選地，所述并行處理單元用于進行并行計算、分布式計算、網絡計算、網格計算、云計算或海計算。上述數據區域重疊的邊界數據零通信并行計算方法和系統，由于子塊數據冗余存儲了并行處理時所需的其他子塊數據的邊界數據，在并行處理時不需要從其他子塊數據獲得，因此可以節約數據傳輸時等待的時間，提高并行處理的效率。
圖1為一實施例的數據區域重疊的邊界數據零通信并行計算方法流程圖；圖2為傳統的數據分割示意圖；圖3為圖1實施例的數據區域重疊的邊界數據零通信并行計算方法的分割示意圖；圖4為一實施例的數據區域重疊的邊界數據零通信并行計算系統模塊圖；圖5為另一實施例的數據區域重疊的邊界數據零通信并行計算系統模塊圖。
具體實施方式如圖1所示，為一實施例的數據區域重疊的邊界數據零通信并行計算方法流程圖。該數據區域重疊的邊界數據零通信并行計算方法包括如下步驟SlOO 將待處理的母數據分割成多個子塊數據。母數據分割成的多個子塊數據冗余存儲與之相鄰的子塊數據中的邊界數據。其中母數據是數據并行處理中單次處理需要較長處理時間的數據，子塊數據是單次處理較為簡單因此耗時較短的數據。邊界數據是指對于相鄰的子塊數據來說，并行處理時都需要用到的數據。母數據切割得到的子塊數據，各自被并行處理單元處理所需的時間應該基本相同，以使并行處理后能夠以最快的速度得到最終結果，盡量避免并行處理單元的等待。如圖2所示，為傳統的數據分割示意圖。母數據10被分割成多個子塊數據20，其中每個子塊數據20都有邊界數據30。其中，相鄰的子塊數據20在并行處理時，需要互相獲取邊界數據30。如圖3所示，為本實施例的數據區域重疊的邊界數據零通信并行計算方法的分割示意圖。以相鄰的兩個子塊數據202、204說明冗余存儲。傳統的分割方式中，子塊數據202具有邊界數據a，子塊數據204具有邊界數據b。本實施例中，子塊數據202冗余存儲邊界數據b，子塊數據204冗余存儲邊界數據a。即子塊數據202、204均包括邊界數據a、b。邊界數據a、b在子塊數據202、204各自對應并行處理中都要用到。實現上述冗余存儲的方式包括冗余切割和無冗余切割后的數據交換。冗余切割是指在數據分割時，將分割的邊界拓展預設的寬度，這樣就能包含其他子塊數據包含的邊界數據。數據分割采用諸如文件分割、數據表分割以及數據矩陣分割等方式。無冗余切割是指按照傳統的數據分割方式對母數據進行分割，被分割成的子塊數據之間無數據冗余。同樣可采用諸如文件分割、數據表分割以及數據矩陣分割等方式。之后各子塊數據之間相互傳遞交換邊界數據并整合到自己的邊界數據中。其中數據交換可采用消息傳遞技術、文件傳輸技術等。S200 將多個子塊數據進行并行處理。并行處理單元各自得到冗余存儲的子塊數據后，進行并行處理。上述并行數據處理方法，由于子塊數據冗余存儲了并行處理時所需的其他子塊數據的邊界數據，在并行處理時不需要從其他子塊數據獲得，因此可以節約數據傳輸時等待的時間，提高并行處理的效率。如圖4所示，為一實施例的并行處理系統。該系統包括數據分割模塊100和并行處理單元200。數據分割模塊100將母數據進行冗余切割，使每個子塊數據冗余存儲與之相鄰的子塊數據中的邊界數據。其中冗余切割是指在數據分割時，將分割的邊界拓展預設的寬度。數據分割采用諸如文件分割、數據表分割以及數據矩陣分割等方式。并行處理單元200接受調度，并行處理子塊數據。并行處理單元300是進行并行計算、分布式計算、網絡計算、網格計算、云計算或海計算。如圖5所示，為另一實施例的并行處理系統。該系統包括數據分割模塊100’、數據交換模塊200’以及并行處理單元300。數據分割模塊100’將母數據進行無冗余切割，無冗余切割是指按照傳統的數據分割方式對母數據進行分割，被分割成的子塊數據之間無數據冗余。分割方式可采用諸如文件分割、數據表分割以及數據矩陣分割等方式。數據交換模塊200’將相鄰的子塊數據的邊界數據相互交換并進行冗余存儲。各子塊數據之間相互傳遞交換邊界數據并整合到自己的邊界數據中，其中數據交換可采用消息傳遞技術、文件傳輸技術等。并行處理單元300接受調度，并行處理子塊數據。并行處理單元300是進行并行計算、分布式計算、網絡計算、網格計算、云計算或海計算。以上所述實施例僅表達了本發明的幾種實施方式，其描述較為具體和詳細，但并不能因此而理解為對本發明專利范圍的限制。應當指出的是，對于本領域的普通技術人員來說，在不脫離本發明構思的前提下，還可以做出若干變形和改進，這些都屬于本發明的保護范圍。因此，本發明專利的保護范圍應以所附權利要求為準。
權利要求
1.一種數據區域重疊的邊界數據零通信并行計算方法，包括如下步驟將待處理的母數據分割成多個子塊數據，其中每個子塊數據冗余存儲與之相鄰的子塊數據中的邊界數據；將多個子塊數據進行并行處理。
2.如權利要求1所述的數據區域重疊的邊界數據零通信并行計算方法，其特征在于，所述將待處理的母數據分割成多個子塊數據的步驟中，對母數據采用冗余切割，使切割后的子塊數據包含冗余的邊界數據。
3.如權利要求1所述的數據區域重疊的邊界數據零通信并行計算方法，其特征在于，所述將待處理的母數據分割成多個子塊數據的步驟具體包括將母數據進行無冗余切割；相鄰的子塊數據之間相互獲取邊界數據并進行冗余存儲。
4.如權利要求1所述的數據區域重疊的邊界數據零通信并行計算方法，其特征在于，所示并行處理是并行計算、分布式計算、網絡計算、網格計算、云計算或海計算的子步驟。
5.一種數據區域重疊的邊界數據零通信并行計算系統，包括數據分割模塊，用于將母數據進行冗余切割，使每個子塊數據冗余存儲與之相鄰的子塊數據中的邊界數據；并行處理單元，用于接受調度，并行處理子塊數據。
6.如權利要求5所示的數據區域重疊的邊界數據零通信并行計算系統，其特征在于，所述并行處理單元用于進行并行計算、分布式計算、網絡計算、網格計算、云計算或海計算。
7.一種數據區域重疊的邊界數據零通信并行計算系統，包括數據分割模塊，用于將母數據進行無冗余切割；數據交換模塊，用于將相鄰的子塊數據的邊界數據相互交換并進行冗余存儲；并行處理單元，用于接受調度，并行處理子塊數據。
8.如權利要求7所示的數據區域重疊的邊界數據零通信并行計算系統，其特征在于，所述并行處理單元用于進行并行計算、分布式計算、網絡計算、網格計算、云計算或海計算。
全文摘要
本發明公開一種數據區域重疊的邊界數據零通信并行計算方法，包括將待處理的母數據分割成多個子塊數據，其中每個子塊數據冗余存儲與之相鄰的子塊數據中的邊界數據；將多個子塊數據進行并行處理。還公開一種數據區域重疊的邊界數據零通信并行計算系統，包括數據分割模塊，用于將母數據進行冗余切割；并行處理單元，用于并行處理子塊數據。以及一種數據區域重疊的邊界數據零通信并行計算系統，包括數據分割模塊，用于將母數據進行無冗余切割；數據交換模塊，用于將相鄰的子塊數據的邊界數據相互交換并進行冗余存儲；并行處理單元，用于并行處理子塊數據。上述方法和系統可以節約數據傳輸時等待的時間，提高并行處理的效率。
文檔編號H04L12/56GK102393851SQ20111020904
公開日2012年3月28日 申請日期2011年7月25日 優先權日2011年7月25日
發明者朱定局, 李朝暉 申請人:中國科學院深圳先進技術研究院, 北京大學