MonetDB分布式計算存儲方法
【技術領域】
[0001]本發明是一種數據存儲方法，特別是涉及一種MonetDB分布式計算存儲方法。
【背景技術】
[0002]MonetDB是一種專用于數據統計分析的開源數據庫，支持mult1-funnel，用于代理客戶端的請求，代理的請求轉發到底層的數據節點執行，但是代理功能非常單一，使用場景受限，并且存在如下缺點:1.限于將數據轉發到所有的底層數據節點執行并返回所有節點運行的結果。也即是沒有路由選擇算法，選擇哪個節點運行，因此目前的技術只能用作負載均衡和數據復制場景。2.-funnel節點和monetdbd節點沒有HA機制。存在單點故障。如果能解決現有技術的問題，在MonetDB中實現數據節點的選擇，則可以實現分布式計算存儲，增強MonetDB的功能。在實現MonetDB分布式計算存儲的同時，除了需要解決數據路由算法的問題，還需要解決高可用的問題。
[0003]對比技術:CN102591978A，開日期2012年7月18日，公開內容:本發明屬于電子文本拷貝檢測技術領域，具體為一種針對大規模文檔集中兩兩文檔間進行拷貝檢測的分布式索引建立以及分發方法和一種分布式文本拷貝檢測系統。所述方法是將整個文檔集上的拷貝檢測分割成個若干的子任務，每個子任務中只用到單個計算機節點中保存的文檔和整個文檔集所有文檔集的一部分文檔組成的索引，從而使得每個子任務可以在單獨的節點上運行，減小了網絡開銷。系統基于Map-Reduce技術，使用Apache的開源軟件項目Hadoop提供的分布式計算存儲框架，具有良好的可擴展性，適合處理大規模文本集上的拷貝檢測，電子文本數據集通過磁盤等介質作為輸入進入到拷貝檢測系統，系統由多臺計算機組成的集群對電子文本數據進行處理，將互為拷貝的文檔對結果以文件形式輸出到磁盤上。此技術方案不能實現MonetDB分布式計算存儲，也無法解決數據路由算法和可用的問題。
【發明內容】
[0004]本發明的目的是為解決目前的技術方案存在不能實現MonetDB分布式計算存儲，也無法解決數據路由算法和可用的問題，提供一種MonetDB分布式計算存儲方法。
[0005]本發明解決其技術問題所采用的技術方案是:一種MonetDB分布式計算存儲方法，其特征在于:包括基于P2P通訊的glusterfs節點以及HA的部署步驟、monetdbd節點以及HA部署步驟、m-funnel節點以及HA部署步驟和分布式計算存儲的部署步驟，
[0006]所述glusterfs節點以及HA的部署步驟包括以下子步驟:
[0007]glusterfs節點子步驟一，分布式系統添加glusterfs節點peer，
[0008]glusterfs節點子步驟二:創建文件系統，倉Il建目錄用作brick，所有節點的brick組成大的存儲池，
[0009]glusterfs節點子步驟三:設置glusterfs的復制份數、條帶和權限，
[0010]glusterfs節點子步驟四:挑選2個或2個以上的glusterfs節點作為nfs的服務端節點，完成HA布置[0011 ] glusterf s節點子步驟五:配置這幾個節點的虛擬IP，并配置虛擬IP的failover，確定主節點和備節點，
[0012]glusterf s節點子步驟六:monetdbd節點使用這些虛擬IP存儲HA，掛載glusterfsnfs 存儲；
[0013]所述monetdbd節點以及HA部署步驟包括以下子步驟:
[0014]monetdbd節點子步驟一:monetdbd節點使用glusterfs的虛擬IP掛載glusterfsnfs 存儲，
[0015]monetdbd節點子步驟二:在nfs上初始化數據庫集群，
[0016]monetdbd節點子步驟三:主節點啟動數據庫集群，并創建數據庫，
[0017]monetdbd 節點子步驟四:配置 discovery，sharedtag ;
[0018]monetdbd節點子步驟五:配置HA，多臺主機共享數據庫集群文件，在同一時間點，只有主節點啟動monetdbd進程和虛擬IP，當主節點故障時，切換到備節點，由備節點啟動monetdbd進程，并啟動虛擬IP，
[0019]monetdbd節點子步驟六:虛擬IP被用于m-funnel連接；
[0020]所述m-funnel節點以及HA部署步驟包括以下子步驟:
[0021]m-funnel節點子步驟一:初始化數據庫集群
[0022]m-funnel節點子步驟二:啟動數據庫集群，倉Il建m-funnel代理數據庫
[0023]m-funnel節點子步驟三:配置HA，在若干臺主機上創建對應的若干個m-funnel代理數據庫，
[0024]m-funnel節點子步驟四:配置haproxy，代理客戶端請求，將客戶端分發到各個m-funnel 節點，
[0025]m-funnel節點子步驟五:配置haproxy的后端探測，當m-funnel節點探測失敗時，不與這個節點建立新的會話，知道m-funnel節點重新探測成功才允許繼續向這個節點建立會話，配置負載均衡算法，
[0026]m-funnel節點子步驟六:配置haproxyHA，當haproxy主節點故障時，虛擬IP切換到haproxy備節點；
[0027]所述分布式計算存儲的實現步驟包括以下步驟:
[0028]分布式計算存儲子步驟一:在所有的monetdbd節點創建元數據表，插入元數據，元數據包含當前節點號，節點列表，節點個數，節點列表和節點個數一致，
[0029]分布式計算存儲子步驟二:在所有的monetdbd節點創建動態接口函數，動態接口函數由人工設定，
[0030]分布式計算存儲子步驟三:在所有的monetdbd節點創建靜態接口函數，靜態接口函數由人工設定，
[0031]分布式計算存儲子步驟四:客戶端連接到haproxy代理端口，測試接口函數。
[0032]本發明主要的創新點為1.在MonetDB的數據節點實現數據選擇路由算法，讓MonetDB支持分布式計算存儲，2.路由算法支持靜態選擇和動態選擇，可用支持更多的應用場景，靜態路由算法指用戶在調用接口函數時指定運行節點，動態路由算法指根據傳入的變量值和路由選擇函數決定運行的節點，3.為了提高MonetDB分布式計算存儲系統的可用性，為各個組件提供HA功能，解決了 MonetDB分布式計算存儲系統單點故障的問題，與傳統的MonetDBm-funnel相比帶來的效果為傳統的m-funnel技術，只能實現所有數據節點執行，不能選擇數據節點執行，應用場景比較單一，只能應用于例如負載均衡和數據復制的場景，不能用于大數據場景，本發明解決了數據節點路由選擇的問題，擴展了 m-funnel的應用場景。
[0033]作為優選，在glusterfs節點子步驟一中，分布式系統添加glusterfs節點peer后，為了提高1PS能力，使用fIashcache或bcache技術，將SSD設備作為讀寫緩存設備。
[0034]作為優選，所述配置負載均衡算法為隨機算法和權重算法。
[0035]作為優選，所述元數據表中必須選擇一個靜態字段作為哈希函數接收的變量。
[0036]作為優選，所述monetdbd的路由功能主要包含以下組件:
[0037]組件一:哈希函數，用于接收一個變量，輸出一個哈希值，
[0038]組件二:節點選擇函數，用于接收哈希值，計算并返回節點號，
[0039]組件三:動態接口函數，用于接收用戶傳入值，負責具體的邏輯，并返回用戶傳入值，此組件的用戶傳入值包含節點選擇函數名、節點選擇函數變量和其他設定的變量，
[0040]組件四:靜態接口函數，用于接收用戶傳入值，負責具體的邏輯，
[0041]組件五:元數據表、存儲當前節點號、節點列表和節點個數。
[0042]本發明的實質性效果是:1.同樣可以應用在負載均衡場景和數據復制場景，2.還可以應用在大數據分布式存儲的場景，并行計算場景，3.利用路由選擇算法，將數據分布存儲，實現線性的性能提升。
【附圖說明】
[0043]圖1為本發明中的整體架構圖；
[0044]圖2為本發明中的MonetDB HA架構圖；
[0045]圖3為本發明中動態接口函數邏輯圖；
[0046]圖4為本發明中靜態接口函數邏輯圖；
[0047]圖5為本發明中哈希函數輸入輸出圖；
[0048]圖6為本發明中節點選擇函數輸入輸出圖。
【具體實施方式】
[0049]下面通過具體實施例，并結合附圖，對本發明的技術方案作進一步的具體說明。
[0050]實施例:
[0051]一種MonetDB分布式計算存儲方法(參見附圖1、附圖2附圖3和附圖4、圖5、圖6)，包括基于P2P通訊的glusterfs節點以及HA的部署步驟、monetdbd節點以及HA部署步驟、m-funnel節點以及HA部署步驟和分布式計算存儲的部署步驟，
[0052]所述glusterfs節點以及HA的部署步驟包括以下子步驟:
[0053]glusterfs節點子步驟一，分布式系統添加glusterfs節點peer，
[0054]glusterfs節點子步驟二:創建文件系統，倉Il建目錄用作brick，所有節點的brick組成大的存儲池，
[0055]glusterfs節點子步驟三:設置glusterfs的復制份數、條帶和權限，
[0056]glusterfs節點子步驟四:挑選2個或2個以上的glusterfs節點作為nfs的服務端節點，完成HA布置
[0057]glusterfs節點子步驟五:配置這幾個節點的虛擬IP