一種基于數據虛擬化的混合云計算管理系統的制作方法
【專利摘要】本發明提出一種基于數據虛擬化的混合云計算管理系統，在混合云應用服務層和混合云服務之間增加云數據虛擬化層，負責提供用戶數據訪問以及管理的服務；其特征在于，云數據虛擬化層包括數據連接模塊：負責與不同的數據源建立連接，并且管理不同的連接，優化網絡通信以及數據傳輸；數據集成模塊：負責為來自不同數據源的異構數據提供統一視圖，同時，根據上層應用的需求，來自不同數據源的數據進行不同的組合以及優化，形成不同的數據虛擬視圖；數據發布模塊：負責為數據虛擬池進行封裝，為上層應用提供可以統一訪問并且管理虛擬數據池的服務；通過數據發布，上層的服務獲取數據的元數據，得到當前數據的數據源、數據格式以及其他基本信息。
【專利說明】
一種基于數據虛擬化的混合云計算管理系統
技術領域
[0001]本發明涉及一種基于數據虛擬化的混合云計算管理系統，屬于云計算應用領域。技術背景
[0002]云計算經過將近八年的迅速發展，如今已由最初的公有云和私有云的單一服務迎來了新的衍生模式一“混合云”模式。在公有云誕生之前，大部分企業擁有自己的私有機房。隨著公有云的發展，中小企業可以不需要花費大量資金去購買計算、存儲以及網絡資源，而是根據自己的需求在公有云平臺上(如亞馬遜、阿里云等)租賃資源。同時，這些本身擁有數據中心資源的企業可以利用云端技術單獨搭建自己的私有云，提高資源的利用率。然而現在我們進入云計算的融合時代，單一服務形式并不能滿足企業的需求。比如，中小企業需要在不同地方部署自己的應用，可能需要租賃不同的公有云;大型企業如12306.cn為了應付峰時資源需求，可能也需要租賃公共云(阿里云)。公有云和私有云承載著不同的業務需求，但面對如今日益開放和細分的市場結構及業務模式，往往會束手無策。因此，混合云融合公有云以及私有云特點，取長補短，可以解決多層次、定制化等特殊業務需求的痛點。
[0003]然而，混合云不是私有云和公有云的簡單加法，無縫融合它們需要解決很多問題，其中最突出的問題就是云互操作性(Cloud Interoperability)。比如，公有云和私有云管理兩處不同的數據中心，都有自己的服務門戶，而且彼此對資源的使用方式也是不一樣的。如公有云通常是預付費模式，按需使用，而私有云通常是審批式的，不需要支付，只需要完成相應的申請流程。在混合云中，如何構建服務門戶的統一以及資源狀態監控的統一，需要不同云之間的互聯、可互操作。除了服務的統一，VPC(Virtual Private Cloud，虛擬私有云)互通也需要解決公有云和私有云的互操作問題，讓租戶可以在混合云中構建屬于自己的私有云。
[0004]傳統的方法解決云的互操作性主要是采用編程接口集成的方式，即抽象出公共的云操作接口，不同的云提供商用各自的編程接口實現這個公共操作接口，從而到達互通。不同廠商的數據有著不同的格式，不同的存儲訪問方式，編程接口集成相當于為不同廠商提供了一個相同的數據格式以及訪問方式，不同的廠商再各自轉化成各自的格式進行訪問或存儲。然而傳統的編程接口集成有很多問題，其中最突出的問題就是導致軟件模塊耦合度高，在云端難以擴展，可伸縮性(scalability)差。其次，編程接口集成耗費大量資源在數據格式轉化上，以及缺乏對數據結果質量的評估，在混合云通信環境下性能下降很快。
[0005]我們未發現目前有相關混合云系統運用數據虛擬化技術。現有的混合云方案絕大部分是基于統一技術的混合云融合，如企業的私有云和公有云都使用同一家云服務解決方案如IBM或者EMC。他們的解決方案不涉及異構云平臺之間的融合。我們基于數據虛擬化技術的混合云平臺可以一站式解決異構云平臺之間的互操作性問題，加速不同云平臺的之間的融合。

【發明內容】

[0006]本發明提出一種基于數據虛擬化的混合云計算管理系統，使得用戶能夠從一些服務、功能或其他資源的內部部署中對外部界面進行抽象化，極大的降低了軟件模塊之間的耦合性;這樣新的云平臺可以很快接入混合云平臺，同時減少混合云的開發、管理、以及維護的成本。
[0007]本發明一種基于數據虛擬化的混合云計算管理系統，在混合云應用服務層和混合云服務之間增加云數據虛擬化層，負責提供用戶數據訪問以及管理的服務;其特征在于，云數據虛擬化層包括數據連接模塊、數據集成模塊和數據發布模塊;其中:
[0008]數據連接模塊:負責與不同的數據源建立連接，并且管理不同的連接，優化網絡通信以及數據傳輸。
[0009]數據集成模塊:負責為來自不同數據源的異構數據提供統一視圖，包括傳統的數據抽取、轉化、加載以及不同數據格式之間的映射匹配；同時，根據上層應用的需求，來自不同數據源的數據進行不同的組合以及優化，形成不同的數據虛擬視圖；不同的虛擬視圖組成了數據虛擬池，管理不同的異構數據；
[0010]數據發布模塊:負責為數據虛擬池進行封裝，為上層應用提供可以統一訪問并且管理虛擬數據池的服務;通過數據發布，上層的服務獲取數據的元數據，得到當前數據的數據源、數據格式以及其他基本信息，方便上層應用的調用。
[0011]進一步地，數據連接模塊基于SOAP或者REST搭建WebService，或通過數據庫連接器直接連接關系型數據庫，實現運行在不同云端的不同應用可以輕松實現相互交換數據或集成，從而實現平臺的獨立性，以及低耦合。
[0012]本發明的有益效果:
[0013]本發明提出一種基于數據虛擬化技術混合云計算系統，數據虛擬化類似于資源虛擬化技術，提供一種允許用戶訪問、管理和優化異構基礎架構的方法，就好像它們是一種單一、且在邏輯上是統一的資源一樣。我們在混合云環境下運用數據虛擬化技術，這使得用戶能夠從一些服務、功能或其他資源的內部部署中對外部界面進行抽象化，極大的降低了軟件模塊之間的耦合性。
【附圖說明】
[0014]圖1為本發明實施方式的架構設計圖；
[0015]圖2為軟件模塊概要設計圖；
[0016]圖3為混合云計費管理設計圖。
【具體實施方式】
[0017]下面結合附圖和實施例對本發明作進一步說明。
[0018]本發明在數據源以及數據服務之間抽象出一層數據虛擬化層，如圖1架構設計所示。我們考慮一個實際的混合云環境部署案例，一個公司的私有云需要和兩個公有云服務商進行融合，以滿足其不同的服務需求。我們專利發明可以幫助這些企業在公有云和私有IT資源(私有云資源，或者僅僅是虛擬化、硬件資源)之上做統一管理和解決方案，提供技術和不同層次的服務支持。
[0019]如圖1所示，我們可以選取不同特點的云計算平臺組成混合云，實現優勢互補，滿足客戶多樣化的需求。比如，我們可以選取公有云I提供不同層次的平臺服務如軟件(SaaS，Software as a service)、平臺(PaaS,Platform as a Service)以及基礎設施(IaaS,Infrastructure as a Service);公有云2側重于云端數據存儲，部署不同類型的數據庫，如關系數據庫，Key-Value NoSQL數據庫以及HDFS;私有云則側重大量的企業級服務軟件(ERP)以及辦公自動化OA系統等。基于三種高度異構的平臺，我們抽象出一層數據虛擬化層，其思想和資源虛擬化類似，為用戶提供一種允許用戶訪問、管理和優化異構基礎架構的方法，就好像它們是一種單一、且在邏輯上是統一的資源一樣。具體來說，云數據虛擬化層在混合云應用服務層和混合云服務提供商之間增加了新的一層，負責提供用戶數據訪問以及管理的服務。如圖1所示，混合云管理服務層的應用服務(如用戶管理、計費管理、資源管理、服務管理、權限管理以及資源監控管理)就不需要知道數據存在哪以及具體存儲格式，而只需要和數據虛擬化層交互。因此，云數據虛擬化層極大降低了混合云服務應用集成部署的耦合性，加速混合云間的融合。
[0020]圖2具體給出了云數據虛擬化層的具體概要設計圖，主要包括以下三個核心模塊:
[0021](I)數據連接模塊:負責與不同的數據源建立連接，并且管理不同的連接，優化網絡通信以及數據傳輸。通常可以基于SOAP或者REST搭建Web Service，也可以通過數據庫連接器(如JDBC)等直接連接關系型數據庫，實現運行在不同云端的不同應用可以輕松實現相互交換數據或集成，從而實現平臺的獨立性，以及低耦合。
[0022](2)數據集成模塊:負責為來自不同數據源的異構數據提供一個統一的視圖，包括傳統的數據抽取、轉化、加載以及不同數據格式之間的映射匹配等。同時，根據上層應用的需求，來自不同數據源的數據將進行不同的組合以及優化，形成不同的數據虛擬視圖。不同的虛擬視圖從而組成了一個數據虛擬池，管理不同的異構數據。
[0023](3)數據發布模塊:主要為虛擬數據池進行封裝，為上層應用提供一個可以統一訪問并且管理虛擬數據池的服務。通過數據發布，上層的服務可以獲取數據的元數據，得只當前數據的數據源、數據格式以及其他基本信息，方便上層應用的調用。
[0024]除了以上三個核心服務模塊，云數據虛擬化層還提供一下6個優化模塊，提高數據訪問、查詢以及管理效率:
[0025](I)查詢優化器:針對對于復雜的數據查詢，實現查詢優化，其中考慮數據大小、位置以及網絡狀態等因素；
[0026](2)數據緩存模塊:針對不同數據的訪問頻率，建立數據緩存，使得常用的數據可以緩存在云數據虛擬化層，而不用每次都去云端數據源獲取，提高數據訪問效率；
[0027](3)元數據管理模塊:元數據用于描述來自不同的數據源的數據特征，需要發布給上層應用服務，方便其被訪問。元數據管理可以提高數據訪問效率，更好的為上層應用提供數據服務；
[0028](4)數據審查模塊:針對上層應用，可以制定不同數據的質量模型，根據質量模型，對數據進行審核，提高數據質量；
[0029](5)性能監控模塊:負責監控云數據虛擬化層訪問負荷，實時保證上層服務數據調用的響應水平，并對能夠檢測異常數據訪問，防護數據服務。
[0030](6)資源調度模塊:針對不同的系統調用請求，按需分配云數據虛擬化層資源，實現虛擬化層資源調用的彈性擴展。
[0031]以上模塊可以根據混合云服務應用的特點進行擴展，同時云數據虛擬化層可以支持其他優化模塊插件，方便用戶的擴展以及個性化需求。從圖2也可以看出，上層混合云管理應用主要涉及三個層次SaaS，PaaS以及IaaS，來獲取混合云中軟件、平臺以及基礎設施的不同的信息，方便混合云用戶以及管理員的使用和管理。我們云數據虛擬化層針對這三層服務推出的優化模塊可以高效的實現這些上層服務。而位于不同云端的服務如資源管理、身份管理以及數據庫，我們可以利用傳統的Web Service技術，將其封裝成開放、獨立以及低耦合的外部數據源服務。
[0032]以下，我們通過一個具體的混合云計費管理系統，具體說明如何實現本方法。對應圖2所示的云數據虛擬化層模塊設計圖，實施混合云計費管理系統的具體的步驟如下:
[0033](I)數據連接模塊負責管理與混合云下不同云平臺的連接，遠程獲取計費管理系統相關數據，如圖3所示，不同的云平臺有著不同的數據格式以及存儲方式。這些數據包括三部分，即用戶數據、賬單數據以及計費數據；
[0034](2)數據集成模塊首先抽取出元數據，交于云數據管理模塊。來自不同云平臺的數據存在巨大的異構性。不同的云計算平臺有著不同的客戶信息、不同的賬單格式以及不同的計費策略。舉個例子，如計費策略，云計算平臺會根據不同的產品(計算、存儲以及網絡等)有著不同的計費模型(階梯收費、流量收費以及會員收費等)。甚至，因為資源的地理位置不同，計費的標準也不一樣。利用元數據，我們建立異構數據之間的映射關系，形成虛擬數據視圖。云數據虛擬化層的所有虛擬視圖組成一個虛擬數據池；
[0035](3)數據發布模塊則將云虛擬化層所維護的虛擬數據池封裝發布，供上層應用提供一個統一的服務調用。我們同時提供查詢優化器以及數據緩存功能，提高用戶查詢數據的效率。
[0036]以上步驟可以看到異構系統的集成是很復雜的，傳統的方法要求開發人員需要十分熟悉每一個不同的云計算系統，從而增加了系統集成的復雜度以及時間成本。然而我們通過云數據虛擬化層可以封裝這些系統復雜性，為上層混合云應用的開發人員提供一個統一的數據視圖，從而不去了解具體的數據細節，如數據存在哪、如何存等。上層的服務如用戶管理、賬單管理、支付管理等都運行在由云數據虛擬化層提供的一個虛擬的數據池中，而具體的數據獲取、集成以及發布由數據虛擬化層的各個模塊完成。
[0037]從混合云計費管理的實際部署案例，原有的軟件開發周期縮短了三分之一，后期的維護成本也大大降低。同時，我們發現，不同云計算提供商的數據的改變對我們混合云的管理是幾乎沒有影響。我們只需要更新數據連接方式以及相應的通信格式，而不需要對上層應用做出修改。因此，云數據虛擬化層為不同的云服務提供商以及混合云應用提供了很好的隔離性，降低對云服務提供商的依賴；同時也能更加靈活迅速的接入新的云服務提供商。
【主權項】
1.一種基于數據虛擬化的混合云計算管理系統，在混合云應用服務層和混合云服務之間增加云數據虛擬化層，負責提供用戶數據訪問以及管理的服務;其特征在于，所述的云數據虛擬化層包括數據連接模塊、數據集成模塊和數據發布模塊;其中， 數據連接模塊:負責與不同的數據源建立連接，并且管理不同的連接，優化網絡通信以及數據傳輸。 數據集成模塊:負責為來自不同數據源的異構數據提供統一視圖，包括傳統的數據抽取、轉化、加載以及不同數據格式之間的映射匹配；同時，根據上層應用的需求，來自不同數據源的數據進行不同的組合以及優化，形成不同的數據虛擬視圖；不同的虛擬視圖組成了數據虛擬池，管理不同的異構數據； 數據發布模塊:負責為數據虛擬池進行封裝，為上層應用提供可以統一訪問并且管理虛擬數據池的服務;通過數據發布，上層的服務獲取數據的元數據，得到當前數據的數據源、數據格式以及其他基本信息，方便上層應用的調用。2.如權利要求1所述的一種基于數據虛擬化的混合云計算管理系統，其特征在于，進一步地，數據連接模塊基于SOAP或者REST搭建Web Service，或通過數據庫連接器直接連接關系型數據庫，實現運行在不同云端的不同應用可以輕松實現相互交換數據或集成，從而實現平臺的獨立性，以及低耦合。3.如權利要求1或2所述的一種基于數據虛擬化的混合云計算管理系統，其特征在于，進一步地，該管理系統還包括查詢優化器，負責復雜的數據查詢，實現查詢優化，包括基于數據大小、位置以及網絡狀態因素的查詢。4.如權利要求1或2所述的一種基于數據虛擬化的混合云計算管理系統，其特征在于，進一步地，該管理系統還包括數據緩存模塊，負責針對不同數據的訪問頻率，建立數據緩存，使得常用的數據可以緩存在云數據虛擬化層，而不用每次都去云端數據源獲取，提高數據訪問效率。5.如權利要求1或2所述的一種基于數據虛擬化的混合云計算管理系統，其特征在于，進一步地，該管理系統還包括元數據管理模塊，元數據用于描述來自不同的數據源的數據特征，需要發布給上層應用服務，方便其被訪問，元數據管理可以提高數據訪問效率，更好的為上層應用提供數據服務。6.如權利要求1或2所述的一種基于數據虛擬化的混合云計算管理系統，其特征在于，進一步地，該管理系統還包括數據審查模塊，負責針對上層應用制定不同數據的質量模型，并根據質量模型，對數據進行審核，提高數據質量。7.如權利要求1或2所述的一種基于數據虛擬化的混合云計算管理系統，其特征在于，進一步地，該管理系統還包括性能監控模塊，負責監控云數據虛擬化層訪問負荷，實時保證上層服務數據調用的響應水平，并對能夠檢測異常數據訪問，防護數據服務。8.如權利要求1或2所述的一種基于數據虛擬化的混合云計算管理系統，其特征在于，進一步地，該管理系統還包括資源調度模塊，負責針對不同的系統調用請求，按需分配云數據虛擬化層資源，實現虛擬化層資源調用的彈性擴展。
【文檔編號】H04L29/08GK105915588SQ201610210949
【公開日】2016年8月31日
【申請日】2016年4月6日
【發明人】莊浩, 張繼勇
【申請人】易云捷訊科技（北京）股份有限公司