專利名稱:基于消息中間件的井場數據遠程傳輸系統的制作方法
技術領域:
本實用新型涉及石油井場數據傳輸技術領域,確切地說涉及一種基于消息中間件技術,能夠確保大量實時數據穩定可靠、及時、安全的遠程傳輸系統。
背景技術:
石油井場分布在野外,且較零散,環境惡劣,網絡通信和交通條件較差。在石油鉆 井的過程中,有大量的寶貴數據產生,一種以錄井數據為主的實時數據,另一種以井場業務 相關的各類報表所需的非實時數據。石油鉆井的地質預報和工程預報、地質分析、單井評 價,區域評價等都依賴這兩類數據,如果將它們實時遠程傳輸到基地中心,那么基地端的各 類專家和高性能的設備等優越條件將對井場各類問題診斷、解決方案制定、風險控制,以及 科學研究都有很重要的作用。其中,實時數據的采集周期為1秒/次,采集參數100個左右, 若300個井場同時傳輸數據,那么每天數據量為25GB左右,可見實時數據量為海量,而且要 求數據準確可靠,數據不失真,因為在事故分析和預警報警時要求苛刻。關于非實時數據, 其實時性要求低,每天傳輸數次,數據量較大,數據要求準確無誤。目前,現有的井場數據遠程傳輸通道有ADSL有線方式,以及GPRS、CDMA、3G、衛星 通信等無線通道。現有的井場數據遠程傳輸方式均采用這些通道自身的傳輸模式,未采用 第三方軟件確保數據傳輸的準確性、可靠性和安全性等。從而出現數據傳輸時斷時續,接收 的數據不完整、不準確,數據傳輸延時長等現象,因此這類傳輸方式很難滿足基地中心對井 場數據,特別是實時性數據的應用要求。消息中間件技術是將信息以消息的形式,從一個應用程序傳送到另一個或多個應 用程序的。主要功能是在應用程序之間提供可靠的消息傳送,這些消息可以在不同的網絡 協議、不同的計算機系統和不同的應用軟件之間傳遞;實現消息異步接受,類似手機短信的 行為,消息發送者不需要等待消息接受者的響應,減少軟件多系統集成的耦合度;實現消息 可靠接收,確保消息在中間件可靠保存,只有接收方收到后才刪除消息,多個消息也可以組 成原子事務。其應用領域涉及金融、電信、交通、能源、電子政務等高端客戶,也包括大量中 小企業客戶。在現有技術中,作者為“校景中、陳德棟、王忠仁、羅濤和蔡利平”,文獻來源為“石 油工業計算機應用”,出版日期為2003年3月的期刊文件中公開了一篇題名為“消息型中間 件傳輸機制分析及在石油行業的應用”的期刊文件,該期刊文件內容涉及“中間件作為一種 位于應用系統和操作系統之間的基礎軟件,為應用系統屏蔽系統平臺的差異,并且為應用 提供一致的API接口,從而使分布式應用具有很好的可移植性和可靠性。中間件在石油行 業的應用也越來越廣泛。本文詳細闡述了 TongLink/Q所提供的可靠消息傳輸機制。”但上述期刊文件沒有解決消息中間件技術應用到石油井場數據傳輸中存在的多 種困難,例如如何建立井場端的消息中間件子節點,如何建立基地端的消息中間件父節點, 以及如何利用該子節點和父節點來進行數據的傳輸等等,而采用現有的井場數據遠程傳輸 模式,數據傳輸的準確性、可靠性和安全性都無法得到有效保障,從而出現數據傳輸時斷時續,接收的數據不完整、不準確,數據傳輸延時長等現象,因此現有傳輸方式很難滿足基地 中心對井場數據,特別是實時性數據的應用要求。
實用新型內容為解決上述技術問題,本實用新型提出了一種基于消息中間件的井場數據遠程傳 輸系統,采用本實用新型,能更加穩定、及時、準確、可靠、安全的實現井場數據的遠程傳輸, 將消息中間件技術運用到井場數據遠程傳輸中,提高了井場數據遠程傳輸的質量、效率和 安全性,滿足了基地中心對井場數據實時需要的要求本實用新型是通過采用下述技術方案實現的一種基于消息中間件的井場數據遠程傳輸系統,其特征在于包括采集并發送井 場實時數據的井場實時數據采集模塊,采集并發送井場業務數據的井場業務數據上報模 塊,與數據采集模塊和井場業務數據上報模塊連接,且接收和處理所述井場實時數據和井 場業務數據的消息中間件子節點,與消息中間件子節點連接并用于井場實時數據和井場業 務數據傳輸的傳輸通道,與傳輸通道連接,且接收數據的消息中間件父節點,和與消息中間 件父節點連接并主動讀取由消息中間件父節點所接收數據包,且存儲到基地中心的實時數 據庫和業務關系數據庫中的數據讀寫模塊,同時,井場業務數據沿著數據讀寫模塊、基地端 的消息中間件父節點、傳輸通道、井場端的消息中間件子節點、井場實時數據采集模塊或井 場業務數據上報模塊這樣的順序,從基地中心傳輸到井場方向。所述井場實時數據采集模塊,安裝運行在井場端的工控機或單片機上,用于不同 型號錄井儀采集數據的實時捕獲,將數據處理成統一標準格式,最后主動將捕獲數據包發 送到所述消息中間件子節點。所述井場業務數據上報模塊,安裝運行在井場端的工控機上,用于日常井場業務 數據的補錄或遷移,然后主動將獲得的數據包一塊發送到所述消息中間件子節點。所述井場端的消息中間件子節點,安裝運行在井場端的工控機或單片機上,用于 將人工錄入或遷移導入的各類井場業務數據及實時采集的井場實時數據主動發送,包括系 統設置模塊、用于數據斷點進行續傳的斷點續傳模塊、用于數據加密處理的數據加密模塊、 用于傳輸數據的數據傳輸模塊和消息隊列設置模塊,所述系統設置模塊包括IP地址設置 模塊、傳輸通道設置模塊、緩沖池設置模塊,分別實現井場端IP地址、傳輸通道和緩沖池大 小的設置或選擇,所述消息隊列設置模塊配置了 3個消息隊列實時數據傳輸隊列、業務數 據傳輸隊列和業務數據接收隊列。所述井場業務數據括結構化數據和以文檔、圖片為主的非結構化數據。所述傳輸通道是數據通信傳輸的通道,分有線和無線方式,其中有線方式為ADSL 方式,無線方式包括GPRS、CDMA、3G或衛星通信方式。所述基地端的消息中間件父節點,安裝運行在基地中心的服務器上,包括子節點 管理模塊、數據包設置模塊、數據解密模塊、消息隊列設置模塊;子節點管理模塊負責消息 中間件子節點的配置管理,數據包設置模塊負責數據包大小、優先級的設置,數據解密模塊 負責數據包的解密功能;所述消息隊列設置模塊配置了 3個消息隊列實時數據接收隊列、 業務數據接收隊列、業務數據發送隊列。所述數據讀寫模塊,采用服務程序的方式,用于錄井實時數據和業務數據從消息中間件接受數據寫庫及讀庫,所述服務程序是指在系統后臺運行的軟件程序,服務程序有3 類實時數據寫庫服務、業務數據寫庫服務和實時數據讀庫服務。所述實時數據寫庫服務,用于基地端消息中間件父節點中的實時數據的接收,并 寫入到實時數據庫對應的位置。所述業務數據寫庫服務,用于基地端消息中間件父節點中的業務數據的接收,并 寫入到ORACLE數據庫對應的表中。所述實時數據讀庫服務,用于實時數據庫對應的位置數據讀出,并將數據發布出 去供其它軟件接口使用。本實用新型的有益效果表現在1、與現有技術相比,本實用新型采用“井場實時數據采集模塊和井場業務數據上 報模塊分別將采集到的井場實時數據和井場業務數據主動發送到所述井場端的消息中間 件子節點,經消息中間件子節點處理后的數據包通過傳輸通道傳輸到基地端的消息中間件 父節點,然后,經所述數據讀寫模塊主動從消息中間件父節點中讀取數據包,并存儲到基地 中心的實時數據庫和業務關系數據庫中”這樣的技術方案,可為海量的井場實時數據和業 務數據提供更加穩定、及時、準確、可靠、安全的遠程傳輸功能,將消息中間件技術運用到井 場數據遠程傳輸中,提高了井場數據遠程傳輸的質量、效率和安全性,滿足了基地中心對井 場數據實時需要的要求。2、消息中間件子節點包括用于數據斷點進行續傳的斷點續傳模塊,從而具有斷點 續傳的功能,能夠滿足基地中心對井場實時數據和井場業務數據的多方位需求。3、采用本實用新型中所述的井場端的消息中間件子節點和與其匹配設置的基地 端的消息中間件父節點,能更加穩定、及時、準確、可靠、安全的實現井場數據的遠程傳輸, 將消息中間件技術運用到井場數據遠程傳輸中,提高了井場數據遠程傳輸的質量、效率和 安全性,滿足了基地中心對井場數據實時需要的要求。
下面將結合說明書附圖和具體實施方式
對本實用新型作進一步的詳細說明,其 中圖1為本實用新型的系統邏輯構成圖圖2為本實用新型的系統流程圖
具體實施方式
實施例1如圖1所示,本實用新型由井場實時數據采集模塊、井場業務數據上報模塊、井場 端的消息中間件子節點、傳輸通道、基地端的消息中間件父節點、數據讀寫模塊6部分組 成。井場實時數據采集模塊單向連接消息中間件子節點,井場業務數據上報模塊雙向連接 消息中間件子節點,傳輸通道雙向連接消息中間件子節點和父節點,實現數據通信,最后數 據讀寫模塊雙向連接消息中間件父節點。實施例2如圖2所示,井場實時數據采集模塊和井場業務數據上報模塊分別將采集的到井場實時數據和井場業務數據主動發送到井場端的消息中間件子節點,然后將數據包通過傳 輸通道傳輸到基地端的消息中間件父節點,如果傳輸通道正常,實現數據傳輸,若不正常, 將待傳輸的數據在本地緩存,待傳輸通道正常后斷點續傳,消息中間件父節點接收數據,數 據讀寫模塊主動從消息中間件父節點中讀取數據包,然后經過處理存儲到實時數據庫和業 務關系數據庫中;同時也可實現將數據從基地中心傳輸到井場方向的數據傳輸,從而實現 井場端與基地中心的雙向數據可靠、穩定、及時、安全的傳輸。實施例3 參照說明書附圖1和2,本實用新型一最佳實施方式包括井場實時數據采集模 塊、井場業務數據上報模塊、井場端的消息中間件子節點、傳輸通道、基地端的消息中間件 父節點、數據讀寫模塊,共計6部分組成。井場實時數據采集模塊和井場業務數據上報模塊 分別將采集到的井場實時數據和井場業務數據主動發送到井場端的消息中間件子節點,然 后將數據包通過傳輸通道傳輸到基地端的消息中間件父節點,數據讀寫模塊主動從消息中 間件父節點中讀取數據包,然后經過處理存儲到實時數據庫和業務關系數據庫中;同時也 可實現將井場業務數據從基地中心傳輸到井場方向的遠程數據傳輸,從而實現井場端與基 地中心的雙向數據可靠、穩定、及時、安全的傳輸。所述井場實時數據采集模塊,安裝運行 在井場端的工控機或單片機上,實現不同型號錄井儀采集數據的實時捕獲,將數據處理成 統一標準格式,最后主動將捕獲數據包發送到消息中間件子節點。所述井場業務數據上報 模塊,安裝運行在井場端的工控機上,實現將日常井場業務數據補錄或遷移到本程序中,然 后主動將獲得的數據包一塊發送到消息中間件子節點。所述井場端的消息中間件子節點, 安裝運行在井場端的工控機或單片機上,實現將人工錄入或遷移導入的各類井場業務數據 及實時采集的井場實時數據主動發送到消息中間件子節點,其中井場業務數據括結構化數 據和以文檔、圖片為主的非結構化數據。其特征在于包括系統設置模塊、斷點續傳模塊、 數據加密模塊、數據傳輸模塊、消息隊列設置模塊。其中系統設置模塊包括IP地址設置模 塊、傳輸通道設置模塊、緩沖池設置模塊,分別實現井場端IP地址、傳輸通道和緩沖池大小 的設置或選擇;配置3個消息隊列實時數據傳輸隊列、業務數據傳輸隊列、業務數據接收 隊列。所述傳輸通道是數據通信傳輸的通道,分有線和無線方式,其中有線方式為ADSL等 方式,網絡較穩定,但錄井井場大多在野外,很難采用有線方式;無線方式包括GPRS、CDMA、 3G、衛星通信等無線通道,但由于通信基站不一定覆蓋井場所在區域,一般情況下選用衛星 通道能夠滿足通信需求,需要添加衛星信息接收設備,通信費用較高。所述基地端的消息中 間件父節點,安裝運行在基地中心的服務器上,包括子節點管理模塊、數據包設置模塊、數 據解密模塊、消息隊列設置模塊。配置3個消息隊列實時數據接收隊列、業務數據接收隊 列、業務數據發送隊列。所述數據讀寫模塊,采用服務的方式,實現錄井實時和業務數據從 消息中間件接受數據寫庫及讀庫功能。服務是指在系統后臺運行的軟件程序,無用戶界面, 不需用戶干預。為此編寫的服務程序有3類實時數據寫庫服務、業務數據寫庫服務、實時 數據讀庫服務。實時數據寫庫服務,實現將基地端消息中間件父節點中的實時數據接受下 來,并寫入到實時數據庫對應的位置;業務數據寫庫服務,實現將基地端消息中間件父節點 中的業務數據接受下來,并寫入到ORACLE數據庫對應的表中,ORACLE數據庫為現有關系數 據庫技術,實現結構化數據的存儲和管理功能;實時數據讀庫服務,實現將實時數據庫對應 的位置數據讀出,并將其發布出去供其它軟件接口使用。
權利要求一種基于消息中間件的井場數據遠程傳輸系統,其特征在于包括采集并發送井場實時數據的井場實時數據采集模塊,采集并發送井場業務數據的井場業務數據上報模塊,與數據采集模塊和井場業務數據上報模塊連接,且接收和處理所述井場實時數據和井場業務數據的消息中間件子節點,與消息中間件子節點連接并用于井場實時數據和井場業務數據傳輸的傳輸通道,與傳輸通道連接,且接收數據的消息中間件父節點,和與消息中間件父節點連接并主動讀取由消息中間件父節點所接收數據包,且存儲到基地中心的實時數據庫和業務關系數據庫中的數據讀寫模塊。
2.根據權利要求1所述的基于消息中間件的井場數據遠程傳輸系統,其特征在于所 述井場實時數據采集模塊,安裝運行在井場端的工控機或單片機上,用于不同型號錄井儀 采集數據的實時捕獲,將數據處理成統一標準格式,最后主動將捕獲數據包發送到所述消 息中間件子節點。
3.根據權利要求1或2所述的基于消息中間件的井場數據遠程傳輸系統,其特征在于 所述井場業務數據上報模塊,安裝運行在井場端的工控機上,用于日常井場業務數據的補 錄或遷移,然后主動將獲得的數據包一塊發送到所述消息中間件子節點。
4.根據權利要求3所述的基于消息中間件的井場數據遠程傳輸系統,其特征在于所 述井場端的消息中間件子節點,安裝運行在井場端的工控機或單片機上,用于將人工錄入 或遷移導入的各類井場業務數據及實時采集的井場實時數據主動發送,包括系統設置模 塊、用于數據斷點進行續傳的斷點續傳模塊、用于數據加密處理的數據加密模塊、用于傳輸 數據的數據傳輸模塊和消息隊列設置模塊,所述系統設置模塊包括IP地址設置模塊、傳輸 通道設置模塊、緩沖池設置模塊,分別實現井場端IP地址、傳輸通道和緩沖池大小的設置 或選擇,所述消息隊列設置模塊配置了 3個消息隊列實時數據傳輸隊列、業務數據傳輸隊 列和業務數據接收隊列。
5.根據權利要求1或4所述的基于消息中間件的井場數據遠程傳輸系統,其特征在于 所述傳輸通道是數據通信傳輸的通道,分有線和無線方式,其中有線方式為ADSL方式,無 線方式包括GPRS、CDMA、3G或衛星通信方式。
6.根據權利要求5所述的基于消息中間件的井場數據遠程傳輸系統,其特征在于所 述基地端的消息中間件父節點,安裝運行在基地中心的服務器上,包括子節點管理模塊、數 據包設置模塊、數據解密模塊、消息隊列設置模塊;子節點管理模塊負責消息中間件子節點 的配置管理,數據包設置模塊負責數據包大小、優先級的設置,數據解密模塊負責數據包的 解密功能;所述消息隊列設置模塊配置了 3個消息隊列實時數據接收隊列、業務數據接收 隊列、業務數據發送隊列。
7.根據權利要求1或6所述的基于消息中間件的井場數據遠程傳輸系統,其特征在于 所述數據讀寫模塊,采用服務程序的方式,用于錄井實時數據和業務數據從消息中間件接 受數據寫庫及讀庫,所述服務程序是指在系統后臺運行的軟件程序,服務程序有3類實時 數據寫庫服務、業務數據寫庫服務和實時數據讀庫服務。
8.根據權利要求7所述的基于消息中間件的井場數據遠程傳輸系統,其特征在于所 述實時數據寫庫服務,用于基地端消息中間件父節點中的實時數據的接收,并寫入到實時 數據庫對應的位置。
9.根據權利要求7所述的基于消息中間件的井場數據遠程傳輸系統,其特征在于所述業務數據寫庫服務,用于基地端消息中間件父節點中的業務數據的接收,并寫入到 ORACLE數據庫對應的表中。
10.根據權利要求7所述的基于消息中間件的井場數據遠程傳輸系統,其特征在于所 述實時數據讀庫服務,用于實時數據庫對應的位置數據讀出,并將數據發布出去。
專利摘要本實用新型公開了一種基于消息中間件的井場數據遠程傳輸系統,涉及石油井場數據傳輸技術領域,包括采集并發送井場實時數據的井場實時數據采集模塊,采集并發送井場業務數據的井場業務數據上報模塊,與數據采集模塊和井場業務數據上報模塊連接,且接收和處理所述井場實時數據和井場業務數據的消息中間件子節點,與消息中間件子節點連接并用于井場實時數據和井場業務數據傳輸的傳輸通道,與傳輸通道連接,且接收數據的消息中間件父節點,和與消息中間件父節點連接并主動讀取由消息中間件父節點所接收數據包的數據讀寫模塊。采用本實用新型,能更加穩定、及時、準確、可靠、安全的實現井場數據的遠程傳輸。
文檔編號H04L12/58GK201766611SQ20102050716
公開日2011年3月16日 申請日期2010年8月26日 優先權日2010年8月26日
發明者吳大奎, 唐家瓊, 張輝, 戴勇, 李香華, 羅利, 邢會民, 韓永剛 申請人:中國石油集團川慶鉆探工程有限公司