專利名稱：監控數據比對的方法及系統的制作方法
技術領域：
本發明涉及到數據比對技術領域，特別涉及到一種監控數據比對的方法及系統。
背景技術：
現有技術中的數據系統中，采用粗放型的運行模式，主要可提供一些數據的查詢作用，比如在有事件發生時，可在數據系統中查詢該事件涉及人物等的相應信息。其不能提供主動的預警功能，不能起到主動防范作用，已經不符合發展需求，并且查詢速度較慢。

發明內容
本發明的主要目的為提供一種監控數據比對的方法，提升了系統的整體效率。本發明提出一種監控數據比對的方法，包括步驟 獲取比對源信息以及比對目標信息，根據預設比對方案進行比對；當比對成功時，進行報警。優選地，所述獲取比對源信息以及比對目標信息的步驟之前還包括分別建立比對源庫以及比對目標庫。優選地，所述預設比對方案中設置有比對源庫以及比對目標庫的增量碰撞比對。優選地，所述獲取比對源信息以及比對目標信息，根據預設比對方案進行比對的步驟具體包括 批量獲取比對源庫中的比對源信息與比對目標庫中的比對目標信息，分別建立比對源信息表以及比對目標信息表；根據所述比對源信息表、比對目標信息表以及預設比對方案進行批量比對。優選地，所述當比對成功時，進行報警的步驟具體包括分別對比對結果進行監控；當比對結果為成功時，進行報警，并將所述比對結果輸出。本發明還提出一種監控數據比對的系統，包括比對判斷單元，用于獲取比對源信息以及比對目標信息，根據預設比對方案進行比對；結果執行單元，用于當比對成功時，進行報警。優選地，所述系統還包括建庫單元，用于分別建立比對源庫以及比對目標庫。優選地，所述預設比對方案中設置有比對源庫以及比對目標庫的增量碰撞比對。優選地，所比對判斷單元具體包括批量獲取模塊，用于批量獲取比對源庫中的比對源信息與比對目標庫中的比對目標信息，分別建立比對源信息表以及比對目標信息表；批量比對模塊，用于根據所述比對源信息表、比對目標信息表以及預設比對方案進行批量比對。
優選地，所述結果執行單元具體包括結果監控模塊，用于分別對比對結果進行監控；報警輸出模塊，用于當比對結果為成功時，進行報警，并將所述比對結果輸出。本發明可通過實時的碰撞對比并產生預警，提升數據系統對監控對象的監控能力；還通過批量對比以 及增量對比等對比方式，提升了系統的整體效率。


圖I是本發明監控數據比對的方法一實施例中的步驟流程示意圖；圖2是本發明監控數據比對的方法另一實施例中的步驟流程示意圖；圖3是本發明監控數據比對的系統一實施例中的結構示意圖；圖4是本發明監控數據比對的系統一實施例中的另一結構示意圖；圖5是本發明監控數據比對的系統另一實施例中的結構示意圖。本發明目的的實現、功能特點及優點將結合實施例，參照附圖做進一步說明。
具體實施例方式應當理解，此處所描述的具體實施例僅僅用以解釋本發明，并不用于限定本發明。參照圖1，提出本發明一種監控數據比對的方法的一實施例。該方法可包括步驟S10、獲取比對源信息以及比對目標信息，根據預設比對方案進行比對；步驟SI I、當比對成功時，進行報警。本實施例中，可使用基礎網絡平臺，搭建由應用服務器、數據庫服務器以及存儲設備組成的硬件資源平臺。本實施例中，首先可分別建立比對源庫以及比對目標庫等數據庫。該比對源庫中包括比對源信息等數據。該比對目標庫中可包括比對目標信息等數據。上述各種數據的采集是以ETL (Extraction-Transformation-Loading,數據提取、轉換和加載)為核心，包含數據抽取、過濾清洗、轉換、整合加工等功能的數據提取處理，主要用于按照預先設計的數據抽取整合處理方案，執行從各種數據來源上提取新鮮數據，以及對數據進行清洗、轉換、傳輸、整合加工，并裝載數據到目標數據庫、記錄問題數據、記錄處理日志等一系列數據加工處理工作過程。數據整合處理過程應具有較好的可監控、可維護能力，可支持處理任務的安排調度管理，并可接受信息資源管理應用的運行監測。上述預設比對方案中的對象主要包括比對源表(比如比對源信息表)、比對目標表(比如比對目標信息表)、中標輸出、報警方式、比對條件以及比對過濾表達式等。預設比對方案主要包括全局比對方案和即席比對方案。方案配置及方案加載過程中,全局比對方案加載方案中所有對象的信息，即席比對方案只加載比對目標表、比對條件以及中標輸出。比對任務通過比對方案和比對請求創建。由于即席比對方案屬個性化定制，方案配置不包括比對源對象、過濾表達式、報警方式，需要在創建即席比對任務時定制產生。上述預設比對方案中還設置有比對源庫以及比對目標庫的增量碰撞比對。上述比對還具有批量化以及實時、自動化等功能；該批量化即可將批量的比對源信息分別與比對目標信息進行比對，批量分別輸出比對結果；該實時、自動化即可實時更新的監控比對源庫(比對源信息)和比對目標庫，將兩者進行增量碰撞比對，如果發現比對源信息與比對目標庫有新數據并找到匹配數據，就把比對結果輸出。參照圖2，在本發明另一實施例中，上述步驟SlO具體可包括步驟S101、批量獲取比對源庫中的比對源信息與比對目標庫中的比對目標信息，分別建立比對源信息表以及比對目標信息表；步驟S102、根據所述比對源信息表、比對目標信息表以及預設比對方案進行批量比對。上述步驟Sll之后還包括步驟S111、分別對比對結果進行監控； 步驟S112、當比對結果為成功時，進行報警，并將所述比對結果輸出。由于比對源信息與比對目標信息的信息項可能存在差異，在將比對源信息與比對目標信息進行比對時，首先需分別建立比對源信息表以及比對目標信息表；該比對源信息表以及比對目標信息表的表結構一致。在比對時間，可并在比對源庫與比對目標庫之間建立比對任務。比對任務通過配置比對模型以及任務調度策略，可以實現比對源庫和比對目標庫的實時、定時和即時的增量碰撞比對，產生比對結果，并進行及時的報警提示；同時可自動的對各個比對任務和產生的比對結果以及資源庫數據增量情況進行監控。以下將上述監控數據比對的方法應用于比對系統為例，對上述方法作進一步說明。系統通過ETL工具或者請求服務平臺從相應的數據庫當中抽取相應數據，分別建立比對源庫和比對目標庫，并在兩庫之間建立比對任務。比對任務通過配置，可以實現比對源庫和比對目標庫的實時的增量碰撞比對，產生比對結果，并進行及時的報警提示；系統同時會自動的對各個比對任務和產生的比對結果進行監控。系統將產生的比對結果按配置自動的分發到責任終端，并根據比對結果進行關聯軌跡分析，根據研判分析結果采取相應的處置措施，并將處置結果進行通報，自動報警。在進行比對前，可通過調度器實現對比對請求進行負載的控制，在負載限度內接受比對請求，并生成一條比對任務；在達到滿負荷時，拒絕接受請求；在生成比對任務后，將該比對任務存儲到比對任務表中，并分配資源執行比對任務，以及控制比對任務的運行，即控制比對任務的暫停、繼續以及停止等。執行比對任務時，可通過比對引擎實現將比對任務中的比對源信息批量發送到比對目標庫中，查找匹配的軌跡記錄，如果比對成功可將比對結果輸出到填充器中。然后通過填充器將中標(比對成功)后根據比對結果進行數據補全。當比對引擎產生比對成功的比對結果后，由比對引擎通知填充器開始工作，填充器根據比對引擎所得到比對結果集中所包含的比對目標信息表主鍵信息。再通過處理器將比對成功的比對結果存儲到中標輸出表，并觸發報警器發送報警信息。參照圖3，提出本發明一種監控數據比對的系統20的一實施例。該系統20可包括比對判斷單元21以及結果執行單元22 ;該比對判斷單元21，用于獲取比對源信息以及比對目標信息，根據預設比對方案進行比對；該結果執行單元22，用于當比對成功時，進行報警。
本實施例中，可使用基礎網絡平臺，搭建由應用服務器、數據庫服務器以及存儲設備組成的硬件資源平臺。參照圖4，上述系統20還包括建庫單元23，用于分別建立比對源庫以及比對目標庫。本實施例中，首先可分別建立比對源庫以及比對目標庫等數據庫。該比對源庫中包括比對源信息等數據，其數據可主要通過業務系統中采集獲取。該比對目標庫中可包括比對目標信息等數據，其數據可通過業務系統以及社會信息數據庫中采集獲取。上述各種數據的采集是以ETL為核心，包含數據抽取、過濾清洗、轉換、整合加工等功能的數據提取處理，主要用于按照預先設計的數據抽取整合處理方案，執行從各種數據來源上提取新鮮數據，以及對數據進行清洗、轉換、傳輸、整合加工，并裝載數據到目標數據庫、記錄問題數據、記錄處理日志等一系列數據加工處理工作過程。數據整合處理過程應具有較好的可監控、可維護能力，可支持處理任務的安排調度管理，并可接受信息資源管理應用的運行監測。 上述預設比對方案中的對象主要包括比對源表(比如比對源信息表)、比對目標表(比如比對目標信息表)、中標輸出、報警方式、比對條件以及比對過濾表達式等。預設比對方案主要包括全局比對方案和即席比對方案。方案配置及方案加載過程中,全局比對方案加載方案中所有對象的信息，即席比對方案只加載比對目標表、比對條件以及中標輸出。比對任務通過比對方案和比對請求創建。由于即席比對方案屬個性化定制，方案配置不包括比對源對象、過濾表達式、報警方式，需要在創建即席比對任務時定制產生。上述預設比對方案中還設置有比對源庫以及比對目標庫的增量碰撞比對。上述比對還具有批量化以及實時、自動化等功能；該批量化即可將批量的比對源信息分別與比對目標信息進行比對，批量分別輸出比對結果；該實時、自動化即可實時更新的監控比對源庫(比對源信息)和比對目標庫，將兩者進行增量碰撞比對，如果發現比對源信息與比對目標庫有新數據并找到匹配數據，就把比對結果輸出。參照圖5，上比對判斷單元21具體包括批量獲取模塊211以及批量比對模塊212;該批量獲取模塊211，用于批量獲取比對源庫中的比對源信息與比對目標庫中的比對目標信息，分別建立比對源信息表以及比對目標信息表；該批量比對模塊212，用于根據所述比對源信息表、比對目標信息表以及預設比對方案進行批量比對。上述結果執行單元22具體包括結果監控模塊221以及報警輸出模塊222 ;該結果監控模塊221，用于分別對比對結果進行監控；該報警輸出模塊222，用于當比對結果為成功時，進行報警，并將所述比對結果輸出。由于比對源信息與比對目標信息的信息項可能存在差異，在將比對源信息與比對目標信息進行比對時，首先需分別建立比對源信息表以及比對目標信息表；該比對源信息表以及比對目標信息表的表結構一致。在比對時間，可并在比對源庫與比對目標庫之間建立比對任務。比對任務通過配置比對模型以及任務調度策略，可以實現比對源庫和比對目標庫的實時、定時和即時的增量碰撞比對，產生比對結果，并進行及時的報警提示；同時可自動的對各個比對任務和產生的比對結果以及資源庫數據增量情況進行監控。
以下將上述監控數據比對的系統20應用于比對系統為例，對上述系統20作進一步說明。系統通過ETL工具或者請求服務平臺從相應的數據庫當中抽取相應數據，分別建立比對源庫和比對目標庫，并在兩庫之間建立比對任務。比對任務通過配置，可以實現比對源庫和比對目標庫的實時的增量碰撞比對，產生比對結果，并進行及時的報警提示；系統同時會自動的對各個比對任務和產生的比對結果進行監控。系統將產生的比對結果按配置自動的分發到責任終端，并根據比對結果進行關聯軌跡分析，根據研判分析結果采取相應的處置措施，并將處置結果進行通報，自動報警。在進行比對前，可通過調度器實現對比對請求進行負載的控制，在負載限度內接受比對請求，并生成一條比對任務；在達到滿負荷時，拒絕接受請求；在生成比對任務后，將該比對任務存儲到比對任務表中，并分配資源執行比對任務，以及控制比對任務的運行，即控制比對任務的暫停、繼續以及停止等。 執行比對任務時，可通過比對引擎實現將比對任務中的比對源信息批量發送到比對目標庫中，查找匹配的軌跡記錄，如果比對成功可將比對結果輸出到填充器中。然后通過填充器將中標(比對成功)后根據比對結果進行數據補全。當比對引擎產生比對成功的比對結果后，由比對引擎通知填充器開始工作，填充器根據比對引擎所得到比對結果集中所包含的比對目標信息表主鍵信息。再通過處理器將比對成功的比對結果存儲到中標輸出表，并觸發報警器發送報警信息。以上所述僅為本發明的優選實施例，并非因此限制本發明的專利范圍，凡是利用本發明說明書及附圖內容所作的等效結構或等效流程變換，或直接或間接運用在其他相關的技術領域，均同理包括在本發明的專利保護范圍內。
權利要求
1.一種監控數據比對的方法，其特征在于，包括步驟 獲取比對源信息以及比對目標信息，根據預設比對方案進行比對； 當比對成功時，進行報警。
2.根據權利要求I所述的監控數據比對的方法，其特征在于，所述獲取比對源信息以及比對目標信息的步驟之前還包括 分別建立比對源庫以及比對目標庫。
3.根據權利要求2所述的監控數據比對的方法，其特征在于，所述預設比對方案中設置有比對源庫以及比對目標庫的增量碰撞比對。
4.根據權利要求I至3中任一項所述的監控數據比對的方法，其特征在于，所述獲取比對源信息以及比對目標信息，根據預設比對方案進行比對的步驟具體包括 批量獲取比對源庫中的比對源信息與比對目標庫中的比對目標信息，分別建立比對源信息表以及比對目標信息表； 根據所述比對源信息表、比對目標信息表以及預設比對方案進行批量比對。
5.根據權利要求4所述的監控數據比對的方法，其特征在于，所述當比對成功時，進行報警的步驟具體包括 分別對比對結果進行監控； 當比對結果為成功時，進行報警，并將所述比對結果輸出。
6.一種監控數據比對的系統，其特征在于，包括 比對判斷單元，用于獲取比對源信息以及比對目標信息，根據預設比對方案進行比對； 結果執行單元，用于當比對成功時，進行報警。
7.根據權利要求6所述的監控數據比對的系統，其特征在于，所述系統還包括 建庫單元，用于分別建立比對源庫以及比對目標庫。
8.根據權利要求7所述的監控數據比對的系統，其特征在于，所述預設比對方案中設置有比對源庫以及比對目標庫的增量碰撞比對。
9.根據權利要求6至8中任一項所述的監控數據比對的系統，其特征在于，所比對判斷單元具體包括 批量獲取模塊，用于批量獲取比對源庫中的比對源信息與比對目標庫中的比對目標信息，分別建立比對源信息表以及比對目標信息表； 批量比對模塊，用于根據所述比對源信息表、比對目標信息表以及預設比對方案進行批量比對。
10.根據權利要求9所述的監控數據比對的系統，其特征在于，所述結果執行單元具體包括 結果監控模塊，用于分別對比對結果進行監控； 報警輸出模塊，用于當比對結果為成功時，進行報警，并將所述比對結果輸出。
全文摘要
本發明揭示了一種監控數據比對的方法及系統。該方法可包括步驟獲取比對源信息以及比對目標信息，根據預設比對方案進行比對；當比對成功時，進行報警。本發明可通過實時的碰撞對比并產生預警，提升數據系統對監控對象的監控能力；還通過批量對比以及增量對比等對比方式，提升了系統的整體效率。
文檔編號G06F17/30GK102722521SQ201210122580
公開日2012年10月10日 申請日期2012年4月24日 優先權日2012年4月24日
發明者扈洪升 申請人:深圳市神盾信息技術有限公司