一種信令數據的預處理方法
【專利摘要】本發明公開了一種信令數據的預處理方法，包括以下步驟：監測信令采集層的FTP接口機的新增信令文件、信令數據傳輸到信令共享層的Buffer、Buffer中信令數據清洗和轉換。該一種信令數據的預處理方法與現有技術相比，信令數據從信令采集層傳輸到信令共享層在寫入文件之前即進行數據預處理操作，避免信令文件在預處理過程中的二次讀取，有效節省了整個信令數據處理的時間，實用性強。
【專利說明】一種信令數據的預處理方法

【技術領域】
[0001]本發明涉及移動通信行業信令監測技術，具體地說是一種實用性強、信令數據的預處理方法。

【背景技術】
[0002]移動通信網絡的發展不斷增速，網絡內各類設備混合組網，網絡結構日趨復雜，網內業務種類也不斷更新，隨著網絡規模不斷擴大、用戶數量增加，每分鐘都會產生大量的信令數據，對信令信息的采集、存庫和處理效率等都提出了更高的要求。
[0003]在一個通信信令監測平臺中，信令采集層，主要是從移動通信網中取得原始的信令數據，并向匯聚設備傳送所需的數據，通過分流、分光、分路等方式，實現對現網中傳送的原始信令編碼的采集，并在采用規定的格式進行封裝后向信令共享層傳送，以備解析處理，具備一定的存儲能力。信令共享層，主要功能是接收從采集層匯聚設備發送到來的信令數據，進行數據清洗按照特定格式入庫，并對全量信令數據進行解析。
[0004]按照傳統的技術架構，信令數據在信令采集層主要匯總到[嚇①丨匕1以118？61~^1-0^0001)接口機上，每當有新的信令數據文件的被生成的時候，都要將信令文件由接口機通過冗？傳輸協議傳送到數據共享層，然后再重新讀取傳輸過來的信令文件進行數據清洗等預處理。由于移動用戶的增長和通信業務的擴展，信令數據會越來越大，傳統方法難以滿足實時性處理的需求，基于此，現提供一種可有效解決上述難題的信令數據的預處理方法，該方法避免信令文件在預處理過程中的二次讀取，有效節省了整個信令數據處理的時間。


【發明內容】

[0005]本發明的技術任務是針對以上不足之處，提供一種實用性強、信令數據的預處理方法。
[0006]一種信令數據的預處理方法，其具體實現過程為:
1?監測信令采集層的接口機的新增信令文件；
2)信令數據傳輸到信令共享層的811打:信令數據傳輸到信令共享層之前首先寫入到811打中暫存，然后信令數據采用協議傳輸；
3)81:^61-中信令數據清洗和轉換:匹配811打中暫存的信令數據的換行符，獲取一行數據，對每行數據進行字段分割，然后獲取字段清洗轉換規則對每行數據進行數據清洗和轉換操作，然后將清洗和轉換之后的數據寫入到信令共享層本地文件；
4)釋放內存811打跳轉到步驟1),繼續對信令采集層的接口機進行新增文件的監控。
[0007]所述步驟1)的詳細過程為:定時監控信令采集層？I？接口機中是否有新的信令文件生成，如果有則獲取新增的文件名稱，在信令共享層的存儲中新建同名信令文件，然后啟動數據抽取任務。
[0008]所述步驟2)的詳細過程為:
一、在信令共享層開辟一塊內存811打61~；
二、通過傳輸協議將信令采集層接口機中的新增文件通過數據流的形式傳輸到內存811打61~中，填滿811打61'，然后執行步驟3中的數據進行清洗和轉換；如果未填滿，說明信令采集層中的信令文件已經讀取完畢，然后執行步驟3)和步驟4)；
三、當信令采集層信令文件未讀取完畢:通過尋找換行符的方式獲取存儲在內存中的一行信令數據，如果811打61~中的數據不滿一行則清空811打61'，將這些不滿一行的數據重新存儲在811打中，然后執行步驟一，否則執行步驟四；
信令采集層信令文件讀取完畢:通過尋找換行符的方式獲取存儲在內存81！打虹中的一行信令數據，如果811打中的數據滿足一行，執行步驟四，否則將未滿一行的信令數據寫入到錯誤日志中，然后跳轉到步驟4)；
四、將獲取的一行數據按照字段分割符分割字段。
[0009]所述步驟3)的詳細過程為:獲取信令數據清洗轉換規則，對字段分割之后的數據進行字段清洗和轉換，轉換成功則將這行數據以文件流的形式寫到步驟1)新建的信令文件中，轉換失敗則將錯誤原因寫到錯誤日志中；當信令采集層信令文件未讀取完畢，最后跳轉到步驟三，否則跳轉到步驟4?。本發明的一種信令數據的預處理方法，具有以下優點:
該發明的一種信令數據的預處理方法可以縮短整個信令預處理的流程，提高處理效率；信令數據從信令采集層傳輸到信令共享層在寫入文件之前即進行數據預處理操作，避免信令文件在預處理過程中的二次讀取，有效節省了整個信令數據處理的時間，實用性強，適用范圍廣泛，易于推廣。

【專利附圖】

【附圖說明】
[0010]附圖1為本發明預處理實現流程圖。

【具體實施方式】
[0011]下面結合附圖和具體實施例對本發明作進一步說明。
[0012]傳統的信令文件由信令采集層的？I？接口機傳輸到信令共享層之后，再次讀取傳輸過來的信令文件，對信令進行清洗和轉換的操作，本發明提出一種信令數據的預處理方法，該方法考慮到信令從冗？接口機傳輸到信令共享層會新建文件流將傳輸過來的數據通過文件流寫入到文件的特點，在數據寫入文件之前首先寫入到內存811打中，對內存
中的數據進行清洗等預處理，然后將811打中的數據通過文件流寫入到數據共享層的文件，該方法可以縮短整個信令預處理的流程，提高處理效率。即信令數據從信令采集層傳輸到信令共享層在寫入文件之前即進行數據預處理操作，避免信令文件在預處理過程中的二次讀取，有效節省了整個信令數據處理的時間。如附圖1所示，其具體實現過程為:
1)監測信令采集層的接口機的新增信令文件；
2)信令數據傳輸到信令共享層的811打:信令數據傳輸到信令共享層之前首先寫入到811打中暫存，然后信令數據采用協議傳輸；
3)81:^61-中信令數據清洗和轉換:匹配811打中暫存的信令數據的換行符，獲取一行數據，對每行數據進行字段分割，然后獲取字段清洗轉換規則對每行數據進行數據清洗和轉換操作，然后將清洗和轉換之后的數據寫入到信令共享層本地文件；
4)釋放內存811打跳轉到步驟1 ),繼續對信令采集層的接口機進行新增文件的監控。
[0013]進一步的，上述步驟的詳細過程為:
1、定時監控信令采集層冗？接口機中是否有新的信令文件生成，如果有則獲取新增的文件名稱，在信令共享層的存儲中新建同名信令文件，然后啟動數據抽取任務；
2、在信令共享層開辟一塊內存811打；
3、通過傳輸協議將信令采集層接口機中的新增文件通過數據流的形式傳輸到內存811打61~中，填滿811打61'，然后執行步驟4-6對811打61~中的數據進行清洗和轉換；如果未填滿，說明信令采集層中的信令文件已經讀取完畢，然后執行步驟4-7 ；
4、信令采集層信令文件未讀取完畢:通過尋找換行符的方式獲取存儲在內存81！打虹中的一行信令數據，如果811打中的數據不滿一行則清空811打61'，將這些不滿一行的數據重新存儲在811打中，然后執行步驟3，否則執行步驟5 ；
信令采集層信令文件讀取完畢:通過尋找換行符的方式獲取存儲在內存81！打虹中的一行信令數據，如果811打中的數據滿足一行，執行步驟5，否則將未滿一行的信令數據寫入到錯誤日志中，然后跳轉到步驟7 ；
5、將獲取的一行數據按照字段分割符分割字段；
6、獲取信令數據清洗轉換規則，對字段分割之后的數據進行字段清洗和轉換，轉換成功則將這行數據以文件流的形式寫到步驟1新建的信令文件中，轉換失敗則將錯誤原因寫到錯誤日志中；
如果信令采集層信令文件未讀取完畢，最后跳轉到步驟4，否則跳轉到步驟7 ；
7、釋放內存811打跳轉到步驟1，繼續對信令采集層的接口機進行新增文件的監控。
[0014]上述【具體實施方式】僅是本發明的具體個案，本發明的專利保護范圍包括但不限于上述【具體實施方式】，任何符合本發明的一種信令數據的預處理方法的權利要求書的且任何所述【技術領域】的普通技術人員對其所做的適當變化或替換，皆應落入本發明的專利保護范圍。
【權利要求】
1.一種信令數據的預處理方法，其特征在于，其具體實現過程為: O監測信令采集層的FTP接口機的新增信令文件； 2)信令數據傳輸到信令共享層的Buffer:信令數據傳輸到信令共享層之前首先寫入到Buffer中暫存，然后信令數據采用FTP協議傳輸； 3)Buffer中信令數據清洗和轉換:匹配Buffer中暫存的信令數據的換行符，獲取一行數據，對每行數據進行字段分割，然后獲取字段清洗轉換規則對每行數據進行數據清洗和轉換操作，然后將清洗和轉換之后的數據寫入到信令共享層本地文件； 4)釋放內存Buffer，跳轉到步驟I)，繼續對信令采集層的FTP接口機進行新增文件的監控。
2.根據權利要求1所述的一種信令數據的預處理方法，其特征在于，所述步驟I)的詳細過程為:定時監控信令采集層FTP接口機中是否有新的信令文件生成，如果有則獲取新增的文件名稱，在信令共享層的存儲中新建同名信令文件，然后啟動數據抽取任務。
3.根據權利要求2所述的一種信令數據的預處理方法，其特征在于，所述步驟2)的詳細過程為: 一、在信令共享層開辟一塊內存Buffer； 二、通過FTP傳輸協議將信令采集層FTP接口機中的新增文件通過數據流的形式傳輸到內存Buffer中，填滿Buffer，然后執行步驟3)對Buffer中的數據進行清洗和轉換；如果Buffer未填滿，說明信令采集層中的信令文件已經讀取完畢，然后執行步驟3)和步驟4); 三、當信令采集層信令文件未讀取完畢:通過尋找換行符的方式獲取存儲在內存Buffer中的一行信令數據，如果Buffer中的數據不滿一行則清空Buffer，將這些不滿一行的數據重新存儲在Buffer中，然后執行步驟一，否則執行步驟四； 信令采集層信令文件讀取完畢:通過尋找換行符的方式獲取存儲在內存Buffer中的一行信令數據，如果Buffer中的數據滿足一行，執行步驟四，否則將未滿一行的信令數據寫入到錯誤日志中，然后跳轉到步驟4); 四、將獲取的一行數據按照字段分割符分割字段。
4.根據權利要求3所述的一種信令數據的預處理方法，其特征在于，所述步驟3)的詳細過程為:獲取信令數據清洗轉換規則，對字段分割之后的數據進行字段清洗和轉換，轉換成功則將這行數據以文件流的形式寫到步驟I)新建的信令文件中，轉換失敗則將錯誤原因寫到錯誤日志中；當信令采集層信令文件未讀取完畢，最后跳轉到步驟三，否則跳轉到步驟4)0
【文檔編號】H04W24/02GK104507107SQ201410791579
【公開日】2015年4月8日 申請日期:2014年12月19日 優先權日:2014年12月19日
【發明者】曹連超, 辛國茂, 亓開元, 李占強, 劉偉, 盧軍佐 申請人:浪潮電子信息產業股份有限公司