數據源融合的方法和裝置的制造方法
【技術領域】
[0001]本發明涉及數據分析技術領域，尤其涉及數據源融合的方法和裝置。
【背景技術】
[0002]大數據技術的發展為海量數據的分析提供了保證，使得機器生成的海量數據能夠得到有效的挖掘。
[0003]時間序列數據源是一類特殊的數據源，每條數據信息都有一個相應的時間戳，各條數據信息按照時間戳的先后順序排列。當今社會基礎設施十分發達，互聯網、物聯網、移動通訊、移動定位等系統廣泛存在，每時每刻機器產生海量的數據(Machine-generateddata)，這些數據從不同的角度反映了社會的方方面面，因此對機器生成的時間序列數據源分析是大數據分析的一個重要分支。
[0004]對不同機器生成的時間序列數據源作系統性的分析往往需要首先將不同機器生成的時間序列數據源進行融合，要求融合后的數據中各條數據信息仍然以時間戳的先后排序，這種融合后數據能夠直觀詳實地反映目標體的時空軌跡狀態。
[0005]然而現有時間序列數據源的融合技術對待融合的數據源的數據信息的時間戳要求嚴格、計算復雜、融合效率低。

【發明內容】

[0006]本發明的主要目的在于解決現有的數據源融合技術對待融合的數據源的數據信息的時間戳要求嚴格、計算復雜、融合效率低的技術問題。
[0007]為了實現上述目的，本發明提供一種數據源融合的方法，所述方法包括:
[0008]根據接收的融合指令，為每種待融合的數據源生成記錄有數據信息的時間戳的概要信息；
[0009]根據所述概要信息，將所有待融合的數據源的數據信息按照時間戳的先后順序排列融合。
[0010]優選地，所述根據所述概要信息，將所有待融合的數據源的數據信息按照時間戳的先后順序排列融合具體包括:
[0011]步驟一、計算時鐘步進值，根據當前待處理時鐘點和所述時鐘步進值計算下一步待處理時鐘點；
[0012]步驟二、在所述每種待融合的數據源中，提取時間戳處于所述當前待處理時鐘點和所述下一步待處理時鐘點之間的數據信息；
[0013]步驟三、將提取的所有數據信息，按時間戳的先后順序排列融合；判斷所有待融合的數據源內的數據信息是否全部融合完畢；若否，則返回步驟一；若是，則結束流程。
[0014]優選地，所述的數據源融合的方法，當所述時鐘步進值為第I?η個時鐘步進值，則所述計算時鐘步進值具體為:根據所有待融合的數據源中數據信息時間戳最早和最晚的時間點計算時鐘步進值；
[0015]當所述時鐘步進值為第m個時鐘步進值，則所述計算時鐘步進值具體為:根據第m-z個至第m-Ι個時鐘步進值，及第m-z個至第m_l個時鐘步進值對應的融合數據信息量和融合時間，計算第m個時鐘步進值；
[0016]其中，η為3?10的自然數，m為大于η的自然數，ζ為3?6的自然數。
[0017]優選地，所述的數據源融合的方法，步驟三中將提取的所有數據信息進行融合之前還包括:
[0018]將提取的所有數據信息轉換為設定的格式。
[0019]優選地，所述將提取的所有數據信息，按時間戳的先后順序排列融合具體包括:
[0020]采用線程迭代算法，將所有待融合的數據源中每兩種數據源中提取的數據信息，按時間戳的先后順序排列融合，形成多個融合數據；
[0021]將多個融合數據中每兩個融合數據進行進一步融合，直至融合為一個融合數據。
[0022]優選地，所述的數據源融合的方法，當待融合的數據源種類為奇數，在將所有待融合的數據源中每兩種數據源中提取的數據信息，按時間戳的先后順序排列融合之后還包括:
[0023]將剩余的一種數據源中提取的數據信息與所述多個融合數據中的一個融合數據進行融合。
[0024]優選地，所述的數據源融合的方法，還包括:
[0025]根據接收的融合指令，為每種待融合的數據源生成相應的數據融合進度表，并實時更新數據融合進度表。
[0026]此外，為實現上述目的，本發明還提供一種數據源融合的裝置，包括:
[0027]概要信息生成模塊，用于根據接收的融合指令，為每種待融合的數據源生成記錄有數據信息的時間戳的概要信息；
[0028]數據融合模塊，用于根據所述概要信息，將所有待融合的數據源的數據信息按照時間戳的先后順序排列融合。
[0029]優選地，所述數據融合模塊還包括:
[0030]計算單元，用于計算時鐘步進值，根據當前待處理時鐘點和所述時鐘步進值計算下一步待處理時鐘點；
[0031]數據提取單元，用于在所述每種待融合的數據源中，提取時間戳處于所述當前待處理時鐘點和所述下一步待處理時鐘點之間的數據信息；
[0032]數據融合單元，用于將提取的所有數據信息，按時間戳的先后順序排列融合；
[0033]循環控制單元，用于在數據融合單元將提取的所有數據信息按時間戳的先后順序排列融合后，判斷所有待融合的數據源內的數據信息是否全部融合完畢；若否，則返回依次調用計算單元、數據提取單元、數據融合單元執行各自相應的操作，直至所有待融合的數據源內的數據信息全部融合完畢。
[0034]優選地，所述計算單元，具體還用于當所述時鐘步進值為第I?η個時鐘步進值，則根據所有待融合的數據源中數據信息時間戳最早和最晚的時間點計算時鐘步進值；當所述時鐘步進值為第m個時鐘步進值，則根據第m-z個至第m-Ι個時鐘步進值，及第m_z個至第m-Ι個時鐘步進值對應的融合數據信息量和融合時間，計算第m個時鐘步進值；其中，η為3?10的自然數，m為大于η的自然數，ζ為3?6的自然數。
[0035]優選地，所述數據融合模塊還包括:
[0036]轉換單元，用于在將提取的所有數據信息融合之前，將所提取的所有數據信息轉換為設定的格式。
[0037]優選地，所述數據融合單元，具體用于采用線程迭代算法，將所有待融合的數據源中每兩種數據源中提取的數據信息，按時間戳的先后順序排列融合，形成多個融合數據；將多個融合數據中每兩個融合數據進行進一步融合，直至融合為一個融合數據。
[0038]優選地，所述數據融合單元，具體還用于當數據源種類為奇數，在將所有待融合的數據源中每兩種數據源中提取的數據信息，按時間戳的先后順序排列融合之后，將剩余的一種數據源中提取的數據信息與所述多個融合數據中的一個融合數據進行融合。
[0039]優選地，所述的數據源融合的裝置，還包括:
[0040]進度表生成模塊，用于根據接收的融合指令，為每種待融合的數據源生成相應的數據融合進度表，并實時更新數據融合進度表。
[0041]本發明所提供的數據源融合的方法和裝置，根據接收的融合指令，為每種待融合的數據源生成記錄有數據信息的時間戳的概要信息；根據所述概要信息，將所有待融合的數據源的數據信息按照時間戳的先后順序排列融合的方式，對待融合的數據源的數據信息的時間戳沒有要求，能夠實現多種不同種類的時間序列數據源融合，能有效利用待融合的數據源中數據信息的時間戳的排序特性，融合效率高，數據源融合的實現過程簡單、成本低。
【附圖說明】
[0042]圖1是本發明的數據源融合的方法第一實施例的流程圖；
[0043]圖2是圖1中步驟S20的細化流程示意圖；
[0044]圖3是本發明的數據源融合的裝置第一實施例的功能模塊示意圖；
[0045]圖4是圖3中數據融合模塊的細化功能模塊示意圖；
[0046]圖5是圖3中數據融合模塊的另一細化功能模塊示意圖；
[0047]圖6是本發明的數據源融合的裝置第二實施例的功能模塊示意圖。