一種海量位置簽到數據的可視化方法
【技術領域】
[0001] 本發明涉及地理信息可視化處理領域，特別涉及一種海量位置簽到數據的可視化 方法。 技術背景
[0002] 數據可視化起源于1960年計算機圖形學，采用計算機創建圖形圖表，通過可視 化，將數據的各種屬性和變量呈現出來。隨著數據采集設備和數據保存設備等計算機硬件 的發展，以及創建更復雜規模更大的數字模型的需求，于是乎發展了數據采集設備和數據 保存設備，需要更高級的計算機圖形學技術及方法來創建這些規模龐大的數據集。隨著數 據可視化平臺的拓展，應用領域的增加，表現形式的不斷變化，以及增加了諸如實時動態效 果、用戶交互使用等功能，數據可視化像所有新興概念一樣邊界在不斷擴大。
[0003] 針對大規模數據可視化的關鍵在于精簡的概括性及自然的交互性，通過對映射 (mapping)、交互（interaction)這兩個基本環節的設計來實現。映射是指將抽象數據轉換 為可視化表示的過程，例如通過顏色映射數值關系。通過設計準確巧妙的映射，可以將復雜 抽象的數據形象直觀地概括到一張或多張形象的圖中，有利于有效地理解數據；交互，是指 計算機對人所作出某種特定行為的反應。通過設計便捷有效的交互有利于人類自由地對復 雜數據進行探索。對于傳統數據而言，良好的映射與交互效果都可以很好地實現。但是，對 于海量異構數據，想要實現良好的映射與交互效果，無論是對算法設計還是硬件設施都提 出了更高的要求。
[0004] 地圖是一種簡便、直觀，也是目前非常流行的展現地理信息的可視化方式。它主要 根據地理位置的不同，將不同地區的數據展示在地圖上。當前，隨著移動互聯網的爆炸性發 展，我們可以越來越方便地獲取到更加精確的地理位置信息。在這大量地理數據的背后，還 有很多有意思的東西正等待著人們去挖掘發現。
[0005] 借助對地理信息大數據的可視化可以直觀地發現人類的空間行為特征。通過對不 同城市位置簽到數據的可視化可以清楚地看出人口空間分布和軌跡特征，這是傳統的人口 調查統計無法做到的。可以用來研宄群體活動的地理空間分布、聚落規模、區位、空間結構 及功能區分布。但是在現有技術中還沒有方法可以高效的將海量的簽到數據可視化。

【發明內容】

[0006] 發明目的：本發明的目的在于針對現有技術的不足，提出了一種能夠高效的、更加 直觀的反應數據規律分布的海量的簽到數據可視化方法。
[0007] 技術方案：本發明提供了一種海量位置簽到數據的可視化方法，包括以下步驟：
[0008] 步驟1 :從數據采集終端抓取位置簽到數據，將采集到的數據存儲到數據庫中；
[0009] 步驟2:對步驟1中采集到的位置簽到數據進行管理；
[0010] 步驟3 :根據需要采集地理范圍確定圖幅范圍；
[0011] 步驟4 :采用NodeCanvas技術繪制地理底圖；NodeCanvas是一種使用NodeJS實現 的Canvas后端繪圖技術。
[0012] 步驟5 :在步驟4中獲得地理地圖上繪制采集到的位置簽到數據并輸出結果圖 片；
[0013] 步驟6:輸出結果圖片。
[0014] 進一步，所述步驟2中的數據管理包括以下步驟：
[0015] 步驟201 :數據預處理；去除數據中重復的和無效的位置數據；
[0016] 步驟202 :根據位置數據的唯一標識符建立唯一值索引；
[0017] 步驟203 :建立空間索引。
[0018] 進一步，所述步驟3中確定圖幅范圍的方法，包括以下步驟：
[0019] 步驟301 :確定繪制地理范圍的最小包圍矩形；
[0020] 步驟302 :確定繪制圖幅的大小；
[0021] 步驟303 :確定圖幅左上角的坐標作為基準坐標。
[0022] 進一步，所述步驟4中的繪制地理底圖的方法，包括以下步驟：
[0023] 步驟401 :設置地理地圖邊線顏色、背景色和標注顏色；
[0024] 步驟402 :循環讀取地理底圖數據，其中地理數據中每個地理要素的經煒度信息 繪制地理底圖。
[0025] 進一步，所述步驟5中繪制采集到的位置簽到數據的方法包括以下步驟：
[0026] 步驟501 :從數據庫中讀取需要繪制的位置簽到數據；
[0027] 步驟502 :將位置簽到數據的經煒度坐標轉成圖幅像素坐標，在將轉換后的圖幅 像素坐標進行像素的海量的數據抽稀聚合；
[0028] 步驟503 :將位于同一像素位置數據的簽到次數求和；
[0029] 步驟504 :統計每一像素簽到次數的分布；
[0030]步驟505 :根據統計結果確定簽到次數到顏色映射；
[0031] 步驟506 :繪制位置簽到數據。
[0032] 進一步，所述簽到數據為興趣點（下文簡稱POI)數據。
[0033] 進一步，所述步驟2中采用MongoDB進行數據的存儲和管理。其中，MongoDB是一種 非關系數據庫芒果數據庫。采用MongoDB存儲管理海量的P0I簽到數據，利用MongoDBNoSQL 設計方式，可以更加靈活的操作數據，對于大數據處理MongoDB選擇最大程度的利用內存 資源作為緩存提高性能，解決大數據可視化中數據讀取的問題。
[0034] 有益效果：與現有技術相比，本發明可以根據不同的比例尺進行可視化，可視化效 果美觀，直觀體現數據的分布規律。同時，本發明能夠更加靈活的操作數據，有效解決了大 數據可視化中數據讀取的問題。使用本方法進行海量數據的可視化方法更加簡單，繪圖效 率高，易于實現，效果好，能夠繪制復雜圖形。再者，本發明對于海量數的繪制采用了一種基 于像素的數據抽稀聚合算法，該算法可以大大減少數據量而且不影響數據的可視化效果。
【附圖說明】
[0035] 圖1為本發明的流程示意圖；
[0036] 圖2為實施例的圖幅范圍示意圖；
[0037] 圖3為實施例的繪制地理底圖結果；
[0038] 圖4為實施例的可視化結果圖。
【具體實施方式】
[0039] 以下結合附圖和實例對本發明的實施作進一步說明，但本發明的實施和包含不限 于此。
[0040] 如圖1所示，本發明提供的一種海量位置數據的可視化方法，包括以下步驟：其 中，本發明利用新浪微博興趣點（下文簡稱POI)簽到數據作為實驗數據。
[0041] 步驟1:數據獲取；該步驟包括以下步驟：
[0042] 步驟101 :抓取新浪微博POI簽到數據，具體實施時，根據新浪微博編寫爬蟲程 序，其中，API為應用程序編程接口，抓取全國范圍的內的所有POI數據；
[0043] 步驟102:將數據存儲到MongoDB數據庫中。選擇具有空間數據引擎功能的任意 一種數據庫存儲抓取的P0I數據。
[0044] 步驟2 :數據的管理；主要包括以下步驟：
[0045] 步驟201 :數據預處理，預處理主要去除數據中重復的和無效的位置數據；
[0046] 步驟202 :根據數據的興趣點序號（簡稱為POI ID)建立唯一索引，抓取的微博數 據具有P0IID字段，P0IID字段是P0I的唯一標識符，在MongoDB數據庫中，以P0IID建立 唯一索引的命令為：
[0047] db. weibo. ensurelndex ({POIid:1}, {unique:true})；
[0048] 其含義為：使用數據庫命令工具以POIID建立唯一值索引
[0049] 步驟203 :建立空間索弓丨；在MongoDB中空間數據以GeoJSON格式的地理要素 格式存儲，其中，GeoJSON是一種對各種地理數據結構進行編碼的格式。根據位置（簡稱 location)字段建立空間索引的命令如下：
[0050] db. weibo. ensurelndex({〈location field>:〃2dsphere〃})；
[0051] 其含義為：根據location字段建立空間索引命令行代碼。
[0052] 步驟3 :確定圖幅范圍；主要包括以下步驟：
[0053] 步驟301:確定繪制地理范圍的最小包圍矩形；計算需要繪制地理邊界 的范圍，本實例以江蘇省為例，起始經煒度為（116. 3672,30. 7562)終止經煒度為 (122. 0032, 35. 1233)
[0054] 步驟302 :確定繪制圖幅的大小；首先確定圖幅的縮放等級，縮放等級為繪制比例 尺的一種計算方法，一個縮放等級對應一個比例尺，取值為在〇?20之間進行圖像繪制。本 實例采用Google地圖切片方案作為標準，根據地圖的縮放等級和地圖范圍確定所繪
[0055] 制區域包含的瓦片行列號。其中與經煒度坐標轉成Google瓦片坐標系的公式為：
【主權項】
1. 一種海量位置簽到數據的可視化方法，其特征在于：包括w下步驟： 步驟1;從數據采集終端抓取位置簽到數據，將采集到的數據存儲到數據庫中； 步驟2 ;對步驟1中采集到的位置簽到數據進行管理； 步驟3 ;根據需要采集地理范圍確定圖幅范圍； 步驟4 ;采用NodeCanvas技術繪制地理底圖； 步驟5 ;在步驟4中獲得地理地圖上繪制采集到的位置簽到數據； 步驟6;輸出結果圖片。
2. 根據權利要求1所述的海量位置簽到數據的可視化方法，其特征在于：所述步驟2 中的數據管理包括W下步驟： 步驟201 ;數據預處理；去除數據中重復的和無效的位置數據； 步驟202 ;根據位置數據的唯一標識符建立唯一值索引； 步驟203 ;建立空間索引。
3. 根據權利要求1所述海量位置簽到數據的可視化方法，其特征在于：所述步驟3中 確定圖幅范圍的方法，包括W下步驟： 步驟301 ;確定繪制地理范圍的最小包圍矩形； 步驟302 ;確定繪制圖幅的大小； 步驟303 ;確定圖幅左上角的坐標作為基準坐標。
4. 根據權利要求1所述海量位置簽到數據的可視化方法，其特征在于：所述步驟4中 的繪制地理底圖的方法，包括W下步驟： 步驟401 ;設置地理地圖邊線顏色、背景色和標注顏色； 步驟402 ;循環讀取地理底圖數據中的每個地理要素的經紳度信息繪制地理底圖。
5. 根據權利要求1所述海量位置簽到數據的可視化方法，其特征在于：所述步驟5中 繪制采集到的位置簽到數據的方法包括W下步驟： 步驟501 ;從數據庫中讀取需要繪制的位置簽到數據； 步驟502 ;將位置簽到數據的經紳度坐標轉成圖幅像素坐標，在將轉換后的圖幅像 素坐標進行像素的海量的數據抽稀聚合. 步驟503 ;將位于同一像素位置數據的簽到次數求和； 步驟504 ;統計每一像素簽到次數的分布； 步驟505 ;根據統計結果確定簽到次數到顏色映射； 步驟506 ;繪制位置簽到數據。
6. 根據權利要求1所述海量位置簽到數據的可視化方法，其特征在于；所述簽到數據 為興趣點數據。
7. 根據權利要求1所述海量位置簽到數據的可視化方法，其特征在于：所述步驟2中 采用MongoDB進行數據的存儲和管理。
【專利摘要】本發明公布了一種海量位置簽到數據的可視化方法，包括以下步驟：步驟1：從數據采集終端抓取位置簽到數據，將采集到的數據存儲到數據庫中；步驟2：對步驟1中采集到的位置簽到數據進行管理；步驟3：根據需要采集地理范圍確定圖幅范圍；步驟4：采用NodeCanvas技術繪制地理底圖；步驟5：在步驟4中獲得地理地圖上繪制采集到的位置簽到數據；步驟6：輸出結果圖片。本發明可以根據不同的比例尺進行可視化，可視化效果美觀，直觀體現數據的分布規律。同時，本發明能夠更加靈活的操作數據，有效解決了大數據可視化中數據讀取的問題。使用本方法進行海量數據的可視化方法更加簡單，繪圖效率高，易于實現，效果好，能夠繪制復雜圖形。
【IPC分類】G06F17-30
【公開號】CN104537024
【申請號】CN201410799227
【發明人】李正學, 許捍衛, 徐靜波, 金文韜, 王海君
【申請人】河海大學
【公開日】2015年4月22日
【申請日】2014年12月19日