全媒體檢測及監播大數據行為智能分析系統的制作方法
【專利摘要】本發明公開了一種全媒體檢測及監播大數據行為智能分析系統，它涉及一種全媒體監測系統。它包括輿情采集層、輿情處理層和輿情表現層，輿情采集層與輿情處理層相連，輿情處理層通過輿情表現層呈現；所述的輿情采集層指分布式定向采集引擎從互聯網上采集新聞、論壇、博客、微博、平媒、問答等輿情信息，并存儲到分布式數據庫及文件系統中。本發明實現對媒體監測大數據進行數據內容、語義、描述進行分析，建立基于媒體的數據分析模型、媒體大數據結構和內容分析的多層次描述方法，實現了超大規模媒體數據內概念分析模型，是一個全媒體數據內容理解的數據行為智能分析系統。
【專利說明】全媒體檢測及監播大數據行為智能分析系統

【技術領域】
[0001]本發明涉及的是全媒體監測系統，具體涉及一種全媒體監測系統。

【背景技術】
[0002]目前國內大多數網絡輿情信息監測系統，都是基于客戶所需要的需求，定制相關關鍵詞，通過各種技術抓取和人工生產各種監測新聞數據，都是基于信息本身的。而沒有一個是基于媒體分析的，多層次、多角度對媒體數據的內容、語義、描述進行分析，建立媒體分析模型，研宄媒體數據的概念表示、事件提取、多角度語義表述、結構組織、內容分析的多層次結構化描述方法，建立超規模媒體內容深度分析的概念模型，為媒體大數據的內容理解奠定基礎。
[0003]國內現有的媒體監測數據都源于網絡，對于全媒體數據而言這里只占25-30%，而70-75%的信息，例如平面媒體出于對發行量的考慮，大量信息不會出現在網絡版上面；再如大量的廣播電視和報刊廣告，因為大量占有空間不會長期存在網絡上面。因此，常常出現很多想要的信息在網絡上面查詢不到，影響到信息的全面性、完整性，從而影響決策的正確性。這是因特網信息長期以來沒有解決，也不可能解決的問題。


【發明內容】

[0004]針對現有技術上存在的不足，本發明目的是在于提供一種全媒體檢測及監播大數據行為智能分析系統，實現對媒體監測大數據進行數據內容、語義、描述進行分析，建立基于媒體的數據分析模型、媒體大數據結構和內容分析的多層次描述方法，實現了超大規模媒體數據內概念分析模型，是一個全媒體數據內容理解的數據行為智能分析系統。
[0005]為了實現上述目的，本發明是通過如下的技術方案來實現:全媒體檢測及監播大數據行為智能分析系統，包括輿情采集層、輿情處理層和輿情表現層，輿情采集層與輿情處理層相連，輿情處理層通過輿情表現層呈現。
[0006]所述的輿情采集層指分布式定向采集引擎從互聯網上采集新聞、論壇、博客、微博、平媒、問答等輿情信息，并存儲到分布式數據庫及文件系統中。
[0007]所述的輿情處理層(相關算法)指對采集的輿情信息進行智能處理。輿情應用指把經過智能分析加工處理的輿情數據發布到Web界面上并展示給用戶。
[0008]所述的輿情表現層是指用戶通過輿情應用平臺瀏覽系統采集的各種輿情信息，也可通過簡報生成等功能完成對輿情的深度加工。
[0009]本發明具有以下有益效果:
[0010]1、準確性，能夠準確地發現網絡輿情話題，結果與客觀實際及用戶感受符合程度尚;
[0011]2、時效性，及時發現新的輿情話題，并對敏感信息進行預警；
[0012]3、持續性，即能追蹤已知話題的后續相關報道，掌握其發展趨勢；
[0013]4、可定制性，即能夠根據用戶的自定義需求，對重點話題進行聚焦監測；
[0014]5、全面性，即能夠對監測范圍內的多種類型、多種來源的網絡輿情數據進行統一分析，確保監測結果與實際情況相符。

【專利附圖】

【附圖說明】
[0015]下面結合附圖和【具體實施方式】來詳細說明本發明；
[0016]圖1為本發明的結構示意圖。

【具體實施方式】
[0017]為使本發明實現的技術手段、創作特征、達成目的與功效易于明白了解，下面結合【具體實施方式】，進一步闡述本發明。
[0018]參照圖1，本【具體實施方式】采用以下技術方案:全媒體檢測及監播大數據行為智能分析系統，包括輿情采集層1、輿情處理層2和輿情表現層3，輿情采集層I與輿情處理層2相連，輿情處理層2通過輿情表現層3呈現。
[0019]所述的輿情采集層I指分布式定向采集引擎從互聯網上采集新聞、論壇、博客、微博、平媒、問答等輿情信息，并存儲到分布式數據庫及文件系統中。
[0020]所述的輿情處理層2 (相關算法)指對采集的輿情信息進行智能處理。輿情應用指把經過智能分析加工處理的輿情數據發布到Web界面上并展示給用戶。
[0021]所述的輿情表現層3是指用戶通過輿情應用平臺瀏覽系統采集的各種輿情信息，也可通過簡報生成等功能完成對輿情的深度加工。
[0022]本【具體實施方式】的輿情采集層I在互聯網輿情信息采集方面，輿情采集引擎通過自動匹配技術可以精確抽取網頁的標題、正文、發布時間、作者等，同時過濾廣告(圖片或flash)、版權、干擾字符等無用信息。
[0023]支持基于模板的元數據解析:本輿情系統采用基于模版的元數據解析策略，能對采集的網頁信息進行精確的數據抽取，對于新聞網頁，可以解析出來源作者、發布時間、新聞標題、新聞作者，對于論壇貼子可以解析出發貼人、發貼時間、貼子主題、貼子內容、點擊數等元數據。
[0024]內嵌Javascript腳本解析引擎:本輿情監測采集系統內嵌了 javascript腳本解析引擎，能夠實現網頁中腳本語言的自動解析和執行，從而能夠實現對基于腳本語言的論壇、博客、新聞評論網站的采集。
[0025]支持微博采集:本輿情監測系統支持對國內新浪、騰訊、網易、搜狐4大主流微博以及境外Twitter的數據實時采集。
[0026]支持全網采集:本輿情監測系統支持全網采集功能，能將用戶定義的關鍵字自動發送到Google、Bing、Yahoo等搜索引擎并返回結果，全網搜索功能是對定向搜索的有力補充，這樣系統能滿足定向精確采集和廣度多面采集的需求。
[0027]本【具體實施方式】的輿情處理層2在網絡輿情分析和加工方面，系統采用文本智能挖掘技術，實現對海量輿情信息的準確、高效分析和管理。
[0028]分類輿情功能:對實時采集自新聞、論壇、博客、微博、視頻、境外等不同類型的輿情信息進行自動聚類分析和綜合分析。以政府為例，根據政府特征，分為公共管理、法制、經濟發展、突發情況、文化傳播、執政形象、民生問題七大類別，系統自動根據分類設置進行處理，將匹配的信息推送并展現給用戶。
[0029]話題聚類功能:系統采用話題自動聚類技術，自動對信息內容提取關鍵詞并進行關聯分析，把來自新聞、論壇、評論、博客等同類信息自動聚合到一起，幫助用戶多方位地了解新聞事件的轉載討論情況，從而進行多維度的分析。
[0030]社會熱點自動發現:系統通過計算新聞轉載數、論壇點擊數、回帖數等計算出媒體熱點和網民熱點，幫助用戶實時掌握媒體、論壇上的熱點信息。
[0031]輿情預警:在輿情分類和輿情分析基礎上，用戶可以定義多種輿情預警形式，系統將根據輿情規則對實時采集的文檔進行綜合分析判研，給出預警信號，輔助相關人員對輿情進行干預和引導。
[0032]輿情報表功能:系統提供有效的輿情報表加工工具，可以輔助用戶生成各種類型的輿情簡報，這些報告不僅提供給上級領導，供決策參考。部分也提供給平行單位，做互聯網信息監控分析使用。支持日報、周報等多種報表樣式。
[0033]即時搜索功能:提供元搜索入口，自動調用Google、Bing、Yahoo等搜索引擎，可以根據用戶輸入的關鍵詞，獲取到網頁分布的站點情況、發布時間等信息，幫助用戶制作簡報信息。
[0034]本【具體實施方式】實現對媒體監測大數據進行數據內容、語義、描述進行分析，建立基于媒體的數據分析模型、媒體大數據結構和內容分析的多層次描述方法，實現了超大規模媒體數據內概念分析模型，是一個全媒體數據內容理解的數據行為智能分析系統。
[0035]以上顯示和描述了本發明的基本原理和主要特征和本發明的優點。本行業的技術人員應該了解，本發明不受上述實施例的限制，上述實施例和說明書中描述的只是說明本發明的原理，在不脫離本發明精神和范圍的前提下，本發明還會有各種變化和改進，這些變化和改進都落入要求保護的本發明范圍內。本發明要求保護范圍由所附的權利要求書及其等效物界定。
【權利要求】
1.全媒體檢測及監播大數據行為智能分析系統，其特征在于，包括輿情采集層(I)、輿情處理層(2)和輿情表現層(3)，輿情采集層(I)與輿情處理層(2)相連，輿情處理層(2)通過輿情表現層(3)呈現。
2.根據權利要求1所述的全媒體檢測及監播大數據行為智能分析系統，其特征在于，所述的輿情采集層(I)指分布式定向采集引擎從互聯網上采集新聞、論壇、博客、微博、平媒、問答等輿情信息，并存儲到分布式數據庫及文件系統中。
3.根據權利要求1所述的全媒體檢測及監播大數據行為智能分析系統，其特征在于，所述的輿情處理層(2)指對采集的輿情信息進行智能處理。輿情應用指把經過智能分析加工處理的輿情數據發布到Web界面上并展示給用戶。
4.根據權利要求1所述的全媒體檢測及監播大數據行為智能分析系統，其特征在于，所述的輿情表現層(3)是指用戶通過輿情應用平臺瀏覽系統采集的各種輿情信息，也可通過簡報生成等功能完成對輿情的深度加工。
5.根據權利要求1所述的全媒體檢測及監播大數據行為智能分析系統，其特征在于，所述的輿情采集層(I)在互聯網輿情信息采集方面，輿情采集引擎通過自動匹配技術可以精確抽取網頁的標題、正文、發布時間、作者等，同時過濾廣告、版權、干擾字符等無用信息；采用基于模版的元數據解析策略，能對采集的網頁信息進行精確的數據抽取，對于新聞網頁，可以解析出來源作者、發布時間、新聞標題、新聞作者，對于論壇貼子可以解析出發貼人、發貼時間、貼子主題、貼子內容、點擊數等元數據；內嵌了 javascript腳本解析引擎，能夠實現網頁中腳本語言的自動解析和執行，從而能夠實現對基于腳本語言的論壇、博客、新聞評論網站的采集；支持對國內新浪、騰訊、網易、搜狐四大主流微博以及境外Twitter的數據實時采集；支持全網采集功能，能將用戶定義的關鍵字自動發送到Google、Bing,Yahoo等搜索引擎并返回結果，全網搜索功能是對定向搜索的有力補充，這樣系統能滿足定向精確米集和廣度多面米集的需求。
6.根據權利要求1所述的全媒體檢測及監播大數據行為智能分析系統，其特征在于，所述的輿情處理層(2)在網絡輿情分析和加工方面，系統采用文本智能挖掘技術，實現對海量輿情信息的準確、高效分析和管理。具備分類輿情功能、話題聚類功能、社會熱點自動發現、輿情預警、輿情報表功能、和即時搜索功能。
【文檔編號】G06F17/30GK104504081SQ201410815739
【公開日】2015年4月8日 申請日期:2014年12月25日 優先權日:2014年12月25日
【發明者】王劍波 申請人:北京東方剪報國際信息咨詢有限公司