一種海量流媒體存儲的系統和方法
【專利摘要】本發明公開了一種海量流媒體存儲的系統和方法，系統由媒體服務器、主控服務器、存儲服務器構成，并通過高速IP網絡互聯；對外提供媒體流上傳、媒體流獲取功能；媒體服務器：負責接收媒體流，將媒體流按照特定長度進行分片，然后將分片存儲到相應的存儲服務器中，接受外部的媒體流獲取請求，并進行片內媒體流定位；主控服務器：負責存儲服務器管理、存儲空間分配、媒體流片段管理；存儲服務器：負責媒體片段的存儲、讀取；數據主要包含媒體流信息、片段信息、存儲服務器信息；片段信息包含：片段ID(關鍵字)、流媒體ID、存儲服務器IP、片段大小、片段起始時間、片段時長、片段狀態，片段總是從視頻關鍵幀開始，便于媒體流的檢索和回放。
【專利說明】一種海量流媒體存儲的系統和方法
【技術領域】:
[0001]本發明涉流媒體領域，尤其涉及一種海量流媒體存儲的系統和方法。
【背景技術】:
[0002]隨著計算機、傳感器技術、圖像處理技術、圖像壓縮技術、網絡技術的發展，流媒體在全球都廣泛的應用起來。電視、電影的廣播和點播，視頻監控，到處都是流媒體的應用。視頻的分辨率越來越大，數據量也隨之爆發性增長，按照1080P的8Mbps的視頻流計算，I天就需要占用84GB的空間，I個月需要2.5TB的空間。對于具有幾十、幾百甚至幾千個監控點的集中監控系統，產生的數據量更是驚人，將達到PB級，甚至EB級。業界常用的NAS磁盤柜技術已經無法滿足這樣規模的海量流媒體存儲和檢索的需求，迫切的需要有基于英特網協議(IP)、能對超大規模的流媒體數據進行存儲的系統。

【發明內容】
:
[0003]針對超大規模流媒體數據的存儲的需求，本發明的目的是提供一種海量流媒體存儲的系統和方法。
[0004]本發明是這樣實現的:一種海量流媒體存儲的系統和方法，包括以下主要過程和步驟:
[0005]所述海量流媒體存儲的系統，由主控服務器、媒體服務器、存儲服務器構成，并通過高速IP網絡互聯。
[0006]主控服務器:由計算機硬件、操作系統、主控服務器軟件構成，主控服務器軟件負責存儲服務器管理、存儲空間分配、媒體流片段管理，計算機硬件為配備大容量內存、高性能中央處理器(CPU)高性能計算機系統。
[0007]媒體服務器:由計算機硬件、操作系統、媒體服務器軟件構成，媒體服務器軟件負責接收媒體流，將媒體流按照特定長度進行分片，然后將分片存儲到相應的存儲服務器中，負責接受外部的媒體流請求，并進行片內媒體流定位，然后將媒體數據發回請求端，計算機硬件為配備大容量磁盤的高性能計算機系統。
[0008]存儲服務器:由計算機硬件、操作系統、存儲服務器軟件構成，存儲服務器軟件負責媒體片段的存儲、讀取，計算機硬件為擁有多塊大容量磁盤的計算機系統。
[0009]主控服務器軟件管理的數據主要包含媒體流信息、片段信息、存儲服務器信息。
[0010]媒體流信息，以媒體流ID為關鍵字，數據包含:媒體流ID、起始時間、結束時間、有效時間長度、數據總長度、片段ID列表。
[0011]片段信息，以片段ID為關鍵字，數據包含:片段ID、流媒體ID、存儲服務器IP、片段大小、片段起始時間、片段時長、片段狀態，片段總是從視頻關鍵幀開始，便于媒體流的檢索和回放。
[0012]存儲服務器信息，以存儲服務器IP為關鍵字，數據包含:存儲服務器IP、總容量、已使用容量、片段ID列表。[0013]媒體流上傳，步驟如下:
[0014]步驟1:媒體服務器接受從外部傳入的媒體流數據，從第一幀關鍵幀抵達時創建臨時文件，將媒體流數據寫入臨時文件，直到媒體流結束或者文件達到特定大小，在最近一次關鍵巾貞與入如結束臨時文件，如果媒體流未結束則開啟新的臨時文件，從關鍵巾貞開始與A ；
[0015]步驟2:媒體服務器向主控服務器申請臨時文件大小的片段存儲空間，主控服務器依據內部記錄的存儲服務器的負載情況，然后分配一個媒體流片段，將該片段設置為進行中狀態，返回包含片段ID、存儲服務器IP媒體流片段信息的片段申請結果；
[0016]步驟3:媒體服務器向存儲服務器發起片段存儲請求，并將臨時文件發送到存儲服務器；
[0017]步驟4:存儲服務器收到臨時文件后以片段ID為文件名，創建寫入文件，將臨時文件持續寫入磁盤；
[0018]步驟5:存儲服務器接收并寫入完臨時文件的所有數據后，關閉寫入文件，將片段存儲結果發回媒體服務器；
[0019]步驟6:存儲服務器將片段完整信息提交到主控服務器；
[0020]步驟7:主控服務器接收到片段信息更新請求后，更新片段信息，并將狀態設置為完成，返回更新結果到媒體服務器；
[0021]步驟8:重復步驟1，持續接收并保存后續媒體流。
[0022]媒體流獲取，步驟如下:
[0023]步驟1:媒體服務器收到媒體流獲取請求；
[0024]步驟2:媒體服務器向主控服務器發起片段檢索請求；
[0025]步驟2:主控服務器收到片段檢索請求后，檢索對應的媒體流片段，并將包含片段ID、存儲服務器IP的片段信息作為檢索結果發回媒體服務器；
[0026]步驟3:媒體服務器向存儲服務器發起片段讀取請求；
[0027]步驟4:存儲服務器接收到含有片段ID的片段讀取請求后，打開對應的片段文件，并將片段數據發送回媒體服務器；
[0028]步驟5:媒體服務器接收到媒體片段后，在片段內進行媒體定位，然后將對應位置開始的媒體流數據發送回媒體流獲取發起端；
[0029]步驟6:重復步驟2，直到數據傳輸完畢。
【專利附圖】

【附圖說明】:
[0030]下面結合附圖，對本發明作出詳細描述。
[0031]圖1為系統組網圖
[0032]圖2為數據結構及關系圖
[0033]圖3為媒體流上傳時序圖
[0034]圖4為媒體流請求時序圖 圖5為媒體流獲取時序圖
【具體實施方式】:[0035]發明是通過分布式的媒體服務器、主控服務器、存儲服務器群構建海量多媒體存儲系統。
[0036]海量流媒體存儲的系統如圖1所示，由媒體服務器、主控服務器、存儲服務器構成，并通過IP高速網絡互聯。系統由多臺媒體服務器、多臺存儲服務器、主控服務器構成分布式存儲網絡。
[0037]媒體服務器如圖2所示:由計算機硬件、操作系統、媒體服務器軟件構成，媒體服務器軟件負責接收媒體流，將媒體流按照特定長度(256MB)進行分片，然后將分片存儲到相應的存儲服務器中，負責接受外部的媒體流請求，并進行片內媒體流定位，然后將媒體數據發回請求端，計算機硬件為配備大容量磁盤的高性能計算機系統。
[0038]主控服務器如圖2所示:由計算機硬件、操作系統、主控服務器軟件構成，主控服務器軟件負責存儲服務器管理、存儲空間分配、媒體流片段管理，計算機硬件為配備大容量內存、高性能中央處理器(CPU)高性能計算機系統。
[0039]存儲服務器如圖2所示:由計算機硬件、操作系統、存儲服務器軟件構成，存儲服務器軟件負責媒體片段的存儲、讀取，計算機硬件為擁有多塊大容量磁盤的計算機系統。
[0040]主控服務器管理的數據如圖3所示，主要包含媒體流信息、片段信息、存儲服務器信息。
[0041]媒體流信息，以媒體流ID為關鍵字，數據包含:起始時間、結束時間、有效時間長度、數據總長度、片段ID列表。
[0042]片段信息，以片段ID為關鍵字，數據包含:流媒體ID、存儲服務器IP、片段大小、片段起始時間、片段時長、片段狀態，片段總是從視頻關鍵幀開始，便于媒體流的檢索和回放。
[0043]存儲服務器信息，以存儲服務器的IP為關鍵字，數據包含:總容量、已使用容量、片段ID列表。
[0044]媒體流上傳,如圖4所示,步驟如下:
[0045]步驟1:媒體服務器I接受從外部傳入的媒體流數據，從第一幀關鍵幀抵達時創建臨時文件，將媒體流數據寫入臨時文件，直到媒體流結束或者文件達到特定大小，在最近一次關鍵幀寫入前結束所述臨時文件，如果媒體流未結束則并開啟新的臨時文件，從關鍵幀開始寫入。
[0046]步驟2:媒體服務器I向主控服務器申請臨時文件大小的片段存儲空間，存儲服務器檢測系統內存儲服務器的負載情況，然后在所述存儲服務器I上分配一個媒體流片段，將該片段設置為進行中狀態；返回片段申請結果；所述片段申請結果包含有媒體流片段信息:片段ID，存儲服務器I的IP。
[0047]步驟3:媒體服務器I向對應的存儲服務器I發起片段存儲請求(包含片段ID)，并將臨時文件發送到所述存儲服務器I。
[0048]步驟4:存儲服務器I收到臨時文件后以片段ID為文件名，創建寫入文件，將臨時文件持續寫入磁盤。
[0049]步驟5:存儲服務器I接收并寫入完所述臨時文件的所有數據后，關閉寫入文件。將片段存儲結果發回媒體服務器。
[0050]步驟6:存儲服務器I將片段完整信息提交到主控服務器。
[0051]步驟7:主控服務器接收到片段信息更新請求后，更新片段信息，并將狀態設置為完成，返回更新結果到所述媒體服務器。
[0052]步驟8:重復步驟1，持續接受并保存媒體流。
[0053]媒體流獲取，如圖5所示，步驟如下:
[0054]步驟1:媒體服務器I收到媒體流獲取請。
[0055]步驟2:媒體服務器I向主控服務器發起片段檢索請求。
[0056]步驟2:主控服務器收到片段檢索請求后，檢索對應的媒體流片段，并將包含片段ID、存儲服務器I的IP的片段信息作為檢索結果發回媒體服務器I。
[0057]步驟3:媒體服務器I向存儲服務器I發起片段讀取請求。
[0058]步驟4:存儲服務器I接收到含有片段ID的片段讀取請求后，打開對應的片段文件，并將片段數據發送回媒體服務器I。
[0059]步驟5:媒體服務器I接收到媒體片段后，在片段內進行媒體定位，然后將對應位置開始的媒體流數據發送回媒體流獲取發起端。
[0060]步驟6:重復步驟2，直到數據傳輸完畢。
【權利要求】
1.本發明是這樣實現的:一種海量流媒體存儲的系統和方法，其特征在于，該方法包括以下步驟: 所述海量流媒體存儲的系統，由媒體服務器、主控服務器、存儲服務器構成，并通過高速IP網絡互聯； 對外提供媒體流上傳、媒體流獲取功能； 媒體服務器:由計算機硬件、操作系統、媒體服務器軟件構成，媒體服務器軟件負責接收媒體流，將媒體流按照特定長度進行分片，然后將分片存儲到相應的存儲服務器中，負責接受外部的媒體流請求，并進行片內媒體流定位，然后將媒體數據發回請求端，計算機硬件為配備大容量磁盤的高性能計算機系統； 主控服務器:由計算機硬件、操作系統、主控服務器軟件構成，主控服務器軟件負責存儲服務器管理、存儲空間分配、媒體流片段管理，計算機硬件為配備大容量內存、高性能中央處理器(CPU)高性能計算機系統； 存儲服務器:由計算機硬件、操作系統、存儲服務器軟件構成，存儲服務器軟件負責媒體片段的存儲、讀取，計算機硬件為擁有多塊大容量磁盤的計算機系統。
2.如權利要求1所述的主控服務器軟件管理的數據主要包含媒體流信息、片段信息、存儲服務器信息； 媒體流信息，以媒體流ID為關鍵字，數據包含:媒體流ID、起始時間、結束時間、有效時間長度、數據總長度、片段ID列表； 片段信息，以片段ID為關鍵字，數據包含:片段ID、流媒體ID、存儲服務器IP、片段大小、片段起始時間、片段時長、片段狀態，片段總是從視頻關鍵幀開始，便于媒體流的檢索和回放； 存儲服務器信息，以存儲服務器IP為關鍵字，數據包含:存儲服務器IP、總容量、已使用容量、片段ID列表。
3.如權利要求1所述的媒體流上傳,步驟如下: 步驟1:媒體服務器接受從外部傳入的媒體流數據，從第一幀關鍵幀抵達時創建臨時文件，將媒體流數據寫入臨時文件，直到媒體流結束或者文件達到特定大小，在最近一次關鍵幀寫入前結束臨時文件，如果媒體流未結束則開啟新的臨時文件，從關鍵幀開始寫入；步驟2:媒體服務器向主控服務器申請臨時文件大小的片段存儲空間，主控服務器依據內部記錄的存儲服務器的負載情況，然后分配一個媒體流片段，將該片段設置為進行中狀態，返回包含片段ID、存儲服務器IP媒體流片段信息的片段申請結果； 步驟3:媒體服務器向存儲服務器發起片段存儲請求，并將臨時文件發送到存儲服務器； 步驟4:存儲服務器收到臨時文件后以片段ID為文件名，創建寫入文件，將臨時文件持續寫入磁盤； 步驟5:存儲服務器接收并寫入臨時文件的所有數據后，關閉寫入文件，將片段存儲結果發回媒體服務器； 步驟6:存儲服務器將片段完整信息提交到主控服務器； 步驟7:主控服務器接收到片段信息更新請求后，更新片段信息，并將狀態設置為完成，返回更新結果到媒體服務器；步驟8:重復步驟1，持續接收并保存后續媒體流。
4.如權利要求1所述的媒體流獲取，步驟如下: 步驟1:媒體服務器收到媒體流獲取請求； 步驟2:媒體服務器向主控服務器發起片段檢索請求； 步驟2:主控服務器收到片段檢索請求后，檢索對應的媒體流片段，并將包含片段ID、存儲服務器IP的片段信息作為檢索結果發回媒體服務器； 步驟3:媒體服務器向存儲服務器發起片段讀取請求； 步驟4:存儲服務器接收到含有片段ID的片段讀取請求后，打開對應的片段文件，并將片段數據發送回媒體服務器； 步驟5:媒體服務器接收到媒體片段后，在片段內進行媒體定位，然后將對應位置開始的媒體流數據發送回媒體流獲取發起端； 步驟6:重復步驟2，直到數據傳輸完畢。
【文檔編號】H04L29/08GK103581243SQ201210264359
【公開日】2014年2月12日 申請日期:2012年7月27日 優先權日:2012年7月27日
【發明者】程治永 申請人:永泰軟件有限公司