一種基于fics對象存儲的大文件數據的編輯方法與系統的制作方法
【專利摘要】本發明公開了一種基于FICS對象存儲的大文件數據的編輯方法與系統，其方法包括以下步驟：S1.文件存儲：對待存儲文件的每個數據進行保存，并為待存儲文件生成文件地址；S2.文件編輯：通過對文件地址的處理實現文件編輯，包括以下四種情況：文件合并、文件分割、數據插入和數據剔除。本發明提供了一種基于FICS對象存儲的大文件數據的編輯方法與系統，在存儲過程中對文件的每個數據進行保存，并為文件生成文件地址，在文件編輯過程中通過對文件地址的處理實現文件合并、文件分割、數據插入和數據剔除，提高了文件編輯速度，節省了文件編輯的占用空間。
【專利說明】
一種基于FI CS對象存儲的大文件數據的編輯方法與系統
技術領域
[0001]本發明涉及一種基于FICS對象存儲的大文件數據的編輯方法與系統。
【背景技術】
[0002]文件存儲和文件編輯是用戶工作中所必不可少的一項任務，文件編輯主要包括文件合并、文件刪除、數據插入和數據剔除；
目前文件合并過程，在本地文件系統及其他分布式文件系統等的管理存儲上，需要將所有源文件的數據依次讀出，并寫入到新的文件中；目前的文件分割過程，本地文件系統及其他分布式文件系統等的管理的存儲上，需要將大文件的數據內容全部依次讀取出來，分別寫入到小文件中，非常耗時的；如果合并或者分割的源文件是幾百G大小，那么，文件的合并或分割可能會消耗幾十分鐘，甚至幾小時；同時，也會消耗大量的存儲讀寫帶寬;并且，盡管源文件和目標文件的絕大部分數據內容是相同的，但是，實際占用的磁盤空間依然是比較大的，是所用文件數據大小之和。
[0003]目前的數據插入或者數據剔除過程，在目前的本地文件系統及其他分布式文件系統等的管理的存儲上，需要將大文件編輯生成的新的數據內容全部依次覆蓋寫一次，數據才能保存下來;這是非常耗時，耗帶寬的；例如:在一個幾百M或幾個G的信號數據文件中，excel或其他格式的文件，我們要插入10個字符，或者刪除10個字符，在保存文件時，必須將所有的內容重新寫一次，非常耗時，耗帶寬。
[0004]目前文件編輯系統非常浪費時間和資源。
【發明內容】
[0005]本發明的目的在于克服現有技術的不足，提供一種基于FICS對象存儲的大文件數據的編輯方法與系統，在存儲過程中對文件的每個數據進行保存，并為文件生成文件地址，在文件編輯過程中通過對文件地址的處理實現文件合并、文件分割、數據插入和數據剔除，提高了文件編輯速度，節省了文件編輯的占用空間。
[0006]本發明的目的是通過以下技術方案來實現的:一種基于FICS對象存儲的大文件數據的編輯方法，包括以下步驟:
51.文件存儲:對待存儲文件的每個數據進行保存，并為待存儲文件生成文件地址；
52.文件編輯:通過對文件地址的處理實現文件編輯，包括以下四種情況:
(1)文件合并:將文件地址進行合并；
(2)文件分割:將文件地址分割成多個子文件地址，并將分割出來的子文件地址分別賦予每個子文件；
(3)數據插入:為插入的數據生成數據地址，根據數據插入的位置將生成的數據地址插入對應的文件地址中；
(4)數據剔除:將待剔除數據對應的數據地址從對應的文件地址中剔除。
[0007]所述的步驟SI包括以下子步驟: SI 1.依次輸入每個待存儲文件；
512.將當前待存儲文件分為多個數據；
513.對每個數據進行保存；
514.為每個數據生成一個數據地址，數據地址包括數據保存位置、數據在文件中的偏移和數據的長度；
515.將當前待存儲文件中每個數據地址按照數據前后順序進行合并，生成當前待存儲文件的文件地址。
[0008]步驟S2中所述的文件合并包括以下子步驟:
5201.查詢所有待合并文件的文件地址；
5202.將所有文件地址按照設定順序進行合并，生成新文件地址；
5203.將生成的新文件地址賦值給合成的目標新文件，完成文件的合并操作；
步驟S2中所述的文件分割包括以下子步驟:
5211.查詢待分割文件的文件地址；
5212.將文件地址分割為多個子文件地址；
5213.將分割得到的子文件地址賦值給要生成的目標子文件。
[0009]步驟S2中所述的數據插入包括以下子步驟:
5221.給定待插入數據，將待插入數據進行保存，并為待插入數據生成相應的數據地址；
5222.給定數據插入的源文件和在源文件中插入的位置；
5223.查詢源文件的文件地址，根據插入的位置將生成的數據地址插入文件地址中。
[0010]步驟S2中所述的數據剔除包括以下子步驟:
5231.給定源文件和源文件中的待剔除數據；
5232.查詢源文件的文件地址和待剔除數據的數據地址；
5233.將該數據地址從源文件的文件地址中刪除。
[0011 ] 一種基于FICS對象存儲的大文件數據的編輯系統，包括FICS對象存儲模塊和文件編輯模塊；
所述的FICS對象存儲模塊用于待存儲文件的每個數據進行保存，并為該文件生成文件地址；
所述的文件編輯模塊用于對文件進行地址的處理實現文件編輯，包括:
文件合并子模塊，用于對于文件地址進行合并；
文件分割子模塊，用于將文件地址分割為多個子文件地址；
數據插入子模塊，用于將待插入數據的數據地址插入對應的文件地址中；
數據剔除子模塊，用于將待剔除數據的數據地址從對應的文件地址中刪除。
[0012]所述的FICS對象存儲模塊包括:
文件分解子模塊，用于將輸入的待存儲文件分為多個數據；
存儲數據庫，用于對分解得到的每個數據進行保存；
數據地址生成子模塊，用于對每個數據生成數據地址，該數據地址包括數據保存位置、數據在文件中的偏移和數據的長度；
文件地址生成子模塊，用于將待存儲文件中每個數據地址按照數據前后順序進行合并，對應的文件地址。
[0013]本發明的有益效果是:在存儲過程中對文件的每個數據進行保存，并為文件生成文件地址，在文件編輯過程中通過對文件地址的處理實現文件合并、文件分割、數據插入和數據剔除，提高了文件編輯速度，節省了文件編輯的占用空間。
【附圖說明】
[0014]圖1為本發明的方法流程圖；
圖2為生成文件地址的流程圖；
圖3為文件合并的示意圖；
圖4為文件分割的示意圖；
圖5為數據插入的原理示意圖；
圖6為數據剔除原理示意圖；
圖7為本發明的系統原理框圖。
【具體實施方式】
[0015]下面結合附圖進一步詳細描述本發明的技術方案，但本發明的保護范圍不局限于以下所述。
[0016]如圖1所示，一種基于FICS對象存儲的大文件數據的編輯方法，包括以下步驟:
51.文件存儲:對待存儲文件的每個數據進行保存，并為待存儲文件生成文件地址；
52.文件編輯:通過對文件地址的處理實現文件編輯，包括以下四種情況:
(1)文件合并:將文件地址進行合并；
(2)文件分割:將文件地址分割成多個子文件地址，并將分割出來的子文件地址分別賦予每個子文件；
(3)數據插入:為插入的數據生成數據地址，根據數據插入的位置將生成的數據地址插入對應的文件地址中；
(4)數據剔除:將待剔除數據對應的數據地址從對應的文件地址中剔除。
[0017]如圖2所示，所述的步驟SI包括以下子步驟:
511.依次輸入每個待存儲文件；
512.將當前待存儲文件分為多個數據；
513.對每個數據進行保存；
514.為每個數據生成一個數據地址，數據地址包括數據保存位置、數據在文件中的偏移和數據的長度；
515.將當前待存儲文件中每個數據地址按照數據前后順序進行合并，生成當前待存儲文件的文件地址。
[0018]步驟S2中所述的文件合并包括以下子步驟:
5201.查詢所有待合并文件的文件地址；
5202.將所有文件地址按照設定順序進行合并，生成新文件地址；
5203.將生成的新文件地址賦值給合成的目標新文件，完成文件的合并操作；
如圖3所示，為文件合并的示意圖，以兩個待合成文件為例，分別為文件A和文件B;只需要將文件A和文件B的文件地址進行合成，將合成得到的文件地址賦予目標新文件C即可。
[0019]待合成文件也可以有多個，根據設定順序依次合成文件地址即可。
[0020]步驟S2中所述的文件分割包括以下子步驟:
5211.查詢待分割文件的文件地址；
5212.將文件地址分割為多個子文件地址；
5213.將分割得到的子文件地址賦值給要生成的目標子文件。
[0021 ]如圖4所示，為文件分割的示意圖；以將待分割文件A分割為文件D和文件E為例，只需要將文件A的文件地址按照分割要求(對應于文件中的數據的分割要求)進行分割成兩個，再將分割成的兩個子文件地址賦予文件D和文件E即可。
[0022]分割成多個時同理。
[0023]步驟S2中所述的數據插入包括以下子步驟:
5221.給定待插入數據，將待插入數據進行保存，并為待插入數據生成相應的數據地址；
5222.給定數據插入的源文件和在源文件中插入的位置；
5223.查詢源文件的文件地址，根據插入的位置將生成的數據地址插入文件地址中。
[0024]如圖5所示，首先將待插入的數據進行保存，并為待插入的數據生成數據地址N;然后給定數據插入的源文件A，以及在源文件A中插入的位置;接著查詢源文件A的文件地址；將數據地址N插入到文件地址的相應位置，即可得到新文件F的文件地址，完成數據插入。
[0025]每個數據地址按照數據前后順序進行合并);故根據在目標文件中插入的位置，將數據地址N插入文件A的文件地址即可。
[0026]步驟S2中所述的數據剔除包括以下子步驟:
5231.給定源文件和源文件中的待剔除數據；
5232.查詢源文件的文件地址和待剔除數據的數據地址；
5233.將該數據地址從源文件的文件地址中刪除。
[0027]如圖6所示，給定源文件A和源文件A中待剔除的數據后，先查詢源文件A的文件地址，再查詢得到待剔除數據的數據地址，將該數據地址從源文件A的文件地址中刪除，即可得到新文件G的文件地址，完成數據剔除。
[0028]在本申請中，由于文件地址由多個數據地址構成，而數據地址均包括數據保存位置、數據在文件中的偏移和數據的長度，故在已知文件地址的情況下，能夠根據構成文件地址的多個數據地址讀取出文件中的所有數據，在文件地址變化時，讀出的文件中包含的數據也會發生變化；因此，實現編輯過程中(文件合并、文件分割、數據插入和數據剔除)，直接對文件地址進行處理，就能夠實現文件的編輯，從而提高了文件編輯速度，節省了文件編輯的占用空間。
[0029]如圖7所示，一種基于FICS對象存儲的大文件數據的編輯系統，包括FICS對象存儲模塊和文件編輯模塊；
所述的FICS對象存儲模塊用于待存儲文件的每個數據進行保存，并為該文件生成文件地址；
所述的文件編輯模塊用于對文件進行地址的處理實現文件編輯，包括:
文件合并子模塊，用于對于文件地址進行合并； 文件分割子模塊，用于將文件地址分割為多個子文件地址；
數據插入子模塊，用于將待插入數據的數據地址插入對應的文件地址中；
數據剔除子模塊，用于將待剔除數據的數據地址從對應的文件地址中刪除。
[0030]所述的FICS對象存儲模塊包括:
文件分解子模塊，用于將輸入的待存儲文件分為多個數據；
存儲數據庫，用于對分解得到的每個數據進行保存；
數據地址生成子模塊，用于對每個數據生成數據地址，該數據地址包括數據保存位置、數據在文件中的偏移和數據的長度；
文件地址生成子模塊，用于將待存儲文件中每個數據地址按照數據前后順序進行合并，對應的文件地址。
【主權項】
1.一種基于FICS對象存儲的大文件數據的編輯方法，其特征在于:包括以下步驟: 51.文件存儲:對待存儲文件的每個數據進行保存，并為待存儲文件生成文件地址； 52.文件編輯:通過對文件地址的處理實現文件編輯，包括以下四種情況: (1)文件合并:將文件地址進行合并； (2)文件分割:將文件地址分割成多個子文件地址，并將分割出來的子文件地址分別賦予每個子文件； (3)數據插入:為插入的數據生成數據地址，根據數據插入的位置將生成的數據地址插入對應的文件地址中； (4)數據剔除:將待剔除數據對應的數據地址從對應的文件地址中剔除。2.根據權利要求1所述的一種基于FICS對象存儲的大文件數據的編輯方法，其特征在于:所述的步驟SI包括以下子步驟: SI 1.依次輸入每個待存儲文件； 512.將當前待存儲文件分為多個數據； 513.對每個數據進行保存； 514.為每個數據生成一個數據地址，數據地址包括數據保存位置、數據在文件中的偏移和數據的長度； 515.將當前待存儲文件中每個數據地址按照數據前后順序進行合并，生成當前待存儲文件的文件地址。3.根據權利要求1所述的一種基于FICS對象存儲的大文件數據的編輯方法，其特征在于:步驟S2中所述的文件合并包括以下子步驟: 5201.查詢所有待合并文件的文件地址； 5202.將所有文件地址按照設定順序進行合并，生成新文件地址； 5203.將生成的新文件地址賦值給合成的目標新文件，完成文件的合并操作。4.根據權利要求1所述的一種基于FICS對象存儲的大文件數據的編輯方法，其特征在于:步驟S2中所述的文件分割包括以下子步驟: 5211.查詢待分割文件的文件地址； 5212.將文件地址分割為多個子文件地址； 5213.將分割得到的子文件地址賦值給要生成的目標子文件。5.根據權利要求1所述的一種基于FICS對象存儲的大文件數據的編輯方法，其特征在于:步驟S2中所述的數據插入包括以下子步驟: 5221.給定待插入數據，將待插入數據進行保存，并為待插入數據生成相應的數據地址； 5222.給定數據插入的源文件和在源文件中插入的位置； 5223.查詢源文件的文件地址，根據插入的位置將生成的數據地址插入文件地址中。6.根據權利要求1所述的一種基于FICS對象存儲的大文件數據的編輯方法，其特征在于:步驟S2中所述的數據剔除包括以下子步驟: 5231.給定源文件和源文件中的待剔除數據； 5232.查詢源文件的文件地址和待剔除數據的數據地址； 5233.將該數據地址從源文件的文件地址中刪除。7.一種基于FICS對象存儲的大文件數據的編輯系統，其特征在于:包括FICS對象存儲模塊和文件編輯模塊； 所述的FICS對象存儲模塊用于待存儲文件的每個數據進行保存，并為該文件生成文件地址； 所述的文件編輯模塊用于對文件進行地址的處理實現文件編輯，包括: 文件合并子模塊，用于對于文件地址進行合并； 文件分割子模塊，用于將文件地址分割為多個子文件地址； 數據插入子模塊，用于將待插入數據的數據地址插入對應的文件地址中； 數據剔除子模塊，用于將待剔除數據的數據地址從對應的文件地址中刪除。8.—種基于FICS對象存儲的大文件數據的編輯系統，其特征在于:所述的FICS對象存儲模塊包括: 文件分解子模塊，用于將輸入的待存儲文件分為多個數據； 存儲數據庫，用于對分解得到的每個數據進行保存； 數據地址生成子模塊，用于對每個數據生成數據地址，該數據地址包括數據保存位置、數據在文件中的偏移和數據的長度； 文件地址生成子模塊，用于將待存儲文件中每個數據地址按照數據前后順序進行合并，對應的文件地址。
【文檔編號】G06F17/30GK106021217SQ201610359980
【公開日】2016年10月12日
【申請日】2016年5月27日
【發明人】李科, 韓志宏, 劉盾
【申請人】成都索貝數碼科技股份有限公司