物流管理文件備份方法
時間:2022-06-01 11:45:00
導(dǎo)語:物流管理文件備份方法一文來源于網(wǎng)友上傳,不代表本站觀點,若需要原創(chuàng)文章可咨詢客服老師,歡迎參考。
隨著物流行業(yè)的快速發(fā)展,大量的數(shù)據(jù)信息,如BOM、各種單證、報表等在企業(yè)的各個生產(chǎn)、運作環(huán)節(jié)中產(chǎn)生。這些都是企業(yè)的核心資源。管理好這些資源,使得信息的冗余最小,同時保留最有用的信息,當(dāng)不可預(yù)知的災(zāi)難發(fā)生時,如何直觀、高效地恢復(fù)數(shù)據(jù),都是每個企業(yè)運營過程中所必須面臨的問題。我們需要設(shè)計一種備份策略系統(tǒng)來解決這個問題。在Unix(Linux)下有功能強大的版本控制工具MKS(CVS)可以使用,但是當(dāng)MKS(CVS)服務(wù)器發(fā)生不可預(yù)期的物理錯誤時候,資源就有丟失的危險。作為補充,需要尋找一種免費的、容易部署的、方便實用的工具來自動完成代碼的本地或者異地的備份和遷移。Rsync是UNIX/Linux系統(tǒng)下的數(shù)據(jù)鏡像備份工具。它的特性如下:可以鏡像保存整個目錄樹和文件系統(tǒng);可以很容易做到保持原來文件的權(quán)限、時間、軟硬鏈接等等;無須特殊權(quán)限即可安裝;優(yōu)化的流程,文件傳輸效率高;可以使用rcp、ssh等方式來傳輸文件,當(dāng)然也可以通過直接的socket連接;支持匿名傳輸。為了配合定時的策略機制,我們可以選擇搭配crontab命令工具,實現(xiàn)計劃任務(wù)的備份。本文介紹的所有工具都是免費并且開源的,所以對企業(yè)的開銷只存在于人工維護,同樣此系統(tǒng)策略也適合家庭和個人使用。以下將從模型設(shè)計、核心技術(shù)、策略實施出發(fā),詳細分析說明備份策略的實現(xiàn)過程。
一、模型設(shè)計
對于數(shù)據(jù)人們最直觀的認(rèn)識是文件。在對數(shù)據(jù)備份過程中,我們也希望在不改變文件夾結(jié)構(gòu)的基礎(chǔ)上實現(xiàn)對重復(fù)冗余的數(shù)據(jù)進行刪減,從而節(jié)省磁盤空間;同時,沒有改變的數(shù)據(jù)就不需要花額外的時間處理。提高空間效率和時間效率是最重要的目標(biāo)。圖1是針對需求所設(shè)計的模型。圖1中橢圓形是文件的文件域,陰影長方格是文件的數(shù)據(jù)域。這個模型反映幾個問題:備份結(jié)果文件結(jié)構(gòu)必須與備份目標(biāo)文件結(jié)構(gòu)相同;備份過程需要判斷數(shù)據(jù)是否改變。當(dāng)數(shù)據(jù)沒有改變時,文件不需要進行數(shù)據(jù)拷貝,只需要建立一個新的文件域指向原來的數(shù)據(jù)域;當(dāng)數(shù)據(jù)改變時,文件需要建立新的文件域和數(shù)據(jù)域。
二、備份策略工作原理
(一)建立Rsync備份策略
為了實現(xiàn)增量備份,需要在數(shù)據(jù)的操作端即A端擁有可對文件夾的移動、刪除權(quán)限,如果把備份服務(wù)器放在RsyncServer即B端就不能實現(xiàn)。備份后的文件夾結(jié)構(gòu)清晰明了,能夠很容易恢復(fù)。但是這樣的設(shè)計也存在一定的不足,它增加了數(shù)據(jù)存儲主機B的運算負荷。
(二)文件結(jié)構(gòu)
圖3就是文件模塊的功能結(jié)構(gòu)圖,它反映了所有程序文件之間的關(guān)系。
(三)Rsync_exe處理流程
這個方案的核心是三個:采用Rsync算法同步備份遠程數(shù)據(jù),利用計算來換取最小的網(wǎng)絡(luò)傳輸開銷;采用硬鏈接控制重復(fù)文件對磁盤空間的開銷;采用這樣的流程,產(chǎn)生的文件夾可以利用其本身的創(chuàng)建時間作為時間戳,可以對用戶產(chǎn)生很直觀的時間概念。同時這個設(shè)計也存在一個問題:硬鏈接不能跨越文件系統(tǒng),就算是同一種文件系統(tǒng)也不可以,所以系統(tǒng)的擴展性受到制約。如果使用在本地備份,那么這個方案還是可行的。如果利用到網(wǎng)絡(luò)中多個存儲節(jié)點的時候就會產(chǎn)生問題。為了解決這種問題,數(shù)據(jù)在進行遠程遷移的時候采用Rsync算法來實現(xiàn)差異備份遷移。
三、物流企業(yè)實際運用中的體驗
貴州商業(yè)儲運(集團)有限公司是一家有五十余年歷史的國有企業(yè),由于客戶網(wǎng)絡(luò)的日趨復(fù)雜,貴州商儲必須借用先進的信息技術(shù)改造傳統(tǒng)的管理體系。在實施文件級備份策略后,當(dāng)采用策略是每周五個工作日的周循環(huán)備份,每周六上午1:00做全備份,剩下4個工作日作增量備份。例如,當(dāng)前目標(biāo)的數(shù)據(jù)量是10GB,按照全備份策略,所需要的空間是10GB×5=50GB,然而使用增量備份,每次增量備份大小為原數(shù)據(jù)大小的50%,需要的數(shù)據(jù)空間約為10GB+5GB+5GB+5GB+5GB=30GB,即可以節(jié)約40%的空間,而且隨著備份頻率的增加,備份的效率能進一步提高。圖5顯示了效率提高過程。
四、結(jié)束語
本策略已成功實現(xiàn)并使用,在幾乎零開支的基礎(chǔ)上高性能地提高企業(yè)的數(shù)據(jù)資源安全性、穩(wěn)定性。雖然有跨文件系統(tǒng)的限制,但是相信隨著Unix/Linux技術(shù)的進步,不久的將來就能產(chǎn)生更好的替代解決方案。