Loading AI tools
数据处理技术,用以消除重复数据的副本 来自维基百科,自由的百科全书
重複數據刪除(英語:data deduplication)是一種節約數據存儲空間的技術。在計算機中存儲了很多重複數據,這些數據佔用了大量硬盤空間,利用重複數據刪除技術,可以只存儲一份數據。另外一項節約存儲空間的技術是數據壓縮,數據壓縮技術在比較小的範圍內以比較小的粒度查找重複數據,粒度一般為幾個比特到幾個字節[需要解釋]。而重複數據刪除是在比較大的範圍內查找大塊的重複數據,一般重複數據塊尺寸在1KB以上。[1]重複數據刪除技術被廣泛應用於網絡硬盤、電子郵件、磁盤備份介質設備等。
此條目需要補充更多來源。 (2020年11月24日) |
例如,典型的電子郵件系統可能包含100個1 MB(兆字節)的相同文件附件實例。郵件平台每次進行備份時,將保存所有附件實例,所需100mb的存儲空間。使用重複數據刪除技術後,實際上只存儲一個附件實例,後續所有實例被引用回保存的副本,重複數據刪除比大約為100:1。通常情況下,重複數據刪除與數據壓縮能一起使用以節省額外存儲空間——首先運用重複數據刪除技術消除重複數據的大塊,然後使用壓縮對每個存儲部分進行高效編碼。[2]
在計算機代碼中,重複數據刪除通過將信息存儲在變量中,每次更改只需更改一個中心引用位置,不需要單獨寫入。相關例子包括CSS類和MediaWiki中的命名引用。
按數據處理時間重複數據刪除可以被分為:
在線重刪(Inline Deduplication)指的是在數據存儲到存儲設備上的同時進行重複數據刪除流程,在數據存儲到硬盤之前,重複數據已經被去除掉了。
後重刪(Post Deduplication)指的是在寫到存儲設備的同時不進行重刪處理,先把原始數據寫到硬盤上,隨後啟動後台進程對這些原始數據進行重刪處理。與在線重刪相比較,後重刪需要更高的硬盤性能,需要更多的硬盤數量。
按照數據處理粒度可以被分為:
按照數據塊分塊方法,可以分為:
按照數據處理位置,可以分為:
Seamless Wikipedia browsing. On steroids.
Every time you click a link to Wikipedia, Wiktionary or Wikiquote in your browser's search results, it will show the modern Wikiwand interface.
Wikiwand extension is a five stars, simple, with minimum permission required to keep your browsing private, safe and transparent.