宏碁備份資料減少13倍的祕訣
文/劉哲銘 (記者) 2008-07-04
由於磁帶數量過多、備份時間太長,促使宏碁採用重複資料刪除。透過重複資料刪除,宏碁每日全備份的資料減少13倍,更讓未來網路傳輸的異地備份機制成為可能。
很多企業的IT部門都會面臨一個問題,那就是磁帶備份相關設備永無止盡地成長。這還不是最糟的,當企業需要做到異地備份時,隨著資料量的快速成長,每天備份的磁帶量也越來越多,除了管理磁帶和運輸上都越來越麻煩之外,需要備份的資料太多,也往往會讓企業無法在可備份的時間內完成系統資料的全備份。
磁帶數量過多、備份時間太長,促使宏碁採用重複資料刪除
這些令IT人員一個頭兩個大的問題,宏碁(Acer)都遇到了。隨著營收逐年增加,宏碁的資訊系統每日資料量也快速增長,從2002年原本約400GB的資料備份量,僅3~4年後,每日需要備份的資料量已經高達1.7TB左右。
宏碁資訊安全與服務部經理柳炳智表示,當時遭遇最大的挑戰,首先就是整個資料備份機制無法順利運作。宏碁有異地備份的機制,資料備份策略是這樣的,核心系統的ERP資料,每日製作全備份;其他資料是周一至周五僅備份新增的資料,保留5天;周六則進行全系統的備份,保留一個月,這些資料都備份至磁帶,每天由車子運送到龍潭機房,進行保存。此外,資料種類也很不一,以1.7TB的資料量來看,其中Lotus Notes所產生的資料最多,每天約840GB,其次則是Windows的檔案資料,約560GB,由於大大小小檔案不一,零散的小檔案寫入磁帶較慢,使得寫入的效率不彰。
在這樣的狀況下,宏碁雖然將LTO-2磁帶機與備份伺服器、多媒體伺服器增加至3套,但仍然無法解決備份速度過慢的問題。柳炳智說:「後來的狀況,甚至已經無法在12小時內完成當日的備份,平均資料備份到磁帶的速率為90MB/sec,遇到細碎的小檔案,速度還會更慢。每天僅能備份約3.24TB左右的資料。」
另一個挑戰則是磁帶運送的問題,隨著資料量越來越多,磁帶的運送和管理也越來越不易。舉例來說,因為每日備份都以磁帶儲存,當發生需要把備份的資料重新輸入系統時,IT人員必須等待龍潭機房將磁帶透過卡車送回公司,而後再慢慢輸入。「比如說,6點下班前接到消息說要重新把備份的資料輸入系統,等到磁帶到達,整個流程做完,大概都晚上12點了。」柳炳智說。
採用重複資料刪除,每日的備份的資料量平均少了13倍
為了解決這些問題,最後在2006年,宏碁決定採用Data Domain的重複資料刪除設備DD565。柳炳智表示,之所以會選擇使用重複資料刪除技術解決這個問題,是因為在測試時發現,透過重複資料刪除的技術,該公司每日備份的資料量,平均可以有效減少資料量將近13倍,最高更有40倍的壓縮率。這將能夠協助該公司建立起D2D2T(Disk to Disk to Tape)的資料備份架構。
柳炳智以該公司的Lotus Notes郵件資料來測試重複資料刪除的結果為例,840GB的備份資料,經過重複資料刪除技術的設備,去除重複的資料後再進行壓縮,如果整體以40倍的壓縮率來看,需要備份資料僅剩21GB。也因此,可以解決宏碁因為需要備份的資料過多,而無法在備份時間內完成當日資料備份的問題。
此外,採用重複資料刪除技術也讓宏碁成功的建立起D2D2T的資料備份架構,也改變了該公司磁帶備份的策略。柳炳智表示,現在該公司每周僅需在周日一次將資料備份至磁帶,之後再送到龍潭即可,其他備份資料均可儲存在重複資料刪除設備的硬碟中,磁帶則是用來儲存長時間歸檔的資料,解決了過去備份資料如果需要重新輸入系統中,一來一往耗費過多時間的問題,也省下了每日運送磁帶的人工。「事實上,磁帶量也大幅減少,管理上也更為容易。」柳炳智說。
宏碁資料儲存架構圖
宏碁利用重覆資料刪除技術,成功解決磁帶過多難以管理與運送的問題,今年更將進一步利用圖中的架構,多加入一臺重複資料刪除設備,最終期望達成不需運送磁帶的異地備份架構。
重複資料刪除也讓未來將建置的WAN異地備份成為可能
雖然利用重複資料刪除技術讓宏碁建立起了D2D2T的資料備份架構,解決了很多過去因為磁帶備份衍生而出的問題,但宏碁接下來還想更進一步擴張現有架構,解決資料處理瓶頸與實體磁帶運送的問題。柳炳智表示,現在宏碁在資料備份上,面臨了另一個瓶頸,那就是現有3臺備份伺服器和媒體伺服器的負荷量已經過重。宏碁是採用賽門鐵克的Veritas做為備份軟體,現在每臺備份伺服器和媒體伺服器能夠承受每日1.5TB的資料備份流量,也就是每天有能力備份4.5TB的流量。但隨著資料快速成長,伺服器已經開始出現不堪負荷的現象。
為了解決這個問題,柳炳智指出,接下來宏碁將再增加3臺媒體伺服器,以每臺可負荷4.5TB的流量來算,未來希望可以讓宏碁每天可以負荷9TB的備份流量。此外,也將把現有的3臺磁帶機,換成1臺LTO-4的磁帶機。根據宏碁IT部門的估計,1臺LTO-4磁帶機處理備份資料的容量和速度,就能抵上現行的3臺LTO-2磁帶機。
除此之外,宏碁還將再導入1臺重複資料刪除設備,做為異地備份之用。柳炳智表示,由於重複資料刪除技術平均能將資料量減少13倍,這將讓宏碁直接以WAN傳輸資料至龍潭機房轉存成磁帶的應用成為可能,由於現在使用的重複資料刪除設備支援此一功能,多添購一臺,放在龍潭機房,然後兩臺設備透過網路互傳備份的資料,就能完全省去運輸實體磁帶所需的成本。
他以先前測試的結果為例,如果透過重複資料刪除技術篩選後,每天多出的資料僅21GB,以T1專線來傳輸,30小時就可傳輸完畢;若以T3專線,2小時以內就可以結束。「也是因為重複資料刪除技術,WAN傳輸備份資料才比較可能,否則頻寬需求太大。」柳炳智說。文⊙劉哲銘
重複資料刪除協助壓低資料成長率
宏碁透過重複資料刪除技術,減少每日備份的資料量,平均減少了約13倍的資料。透過這種做法,改善了原本資料備份在磁帶上,管理和運輸上的麻煩。
此外,重複資料刪除也讓宏碁未來有能力以合乎經濟效益的WAN頻寬,達到直接網路傳輸的異地備份機制,根據宏碁的估計,如果採用T3的專線,每日需要備份的資料量經重複資料刪除技術處理後,以21GB來算,僅需2小時就能夠傳輸完成。
整體來說,重複資料刪除技術對宏碁來說,是在備份資料不斷快速成長下的一種釜底抽薪的方法,直接減少需要備份的資料量,解決原本許多無法解決的難題。文⊙劉哲銘
公司檔案─宏碁股份有限公司
●成立時間:
1976年8月1日
●主要業務:資訊產品、軟體及維修服務之通路銷售
●董事長:王振堂
●應用效益:以重複資料刪除技術,解決備份資料量暴增的問題。也有效解決了過去備份資料至磁帶上速度過慢的問題,並且讓宏碁有能力建立起D2D2T的架構。今年開始,宏碁還將再添購更多備份的媒體伺服器與重複資料刪除設備,以處理日漸增加的資料量。並且透過重複資料刪除技術減少每日備份的實際占用容量,達成透過WAN傳輸資料直接達到異地備份的效果。
沒有留言:
張貼留言