[問題] Raid-5炸掉和合理Raid組磁碟數量分配問題

作者: maplefff (maplefff)   2019-08-15 19:15:51
Hi, 各位Linux前輩請多多指點小弟
事情是這樣,今天早上我確認Raid-5磁碟陣列出現三顆異常便著急更換
操作過程有一些misunderstand和不謹慎,也沒有確認Spare Disk的情況
到底是本來就不可能了,還是我腦殘造成的,已經不可考。
總之,重建失敗,Raid Fail, 資料爸爸、資料媽媽、資料阿公、資料弟弟
祖孫上下三代400TB已經一起上路。
我己經準備提頭跟老闆解釋。
七月的台灣,真的好冷。
作者: Hurricaneger (褲襪脫落大尉)   2019-08-15 19:25:00
raid10或01就好,要速度請加ssd做快取。資料不要只有一份,最好是兩地異地備援(不要備在自己家裡)。rebuild都要看運氣啦。這東西很玄學
作者: a1u1usul3 (Q-Max)   2019-08-15 19:29:00
該用raidz3,超過12顆就該用更厲害的做法。180顆硬碟只規劃raid5....幫拍拍hadoopfs會duplicate三份,raidz不論是1還是2還是3都duplicate不到兩份。可能不能直接拿來比較,但是重要的資料duplicate不到兩份真的說的過去嗎?沒有異地備援,今天是硬碟壞了,明天如果天災人禍火災或漏水,這些資料一樣都消失了亂講了一些,再幫你拍拍一次。我覺得一開始的規劃就非常有問題,希望對你有幫助理論上是吧。raid的rebuild也有個問題,通常一組raid的硬碟都是同時買的,壽命、品質可能也很接近,rebuild過程中也很有可能途中再掛一顆兩顆其實單台180顆已經遠超乎我的想像了,我也不是儲存裝置的專家,我只是知道這個數量絕對不可能用raid5........如果你自己無法評估,建議你找專業廠商去幫你們評估其實我回覆的第一句話被ptt吃了,原本是說內可以考慮用raidz1,6~12顆考慮用raidz2,12顆以上考慮用raidz3。可是180顆只用raidz3真的夠嗎?我也不知道好像不能貼連結....reddit上面有討論,五顆以內可以考慮 raidz1
作者: maplefff (maplefff)   2019-08-15 20:48:00
好的,a大(更正),我再把高階Raid跟單一Raid組規模加入跟Boss的討論裡。
作者: soem (流水)   2019-08-15 21:08:00
還有一點就是RAID並不是備份,如果資料真的重要還是要有備份
作者: Hurricaneger (褲襪脫落大尉)   2019-08-15 21:49:00
商用幾乎不會有4TB×180顆的解。你是一次抽三顆還是一顆一顆換?
作者: kdjf (我抓得到什麼呢?)   2019-08-15 22:01:00
最近一次ptt大爆炸也是raid rebuild時又壞了兩顆...
作者: mirc (阿谷)   2019-08-15 22:42:00
你知道SATA有多容易壞嗎?Raid5壞一顆在rebuild時你的Raid沒有保護,所以建議raid5 9D(data)+1P(Parity)分成17個raid,商用的可以再將17個Raid加總起來,其他的做Spare當你越多D+1P,風險越高,所以180顆做一個Raid那根本是找死這麼多顆硬碟你需要的是商用的儲存設備,否則你可以常常要掉資料,常常被老闆念到死,甚至工作不保>
作者: lspci (awk sed echo)   2019-08-15 22:52:00
改成raid6做一個LUN 所有的LUN再去組LVM 記得留足夠的hot spare disk
作者: soem (流水)   2019-08-16 00:36:00
看你各個mount point資料總和大小是不是均勻的,我想180顆disk的架構,切開來的好處(可用性、分散存取效能)肯定是比較好。那當然如果有特定mount point的資料是熱區就要另外規劃
作者: kenwufederer (Nash)   2019-08-16 10:41:00
用那麼多硬碟,看不懂…
作者: chang0206 (Eric Chang)   2019-08-16 13:33:00
你需求報出去 自然會有廠商幫你規劃好..你要自己土炮一個接近200顆硬碟的storage ?
作者: after1 (aaaaaaaaaaaa)   2019-08-19 00:46:00
樓上說的有理 但原PO連50到100萬都要考慮再三了 我看問題不在誰來規劃了
作者: chang0206 (Eric Chang)   2019-08-19 09:40:00
可是4T 200顆就80了耶 預算才50-100 ??
作者: lspci (awk sed echo)   2019-08-19 19:16:00
老實說 學校裡面因種種因素只能DIY 那就承受DIY的品質與風險 很公平
作者: yvb   2019-08-22 21:38:00
wiki:RAID -> 看看 RAID 50, RAID 60 那邊.180個HDs 作成一個 RAID5 而不是 RAID50 RAID60 真不可思議.
作者: Hurricaneger (褲襪脫落大尉)   2019-08-23 16:48:00
因為raid卡吃raid50可能也是很貴吧?
作者: chang0206 (Eric Chang)   2019-08-23 17:17:00
我覺得原PO應該也沒有用raid controller
作者: newversion (海納百川)   2019-09-06 19:17:00
180顆........ 在懸崖邊表演走鋼絲?

Links booklink

Contact Us: admin [ a t ] ucptt.com