Re: [心得] FreeNAS / TrueNAS 七年之癢(?)

作者: hazemay (衝吧~~阿斯啦)   2022-10-12 07:53:52
看到了這篇文章剛好來分享一下最近大概半年的折騰經驗,內容有點長的流水帳。
請斟酌觀看,謝謝
一開始沒有要搞自組NAS,自組NAS完全就是自己白癡挖了一個坑給自己
因為工作的需要見大量的VM來模擬客戶的手上環境,並且在佈署上客戶正式機前
能夠多做幾次的驗證,所以購買了一台雙CPU的洋垃圾(18CORE/一顆,共72執行序)
256GB ECC DDR3(本來想打雞血BIOS,但是後來發現瓶頸在硬碟就先擱置)
安裝了ESXI 6.7免費版授權,VM上線後就發現硬碟就是我自己挖的坑,
本來想說買一個10TB的傳統硬碟就夠了。
結果遠遠不夠,開一兩個VM就已經把SATA 6Gb/S塞爆了。
接下來因為沒有預算,
後來在網路上爬到了ISCSI的方式可以用,在既有的QNAP的NAS上開了一個POOL
把ISCSI打開,然後.....抓不到。ESXI怎麼樣都抓不到QNAP的ISCSI的服務
最後發現了ESXI+FREENAS的實際應用範例。
我就開始在庫房裡面翻找
湊了6顆1TB有5400&7200的硬碟、i7-4770K的主機、16GB的記憶體、1顆128GB的SSD
另外領了一個USB3的外接盒跟16GB的隨身碟就開始了我的自建NAS之旅。
把I7-4770K的內建Quadro P600拔起來改內顯(反正只要亮機)
TRUENAS安裝在外接隨身碟(沒辦法,預算評估沒做好只能自己吞)
6個1TB做RAIDZ(好像等同RAID5)勉強有個容錯就行,
為了增加效能就把SSD裝在USB3外接盒,做快取。
照網路文章設定的就抓到ISCSI硬碟空間了,接下來把VM從內建10T轉移到ISCSI中
VM常駐4個目前效能都足夠,至少告一段落了
後來又在庫房翻到E3-1231V3的主機,恰好原本的4BAY的NAS退役。
把2T*4的NAS組上去,原本的I7-4770K上的RAM拆一半給E3用
E3-1231 V3 + 8GB + 亮機卡 + 2T*4 + 16GB隨身碟搞起來變成第二組TRUENAS
準備拿來當正式NAS的第三備份。(4BAY NAS因為主板掛了只好讓他退役)
感覺還是蠻基本的應用,遠遠比不上元PO大大的極限玩法。
分享到此,謝謝大家。
※ 引述《tonysan (旅法師)》之銘言:
: 網誌沒有比較好讀版:
: https://tonysanv.blogspot.com/2022/10/truenas-freenas-7-years-later.html
: 七年前古文: #1MMGYTuc (Storage_Zone)
: 自從組 FreeNAS 已經過了七年,特別寫一篇 blog 詳述中間各種變化與升級,下面條列
: 升級重點,給沒時間細讀的人參考:
: 記憶體加滿 - 128G
: 加了一張 PCIe NVMe 擴充卡
: 把開機 USB 換成 NVMe
: 再多加一張 NVMe 當成 L2ARC
: 硬碟就地升級成 8TB
: 拆外接硬碟,改 SATA 電源接頭
: 用 smartctl 跟 badblocks 壓力測試硬碟
: 陣列重組 (resilvering)
: 升級區網,終於讓主機板上的 10G 網卡解除限制器
: CIFS 效能從 3.5Gbps 提升到 5.45Gbps
: 對細節有興趣的請繼續往下看...
: 在 FreeNAS 上面跑幾個比較肥的 VM,記憶體有多少都不夠用。因此把記憶體加滿這種事
: 情在經過大腦思考前,膝蓋都已經下單結帳完了。不過每次重開機,VM 也會跟著一起重
: 開,不太方便,後來就把 VM 上跑的東西慢慢移到另外一台機器上跑 docker。
: 古早以前,FreeNAS 開機是放在 USB 上面,但自從 11.1 後,開機碟會有頻繁的讀寫,
: 官方建議放在正常的硬碟上。(當然我是直到 USB 碟掛點了才知道這件事情。) 但這張
: 主機板已經沒有多餘的插槽裝二個開機碟。
: 還好主機板上還有一個 PCIe x16,我當然也可以裝一張 HBA 擴充卡,或者是這個閃閃發
: 光的神奇裝置 (ASUS Hyper M2 擴充卡),而且正好主機板有支援 PCIe bifurcation,唉,我的膝蓋又下單了... 
: 而且好像可以多插幾張NVMe... 那就順便加個 L2ARC 好了!
: 不過對效能影響最大的升級不在機器本身,當我把區網升級到 2.5G / 10G 後,限制器整
: 個解除,六顆 WD Red 4TB 竟然 CIFS 可以維持在 3.5Gbps,整個跌破眼鏡。
: 不久後武漢肺炎(與它的變種們)就爆發了,加州還因為野火太旺,直接進入媽的刀鋒戰
: 士,接著供應鏈炸裂,跟不知道哪個天才發明的奇亞幣,讓硬碟價錢跳了好幾階,我的升
: 級計畫就暫時被擱置了...
: 直到某一天在附近的溝子口看到特價硬碟,我的膝蓋就拿出信用卡下單了。但這特價硬碟
: 需要稍微處理一下才能用,要先從外接盒裡把硬碟拆出來,並且把 SATA 電源接頭第三腳
: 用絕緣膠帶貼起來(用 Molex 轉 SATA也可以)
: 接上去確定硬碟都抓到以後,就開始燒機測試(注意,以下的燒機測試會同時燒掉硬碟上
: 的資料),用 smartctl 短長各跑一輪,接下來用 badblocks 進行讀寫測試( -c 用大
: 一點會跑稍快),測試完後再跑一次 smartctl long... 這顆 8TB 總共花了 110 小時才
: 跑完(建議全部接上去,一口氣壓測)。我另一台機器只有 4 SATA port,只好分二批測
: 。
: (測完以後發現有二顆硬碟讀寫稍微快一點(2%),不知是硬碟樂透,還是正常的效能浮
: 動。)
: 燒機燒完確定沒有不良品,SMART 數值正常,就可以上線啦!利用 resilver 機制一顆一
: 顆慢慢換,每次 10 小時,換到後面越來越快,可能是因為從 5400 轉升級到 7200 轉,
: 讓整體效能慢慢增加的原因吧?換完 raid z2 pool 容量就自動升級到 8TB x (6-2)
: 最後 CIFS 實測,cache miss 可以維持在 5.45Gbps,disk busy 大概在 80% 左右,看
: 來在區網全面升級成 10Gbps 之前,這台可以再戰個幾年沒有問題。
作者: changchichun (Eric Chang)   2022-10-12 17:56:00
現在新的TRUENAS似乎不建議裝在隨身碟上了
作者: YouCantGetME (高級攻城師)   2022-10-13 21:59:00
ESXi不吃Intel RST RAID
作者: asdfghjklasd (好累的大一生活)   2022-10-16 22:22:00
Softraid 當然不吃啊,商用的誰跟你用 softraid

Links booklink

Contact Us: admin [ a t ] ucptt.com