TL;DR
AMD Ryzen Threadripper PRO 3995WX在8通道DDR4-3200下
Linux內建的/dev/shm可以達到9M~10M 4k IOPS
而16x Samsung 980 PRO 1TB安裝於此台主機上
未最佳化的RAID 0與系統在高隊列多執行緒下可達到6M 4k IOPS
主要硬體
AMD Ryzen Threadripper PRO 3995WX
8x 64GB Samsung DDR4-3200 ECC RDIMM
ASUS Pro WS WRX80E-SAGE SE WIFI (custom bios version)
7x ASUS HYPER M.2 X16 GEN 4 CARD
16x Samsung 980 PRO 1TB FW:5B2QGXA7 (Slot 1~7各2個+主機板2個)
mdadm RAID0 devices=16 chunk-size=128kB
default xfs
default mount
2x Crucial MX500
mdadm RAID1 裝系統
韌體設定
NPS4
TSME disable
作業系統
Ubuntu 22.04 LTS 5.15.0
其他沒說明的都是預設
說明
原本是準備了30個Samsung 980 PRO 1TB嘗試最大化效能
但後來發現有理論上與工程上的問題
根據AMD的文件 理論上的問題是
Each Processor has the capability to support four P links and four G links.
P links are connected to the PCIe root ports.
G links have the option to be connected to a PCIe root port or as cross
socket links that can be used to communicate cross-socket traffic.
但這張主機板是單插槽 所以G links應該是用於PCIe
There are four bandwidth injection points into the Infinity Fabric of a
single IOD: one per quadrant.
If the board designer chooses to use both G link and P link, then Px and Gx
share the bandwidth injection point in the IOD quadrant x.
When using both Px and Gx as bandwidth injection points, the system achieves
around 20 lanes of effective bandwidth from that quadrant, even though
32 lanes are being used.
根據這段 就算SSD全部直連CPU 最多也只能用到20個
(20 lanes * 4 roots / 4 lanes per ssd)的頻寬
這個事實蠻合理的 因為DDR4-3200 8通道理論頻寬204.8GB/s
而128x PCIe 4.0 理論頻寬為256GB/s
中間還有infinity fabric, IOD, CCD等東西卡著
怎麼算都會網路塞車
When a G link is used to connect to a second PCIe root port, we will have a
configuration in which traffic from two PCIe root ports must be distributed
to a single DMA BW injection point.
In the above configuration, the upstream bandwidth is equally distributed
between P and G links, assuming an equal number of lanes being used in
both P and G links.
根據這段，我應該要安裝各2個在P0, G0, P1, G1, P2, G2, P3, G3
但華碩的工作站主機板說明書都不會提供主機板架構
(這點Supermicro gigabyte asrock rack 都做得比較好
工作站或伺服器級主機板手冊都會提供架構圖
Supermicro的M12SWA-TF就有提供這張圖
https://i.imgur.com/F4UQPzH.jpg )
反正最後用試的試出來
使用16個SSD 每個插槽各安裝2個 主機板上裝2個
這樣能讓每個PCIe Root Complex底下有4個SSD
工程上的問題是
這張板子的BIOS Version 1003進不了Linux
網路上其他人的留言
https://unix.stackexchange.com/questions/692552/#700549
而就算退版回0701能進Linux 只要安裝超過14個SSD就會有問題
(鄉民: 購買工作站或伺服器 請找品牌廠+SI
有錢就上DELL HPE 沒錢至少也選Supermicro或其他台廠白牌"整機"
[麗台 華碩 技嘉 微星 廣達 緯穎 ...]
自組遇到原廠沒有測過的issue 沒有SI支援很可怕的
我就遇到了 華碩的工程部門 沒有超過10顆的SSD
無法測試同時安裝超過10顆以上的狀況)
理論性能測試
使用fio 3.28 參數比照CrystalDiskMark 8 nvme
fio