HI, 各位大大
想討論今年第二大題
https://imgur.com/7n6WZw0
這個cluster我參考原文書及張凡第七章畫的
https://imgur.com/a/d4QDu0S
題目提到reduction，我翻原文書翻到這個
https://imgur.com/nI9Lxy9
f
題目貌似沒給rotation，是假設平均的seek+rotation=5ms?
最大應該是所有資料放在一顆硬碟然後傳上來吧?
最小是多顆硬碟組RAID，然後計算嗎? 不太確定
g
題目提到data transfer可以和computation時間重疊，且data transfer時間比較久
所以只要計算資料傳到GPU就好?這個資料是多大，我們決定嗎
h
這邊我只想到決定好reduction的次數乘上100us就好
課本的pattern是8個傳到剩1個，reduction3次，應該是 以2為底 log N
i
total time應該是 資料讀到電腦的時間 + 資料處理時間(GPU) + reduction ?
題目也沒說 記憶體頻寬、大小 ，還有Network的速度感覺好少條件
bottleneck我猜是硬碟
大大有任何想法嗎?求解感謝

有給D個disk 就用RAID read最慢的那一種做lower bound吧

台大 f, min. time=5ms max. time=5ms+10^15/250*10^6)g 切成1KB為最小不可分割運算單位，意思是有10^15/10^310^12 computers，每台有8張GPU，128GB的頻寬GPU運算時間=1KB/128GB 約等於7.8125nsh 共10^12 computers，要把這些node運算的資料加起來考慮到10^12非2的倍數，reduction operations=floor(log(10^12))=39(次)，因此傳輸時間等於3.9msi total min. time=5ms+3.9ms+7.8125ns約等於8.9msbottleneck為硬碟的seek time，建議換成SSD業界人士給我的答案，應該差不到哪裡去。