[問題] hadoop mapreduce效能問題

作者: jimkukky (kukky)   2016-03-21 23:07:20
我是在一台實體機,用win7安裝單機hadoop,
我是測試wordcount的實驗,
我把reducer分成三個,跑出來的時間比一個reducer還要慢
程式設定如下
測試一個檔案
1.job.setNumReduceTasks(1)-大約30秒
2.job.setNumReduceTasks(3)-大約38秒
請問有什麼方法能夠讓單機運算的時候強制分散cpu進行同時執行,
加快效能之類的,如果不行的話就只能考慮安裝虛擬機三台(不過有點麻煩),
所以想請這方面的專家是否能克服這個問題?
作者: iamnotfat (我不肥)   2016-03-29 10:36:00
Mapreduce 針對小檔案 是感受不到他的power, 量要夠大

Links booklink

Contact Us: admin [ a t ] ucptt.com