PTT
Submit
Submit
選擇語言
正體中文
简体中文
PTT
Cloud
[問題] hadoop mapreduce效能問題
作者:
jimkukky
(kukky)
2016-03-21 23:07:20
我是在一台實體機,用win7安裝單機hadoop,
我是測試wordcount的實驗,
我把reducer分成三個,跑出來的時間比一個reducer還要慢
程式設定如下
測試一個檔案
1.job.setNumReduceTasks(1)-大約30秒
2.job.setNumReduceTasks(3)-大約38秒
請問有什麼方法能夠讓單機運算的時候強制分散cpu進行同時執行,
加快效能之類的,如果不行的話就只能考慮安裝虛擬機三台(不過有點麻煩),
所以想請這方面的專家是否能克服這個問題?
作者:
iamnotfat
(我不肥)
2016-03-29 10:36:00
Mapreduce 針對小檔案 是感受不到他的power, 量要夠大
繼續閱讀
Fw: [請問] 想找雲端虛擬化的線上課程
newwords
[閒聊] 雲端產品挑選上的疑慮
te87037
[新手] 請教關於目前市面上的雲端虛擬主機?
bigbird0613
[情報] Copy 倒了, 5/1之前要把資料轉出來
stanwu
[問題]關於AWS Elastic Beanstalk建置與設定
phwu007
[問題]請教關於網宿科技CDN資料
phwu007
[新手] devstack service 問題
ms0561188
[問題] 關於aws的Reserved Instances
wsybu
[情報] 幼獅職訓-雲端網路班招生中
YVTS
[情報] 免費AWS講座資訊
f4111222
Links
booklink
Contact Us: admin [ a t ] ucptt.com