[問題] parSapply問題

作者: SFMAndroid (安卓發送)   2016-03-17 14:48:16
[問題類型]:
效能諮詢(我想讓R 跑更快)
[軟體熟悉度]:
請把以下不需要的部份刪除
入門(寫過其他程式,只是對語法不熟悉)
[問題敘述]:
請簡略描述你所要做的事情,或是這個程式的目的
爬PTT文章,原本是用sapply加上自定義函數,
但實在跑太久,想說用snow::parSapply會不會比較快,
但一直遇到問題@@
除了找不到所有httr裡的函數外
即使用clusterEvalQ把所有未定義的函數都定義後,
就出現is.url(url) is not true的無限輪迴...
但改回用sapply除了跑很久外完全正常,
請問有沒有大大知道該怎麼辦??
感謝~
[程式範例]:
https://gist.github.com/anonymous/a45f6d04254adb27e64a
[環境敘述]:
R version 3.2.1 (2015-06-18)
Platform: i386-w64-mingw32/i386 (32-bit)
Running under: Windows 8 x64 (build 9200)
locale:
[1] LC_COLLATE=Chinese (Traditional)_Taiwan.950
[2] LC_CTYPE=Chinese (Traditional)_Taiwan.950
[3] LC_MONETARY=Chinese (Traditional)_Taiwan.950
[4] LC_NUMERIC=C
[5] LC_TIME=Chinese (Traditional)_Taiwan.950
attached base packages:
[1] parallel stats graphics grDevices utils datasets methods base
[關鍵字]:
snow, parallel computing
作者: Wush978 (拒看低質媒體)   2016-03-17 23:13:00
利用 clusterEvalQ 來比對: ls() 與 searchpaths()是不是有漏掉東西沒在worker上載入

Links booklink

Contact Us: admin [ a t ] ucptt.com