[問題類型]:
請把以下不需要的部份刪除
意見調查(我對R 有個很棒的想法，想問問大家的意見)
程式諮詢(我想用R 做某件事情，但是我不知道要怎麼用R 寫出來)
效能諮詢(我想讓R 跑更快)
[軟體熟悉度]:
新手(沒寫過程式，R 是我的第一次)
[問題敘述]:
請問整理百萬筆的資料用Spark有比用原本Rstudio還快嗎?
看很多中文網頁都說Spark可以加快速度，有沒有人實作過能分享經驗的><
用筆電跑資料好慢/_\

看實際資料是多少，百萬筆應該是不太能感受到有無spark的差別我猜測的，沒實際比過data.table跟spark的差異我的看法是可以更詳細描述一下使用的情境比方說效能瓶頸是卡在哪一個步驟的計算

百萬筆的話 data.table還是比較快spark主要是連到server 串接多台server才會快但是網路傳輸的速度遠慢於計算完全划不來....

就是因計算速度>網路傳輸，所以效能會卡在傳輸，除非你你資料大到 必須靠多台運算而且傳輸損失的時間已可以忽略

真的要玩分散式，網路是重點，GOOGLE在這方面有優勢他有自己的海底電纜，自己有網路100M的網路很慢，你看看你硬碟、記憶體傳輸多快分散式，多台之前怎麼聯繫?就是靠網路網路慢，算得快也沒用，終究會被網速限制然後，不是一定要多台才能SPARK他就是分散式系統，你單機就違背當初概念跑很慢，主要原因可能是code寫法、筆電弱同一種資料整理，不同R寫法，速度可差到10倍以上這樣講好了，1TB data 要建模，單一設備玩不了所以分散給100台電腦，去建 modeldata就是要靠網路傳輸

更正樓上說的，單台不見得很慢啦，原po的資料量用不太到spark，多台電腦的話，比較能夠用上spark的power，但是多台就是會有網路速度跟運算速度問題，運算太快剩下就會變成都在等傳輸。至於雲端平台的話，傳輸可能要更久，因為要經過滿多層才能到你的電腦，當然還是實際測試比較準還是建議原po把要解決的問題po上來，看看是不是可以用其他方法解決。

如果只是整理資料不考慮用SQL做嗎?

SQL能做的有限

SQL有時候要做到程式只要幾行的邏輯 可能要寫很久而且不見得有比較好的performance但是SQL在處理相對簡單的資料前處理還是比較方便

資料大到記憶體裝不下才需要資料庫吧@@ 如果記憶體夠 其實用核心去做分散運算就好了可以嘗試foreach+doparallel , 真的不行在用MPI的方式去做串接