Re: [問題] 想在Scala的RDD物件中更新變量

作者: popcorny (畢業了..@@")   2017-03-20 22:39:15
※ 引述《iwantstronge (...)》之銘言:
: 版友們好~
: 最近剛學Scala, 有個問題卡了很久
: 當我把檔案用RDD讀進來:
: val input = sc.textfile("myfile.txt")
: 接著逐行讀取這個檔案(RDD),
: 在裡面用一個容器(HashMap, Array, List之類的)儲存每一行的一些資訊
input.map(line => (line, 1)).reduceByKey(_ + _).collect
回傳是一個tuple array 自己再轉回HashMap
更簡單的是
input.distinct().collect
作者: iwantstronge (...)   2017-03-21 10:56:00
感謝回覆,其實我會想轉成HashMap主要是時間效率好如果資料量太大是否就只能以RDD來處理?lookup()之類的~~ 但是時間效率很差~
作者: v9290026 (CH)   2017-03-21 20:06:00
lookup多大?有沒有考慮broadcast放不放得下或nosql

Links booklink

Contact Us: admin [ a t ] ucptt.com