[問題] kmeans 大數據版本 f496328mm PTT批踢踢實業坊

[問題] kmeans 大數據版本

作者: f496328mm (為什麼會流淚) 2016-08-15 15:57:04

跑kmeans出現以下訊息
Warning message:
Quick-TRANSfer stage steps exceeded maximum (= 1318974700)
看起來是已達最大值
我的data 有2.6千萬筆
想問問看有沒有
大數據的kmeans版本
或是解決方法或是說這是warning所以不用理他???
謝謝

作者: qhair (卡早睡卡有眠) 2016-08-15 20:34:00

如果會用Spark的話可以用SparkR的kmeans

作者: celestialgod (å¤©) 2016-08-15 22:36:00

你沒有多台機器跑spark效益就不大了

作者: Wush978 (拒看低質媒體) 2016-08-15 23:56:00

Sampling?

作者: cywhale (cywhale) 2016-08-16 14:31:00

我知道biganalytics有bigkmeans這個function不過我沒用過

作者: clickhere (It's time to go home.) 2016-08-16 22:22:00

pmclust::pkmeans 要多大有多大, 只要機器夠多就行.

繼續閱讀

[分享] colorout 套件分享 (在terminal下有色彩)andrew43 [問題] mac write csvisofjslk3ad Re: [問題] 資料長<->寬變換celestialgod [問題] 資料長<->寬變換DrRd [問題] 關於使用text,label 最大值SleepyChink [問題] 抓取網頁david31408 [問題] 在資料中新增一個變數來進行統計分析swilly0906 [問題] 有條件的刪除資料筆數amygm307 [問題] 矩陣運算問題Muhaosic Re: [問題] 求救QQ 時間序列分析繪圖問題naturalsmen

[問題] kmeans 大數據 版本

[問題] kmeans 大數據版本