Re: [問卦] 大數據分析與統計分析的差別?

作者: grimmq427532 (Legend)   2017-10-18 12:42:56
我是覺得大家都講得太複雜
還有講到 Machine Learning , Data Mining , AI 的
統計說到底,就是由微觀看巨觀、由樣本看母體
既然你現在數據很大,那推論這件事情就變的單純的多
因為你樣本多嘛,多到可以直接抓母體了,
不用很高深的機率推論、不用滿足前提假設、不用在意實驗設計
所以大數據重點就是你要怎麼算的快、省資源
舉個例子來說,
統計有太多太多實例要求你在 10 - 100 個樣本之間
做最佳化、參數估計、分布估計嘛
但是做 Big Data 第一件發現的事情就是
幹,資料塞不進記憶體
就算你塞進去了
幹,Computing Power 不夠
所以你就看到很多分散式運算、Cuda啊之類的
這邊就比較像 ML 或 DM
AI 的事情,譬如說 Computer Vision 吧
不但要快、省,還要找到他媽的機掰的 Loss Function Minimum
那就更北爛了
跟 Big Data 不是同一件事情
作者: perlone (無名小卒一個)   2017-10-18 12:45:00
恩恩 跟我想的一樣
作者: sampsonhugh (夏)   2017-10-18 12:48:00
歡迎善用主計總處信箱 https://goo.gl/bZDKUu
作者: zzzz8931 (肥宅)   2017-10-18 12:49:00
好的
作者: saufu08 (saufu)   2017-10-18 12:49:00
我看的懂你寫的跟我想的一樣
作者: zx3393 (魯至深)   2017-10-18 12:52:00
嗯...你不懂統計,只會應用,然後再從應用逆推統計原理結果就是,講錯了。
作者: rosenzulu (玫瑰祖魯)   2017-10-18 12:52:00
這篇簡潔有力 推
作者: abramtw (世界原來是如此耀眼啊)   2017-10-18 13:00:00
阿不就一階倒數等於零 二階大於零就好了
作者: laba5566 (最愛56家族 啾咪)   2017-10-18 13:06:00
一堆loss fun不可微 沒有二階倒豎 樓上就GG惹
作者: chen1025 (小陳)   2017-10-18 13:24:00
作者: xxx741789 (xxx741789)   2017-10-18 13:51:00
最近在學這個推一下

Links booklink

Contact Us: admin [ a t ] ucptt.com