Re: [問卦] Big data跟統計有什麼差?

作者: iyaicharles (0.0)   2015-09-03 12:59:45
※ 引述《Azuviir (Azuviir)》之銘言:
: 這個名詞近幾年很紅
: 很多公司都想跟上這股潮流
: 小魯最近也研究了一下
: 發現:幹!這不就是統計分析嗎?
: 根據網路上的一些定義來看,大數據不就是樣本數接近母體的統計分析而已嗎
: 為什麼這個名詞會突然竄紅
: 是因為從電腦投入商業以來幾十年樣本累積夠了才竄紅的嗎?
: 有沒有大數據跟統計分析有什麼差的八卦?
小魯非Data Mining科班出身的,僅在碩班時用到相關的技術
稍微就印象題一下 Data Mining/Machine Learning 是在CS裡面已經發展很久的技術
確實裡面有很多的東西都跟統計有關。 那麼統計跟Data Mining有什麼不同呢?
在於以前資料量不很龐大的時候,大概用Data Mining推導出來的公式演算法
然後直接實作就好了 而Big Data就不是這樣,資料量很龐大的情況下會衍伸出很多的問題
1. Data Mining的演算法不夠快,資料量大時算出來的答案已經過時了
-> Data Mining/ Machine Learning
2. 資料庫不夠彈性,Query光把資料讀出來就很久
-> 資料庫設計
3. 電腦本身不夠快,要把東西丟到其他人的機器去算,可是你又不想白白把
Raw Data送給別人看 -> 密碼學
4. 資料量很多,每天都有硬碟或機器壞掉怎麼辦
-> OS/虛擬化
所以身為一個提供Total Solution的Big Data,統計固然相當重要,但也不是全部
給你做個參考
作者: james732 (好人超)   2015-09-03 13:00:00
所以可以吃嗎?
作者: jun1981   2015-09-03 13:00:00
Total Solution
作者: SuperUp (( ̄▽ ̄#)﹏﹏)   2015-09-03 13:01:00
=Google inc.
作者: drajan (EasoN)   2015-09-03 13:01:00
資料量很多,每天都有硬碟或機器壞掉怎麼辦 ->分散式系統
作者: bbqsandwich (sandwich)   2015-09-03 13:13:00
平行運算發展中
作者: bookticket (XD)   2015-09-03 13:25:00
推這篇 簡單易懂

Links booklink

Contact Us: admin [ a t ] ucptt.com