Re: [問卦] 大數據big data是不是過譽了

作者: ALL4927 (喔!是927)   2017-04-05 00:46:21
看到這個小魯也想來分享一下
本魯目前是在某個中型金融保險產業做網站數據分析
雖然美其名是跟big data有點攀上關係
但實際上.....主管根本啥都不懂
往往在做的事都只是在檢視數據,說明一下發生了甚麼事
一年累積的資料量大概也只有1、200萬左右
而且資料準確率還是一個很大的問題,原因就是沒錢很難做好追蹤Q_Q
不過前兩天跟一位在歐洲工作的親戚聊了一下
他在歐洲也是做數據分析,聽他分享的數據量才見識到甚麼叫做"大"數據
基本上一次要分析的量起跳都是百萬為單位,一兩千萬的量也是很常見
而每一筆資料都還帶有2、300個欄位值
所以每次要計算跟分析資料其實都需要靠外部資源來處理
最常見的就是把資料全部先丟到AWS,再用AWS的伺服器做處理
不然一般公司也不見得養得起這種規模的硬體設備
至於工作內容其實挺無趣的(據他自己所說啦XD)
無非就是針對巨量資料做處理,從裡面找出一些趨勢來建模型做預估
之後就是針對這個模型不停地去做優化
往往從開始分析到模型出來再開始優化大概就是半年的時間
之後....就每天爽爽做自己的事等著被挖腳XD
他是認為難的都是在一開始寫演算法,後面優化部分其實只是修改不難
畢竟如果一開始就做錯接下來什麼都不用玩了
看他LinkedIn上面資料,基本上每個工作大概都是做不到一年就被挖走
從有線電視、線上購物到博弈公司,每個產業跳來跳去
所以big data不是只適用在特定產業,只要有好好收集數據都很有潛力
而他自己是認為big data的精隨是在於"預測"
那些拿過去資料整理得很精美的報表說穿了都是垃圾
重點是在於你怎麼用這些資料來建立模型並提高準確度來預測接下來會發生什麼事
那些政府統計報表就別出來給人家笑了
而薪水部分,這類型的職缺基本起跳大概是5、6萬歐元,之後做得好被挖腳就很難說了
像他被挖四、五次了,薪水應該是爆炸高(但我也不好意思問人家年收入多少就是了)
至於前面有人回文說文組還有機會我覺得有點在誤導
我這位親戚從大學到博士都是跟統計領域相關,這塊說起來其實還是偏向理組
而且到後面做建模跟分析都要用到大量數學公式
一般文組的科系要碰到的機會真的不多
以上大概就是最近跟他聊天的一些心得八卦分享
作者: a000000000 (九個零喔)   2017-04-05 00:49:00
你的意思是哈哈文組哈哈 這樣嗎?
作者: majorleague1 (一起加入型男的行列吧!)   2017-04-05 00:50:00
文組甚麼都不會然後當主管比你高薪這樣嗎

Links booklink

Contact Us: admin [ a t ] ucptt.com