以下用"數據"來回答你的問題,
因為"大數據"和"數據"有點不一樣,
你的問題問關連性,其實屬於數據層面問題,
還沒有到大數據...
理論上做數據的人是要懂關連性的,
畢竟這也是所受的專業訓練之一,
但這裡有兩個問題,
第一做數據的工程師不一定就懂數據,
很現實的是很多工程師是自己摸出來的,
沒有"系統性"的學,
所以就不會知道數據的相關理論,
或是對數據有"不合適"的認知,
他們之所以做數據,不是因為他們懂數據,
而是因為被分到了這工作就去做,
就像自己打球隨便打自己摸索也可以玩得起來,
但沒人教你的話,你不會知道標準動作和戰術是什麼
第二就算工程師懂數據,很了解相關性,
但在現實狀況下,工程師很可能用不到數據專業,
因為公司裡會一堆人覺得自己"懂數據",
工程師只會被視為debug和coding的工具人,
你的PM,你的老闆,甚至你的客戶,
會覺得你只是工程師,所以你不懂"市場",也就不懂"數據",
他們自己就已經是滿口的數據經,
所以有問題也不會諮詢你,
除非你和他們關系很好,他們會找你聊天,把你當"人",
在這種狀況下,當然工程師的功能就變得非常單純,
只能評估能不能做了,能做,就做
拿你的例子來說,
就算你從數據找出出現頻率第二多的單字是be,
你把這結果告訴PM或老闆,他們可能會用他們的感覺說:
"屁啦,明明是and,怎麼可能是be!"
你請他們看你的分析過程和方法,但他們大概就連看都不看,
你覺得最後呈現給客戶看的第二多單字是be呢?還是and呢?
所以說到底就是公司專不專業問題,
公司專業的話,會有專門處理數據的人,
是真的懂相關理論和技術,
有影響力的,
職稱不一定是"工程師",但有數據實作能力,不會不懂"技術"
公司不專業的話,就PM或老闆壓著隨便找的工程師,
要做什就做什,工程師不能有意見,除非做不出來,
也就是大部份人看到的樣子了
※ 引述《SHANOLINDA (shiningstar)》之銘言：
: 請教一下大數據人員需要知道數據的"關連性嗎"
: 因為我之前有兩個朋友都是帶著數據與相關資料找.電腦工程師.
: 電腦工程師, 不需要知道數據關連.
: 只依客戶要求看能不能做, 做出客戶想要的東西
: 感謝指教
: EX: 從學測指考大考題, 找出教育部7000單 的 出現頻率(即該相關性)