※ 引述《hsiaotzu0505 (走啦走啦)》之銘言：
: 回朔以往的學習經驗，
: 覺得「整理數據，得到有用結果」的過程很吸引我，
: 但是已對純物理學術研究沒有興趣，也對半導體產業沒什麼興趣。
既然你是物理出生 想必數學能力是屌打資工出生的
你所謂的整理數據得到有用的結果 就是現在最熱門的Deep learning阿
從Big Data以來發展出的 data mining技巧
接著出現讓機器從資料學習的machine learning技術
反正你對python有興趣 可以嘗試實作一些常見基本工具
比如說Multilayer perceptron、convolutional neural network之類的可以更有感覺
: Q:各位前輩覺得數據分析師是什麼樣的工作，擁有什麼樣的生活呢？是否能從什麼方面推
: 敲自己是否適合這樣的工作？
今天才有八卦版問數學家的生活如何
簡單說很爽阿 不用出勞力 待在電腦前動動腦和打打code而已
而且軟工經驗豐富的人 平均想10~20分鐘才打一行code
作者: vfgce (小兵) 2018-02-14 20:10:00
你要整理什麼數據?除了物理之外,你有什麼專長?資料分析要做得好,不是只有懂分析,還要有domain knowlege
依照Andrew Ng的說法 domain knowledge也會不重要啦
作者: vfgce (小兵) 2018-02-14 21:50:00
大數據炒得太過頭了,domain knowledge不重要?先看看machine learning 是不是真的'學到'什麼東西沒domain knowledge的話,送一堆圾圾來做machine learn也不知道.
在資料分析domain knowledge開始變不重要就是大數據啊恰好NN的強項就在於你送一堆垃圾 只要裡面真的有有用的數據 他還是能學得不錯
作者: vfgce (小兵) 2018-02-15 09:23:00
當你連垃圾還是有用資料都不會分時,確定有送進有用的東西?垃圾就是垃圾,送進太多絕對還是會影響結果,大數據不是大就好,你送進一堆垃圾就是在增加運算量及減少準確率.
你好像沒看到我的前提 "裡面真的有有用的數據"你要知道你送的是不是垃圾從error就知道了難道你看到error發現feature是垃圾還不懂得拿掉?還有數學模型很老了好嗎...你在講什麼東西...我輪流放feature不就知道誰垃圾domain knowledge可以提早不用training就知道誰垃圾哈哈你還扯GAN 現在最有貢獻的DL是GAN嗎?你廣告推薦用GAN做?寫得不太對 不應該說貢獻 而是說經濟產值學得不錯不代表學得最好啊 邏輯?原本在資料量大下相對robust就是NN強項不是常識嗎我也沒說NN無敵啊 但andrew ng就是說以現在的發展來說這些domain knowledge的東西會漸漸都被取代掉你可以送慢慢拿掉啊 邏輯? 資料分析第一反應是GAN?我都不懂你到底對資料分析是想用在哪裡了所以你對資料分析第一反應是GAN 笑死人家就是想做現在市面上的資料分析 然後這方面的數學模型很老沒錯啊 然後你說GAN很新 還真的很會跳你到底在跳什麼...看不懂 198x不老?你現在又跳去概念了 不是在講資料分析的數學模型嗎XD要拔掉資料我還以為是常識 幾年出來的概念還真的笑死反正比起跳跳人 還是信andrew吧我講拔feature 你在講hard negative data mining你還是繼續跳吧當然我猜你又要講我上面說拔資料了 你還是往上看一點而且domain knowledge我還真不知跟這個有啥關係越跳越往外 不知道在幹嘛 我還是來去訓練我的模型...我真的覺得你中文有很大的進步空間哈哈哈 我快不行了 你還真的第一句就讀錯如果現在GAN的確有廣泛運用在廣告上那我的確孤陋寡聞但是你前面仍舊沒看懂我所說的 拔feature這件事有domain knowledge的人可以不用train就做但andrew的說法就是這個步驟會被NN取代然後建模的方式有domain knowledge的人可以做但是一樣NN可以扮演這個角色我其實前面在說的就只是這麼簡單的事情所以是不是垃圾你train的時候就能發現 回頭拔feature我是覺得蠻直觀的啊當然其實他講的這塊我是認為大部分在描述supervised
作者: vfgce (小兵) 2018-02-15 16:07:00
即使machine learning的模型準確率高,也不代表真的有學到有意義的東西,如何選擇feature本來就是門學問,一堆機器學習論文根本都繞著準確率在打轉,但到底學到什麼卻沒有解釋.為什麼?不就一堆人沒有domain knowledge,拿到資料就先做,
是啊 所以現在其實有些論文的開始朝這部分的metric去分析 但是其實只有部分問題可以做
作者: vfgce (小兵) 2018-02-15 16:12:00
有好的結果就發表,但這東西能不能用?有沒有意義都沒法回答.
作者: vfgce (小兵) 2018-02-15 16:17:00
事後解釋沒有關係,重點還是要有domain knowledge才有辨法..不然做了一個準確率很高的模型,結果被內行人笑說沒意義...
有沒有意義是test說話 不是內行人說沒意義就沒意義吧
作者: vfgce (小兵) 2018-02-15 16:19:00
就我懂的領域,就看過不少預測的feature根本就common sense.一個說血糖值預測糖尿病很準的模型有什麼意義?
作者: vfgce (小兵) 2018-02-15 16:21:00
可是一堆純資工人卻做的很高興.
作者: vfgce (小兵) 2018-02-15 16:24:00
那有什麼不同,就是domain knowledge不會不重要,起碼可減少做笨事的機會....
作者:
Ommm5566 (56天團)
2018-02-15 16:24:00阿法狗表示：他們在爭甚麼
作者:
Muscovy (三分熟的鬧鐘)
2018-02-15 16:25:00在爭下棋以外的東西...
作者:
Ommm5566 (56天團)
2018-02-15 16:28:00阿法狗現在在練星海 也在做醫療學習
但是請domain knowledge的價格跟import keras價格不同請個import keras的慢慢從現有feature挑 以現在的計算資源來說也許還比較值得我覺得前處理比較式微 但是NN架構怎麼串比較有用
作者:
Ommm5566 (56天團)
2018-02-15 16:32:00跟樓上說的一樣 現在就一堆資料訓練師 聽起來很帥
比如可以知道哪個資料該串去哪一層比較合理之類的阿發現在星海不是蠻弱的 不過應該還是贏我
作者:
Ommm5566 (56天團)
2018-02-15 16:33:00我怎麼記得GOOGLE有一支是可以寫NN的AI選擇layer的接法比人做出來的還好資工人怎麼老是努力讓自己失業
最近reinforcement也越來越潮啊 各種減少訓練時間所以AI大成第一個失業的就是寫AI的
作者:
angusyu (〒△〒)
2018-02-15 16:56:00這年代口號最重要，其他都假的 搞老半天沒人失業
作者: vfgce (小兵) 2018-02-15 04:10:00
你要整理什麼數據?除了物理之外,你有什麼專長?資料分析要做得好,不是只有懂分析,還要有domain knowlege
依照Andrew Ng的說法 domain knowledge也會不重要啦
作者: vfgce (小兵) 2018-02-15 05:50:00
大數據炒得太過頭了,domain knowledge不重要?先看看machine learning 是不是真的'學到'什麼東西沒domain knowledge的話,送一堆圾圾來做machine learn也不知道.
在資料分析domain knowledge開始變不重要就是大數據啊恰好NN的強項就在於你送一堆垃圾 只要裡面真的有有用的數據 他還是能學得不錯
作者: vfgce (小兵) 2018-02-15 17:23:00
當你連垃圾還是有用資料都不會分時,確定有送進有用的東西?垃圾就是垃圾,送進太多絕對還是會影響結果,大數據不是大就好,你送進一堆垃圾就是在增加運算量及減少準確率.
你好像沒看到我的前提 "裡面真的有有用的數據"你要知道你送的是不是垃圾從error就知道了難道你看到error發現feature是垃圾還不懂得拿掉?還有數學模型很老了好嗎...你在講什麼東西...我輪流放feature不就知道誰垃圾domain knowledge可以提早不用training就知道誰垃圾哈哈你還扯GAN 現在最有貢獻的DL是GAN嗎?你廣告推薦用GAN做?寫得不太對 不應該說貢獻 而是說經濟產值學得不錯不代表學得最好啊 邏輯?原本在資料量大下相對robust就是NN強項不是常識嗎我也沒說NN無敵啊 但andrew ng就是說以現在的發展來說這些domain knowledge的東西會漸漸都被取代掉你可以送慢慢拿掉啊 邏輯? 資料分析第一反應是GAN?我都不懂你到底對資料分析是想用在哪裡了所以你對資料分析第一反應是GAN 笑死人家就是想做現在市面上的資料分析 然後這方面的數學模型很老沒錯啊 然後你說GAN很新 還真的很會跳你到底在跳什麼...看不懂 198x不老?你現在又跳去概念了 不是在講資料分析的數學模型嗎XD要拔掉資料我還以為是常識 幾年出來的概念還真的笑死反正比起跳跳人 還是信andrew吧我講拔feature 你在講hard negative data mining你還是繼續跳吧當然我猜你又要講我上面說拔資料了 你還是往上看一點而且domain knowledge我還真不知跟這個有啥關係越跳越往外 不知道在幹嘛 我還是來去訓練我的模型...我真的覺得你中文有很大的進步空間哈哈哈 我快不行了 你還真的第一句就讀錯如果現在GAN的確有廣泛運用在廣告上那我的確孤陋寡聞但是你前面仍舊沒看懂我所說的 拔feature這件事有domain knowledge的人可以不用train就做但andrew的說法就是這個步驟會被NN取代然後建模的方式有domain knowledge的人可以做但是一樣NN可以扮演這個角色我其實前面在說的就只是這麼簡單的事情所以是不是垃圾你train的時候就能發現 回頭拔feature我是覺得蠻直觀的啊當然其實他講的這塊我是認為大部分在描述supervised
作者: vfgce (小兵) 2018-02-16 00:07:00
即使machine learning的模型準確率高,也不代表真的有學到有意義的東西,如何選擇feature本來就是門學問,一堆機器學習論文根本都繞著準確率在打轉,但到底學到什麼卻沒有解釋.為什麼?不就一堆人沒有domain knowledge,拿到資料就先做,
是啊 所以現在其實有些論文的開始朝這部分的metric去分析 但是其實只有部分問題可以做
作者: vfgce (小兵) 2018-02-16 00:12:00
有好的結果就發表,但這東西能不能用?有沒有意義都沒法回答.
作者: vfgce (小兵) 2018-02-16 00:17:00
事後解釋沒有關係,重點還是要有domain knowledge才有辨法..不然做了一個準確率很高的模型,結果被內行人笑說沒意義...
有沒有意義是test說話 不是內行人說沒意義就沒意義吧
作者: vfgce (小兵) 2018-02-16 00:19:00
就我懂的領域,就看過不少預測的feature根本就common sense.一個說血糖值預測糖尿病很準的模型有什麼意義?
作者: vfgce (小兵) 2018-02-16 00:21:00
可是一堆純資工人卻做的很高興.
作者: vfgce (小兵) 2018-02-16 00:24:00
那有什麼不同,就是domain knowledge不會不重要,起碼可減少做笨事的機會....
作者:
Ommm5566 (56天團)
2018-02-16 00:24:00阿法狗表示：他們在爭甚麼
作者:
Muscovy (三分熟的鬧鐘)
2018-02-16 00:25:00在爭下棋以外的東西...
作者:
Ommm5566 (56天團)
2018-02-16 00:28:00阿法狗現在在練星海 也在做醫療學習
但是請domain knowledge的價格跟import keras價格不同請個import keras的慢慢從現有feature挑 以現在的計算資源來說也許還比較值得我覺得前處理比較式微 但是NN架構怎麼串比較有用
作者:
Ommm5566 (56天團)
2018-02-16 00:32:00跟樓上說的一樣 現在就一堆資料訓練師 聽起來很帥
比如可以知道哪個資料該串去哪一層比較合理之類的阿發現在星海不是蠻弱的 不過應該還是贏我
作者:
Ommm5566 (56天團)
2018-02-16 00:33:00我怎麼記得GOOGLE有一支是可以寫NN的AI選擇layer的接法比人做出來的還好資工人怎麼老是努力讓自己失業
最近reinforcement也越來越潮啊 各種減少訓練時間所以AI大成第一個失業的就是寫AI的
作者:
angusyu (〒△〒)
2018-02-16 00:56:00這年代口號最重要，其他都假的 搞老半天沒人失業