Re: [請益] 把各家公司財報做成資料庫搜尋??

作者: LKJS (LKJS)   2017-04-09 16:39:20
我先假設你的「資料庫」真的是指一般公司企業在用的「資料庫」
(如果你指的「資料庫」只是想放資料,算算指標。以台灣公司財報的量跟複雜度,用還算ok的電腦+excel就可以有不錯的效能了。)
1. 網路爬蟲:先了解網站怎麼寫的(HTML+CSS+Javascript) + 任一可以寫爬蟲的語言(現在最受歡迎網路教學最多的應該是python)
但其實網路上很多別人已經整理好的資料,直接下載excel檔或csv檔就好了...
2. 資料庫:SQL
如果你只是問「程式」能力了話大guy就這樣..
但真正麻煩的是資料庫設計:你要有哪些表格?每個表格有哪些欄位?
要不要做索引?要不要做正規化?要用哪一家資料庫軟體?
像是,你要一個公司一個表格,每個表格裡面放該公司歷年資料?
還是一年一個表格,裡面放該年所有公司資料?
還是每一份財報就一個表格,非常有系統地按公司按季度分開放,但需要用到數個公司數年份的資料比對時,就要寫非常複雜的SQL語法?
還有資料清理:拿到的資料有缺值怎麼辦?有些西元年有些民國年怎麼辦?該放數字的地方出現中文怎麼辦?
還有流程設計:從資料蒐集→資料清理→資料入資料庫 的過程,要一口氣三步一氣呵成嗎?還是先全部做完第一步,寫成暫存檔,再全部一起做第二步、第三步?
所以很多網站才要收費RRR工程師很可憐derQQ
※ 引述《prmea (123)》之銘言:
: 有點像財報狗那樣,
: 可是想要用他的VIP指標但需要付費,
: 所以,想要1.把所有財報資料做成搜尋庫
: 2. 根據所想要的指標來選股
: e.g. 長短期金融借款
: 需要那些程式能力??
作者: genius721105 (genius721105)   2017-04-09 18:48:00
自己做資料庫的成本 絕對高於買資料庫時間成本

Links booklink

Contact Us: admin [ a t ] ucptt.com