As title,
之前網路上看了些 Python 爬蟲基本教學,
正試著從證交所爬蟲建立 財報/股價 資料庫。
但沒多久就發現幾個問題:
1. 每天爬取公司股價,經常性斷線,
加上 Header; time.sleep(); 之類的都用上了,
想請益更有效率,穩定自動斷點續傳的技術。
2. 財報 PDF 想要自動化下載,
因為隱藏網址似乎是 jsoncallback 產生的,
並且網址當中一部分是隨機數 or 現在時刻(時分秒),
這方面沒辦法突破。
也有試過 selenium + firefox webdriver,
不過也是卡在多個頁面切換的操作無法 Loop。
想請益版上這方面的高手,這些部分怎麼用 code 實現,
如果人在高雄有時間也可以約出來,我可以請你吃飯~
非常感謝!!