[問題] Api到DB的即時資料串流 ms0344303 PTT批踢踢實業坊

[問題] Api到DB的即時資料串流

作者: ms0344303 (我不玩了) 2022-04-13 11:32:59

如標題
敝人有一個case需要定期從某個api取得資料稍微處理並塞入到指定db中
同時往後有其他api資料來源的話因為格式可能不同
需要做針對異質資料來源其他處理模組整合成統一格式再塞入
簡單來說就是整合異質資料並同質化的data loader
除了用比較土炮的爬蟲腳本服務化之外
還有比較好用的方式嗎
企業方向的解決方案也可？
感謝

作者: celestialgod (å¤©) 2022-04-13 12:17:00

AWS lambda, Azure Functions, Azure Logic App

作者: k1988771028 (阿虧) 2022-04-13 13:14:00

本來就有linux的話可以用airflow 更陽春的話crontab

作者: Hsins (翔) 2022-04-18 22:42:00

同樣的需求，規模大小會有差異

繼續閱讀

[問題] shelve模組創一個檔案text.dat會變成怪檔newbrain Re: [問題] append的問題ddavid Re: [問題] append的問題unfinish Re: [問題] 如何import所有來自指定目錄的moduleVivianAnn [問題] 國徽中間的圓為何無法填滿白色tang1019 [問題] tflite quantizationjack155861 [閒聊] 送書影像處理相關pent [問題] 爬蟲網頁登入失敗kizuki45 Re: [問題] 如何import所有來自指定目錄的moduleblc [問題] 如何import所有來自指定目錄的moduleVivianAnn