[問題] 如何在jupyter中跑大型專案?

作者: wallrose (牆玫瑰)   2018-02-20 03:59:44
想請問
我有很多個dataset
每一個dataset要建一個模型(tensorflow)
於是 每一個dataset 寫一個ipynb檔
這樣能夠看清楚 每一個dataset的建模情況
然後一個個手動啟動 => 執行完再關掉 => 再開下一個檔
因為之前只是demo 所以量不大 這樣做沒問題
現在要跑正式的實驗 資料量非常大
我希望能夠一次設計好流程 讓電腦自己慢慢跑
並且 每個檔案跑完之後 打開檔案時能留下結果
(ipynb 或 html皆可, 但html佳)
有辦法寫個main檔 就依序執行完所有檔案嗎?
平常我會用 %run 指令執行一些ipynb
但這樣似乎 沒辦法在個別檔案中留下結果
補充:
由於gpu記憶體只有6g
一定要依序執行,並且執行完要shutdown釋放記憶體
才有辦法跑下一個檔案
以上基於jupyter notebook發問
如果真的不行.....也歡迎推薦其他IDE
謝謝
作者: WunoW (WunoW)   2018-02-20 10:31:00
幫推一下,正好也在想類似問題
作者: groovy2016   2018-02-20 11:50:00
可以寫class包成module ?
作者: vi000246 (Vi)   2018-02-20 13:17:00
寫支程式去跑呢?https://goo.gl/Akspgv我有google到這指令 --stdout 你研究看看能不能輸出結果
作者: leoloveivy (cried)   2018-02-21 20:54:00
如果你只是覺得程式碼很長你用滾很久import進來啊
作者: kimutaka (保持對生命的熱情)   2018-02-22 04:51:00
推一個, 也想知道有沒有好方法
作者: sma1033 (死馬)   2018-02-22 15:38:00
我覺得Jupyter其實本身設計就不是很方便做大型系統的開發他的價值應賅是讓使用者可以方便的測試、除錯與教學
作者: goldflower (金色小黃花)   2018-02-22 22:51:00
https://github.com/tritemio/nbrun看起來是你要的? 不過我沒跑過
作者: a830307119 (天生我材必有用)   2018-03-03 06:16:00
作者: galeondx   2018-03-06 04:42:00

Links booklink

Contact Us: admin [ a t ] ucptt.com