[問題] python有記憶體限制嗎

作者: lericee (艾瑞克)   2018-08-15 14:49:08
大家好
網路上查沒查到相關的問題..
不知道是不是該在這裡發問
我是用anaconda的jupyter notebook
去跑sklearn 的svm
我用的數據約兩萬多筆 欄位有17個
在training的時候用迴圈讓他一次是用不同的數目去train
(100 200 500 1000)
train的時候已也幾個欄位而已 並不是全部17個
但就會卡住 跑很久 四個模型跑了一個多小時還沒好
但我個別跑1000的也只要10秒而已
想說會不會是記憶體的關係嗎?
但看工作管理員記憶體也沒跑滿
後來用IDLE去做一樣的事
也是一樣
而且分給python的記憶體差不多就100MB
然後我個別跑的時候 train data超過4000的時候也是會跑不出來
想請問這樣是哪裡有問題嗎?
ps. 程式方面應該是沒有錯 因為是跟著網路上的教學做的 幾乎一模一樣
且單一跑跑得出來
新手發問 請多包涵 謝謝<(_ _)>
作者: djshen (djshen)   2018-08-15 15:00:00
看複雜度
作者: f496328mm (為什麼會流淚)   2018-08-15 17:54:00
SVM 很慢主要是 SVM 背後的演算法相對複雜,tree 簡單多了
作者: lericee (艾瑞克)   2018-08-15 18:45:00
另外想問一下anaconda的運作是怎麼運作呢? 因為我有時候同樣的code 在anaconda跑幾十分鐘出不來 用本機IDLE 一分鐘就好了 anaconda是在伺服器運作嗎 還是也用本機處理呢?
作者: goldflower (金色小黃花)   2018-08-15 19:31:00
複雜度應該是2-3之間 但是迴圈跑不出來沒啥道理你有把verbose打開看看有沒有東西嗎你說anaconda跑不出來是指jupyter/ipython嗎?
作者: handsomeLin (DoGLin)   2018-08-15 20:13:00
一看就知道你的迴圈沒寫好啊
作者: goldflower (金色小黃花)   2018-08-15 21:56:00
verbose就是print訓練過程而已我剛查sklearn下面的svm都有verbose才對@@阿 你會不會沒做normalize你可以設定max_iter確認問題是不是在收斂條件上
作者: Falldog (Yo)   2018-08-16 00:09:00
先看看你的python是不是跑64bit的版本吧
作者: goldflower (金色小黃花)   2018-08-16 02:13:00
normalize後還是跑不出大筆的結果嗎?
作者: lericee (艾瑞克)   2018-08-16 12:08:00
也謝謝其他人的幫忙~~
作者: goldflower (金色小黃花)   2018-08-16 18:00:00
讚讚讚 恭喜成功
作者: lericee (艾瑞克)   2018-08-16 22:28:00
真的感謝G大的熱心幫忙 Q_Q
作者: ggirls (哥)   2018-08-21 17:27:00
什麽是normalize?什麽是normalize?
作者: s860134 (s860134)   2018-08-23 20:26:00
中文貼切一點叫歸一化

Links booklink

Contact Us: admin [ a t ] ucptt.com