[問題] python取得html

作者: aa12twtwaa (Tohka)   2016-12-11 21:01:39
各位大大我用urllib2抓取單個網頁的html發現要2秒,請問是否有方法可以更快的抓取呢
?我整個程式就只有抓這個網頁還可以用多線程???還是有什麼lib可以更快
作者: kenduest (小州)   2016-12-11 21:21:00
抓哪個網頁?是 internet 上面網頁嗎另外你是多次請求嗎?還是只有一次請求而已若慢可能先確認一下是否是 dns 解析的問題都在同一台電腦上測試的?程式碼測試,我這邊花費時間截圖:http://imgur.com/a/Bhm4c然後我看一下 lightnovel.cn 的授權 nameserver分別是 f1g1ns{1,2}.dnspod.net 主機其中第一台有問題,連線 dns query 要等至少2秒才回應所以你的問題與 python code 沒關係,是對方的問題其實 f1g1ns1.dnspod.net 本身也多個 ip 紀錄所以有幾台回應特別慢就產生這個問題了
作者: aa12twtwaa (Tohka)   2016-12-11 22:56:00
原來如此,謝謝你

Links booklink

Contact Us: admin [ a t ] ucptt.com