[問題] 多進程的程序可以丟入多個引數嗎?

作者: king00000000 (逆天)   2018-01-31 15:08:24
小弟剛入門python沒多久
我現在在寫一個爬蟲的東西,處理過程有點複雜,資料量又大,想導入多進程加快速度
我是用進程池pool,但是看網路上的教學好像通過apply_async執行的task只能接收一個引數的樣子
前面有幾個task需要用到的資料已經處理好了,但我不知道怎麼丟進去,有高手能交流一下嗎?
範例:
def task:
(do somthing)
main:(主程式)
a(陣列)
b(陣列)
c(Beautifulsoup)
job = [pool.apply_async(task, (d,)) for d in xxx]
我想把a,b,c這三個每個task都會用的資料丟進task,要怎麼做比較好?
作者: anotherday   2018-01-31 16:11:00
functool partial
作者: Yshuan (倚絃)   2018-01-31 16:25:00
推partial
作者: king00000000 (逆天)   2018-01-31 19:17:00
嗯嗯,套進去了,這個真好用,感謝1、2樓
作者: ar54971   2018-03-06 03:44:00
作者: galeondx   2018-03-06 04:22:00

Links booklink

Contact Us: admin [ a t ] ucptt.com