Re: [問題] 將list快速寫入檔案的方式?

作者: stimim (qqaa)   2016-03-08 11:54:18
: with open('123.txt') as fi, open('456.txt', 'w') as fo:
: for _ in xrange(startindex): # 跳過 startindex 行
: fi.next()
: for _ in xrange(endindex - startindex):
: fo.write(fi.readline())
: 我不確定後面的方法會不會比較快, 但至少比較省記憶體(不用整個檔讀進來)
因為不用把整個檔案讀進記憶體,在檔案大的時候肯定會比 readlines() 快不少
另外,我發現如果用 itertools + writelines 的話,可以再快一些
實驗方法:
1. 生成檔案:
n = 2 * 10 ** 7
for _ in xrange(n):
print _
2. 分別用下列的 main 函數來讀檔、寫檔
def main(i, o):
with open(i) as fi, open(o, 'w') as fo:
fo.writelines(itertools.islice(fi, 30, 1500000))
def main(i, o):
with open(i) as fi, open(o, 'w') as fo:
map(fo.write, itertools.islice(fi, 30, 1500000))
def main(i, o):
with open(i) as fi, open(o, 'w') as fo:
for _ in xrange(30):
fi.readline()
# fi.next() or next(fi) will cause ValueError on next fi.readline()
for _ in xrange(1500000 - 30):
fo.write(fi.readline())
3. Result:
https://imgur.com/1RkWRFC
可以看到 writelines + itertools 最快, map + write + itertools 次之
不過很神奇的是用 map 時,記憶體的使用量高了不少。
作者: octantis (@.@)   2016-03-08 18:20:00
請問你是怎麼監看時間的?
作者: uranusjr (←這人是超級笨蛋)   2016-03-09 01:58:00
我猜可能是因為 map 還是會 allocate 一個 list 的關係想看執行時間請參考 timeit module
作者: stimim (qqaa)   2016-03-09 09:55:00
我是裝 memory_profiler (pip install memory_profiler)然後用 mprof run xxx.py args...mprof plot 可以畫圖
作者: octantis (@.@)   2016-03-09 11:13:00
感謝你, 我去試試, 我之前都用timeit只是他有圖好方便XD

Links booklink

Contact Us: admin [ a t ] ucptt.com