[問題] pandas.to_sql chunksize大小

作者: MAGICXX (逢甲阿法)   2021-01-13 16:55:46
大家好
我現在用pandas的to_sql把一張張的CSV塞進去一個sqlite3的資料庫
我上網看別人在設定chunksize的時候 都可以設個幾千幾萬的
可是我只設了200就會吐錯誤 設150才能跑
sqlite3.OperationalError: too many SQL variables
我的code如下
import sqlite3
import pandas as pd
conn = sqlite3.connect("test_2.db")
cur = conn.cursor()
create_table="CREATE TABLE IF NOT EXISTS test (x,y,value)"
cur.execute(create_table)
df2=pd.read_csv("test.csv",index_col=False)
df2.to_sql('test',conn,if_exists='append',
index=False,method='multi',chunksize=200)
請問是因為sqlite3的chunksize真的只有這麼小 還是我哪邊理解錯誤啊?
謝謝大大
作者: olycats ( )   2021-01-14 15:23:00
我一般都是設5000 但我是用 MySQL不過chunck size 沒有一定 要看資料量/欄位數有的資料我可以設到10000都沒問題

Links booklink

Contact Us: admin [ a t ] ucptt.com