[請益] 產生大量序號問題

作者: chan15 (ChaN)   2014-12-27 10:44:56
大家好,接到一個 case 要生產 4000 萬筆不重複的序號,演算法是 ok 了,但要怎麼進資
料庫以及怎麼給檔案給客戶有點頭痛,目前我是打算一次一萬筆一萬筆的寫入,每次的產生
都把資料庫的資料掉出來 join array 做 check,寫一個 cron job 讓他慢慢跑,但客戶需
要把 4000 萬筆資料轉成 xml 給他們印刷,這點我就比較頭痛了,照理說要切成好幾份啦,
但即便是十萬筆這樣切也要 400 個檔案,各位有比較好的建議嗎。
作者: LaPass (LaPass)   2014-12-27 11:43:00
四千萬比序號印成xml.... 檔案打的開嗎?
作者: MOONRAKER (㊣牛鶴鰻毛人)   2014-12-27 12:19:00
好像我我老師以前IIS SMTP中毒 外寄目錄裡有八個月份量炸別人的殭屍信 explorer會當 DIR跑不出來 >_<
作者: taichunmin (中興大學資科蝸牛)   2014-12-27 18:21:00
對序號欄位建立 primary key 或是 unique。再使用 insert ignore into 即可節省產生時間至於轉成 xml 我不懂問題在哪,你還有問題的話可加我FB,跟我 PTT 帳號一樣。
作者: chan15 (ChaN)   2014-12-30 09:54:00
轉 XML 沒問題,我是不確定要切多少 piece 才不會爆炸
作者: benqm300 (人生苦短)   2013-01-03 10:30:00
你可以先試看看放在一個檔內,你電腦會不會炸掉@@
作者: mmis1000 (秋月戀楓)   2013-01-03 15:23:00
之前產生200萬筆的md5測試,檔案大概60mb吧windows上只剩nodepad++能開,其他死光光

Links booklink

Contact Us: admin [ a t ] ucptt.com