Re: [問卦] 簡訊實聯制資料龐大疫調緩慢根本騙人

作者: wayne4321   2021-07-05 11:42:29
cdc有沒有跟地方政府講過資訊龐大
調取很慢
如何應用在疫調上還要研議
有嘛
#1WuQ7-XX
https://www.ptt.cc/bbs/Gossiping/M.1625399806.A.861.html
然後還有一堆護航仔護航1700萬筆很大
電腦跑不出來是哪招
連我跑了一百萬筆還是可以護航
我就不能因為隨身碟不足 切成22個縣市來做嘛
好吧那我再把隨身碟清出1G
隨機產出產出八百萬筆資料 接近1G


我一天分成白天 早上 兩個時段存成兩個table
這樣817可以不要再找理由了嘛?
明明就是很小的資料
我存成Access一樣搜尋匡列者 秒出
搜尋時間不到一秒
找到131位匡列者

SQL指令跟上一篇文章一樣
只用了一個SELECT句子
連再匯入SQL Server都懶得匯
直接用最爛的Access解決
噓 yymeow: 你把資料從100萬膨脹到1000萬就知道了 114.37.64.139 07/04 02:11
噓 Fantasywind: 資料十倍速度不會只慢十倍,還好你不 114.34.162.26 07/04 05:48
→ Fantasywind: 是工程師 114.34.162.26 07/04 05:48
推 chen1025: 你可以實作一千七百萬筆 索引要建立多久61.230.193.140 07/04 06:58
噓 vermilion: 你懂這個是N ^2的複雜度嗎 1.164.57.119 07/04 09:08
→ chigi: 一天1700萬,然後你只產生了100萬111.250.82.148 07/04 12:05
→ ckw: 才100萬筆也好意思出來嘴220.135.58.147 07/04 12:08
→ chigi: 然後要是要跟你要跨區資料就等著裝死 111.250.82.148 07/04 14:47
→ ralfbrian: 你只有要求分忘記要求小時,還有十倍資126.215.103.143 07/04 22:59
→ ralfbrian: 料不等於只需要十倍時間,還要看記憶體126.215.103.143 07/04 22:59
→ ralfbrian: 會不會炸掉126.215.103.143 07/04 22:59
好了可以下去領便當了
※ 引述《wayne4321 ()》之銘言:
: CDC說 簡訊實聯制資料龐大 疫調緩慢 如何應用還在研議 使用上有困難
: https://www.chinatimes.com/realtimenews/20210701001128-260407?chdtv
: 真的是這樣嗎?
: 之前有鄉民算出
: 一天簡訊的量約1700萬則
: 只要存28天 超過的刪掉就好
: 就分28個表格存
: 我剛用我的2015年 Macbook pro做個試驗
: 因為我外接usb開機成window usb空間有限 裝了SQL Server後只剩幾GB
: 所以簡化計算
: 我只隨機產出100萬筆資料
: 跟簡訊實聯制一樣 包含三個欄位 電話 商店代碼 時間
: 這樣的純文字檔資料不到100MB
: 目標是找出確診者進入商店後
: 十分鐘內出現的人 把他匡列出來
: 不管用SQL Server或是最爛的Access
: 查詢結果幾乎都是秒出 找出56位匡列者(我沒有濾掉確診者本身)
: https://i.imgur.com/7t2Q2Hy.jpg
: https://i.imgur.com/c2vbQax.jpg
: SQL指令就那幾行
: 這麼簡單的工作也可以推諉卸責

Links booklink

Contact Us: admin [ a t ] ucptt.com