大家好,我是芒果新手,剛開始就遇到瓶頸,想請教大家該怎麼做比較好
我不確定我的問題應該要在C#版問還是這裡問,如果有違反版歸請告知
我有一個collection(暫時稱作A collection),裡面有大約20億個documents
這些documents 大概長成這樣
{
_id: ObjectId{xxxx..},
sId: 1 (1~65535),
field3: "xxxx",
field4: .....
}
當我在server上直接下query, 大概5-10秒內可以把資料吐回來
但我用c#寫個簡單的program去撈資料
var client = new MongoClient(connStr);
var db = client.GetDatabase("test");
var collection = db.GetCollection<Item>("A");
var filter = Builder<Item>.Filter.Eq("sId",1);
var list = collection.Find(filter).ToList();
在list這邊就會卡住...
我想應該是 1)資料量太大 2)sId沒有做indexing
目前我想到的解決方式就是把sId加上index
問題一: 面對這麼大量的資料, 我該如何有效率地透過application去獲取資料?
問題二: 如果把某些欄位加上index, 會不會導致在插入新資料時變得很慢?
問題三: 如果我的搜尋條件裡包含好幾個欄位, 我是不是每一個欄位都要加上index?
將近20億筆資料真的很頭痛,而且每天都不斷的增加...
請問有人能夠給我一盞明燈嗎?

用SP在SQL下完再傳回來會不會比較有效率

感覺跟c#沒啥關係我是指卡住部分你所需要的應該是housekeeping,第二個問題是一定的，第三個問題我不確定，但我認為不用，不過某些db在query的時候，那些filter的位置和順序是重要的

要不要加 oid 以外的 index、加什麼種類的 index、加多少 index 要看你的資料用途。你可以先看一下查詢的執行計劃，同時確認實務上的需求，假如資料一次吐幾十萬筆這是必要的嗎？能不能做分頁查詢。