作者:
DrTech (竹科管理處網軍研發人員)
2026-02-20 01:11:00早期在沒有Bert的時代，就有一堆類似工作。word2vec時代，都有許多變形了。只在特定垂直領域，訓練短語級別，如果只是計算量比較低，可以做語意計算，看不出有什麼特別新的東西。不使用 transformer或BERT，做短語embedding，其實早期大家都玩得蠻多了。看了一下，基底是用BGE 做詞彙embedding，將預先計算的結果重複使用。就是用空間換時間啊。說不用S-Bert太牽強啦，還不是有用。最後benchmark只比時間，太取巧了吧，只比時間。你用儲存空間換時間，當然時間上會硬贏阿。