我傳訊息說
你如果要自己train一個LLM
還是特定指定的最新最屌的模型款式 而不是那種github寫的超迷你模型
假設8B好了
那要幾千億tokens才train的起來捏
但是老闆堅持不要finetune啊
他覺得浪費一大堆時間自己train一個別人3年前水準的東西很牛逼啊
然後老闆跟我說要不同結構的data分門別類
我同事就說 這怎麼可能 一個模型搞這麼複雜 是把他當神了吧
又要低parameters又要少資料又要自己train
這樣跟我說可以跟投資者要到錢
==
然後還要自己上GPT生一串自己覺得很酷很炫的書籍list
覺得這個屌打huggingface上現有的general dataset