Re: [心得] token maximum

作者: pacino (carry me)   2026-03-07 10:12:44
看了這兩串, 充滿了疑問..
想討論一下這個主題: token
(1) 每個LLM 都有自己的max. tokens
這是在training model時就要決定的
(2) max output tokens是讓agent在送給LLM 之前處理用的,避免超過LLM model的max. to
(3) rules 沒被執行,有可能是context可能超過LLM model的max. tokens, agent 主動壓?
這樣不就解釋了兩串原po的問題?
麻煩指正,若我的了解有誤。
作者: DrTech (竹科管理處網軍研發人員)   2026-03-07 14:26:00
1. LLM什麼時後會停止回答,跟你設定多長的 max output token無關。2.max output token不是寫在prompt裡面。

Links booklink

Contact Us: admin [ a t ] ucptt.com