晉朝時，蔡謨本不願拜司徒，後來接受，旋即要求退休回鄉。因此上奏請繳回光祿大夫、
司徒的印綬，且連上十幾次。結果皇帝為此鄭重其事，臨軒觀禮，公卿大臣都列朝殿廷，
連非常景仰他的皇太后都出席，請人把蔡謨請來，在隆重的場合下繳回官位，接受朝廷頒
賜的退休禮品，風光回鄉。
但自當日晨間到下午四點多，使者來往蔡謨府邸十餘次，蔡謨推說病重，連奏章也不願意
上。此時皇帝只有八歲，從早上五六點在大殿的欄杆上呆坐十個小時，說：「要來的人為
甚麼還沒來，典禮何時才結束？」公卿大臣也都疲憊不堪。連皇太后都傻眼，說：「一定
不來的話，只好退朝。」於是退朝。
後來，會稽王（後來登基為簡文帝）說：「如果君主在上委屈，禮義在下面不能伸張，怎
麼當政呢？」於是公卿奏：「蔡司徒已經請辭很久了，這次皇帝公卿都在場，都非常恭敬
謙遜的等待他出席，卻屢請不到。如果真的想要退休，起碼應該回書表示接受。哪裡有天
子辛勞的邀請十幾次，人臣卻一次也不回應的禮呢？如此傲慢無禮，跟藐視君王相同，我
們討論，應該送廷尉審判，才能維護國家的憲典。」
於是，蔡謨十分畏懼，領子弟親屬穿白衣到宮門前叩頭認罪，並前往廷尉自首。皇太后決
定：「蔡謨是先帝的導師，多年為朝廷效力，又自願認罪。如果把責任全部釐清，也不近
人情，可以按照先例免去他的官位作罷。」
蔡司徒被廢後，終日在家講學。幾年之後，皇太后又詔：「蔡前司徒在家閉門思過，符合
大臣有罪自我檢討的意旨。任命他做光祿大夫、開府儀同三司。」蔡又上奏：「臣的罪過
本該萬死，遇到朝廷施恩法外，不是我能報答的。但是我還是有病在床，只能上奏表達感
恩，無法到宮中親自稱謝。」然後以病情轉重，從此沒在朝廷出現過。朝廷賜他拐杖，在
他家門前設立拒馬，表示榮譽。又過了幾年，蔡光祿病逝，朝廷追贈為司空，諡號文穆。