康與之在高宗朝負責幫皇帝創作詩詞奏章，跟宮內服侍高宗的太監很要好。
睿思殿有支畫了徽宗人像的扇子，畫工非常卓越，
高宗時常拿著賞玩到流淚，因想起遠在北國的父親；
太監當班結束後，偷偷把扇子帶回家去，
正好康此時來訪，太監就招待他喝酒，還把扇子拿出來現，
康讓太監進去多準備些下酒菜，然後趁機拿起書桌上的筆沾滿墨，在扇子上題詩：
「玉輦宸遊事已空，尚餘奎藻繪春風。年年花鳥無窮恨，盡在蒼梧夕照中。」
太監出來之後看到，大為恐懼，但康已經喝醉了，也拿他沒辦法，
隔天進宮向高宗磕頭領罪，高宗大怒，趕緊拿扇子來看，
但看了康題的詩之後，氣就消了，只有感覺傷心而已。