翰林編修裘麟 (字超然) 說：
楊錫紱 (諡號勤慤) 還年輕時，到村子裏的私塾唸書，
常遇到有穿綠色衣服的女孩子從牆壁缺口探頭偷看他，
他要進門時、女孩子離開前也一定回眸一笑、用眉目傳情，
但楊錫紱始終不轉頭看她一眼；
有天女孩子不忍了，撿起地上石塊丟他，罵說：
「這麼帥的人，結果是根大木頭！」
楊錫紱拱手回說「妳這樣的年輕女孩子，為何要私下偷做色色的事情呢？我實在不懂，
所以妳去另找不木頭對對象，如何？」
女孩子突然直直瞪著他說「你這樣狡猾，我怎麼有辦法找你索命？只能等下輩子了！」
露出原貌：披頭散髮、吐出長舌，然後離開、之後就沒再出現過。
由此可見只要本心端正，就算要報冤的鬼也無可奈何，
也可見一代名臣，在年少時就已經有如此高水準了。