政和间，余卜筑宛丘，手植众芗，自号芗林居士。建炎初，解六路漕事，中原俶扰，故庐不得返，卜居清江之五柳坊。绍兴癸丑，罢帅南海，即弃官不仕。乙卯起，以九江郡复转漕江东，入为户部侍郎。辞荣避谤，出守姑苏。到郡少日，请又力焉，诏可，且赐舟曰泛宅，送之以归。己未暮春，复还旧隐。时仲舅李公休亦辞舂陵郡守致仕，喜赋是词。
五柳坊中烟绿，百花洲上云红。萧萧白发两衰翁，不与时人同梦。
抛掷麟符虎节，徜徉江月林风。世间万事转头空，个里如如不动。
侬是嶔崎可笑人，不妨开口笑时频。有人一笑坐生春。
歌欲颦时还浅笑，醉逢笑处却轻颦。宜颦宜笑越精神。