上片两句：“万里飞霜，千林落木”，对偶互文，说万里、千林，都在飞霜中枝零叶落，总写秋天大地；“寒艳不招春妒”，收缩到红叶，红叶是寒天中唯一的浓艳之色，它与春风、春吴不同时，不可能为它们所妒。三句直从秋天写到红叶，似乎专在咏物；但秋风横扫万里，其实是亡国后江山、士林备受摧残的写照。红叶可以象征遗民，“春”又是在新朝的富贵场中得意的人物的象征，寄托又极分明。这三句，已正面把红叶说尽。下面又从侧面再作生发。“枫落吴江冷”，是唐人崔信明的断句，枫叶经秋变红，故用这一典故，接以“枫冷吴江，独客又吟愁句”。“独客”表面指崔，实际是自指；“又吟愁句”，流露主观感情，由咏物到写人。物、人交错、化合，目的是求若即若离，主客融成一气，不为咏物而咏物。这里是用这种手法，但脉络转接分明：“枫”承“寒艳”；“吴江”二字又引出“正船舣、流水孤村，似吴绕、斜阳归路”两句。“归路”中停船于“流水孤村”之旁，正可挨村傍树；而在“斜阳”映照中远看似春吴围绕的，又非红叶莫属。这是借描写停舟之景以烘托红叶。“甚荒沟、一片凄凉，载情不去载愁去”，用唐代宫女红叶题诗故事以写眼前红叶，是熟典活用：不正面承说御沟流红，有关双方获得美满姻缘的事，而说“荒沟”内一片凄凉景象，红叶不载情去，却载愁去。不再是写宫女故事，而是自写当时情境；但典故的影子仍在，红叶的影子仍在。一经活用，就化熟为生，化板为活。“载情”句的“情”，是原故事中男女间之情，但句中“载愁”的“愁”，却是词人自己的国亡家破、飘零失路之愁。句中“载情”是宾，“载愁”是主。意谓若欲题于红叶，托荒沟流水载去的，亦只有无限深愁而已。“载情不去”，为“不载情去”的倒文。从主观方面说，是今已无“情”可供托载，表现出来却成为问沟水为何不与我载情去而载愁去，愈婉转，愈沉痛。
上片从红叶写到人，下片则从人写到红叶。“长安谁问倦旅”，以一疑问句领起写人。“羞见衰颜借酒，飘零如许”，又用自己烘托红叶。上句用郑谷《乖慵》诗“愁颜酒借红”，藏“红”字；加上“羞见”、“飘零”，以增曲折哀叹之意，便切遗民身世。“谩倚新妆，不入洛阳吴谱”，又承上句“飘零”一词的双关，转到写红叶，脉络亦分明；指出秋叶虽红，终不是吴，终不会为只爱春吴的常人所赏，不能载人《吴谱》。“洛阳”、“新妆”，皆暗指牡丹：牡丹为洛阳名吴；不入《吴谱》，即是不挂新朝朝籍、不得富贵的隐喻。“谩倚”是对“新妆”的唾弃，即是勉励红叶不要去羡慕、效法春吴，也即是隐喻遗民们不要去羡慕、效法新贵。红叶既不能追随春吴，它受秋天“回风”的吹送，也只能在酒人的樽前“起舞”最为合适，因为酒人的“醉貌”可与红叶的颜色互相映照，酒人的身世也可能就同于红叶的遭际。“尽化作、断霞千缕”，写风中落叶众多，一经“起舞”，艳红的颜色就可化为千缕断霞，红叶的这一光彩，也即是遗民们的丹心碧血，他们哀思故国的返照回光，他们忍受风霜、保持坚贞气节的光辉节概。红霞成为“断霞”，可知无法回天，也即无力复国。那么，“记阴阴、绿遍江南，夜窗听暗雨”。只好牢记江南听雨、夏木阴阴的季节，也即只好牢记南宋亡国前尚存半壁河山的偏安时期。着一“暗”字，则当时已入衰残之境，呼应“断”字，使结语呜咽缠绵。自“谩倚”以下，句句写红叶，又句句比遗民。
全词围绕红叶，扣紧题目，不避犯“正位”；但人、物关合，义兼比兴，写得不粘不脱，凄惋沉痛，感染力强。
我寻鲍公履，因之登翠微。仙人不可见，海燕西南飞。
灌木蟠长根，清樾当门扇。洞中自昏昼，日月安所归。
巑岏四百峰，高下相因依。玄气结重云，山云漭相围。
服食宁所愿，庶免为人鞿。徘徊暝色下，冷露沾裳衣。
雅癖推金石，鲰生更癖泉。搜罗偿夙愿，辛苦忆儿年。
和峤情同锢，洪遵志续编。标新胪大小，绘影肖方圜。
制向锱铢析，文徵面背全。殊形刀诘屈，异样布精坚。
厌胜间情肆，题祥吉语联。旁稽瀛海外，详纪夏殷前。
芬讶黏襟古，晖惊烛几鲜。青红苔绣湿，斑駮土花妍。
偶值奇相饷，真令喜欲颠。五金纷冶铸，廿载耐磨研。
贪许钩心斗，趋嗔捷足先。穷檐晨访踏，列肆夕流连。
痴尚夸奇观，贫偏结古缘。但教珍翠椟，那惜卖珠钿。
纨扇光如拭，藤床梦也牵。选叨刘宠赠，佩比阮修悬。
旧谱瘢频索，新诗句好传。妒嗤悭出手，羡笑久垂涎。
赝鼎思争售，鱼珠愧未捐。轶材搜宝钞，余事侑琼筵。
雨过吟秋馆，凉招薄暮天。半生忙似贾，此日快疑仙。
筠箔澄于水，纱窗白胜绵。瓯香斟苦茗，炉翠篆疏烟。
罗列缣囊富，纵横锦箧骈。螺丸磨处腻，蚬楮拓来便。
绮席人高踞，璇闺侣乍延。登登声著纸，悄悄影移砖。
古篆盘蜗结，名书舞鹤翩。神争碑版秀，字证鼎彝镌。
墨本装缃帙，邮筒递彩笺。剖疑滋辨论，数典费言诠。
探袖逾三百，论缗贮十千。书迂还著录，兀兀事丹铅。