词的上阕在写景物，“雾失楼台，月迷津渡”一出语便已入哀景之中，从后句“桃园望断无寻处”可以想到，楼台、津渡都是因情所设之景，可能现实中并不存在。是由词人内心的不被人理解的情怀，无处宣泄所生出无人问津之感。桃花一语又让人联想到了桃花源记一文，诗人也正是想表达出一种离世厌俗的情感。常常文人在政治上不得志后的第一反应大多数也是出世，出离。浸淫于佛道的太虚，更是如此。在其稍晚些的作品《宁浦书事》中就提到了“我岂更求荣达”之语。在《反初》中也流露出了对田园隐居生活的向往。
“可堪孤馆闭春寒，杜鹃声里斜阳暮”则又将情景拉入到了悲凉之谷底，可堪孤馆和一个寒字，写尽了词人心中的孤苦凄凉，杜鹃啼血，本就凄凉又怎堪残阳日暮。自古日暮是归途，词人或许是在感叹自己生命将暮，或许在感叹仕途将暮。独在异乡，偏听子规，子规子规，何时子归。诗人或许又在感叹自己离别亲人，远离家乡的哀愁吧。在《题郴阳道中一古寺壁》中，少游哀叹“行人到此无肠断，问尔黄花知不知”，“北客念家浑不睡，荒山一夜雨吹风”从景物之凄凉，过渡到了内心之凄凉。在《宁浦书事》“骨肉未知消息，人生到此何堪”一语中，他更加直白地流露出了对远方亲人的思念之感。有理由相信，词人此时听到子规啼夜的心情是无比惆怅的，再加上孤身一人，念及家乡也是情理之中。
下片由叙实开始，写远方友人殷勤致意、安慰。“驿寄梅花，鱼传尺素。”连用两则有关友人投寄书信的典故，分见于《荆州记》和古诗《饮马长城窟行》。寄梅传素，远方的亲友送来安慰的信息，按理应该欣喜为是，但身为贬谪之词人，北归无望，却“别是一般滋味在心头”，每一封裹寄着亲友慰安的书信，触动的总是词人那根敏感的心弦，奏响的是对往昔生活的追忆和痛省今时困苦处境的一曲曲凄伤哀婉的歌。每一封信来，词人就历经一次这个心灵挣扎的历程，添其此恨绵绵。
故于第三句急转，“砌成此恨无重数。”一切安慰均无济于事。离恨犹如“恨”墙高砌，使人不胜负担。一个“砌”字，将那无形的伤感形象化，好像还可以重重累积，终如砖石垒墙般筑起一道高无重数、沉重坚实的“恨”墙。恨谁？恨什么？身处逆境的词人没有明说。联系他在《自挽词》中所说：“一朝奇祸作，漂零至于是。”可知他的恨，与飘零有关，他的飘零与党祸相联。在词史上，作为婉约派代表词人，秦观正是以这堵心中的“恨”墙表明他对现实的抗争。他何尝不欲将心中的悲愤一吐为快？但他忧谗畏讥，不能说透。于是化实为虚，作宕开之笔，借眼前山水作痴痴一问：“郴江幸自绕郴山，为谁流下潇湘去？”无理有情，无理而妙。好像词人在对郴江说：郴江啊，你本来是围绕着郴山而流的，为什么却要老远地北流向潇湘而去呢？关于这两句的蕴意，或以为：“郴江也不耐山城的寂寞，流到远方去了，可是自己还得呆在这里，得不到自由。”（胡云翼《宋词选》）或以为词人“反躬自问”，慨叹身世：“自己好端端一个读书人，本想出来为朝廷做一番事业，正如郴江原本是绕着郴山而转的呀，谁会想到如今竟被卷入一切政治斗争漩涡中去呢？”（《唐宋词鉴赏辞典》）见仁见智。
依笔者拙意，对这两句蕴意的把握，或可空灵一些。词人在幻想、希望与失望、展望的感情挣扎中，面对眼前无言而各得其所的山水，也许他悄然地获得了一种人生感悟：生活本身充满了各种解释，有不同的发展趋势，生活并不是从一开始便固定了的故事，就像这绕着郴山的郴江，它自己也是不由自己地向北奔流向潇湘而去。生活的洪流，依着惯性，滚滚向前，它总是把人带到深不可测的远方，它还将把自己带到什么样苦涩、荒凉的远方啊！正如叶嘉莹先生评此词说：“头三句的象征与结尾的发问有类似《天问》的深悲沉恨的问语，写得这样沉痛，是他过人的成就，是词里的一个进展。”（《唐宋词十七讲》）与秦观悲剧性一生“同升而并黜”的苏轼，同病相怜更具一份知己的灵感犀心，亦绝爱其尾两句，及闻其死，叹曰：“少游已矣，虽万人何赎！”自书于扇面以志不忘。是以王士祯云：“高山流水之悲，千古而下，令人腹痛！”（《花草蒙拾》）
综上所述，这首词最佳处在于虚实相间，互为生发。上片以虚带实，下片化实为虚，以上下两结饮誉词坛。激赏“可堪孤馆闭春寒，杜鹃声里斜阳暮”的王国维（静安），以东坡赏其后二语为“皮相”。持论未免偏颇。深味末二句“郴江”之问，其气格、意蕴，毫不愧色于“可堪”二句。所谓东坡“皮相”之赏，亦可谓“解人正不易得”。全词以委婉曲折的笔法，抒写了失意人的凄苦和哀怨的心情，流露了对现实政治的不满。
绍圣四年（公元1097年）作者因新旧党争先贬杭州通判，再贬监州酒税，后又被罗织罪名贬谪郴州，削去所有官爵和俸禄；又贬横州此词就是离郴前所写。
“雾失楼台，月迷津渡，桃源望断无寻处”，写夜雾笼罩一切的凄凄迷迷的世界：楼台茫茫大雾中消失；渡口被朦胧的月色所隐没；那当年陶渊明笔下的桃花源更是云遮雾障，无处可寻了。当然，这是作者意想中的景象，因为紧接着的两句是“可堪孤馆闭春寒，杜鹃声里斜阳暮”。词人闭居孤馆，只有想象中才能看得到“津渡”。
而从时间上来看，上句写的是雾蒙蒙的月夜，下句时间又倒退到残阳如血的黄昏时刻。由此可见，这两句是实写诗人不堪客馆寂寞，而头三句则是虚构之景了。这里词人运用因情造景的手法，景为情而设，意味深长。“楼台”，令人联想到的是一种巍峨美好的形象，而如今被漫天的雾吞噬了：“津渡”，可以使人产生指引道路、走出困境的联想，而如今朦胧夜色中迷失不见了开头三句，分别下了“失”、“迷”、“无”三个否定词，接连写出三种曾经存过或人们的想象中存过的事物的消失，表现了一个屡遭贬谪的失意者的怅惘之情和对前途的渺茫之感。
而“可堪孤馆闭春寒，杜鹃声里斜阳暮。”两句则开始正面实写词人羁旅郴州客馆不胜其悲的现实生活。一个“馆”字，已暗示羁旅之愁。说“孤馆”则进一步点明客舍的寂寞和客子的孤单。而这座“孤馆”又紧紧封闭于春寒之中，置身其间的词人其心情之凄苦就可想而知了。此时此刻，又传来杜鹃的阵阵悲鸣；那惨淡的夕阳正徐徐西下，这景象益发逗引起词人无穷的愁绪。杜鹃鸣声，是古典诗词中常用的表游子归思的意象。以少游一个羁旅之身，所居住的是寂寞孤馆，所感受的是料峭春寒，所听到的是杜鹃啼血，所见到的是日暮斜阳，此情此境，只能以“可堪”道之。
“可堪”者，岂堪也，词人这重重凄厉的气围中，又怎能忍受得了呢？过片“驿寄梅花，鱼传尺素，砌成此恨无重数。”连用两则友人投寄书信的典故，极写思乡怀旧之情。“驿寄梅花”，见于《荆州记》记载：“鱼传尺素”，是用古乐府《饮马长城窟》诗意，意指书信往来。少游是贬谪之人，北归无望，亲友们的来书和馈赠，实际上并不能给他带来丝毫慰藉，而只能徒然增加他别恨离愁而已。
因此，书信和馈赠越多，离恨也积得越多，无数“梅花”和“尺素”，仿佛堆砌成了“无重数”的恨。词人这种感受是很深切的，而这种感受又很难表现，故词人手法创新，只说“砌成此恨无重数”。有这一“砌”字，那一封封书信，一束束梅花，便仿佛成了一块块砖石，层层垒起，以至于达到“无重数”的极限。这种写法，不仅把抽象的微妙的感情形象化，而且也可使人想象词人心中的积恨也如砖石垒成，沉重坚实而又无法消解。
如此深重难排的苦恨中，迸发出最后二句：“郴江幸自绕郴山，为谁流下潇湘去？”从表面上看，这两句似乎是即景抒情，写词人纵目郴江，抒发远望怀乡之思。郴江出山后，向北流入耒水，又北经耒阳县，至衡阳而东流入潇水湘江。但实际上，一经词人点化，那山山水水都仿佛活了，具有了人的思想感情。这两句由于分别加入了“幸自”和“为谁”两个字，无情的山水似乎也能听懂人语，词人痴痴问询郴江：你本来生活自己的故土，和郴山欢聚一起，究竟为了谁而竟自离乡背井，“流下潇湘去”呢？
太白楼上秋风寒，采石矶下波连山。长康不作僧繇死，何人攫弄秋毫端。
力挽万牛啸两虎，袒衣跋扈青冥间。四壁四山拔地起，直从十指生烟峦。
峨眉匡庐两对峙，西华东岱同跻攀。巨灵夸娥日月走，坤位乾窦神鬼盘。
屋角雷雨势飞动，墙根涧壑声潺湲。牛渚白沙如蚁垤，天光破碎沧溟宽。
蓝陈萧恽称大手，前追董巨凌荆关。尺木老人更奇绝，身驾大海骑虬鸾。
秋来放眼忘远涉，凭陵万里开心颜。寺径蒙蒙松杉雨，芦花漠漠鼋鼍滩。
顾盼无人相娱赏，高呼太白骑鲸还。