南宋开禧元年（1205）入太学，绍定二年（1229）登黄朴榜进士，授江西南安军教授。后知四川嘉定，再升总领淮西军马钱粮，转大理司直枢密院编修。此后曾改知赣州、苏州、安庆、平江等地。知安庆时兼任淮浙提刑点浙西刑狱；知平江时兼淮浙发运使。贾似道当权于朝，四处网罗人才以为己用，有意拉拢郑霖。但郑霖深恶贾似道恃世弄权，不愿与其往来，后贾似道以"司都"、"监礼部郎官"等职授郑霖，皆拒不就职。贾怀恨在心，遂诬郑霖造登台桥一事为"积粮聚众，图谋不轨"。理宗偏听不察，竟加杀害。时年七十二岁。数年后，理宗见到郑霖遗表，幡然悔悟，昭雪其冤，追赠中奉大夫龙图阁直学士，并赐葬西岙集福寺前。

潜名避世入山中，木石之居自不同。岂为弃官垂五柳，却缘先宦树孤松。

村边组帛非鸿雉，洞口旄竿起蝀虹。莫笑我家犹混俗，他年赤帜不如公。

燕子矶头巀嵲开，当矶渤浪隐春雷。龙盘地拥三山动，虎踞江连万里来。

上下水天涵日月，参差云树隐楼台。扬帆未得穷登眺，独倚蓬窗漫举杯。

我闻罗浮两山称最奇，往往风雨为合离。曾传浮海两成一，铁桥万丈中联之。

奇峰四百三十二，芙蓉朵朵青纷披。遥指飞云尤峻绝，三峰错立相肩随。

麻姑玉女不可辨，石楼双峙徒依稀。更闻稚川留丹灶，土丸遇疾能医治。

野人黄氏实高弟，鸡犬上升河独遗。旧庐传有瘖虎卧，人间游戏谁其知。

石臼犹存千年物，咄咄异鸟呼药师。朱明青霞洞深窅，悬泉千尺空中飞。

山神能遣五色雀，远迎嘉客疑相期。蝴蝶如轮亦异彩，得茧聊当天孙丝。

更吟东坡松风句，梅花万树情依依。美人一去影缥缈，师雄清梦无乃痴。

我披图经豁心意，仙凡迥隔长相思。晴窗遥睇徘徊久，何当奋袂探灵芝。

野人踪迹或许值，愿续古树新题诗。