做为洋务运动的领袖左宗棠1859年以幕僚的身份在骆秉章幕府做事，因与永州镇总兵樊燮发生矛盾，被樊燮告上京城，为此左宗棠还差点被咸丰皇帝砍了脑袋。

左宗棠遇事后，不少官员冒著杀身之祸为他说话。潘祖荫其实和左宗棠并没什么来往交际，其实是郭嵩焘说服潘祖荫转而上疏咸丰皇帝。潘祖荫见咸丰皇帝说「楚南一军立功本省，援应江西、湖北、广西、贵州，所向克捷，由骆秉章调度有方，实由左宗棠运筹决胜，此天下所共见，而久在我圣明洞鉴中也。上年逆酋石达开回窜湖南，号称数十万。以本省之饷，用本省之兵，不数月肃清四境。其时贼纵横数千里，皆在宗棠规画之中。设使易地而观，有溃裂不可收拾者。是国家不可一日无湖南，而湖南不可一日无宗棠也。宗棠为人，负性刚直，嫉恶如仇。湖南不肖之员，不遂其私，思有以中伤之，久矣。湖广总督官文惑于浮言，未免有引绳批根之处。宗棠一在籍举人，去留无足轻重，而楚南事势关系尤大，不得不为国家惜此才。 」此话一说打动了咸丰皇帝。

为此潘祖荫算是救了左宗棠。左宗棠心存感激每年都会送银两给潘祖荫最为「炭敬」。不仅如此，左宗棠还将自己珍藏的大盂鼎送给了潘祖荫。

光绪元年后，潘祖荫授任大理寺卿。次年，授任礼部右侍郎。光绪四年，潘祖荫调户部。光绪五年，工部右侍郎，又调刑部。出任玉牒馆总裁，户部右侍郎兼管钱法堂、三库事务。潘祖荫历任户部左侍郎，都察院左都御史，工部尚书，太子少保，刑部尚书等职。此间，曾奉命集议主事吴可读死谏为同治帝立嗣一案，并申明议不建储。光绪六年，潘祖荫任国史馆总裁。参预解决中俄新

疆纠纷，与俄国交涉定约后，提出条陈，上奏善后五事：练兵、简器、开矿、造船、筹饷。光绪八年，潘祖荫任礼部尚书、军机大臣上行走，兵部尚书，江西学政。光绪九年，丁父忧。

潘祖荫后半生在京，身居朝中高位。提携了许多对国家有用的干才，这些人后来成为著名人物，左宗棠就是其中的一个。宝坻士绅集资为潘祖荫立祠，由地方官春秋致祭，皇帝下诏同意。潘祖荫的墓在江苏吴县东跨塘桥东南茭白荡（今木渎）。据说，光绪初叶，潘祖荫主持刑部，有司员听说潘祖荫好文雅，想巴结一下，忙写诗数十首，恭楷录在正堂上，见面时，作揖呈上。潘祖荫当时翻阅，一见首篇题为《跟二太爷阿妈逛庙》八字，不禁狂笑，冠帽上的缨子几乎掉下来。那个巴结的司员面无人色，忙倒退而去。