做為洋務運動的領袖左宗棠1859年以幕僚的身份在駱秉章幕府做事，因與永州鎮總兵樊燮發生矛盾，被樊燮告上京城，為此左宗棠還差點被咸豐皇帝砍了腦袋。

左宗棠遇事後，不少官員冒著殺身之禍為他說話。潘祖蔭其實和左宗棠並沒什麼來往交際，其實是郭嵩燾說服潘祖蔭轉而上疏咸豐皇帝。潘祖蔭見咸豐皇帝說「楚南一軍立功本省，援應江西、湖北、廣西、貴州，所向克捷，由駱秉章調度有方，實由左宗棠運籌決勝，此天下所共見，而久在我聖明洞鑒中也。上年逆酋石達開回竄湖南，號稱數十萬。以本省之餉，用本省之兵，不數月肅清四境。其時賊縱橫數千里，皆在宗棠規畫之中。設使易地而觀，有潰裂不可收拾者。是國家不可一日無湖南，而湖南不可一日無宗棠也。宗棠為人，負性剛直，嫉惡如仇。湖南不肖之員，不遂其私，思有以中傷之，久矣。湖廣總督官文惑於浮言，未免有引繩批根之處。宗棠一在籍舉人，去留無足輕重，而楚南事勢關係尤大，不得不為國家惜此才。 」此話一說打動了咸豐皇帝。

為此潘祖蔭算是救了左宗棠。左宗棠心存感激每年都會送銀兩給潘祖蔭最為「炭敬」。不僅如此，左宗棠還將自己珍藏的大盂鼎送給了潘祖蔭。

光緒元年後，潘祖蔭授任大理寺卿。次年，授任禮部右侍郎。光緒四年，潘祖蔭調戶部。光緒五年，工部右侍郎，又調刑部。出任玉牒館總裁，戶部右侍郎兼管錢法堂、三庫事務。潘祖蔭歷任戶部左侍郎，都察院左都御史，工部尚書，太子少保，刑部尚書等職。此間，曾奉命集議主事吳可讀死諫為同治帝立嗣一案，並申明議不建儲。光緒六年，潘祖蔭任國史館總裁。參預解決中俄新

疆糾紛，與俄國交涉定約後，提出條陳，上奏善後五事：練兵、簡器、開礦、造船、籌餉。光緒八年，潘祖蔭任禮部尚書、軍機大臣上行走，兵部尚書，江西學政。光緒九年，丁父憂。

潘祖蔭後半生在京，身居朝中高位。提攜了許多對國家有用的幹才，這些人後來成為著名人物，左宗棠就是其中的一個。寶坻士紳集資為潘祖蔭立祠，由地方官春秋致祭，皇帝下詔同意。潘祖蔭的墓在江蘇吳縣東跨塘橋東南茭白盪（今木瀆）。據說，光緒初葉，潘祖蔭主持刑部，有司員聽說潘祖蔭好文雅，想巴結一下，忙寫詩數十首，恭楷錄在正堂上，見面時，作揖呈上。潘祖蔭當時翻閱，一見首篇題為《跟二太爺阿媽逛廟》八字，不禁狂笑，冠帽上的纓子幾乎掉下來。那個巴結的司員面無人色，忙倒退而去。