在我國文物史上佔有顯赫位置的兩件西周聞名青銅巨鼎——大盂鼎、大克鼎即為潘祖蔭舊藏。此二鼎後留傳給其侄孫媳潘達於，潘達於已在1951年將二鼎捐贈給其時正籌建上海博物館的上海市文物辦理委員會，二鼎遂成為該館的鎮館之寶。

潘氏宗族是姑蘇的望族，有「貴潘」之稱，祖上是徽商，遷居姑蘇後重視文化教育。自先祖潘奕雋成為榜首個進士之後，潘家科名連捷，一躍成為簪纓世家。潘祖蔭的祖父為乾隆癸丑（1793年）科狀元潘世恩，官至一品的太傅及武英殿大學士。潘祖蔭的父親潘曾綬，官至內閣侍讀。而叔祖更是乾隆乙卯（1795年）科的探花潘世璜。除為官外，潘祖蔭宗族亦是清代姑蘇區域的保藏名門之一。潘家幾代人從流散於世的真贗書畫中，辨別遴選，保藏了一批精深的書畫名作，歷經子孫近二百年薪火不斷的堆集，成為晚清江南區域重要的私家保藏宗族。那麼潘祖蔭宗族詳細的保藏規劃怎麼呢？

據《三松堂書畫記》潘承弼跋，稱潘奕雋喜愛保藏到了痴迷的境地，收集了很多的古董字畫。其「所居三松堂，藏庋法書名畫甚富。……有《書畫目》兩冊，著錄宋元以來名跡數百家，原稿藏公曾孫儉廬叔祖處，余曾假以錄副，未遑校理」。藏品的精富程度可見一斑。在此書中還記錄了潘家保藏的有元代以來作品合計187件，其間不乏趙孟頫、周臣、沈周、文徵明、仇英、唐寅、董其昌、藍瑛、陳淳、徐渭、王時敏、王鑒、王原祁、惲壽平、羅聘、金農、吳歷、查士標、高鳳翰、翟大坤等元明清三朝名家墨跡。其間有文徵明《紅杏湖石圖》、李觶《時新佳品》等。潘奕雋不只喜愛書畫保藏，還熱衷於收集各類古籍善本。其三松堂先後保藏曆代典籍達數萬卷，所藏寶貴典籍即達百種以上，與其時大藏書家黃丕烈、袁壽階齊名。潘奕雋卒後，三松堂藏書分別由其孫潘遵祁、潘希甫遞藏，各自具有數萬卷，並連續有所新補。

潘祖蔭大伯潘曾瑩的保藏數量也很可觀。在其《墨緣小錄》記載保藏106位名家的作品。在他另一部作品《小鷗波館畫識》中，也記錄了他保藏及見過的名畫，如劉松年《十八學士圖》、唐寅《山水圖》、陳汝言《修竹草堂圖》等。能計算出的潘曾瑩的藏品即有219件以上。

潘祖蔭所藏的宋刻《金石錄》十卷，雖然不是全本，人們都稱為奇書、人世孤本。保藏者都鐫刻了一枚「金石錄十卷人家」小印，鈐於書上，潘氏也不破例，請金石名家趙之謙為其刻「金石錄十卷人家」長方細朱文印，邊款為「壬申春，撝叔為鄭盦作」。潘祖蔭《滂喜齋藏書記》金石錄條云：「此即《敏求記》所稱馮硯祥家本也。乾隆間歸征征江玉屏。趙晉齋魏得自江氏，又自趙氏轉入芸台相國家、繼入玉雨堂韓氏。

潘祖蔭藏書齋名有：滂喜齋、八囍齋、佞宋齋、蓮葉西齋、八求精舍、芬陀利室、近光樓、小脈望館、龍威洞天、二十鐘山房等。藏書印主要有：潘祖蔭藏書記、伯寅經眼、伯寅藏書、潘祖蔭、伯寅、翰林供奉、滂喜齋、漢學居、潘印祖蔭、吳縣潘伯寅平生真賞、吳潘祖蔭章、賜蘭堂、金石錄十卷人家、伯寅瑰寶榜首、祖蔭、如願潘、宋本、元本等。

1951年7月，潘氏滂喜齋藏書中的精華部分成為孕育中的上海圖書館第一批國寶級藏品，其數量之多、質量之精，讓世人注目。這批珍品共76種1765冊，裡邊有宋刻本20種、元刻本27種、明刻本18種、清覆宋刻本2種、明清名家抄本9種。其間許多是傳世孤本，文物和史料價值極高。爾後，上圖又連續收購到《王荊公唐百家詩選》、《杜工部集》、《金石錄》、《紫雲先生增修校對押韻釋疑》四種宋本，也歸於滂喜齋舊藏，

潘祖蔭藏品之精巧比起長輩來講有過之而無不及。飽讀詩書、才高八斗的潘氏熱愛保藏古董字畫，尤愛青銅器。為此節衣縮食，大把的銀子都投入了保藏，以至於所乘車馬轎輿是最襤褸的。潘祖蔭每發現彝器文物，必「傾囊購之，至罄衣物不吝」。一起仔細研討，並寫有《滂喜齋叢書》《功順堂叢書》等作品。潘祖蔭的眼光之兇猛，在保藏界是有名的，文物是否真品或有無價值，值不值得去保藏，他一眼就能看出端倪，得名「潘神眼」，可見他鑒賞能力的高明。其時朝廷內眾宦官凡得古董，必請潘祖蔭辨別，連孝欽顯皇后也曾說「潘祖蔭所判定者固無甚大謬也」。

金石學者收集保藏青銅器，一般偏重對器上款識和銘文的考證，經過對字的形狀改變、文字結構及內容含義等方面的研討判定，來判別該器的價值。潘祖蔭之所以能慧眼識真，保藏到大盂鼎和大克鼎，是源於他判定水平的深沉和廣博的學問。

但是，潘氏最大的缺憾是宗族人口凋謝，所以他的弟弟潘祖年就把兩個兒子過繼給潘祖蔭，但也相繼早夭，家中無人承繼香火。光緒十六年（1890年）潘祖蔭病死於北京，6年後，他的夫人也在北京逝世了。因為二人畢生未育子嗣，潘祖蔭一切的遺產就由比他小了整整40歲的弟弟潘祖年全權處理。當潘祖年得知嫂子逝世，從千里之外的姑蘇趕到北京奔喪，時刻現已過了一月有餘。就在這段時刻，滂喜齋和攀古樓中已有很多藏品被盜。