在我国文物史上占有显赫位置的两件西周闻名青铜巨鼎——大盂鼎、大克鼎即为潘祖荫旧藏。此二鼎后留传给其侄孙媳潘达于，潘达于已在1951年将二鼎捐赠给其时正筹建上海博物馆的上海市文物办理委员会，二鼎遂成为该馆的镇馆之宝。

潘氏宗族是姑苏的望族，有「贵潘」之称，祖上是徽商，迁居姑苏后重视文化教育。自先祖潘奕隽成为榜首个进士之后，潘家科名连捷，一跃成为簪缨世家。潘祖荫的祖父为乾隆癸丑（1793年）科状元潘世恩，官至一品的太傅及武英殿大学士。潘祖荫的父亲潘曾绶，官至内阁侍读。而叔祖更是乾隆乙卯（1795年）科的探花潘世璜。除为官外，潘祖荫宗族亦是清代姑苏区域的保藏名门之一。潘家几代人从流散于世的真赝书画中，辨别遴选，保藏了一批精深的书画名作，历经子孙近二百年薪火不断的堆集，成为晚清江南区域重要的私家保藏宗族。那么潘祖荫宗族详细的保藏规划怎么呢？

据《三松堂书画记》潘承弼跋，称潘奕隽喜爱保藏到了痴迷的境地，收集了很多的古董字画。其「所居三松堂，藏庋法书名画甚富。……有《书画目》两册，著录宋元以来名迹数百家，原稿藏公曾孙俭庐叔祖处，余曾假以录副，未遑校理」。藏品的精富程度可见一斑。在此书中还记录了潘家保藏的有元代以来作品合计187件，其间不乏赵孟𫖯、周臣、沈周、文征明、仇英、唐寅、董其昌、蓝瑛、陈淳、徐渭、王时敏、王鉴、王原祁、恽寿平、罗聘、金农、吴历、查士标、高凤翰、翟大坤等元明清三朝名家墨迹。其间有文征明《红杏湖石图》、李觯《时新佳品》等。潘奕隽不只喜爱书画保藏，还热衷于收集各类古籍善本。其三松堂先后保藏历代典籍达数万卷，所藏宝贵典籍即达百种以上，与其时大藏书家黄丕烈、袁寿阶齐名。潘奕隽卒后，三松堂藏书分别由其孙潘遵祁、潘希甫递藏，各自具有数万卷，并连续有所新补。

潘祖荫大伯潘曾莹的保藏数量也很可观。在其《墨缘小录》记载保藏106位名家的作品。在他另一部作品《小鸥波馆画识》中，也记录了他保藏及见过的名画，如刘松年《十八学士图》、唐寅《山水图》、陈汝言《修竹草堂图》等。能计算出的潘曾莹的藏品即有219件以上。

潘祖荫所藏的宋刻《金石录》十卷，虽然不是全本，人们都称为奇书、人世孤本。保藏者都镌刻了一枚「金石录十卷人家」小印，钤于书上，潘氏也不破例，请金石名家赵之谦为其刻「金石录十卷人家」长方细朱文印，边款为「壬申春，㧑叔为郑盦作」。潘祖荫《滂喜斋藏书记》金石录条云：「此即《敏求记》所称冯砚祥家本也。乾隆间归征征江玉屏。赵晋斋魏得自江氏，又自赵氏转入芸台相国家、继入玉雨堂韩氏。

潘祖荫藏书斋名有：滂喜斋、八囍斋、佞宋斋、莲叶西斋、八求精舍、芬陀利室、近光楼、小脉望馆、龙威洞天、二十钟山房等。藏书印主要有：潘祖荫藏书记、伯寅经眼、伯寅藏书、潘祖荫、伯寅、翰林供奉、滂喜斋、汉学居、潘印祖荫、吴县潘伯寅平生真赏、吴潘祖荫章、赐兰堂、金石录十卷人家、伯寅瑰宝榜首、祖荫、如愿潘、宋本、元本等。

1951年7月，潘氏滂喜斋藏书中的精华部分成为孕育中的上海图书馆第一批国宝级藏品，其数量之多、质量之精，让世人注目。这批珍品共76种1765册，里边有宋刻本20种、元刻本27种、明刻本18种、清覆宋刻本2种、明清名家抄本9种。其间许多是传世孤本，文物和史料价值极高。尔后，上图又连续收购到《王荆公唐百家诗选》、《杜工部集》、《金石录》、《紫云先生增修校对押韵释疑》四种宋本，也归于滂喜斋旧藏，

潘祖荫藏品之精巧比起长辈来讲有过之而无不及。饱读诗书、才高八斗的潘氏热爱保藏古董字画，尤爱青铜器。为此节衣缩食，大把的银子都投入了保藏，以至于所乘车马轿舆是最褴褛的。潘祖荫每发现彝器文物，必「倾囊购之，至罄衣物不吝」。一起仔细研讨，并写有《滂喜斋丛书》《功顺堂丛书》等作品。潘祖荫的眼光之凶猛，在保藏界是有名的，文物是否真品或有无价值，值不值得去保藏，他一眼就能看出端倪，得名「潘神眼」，可见他鉴赏能力的高明。其时朝廷内众宦官凡得古董，必请潘祖荫辨别，连孝钦显皇后也曾说「潘祖荫所判定者固无甚大谬也」。

金石学者收集保藏青铜器，一般偏重对器上款识和铭文的考证，经过对字的形状改变、文字结构及内容含义等方面的研讨判定，来判别该器的价值。潘祖荫之所以能慧眼识真，保藏到大盂鼎和大克鼎，是源于他判定水平的深沉和广博的学问。

但是，潘氏最大的缺憾是宗族人口凋谢，所以他的弟弟潘祖年就把两个儿子过继给潘祖荫，但也相继早夭，家中无人承继香火。光绪十六年（1890年）潘祖荫病死于北京，6年后，他的夫人也在北京逝世了。因为二人毕生未育子嗣，潘祖荫一切的遗产就由比他小了整整40岁的弟弟潘祖年全权处理。当潘祖年得知嫂子逝世，从千里之外的姑苏赶到北京奔丧，时刻现已过了一月有余。就在这段时刻，滂喜斋和攀古楼中已有很多藏品被盗。