鲁哀公十六年（前479），孔子去世。《孔子家语》的记载是在孔子去世后第二年、即鲁哀公十七年立庙于孔子旧宅。司马迁《史记·孔子世家》记载说：“故所居堂弟子内，后世因庙藏孔子衣冠琴车书，至于汉二百年不绝。”自汉至魏晋，阙里孔子故宅一直属于“依庙为宅，庙宅合一”的状态。至北魏郦道元《水经注》所记，也只不过仅“庙屋三间”。到了曹魏黄初元年（220）时，曹丕曾诏令孔氏于庙外“广为屋宇，以居学者”，但这仅是后世孔氏庙学的早见记录，而并不能视为单纯的孔子嫡裔的住宅。

山东曲阜衍圣公府大门

孔子嫡裔虽然早在汉代就被封为“褒成侯”，而根据《乙瑛碑》“褒成侯四时来祠，事已即去”，及《史晨碑》“虽有褒成世享之封，四时来祭，毕即归国”的记载，可知孔子嫡裔当时并未常住阙里，乃至于当时孔庙都没有专门值守人员，故《乙瑛碑》也记载说“庙有礼器，无常人掌理”，所以乙瑛才请求“置百石卒史一人典主守庙”。而在这种情况下，不但当时孔氏嫡裔居住的宅第情况不可知，阙里祖庭庙宅的颓敝也自然可以想见。虽然此后经过东汉桓帝的设置百石卒史典守阙里孔子故宅，但继之而来的魏晋南北朝时期，社会动荡，天下扰攘，尤其自东晋开始，衣冠南渡，详细的情况已经是史料阙如、无可考征。乃至到了李唐之时，唐高宗东封泰山，途径阙里时依然所见“堂宇卑陋”，遂“接泮林之旧壝，削灵光之前殿”，即部分拆掉灵光殿，以扩建孔宅。

今天于史料中所能见到的孔子嫡裔袭封宅的始建，当是源于宋仁宗宝元间(1038-1040)，孔子第四十六代孙孔宗愿在曲阜县旧城内开始扩建孔氏袭封宅第，但直到北宋末，当时的孔宅也只是仅有房屋数十间。在各种孔氏志书中，最早记录孔氏宅第的是宋代孔传所撰的《东家杂记》“宅图”之说：“祖殿廊东门外曰斋厅，斋厅之东廊门外曰客位，直斋厅后曰斋堂，斋堂后曰宅厅，直宅厅后曰家庙。自客位东一门直北曰袭封视事厅，直厅曰恩庆堂。……堂之东北隅曰双桂堂。……诸位皆列于祖殿之后，恩庆堂东西。”根据孔传的记录，当时的孔氏宅第，已由袭封视事厅（官署）、客位（招待）及宅厅（居住）三部分组成。《孔氏祖庭广记》附有“宋阙里庙制图”，据其图示可知，宋代孔氏宅第大门即庙宅门，乃原孔子故宅，而孔氏嫡裔所居宅第则位于庙东，墙垣周围将庙宅并为一体，府第附于孔庙一侧，古“庙宅合一”的面貌并未改变。《孔氏祖庭广记》中还另有“金阙里庙制图”一式，据此图所示，当时在宋代宅第以东，又新增了袭封宅一组建筑，官衙西南方向也建设了延宾斋。金代开始出现的“袭封宅”，这说明当时的孔宅规模和形制已然渐备。金末，阙里孔庙毁于兵燹，庙貌残毁，率多化为灰烬。“阙里祠宇毁于金季之乱，阁号奎文，若大中门闼，存者无几。”此时的孔宅自然同样也所存无几。有元一代，孔氏世爵曾中断四十三年，此时的孔宅情况也无从查考。元仁宗延佑三年（1316）六月，孔氏大宗世爵归正于孔子第五十四代孙孔思晦，孔思晦虽以修缮孔庙为志，但窘于用度，维修金丝堂尚以自己的俸禄，于袭封斋署更无力为之：“所居就袭封旧廨，不改作，终不构私室。其薨也，家无尺寸之遗。”

金代孔元措《孔氏祖庭广记》所绘宋阙里孔庙图，可见当时袭封宅

有明一朝，乃阙里孔氏宠渥隆厚度越前代之时。洪武之初，衍圣公宠遇殊隆，阶秩二品，班亚丞相，原来的“袭封宅”显然已经不符于正二品的爵秩，所以明太祖洪武元年（1368）十一月，于孔子第五十六代嫡孙孔希学袭封衍圣公之时，即命其置官署、设属官。洪武十年（1377）又明令敕建衍圣公府新邸。孔希学奉敕于祖庙之东建造府邸，作为衍圣公的官署和私宅。其制“厅堂五间九架，屋脊用瓦兽，梁栋、斗拱、檐角青碧绘饰，门三间五架，油绿，兽面锡环”，屋顶用“两厦”悬山顶。明太祖明确诏令孔希学有权设置官署，自此，孔氏大宗嫡裔袭封宅邸正式名为“大成至圣世袭衍圣公府”。明孝宗弘治十六年（1503），因雷灾圣庙被毁，延及衍圣公府，孝宗敕重修衍圣公府第，形成前官衙后内宅，三路布局的基本格局。明人陈镐所著的《阙里志·袭封宅》记载说：“袭封衍圣公府附圣庙东，与庙墙临。洪武十年，衍圣公希学奉敕创建，弘治十六年重修。其制：头门三间，二门三间，二门内有仪门，仪门之北正厅五间，东西司房各十间，后厅五间穿堂与正厅相连，退厅五间，东西廊房各五间，左为东书房，右为西书房。退厅东南为家庙，祀高曾祖祢五代衍圣公。退厅之后为内宅，楼阁房室不能具载。”

今北京太仆寺街69号北京外事学校，即北京衍圣公府旧址

准此，可知今天人们所看到的曲阜衍圣公府，其建制实底定于明弘治十六年。入清后，虽屡有修缮与增建，但衍圣公府建制一准前代。清光绪十一年(1885)因内宅火宅，烧毁前后堂楼、配楼、佛堂楼等七座楼房，时山东巡抚张曜发起募捐，耗银八万余两按旧式重建。所以今天保存下来的明代原物主要为内宅以外部分建筑，即大门、仪门、大堂、二堂、三堂、两厢、前上房、内宅门及东路报本堂等，其余均为清代重建或增建。

现存的曲阜衍圣公府为官衙与内宅合一模式，纵深九进院落、共分东中西三路、计厅房四百六十三间，占地一百八十亩。其中中路为其主轴线，二门以内是一个以大堂为主体的衙署前庭，这是整个衍圣公府权力的中心，位于其后的二堂、三堂则为衍圣公平时接见官员、处理族务之所。中路建筑的后部为内宅部分，是衍圣公和内眷居住之所。衍圣公府东路又称东学，前面部分有念典堂、九如堂、宸翰阁及孔氏大宗家庙等建筑，后部分则建有一贯堂及其内宅，这是衍圣公次子、世袭翰林院五经博士的官署，但根据传统礼制，此处仅供奉祀述圣子思子的世袭翰林院五经博士使用，其后裔则需搬出另辟新宅。西路又称西学，前半部分是衍圣公举办学诗学礼、家族宴飨、会客之所，有红萼轩、忠恕堂、安怀堂三进庭院建筑，后半部分则建有书屋和花厅，供衍圣公闲居和府内子弟学习、及内眷活动之用。

抗战期间重庆歌乐山猗兰别墅旧影

历史上，孔氏大宗主除了阙里故地的衍圣公府外，在明代还开始拥有了京畿的衍圣公府。 明永乐二十二年（1424）八月，明成祖崩，仁宗朱高炽即位，五十九代衍圣公孔彦缙赴阙觐见，当明仁宗听说衍圣公来京还是居住客舍时，遂赐宅于东安门外，这是孔氏宗子于曲阜之外首次拥有京城府邸之始。至英宗天顺元年（1457），朱祁镇复辟重登大宝，六十一代衍圣公孔弘绪入觐朝贺。当英宗听说东安门外的衍圣公府邸地势低洼，且宅邸狭小，于是又新赐衍圣公府于北京太仆寺街，计院落四进，广百余间。北京太仆寺街的衍圣公府自此一直到清末七十六代衍圣公孔令贻时期，均和曲阜衍圣公府一样，为孔氏宗子的北京官署和私宅。

山东曲阜衍圣公府鸟瞰

1935年1月18日，南京国民政府发布命令，改孔子嫡裔世爵衍圣公为大成至圣先师奉祀官，衍圣公府也因之顺应改为大成至圣先师奉祀官府。除曲阜的奉祀官府外，抗战期间，孔德成先生南下居住在重庆歌乐山，国民政府又专为营建造奉祀官官邸“猗兰别墅”以供其居住。战后还都南京，南京奉祀官官邸先馆于琅琊路，办事处设于四海里，后迁于桃园新村。1948年，奉祀官府主任秘书李炳南将曲阜奉祀官府文物撤至台湾，暂时安置于台中市省立图书馆后面的新生报宿舍（今自由路与民权路交叉口），后以台中市复兴路两栋日式平房（原复兴巷，今台中后火车站附近），作为大成至圣先师奉祀官府临时办公室。1959年由教育厅出资，在省立农学院（中兴大学前身）的台中市南区顶桥子头段133-8号（今国光路学生宿舍）兴建奉祀官官邸，将奉祀官办公室与官邸分成两地。1949年2月，孔德成先生从美国到台湾后，定居台中。