最早的孔廟相傳建於公元前478年，也即孔子去世第二年，魯哀公將孔子在曲阜闕里的三間故居改建為廟。

裡面陳列孔子生前所用的衣冠、車、書、琴等遺物，並每年按時祭祀，這就是最早的孔廟。 孔廟立成後，漢代對孔廟只做了簡單修補。

隋唐時期，孔廟開始擴建，超出孔子古宅範圍。至宋代，宋太祖趙匡胤以文立國，對孔廟更是大肆擴建，使之成為了擁有300多間房的建築群。1214年，金人入主中原，放火燒孔廟，將殿堂與書籍全都燒毀，據說孔子親手栽種的有1200多年樹齡的三棵檜樹（刺柏）亦被焚毀。其後金人為取得漢人文化認同，以原來格局重修孔廟，但在戰火中多有毀壞。之後經過元代的幾次修葺，再加上明代洪武、永樂、 成化各朝擴建修整，孔廟才恢復了宋代的規模。

明弘治年間以及清雍正年間，孔廟兩次遭遇雷擊造成火災。雍正皇帝對其相當重視，火災後親自前往孔廟拜祭。並以為是自己對孔子尊崇不夠才遭了天譴，於是下令提高規格，以帝王宮殿之制重建孔廟，於是歷經劫難的曲阜孔廟最終成為今天的樣子，這是世界上最大、歷史最悠久的孔廟。

最早的國立孔廟出現在北魏時期。當時入主中原的鮮卑族皇帝孝文帝為實現漢化，實施了包括遷都洛陽在內的一系列措施，並在當時洛陽建立了第一座位於京城的孔廟。其後，唐貞觀四年（公元630年），皇帝下令各州縣學校都要有孔廟，自此孔廟遍及中國。後來京城的太學和國子監內皆建孔廟。另外，隨著儒家文化在中國周邊地區的流傳，越南、朝鮮、日本等地都興建了許多孔廟。

唐玄宗於開元二十七年（公元739年）封孔子為文宣王，因此，孔廟又被稱為文宣王廟。明永樂年間，因供奉關公的武廟多建於孔廟旁，民間就把與武聖人並列的文聖人孔子的廟，稱為文廟。除此之外，孔廟還有其他幾種名稱：至聖廟、宣聖廟、夫子廟、先師廟、儒學廟、學宮等。