明朝初年，官僚機構基本上延續了元朝那一套，朱元璋馬上就認識到了其中的弊病，畢竟行省制雖然好，但沒監督，這不都成了土皇帝，就好比現在，市長不如市委書記，但是當時的人想不到啊，於是乎，改革開始了，朱元璋首先就是廢除行省制。

1376年，朱元璋宣佈廢除行中書省，設立承宣布政使司，都指揮使司和提刑按察使司，分別擔負行中書省的職責，三者分立又互相牽制，防止了地方權力過重。在軍事上，朱元璋廢除了管理全國軍事的大都督府，將其分爲中、左、前、後右五軍都督府，並和兵部互相牽制。兵部有權頒發命令，但是不直接統帥軍隊，都督府掌管軍隊的管理和訓練，但是沒有調遣軍隊的權力。這樣，軍權便集於皇帝之手。當然，最大的毒瘤沒有清除，於是朱元璋開始清除功臣了。

在中央機構改革的重點是廢除丞相制。明初中書省負責處理天下政務，地位最高。其長官爲左、右丞相，位高權重，丞相極易與皇帝發生矛盾，明朝時以胡惟庸任相後最甚。

胡惟庸是鳳陽定遠人，洪武六年由右丞相升任左丞相。胡門生故吏遍於朝野，形成個勢力集團， 威脅皇權。洪武十一年，朱元璋對中書省動手了。一天，胡惟庸的兒子騎馬在大街上橫衝直撞，結果跌落馬下，被一輛過路的馬車壓了，胡惟庸將馬伕抓住，隨即殺死。朱元璋十分生氣。十一月又發生了古城貢使事件。占城貢使到南京進貢，把象、馬趕到皇城門口，被守門的太監發現，報與朱元璋，朱元璋大怒，命令將左相胡惟庸和右相汪廣洋抓進監獄。但是， 兩丞相不願承擔罪責，便推說接待貢使是禮部的職責，於是，朱元璋便把禮部官員也全部關了起來。

兩相一入獄，御史們理解了皇上的意圖，這是要滅相啊，於是，便羣體攻擊胡惟庸，說胡惟庸結黨營私，於是，洪武十三年，朱元璋以擅權枉法的罪名處死了胡惟庸和有關的官員，同時廢除了中書省這一權力機關，並且以後不在設立丞相這一職位，當然這並沒有結束，而是開始。

朱元璋殺死了胡惟庸後，便藉着胡惟庸這個名頭，到處打出異己，原本就是幾百人的案子，但是由於皇權需要，慢慢的成爲了三萬人的案子，因爲通過此案，有三萬多人受到牽連，然後被朱元璋給殺死，甚至國公級的官員都被殺死。

其實，這很正常，因爲每個朝代都是這樣，每個皇帝上位，都會清除一批人，然後換另一批人上位，古往今來一直如此，國外不也是這樣？更何況中國這個特別流行官場文化的國家。畢竟，你沒當皇帝的時候，那麼多人追隨，你當了皇帝，你不給追隨你的人好處？從龍之臣，便是如此，至於前朝的人，前任皇帝的人，就按貪污抓。