朱元璋建立明朝后，原本随他起事的部下大多成了公侯将相，拥有了大量的土地、部曲。渐渐地，他们当中有些人不再愿意俯首帖耳地听从朱元璋的摆布，而是持功骄恣、犯法违禁，其部下家人也倚势欺压良善，这些都极大程度地危害了国家的利益。
另一方面，朱元璋作为一名颇有作为的皇帝，为了将权力牢牢抓在手里，调动国力恢复社会经济、防御残元势力再度南侵，就不可避免地会与元勋将侯们发生冲突。为此，朱元璋开始大肆杀功臣，并整日校验侦察臣下的言行举止，有时甚至亲自出马“私访”而高压之下人人自危，他越是对臣下防备严密，君臣矛盾就越是深刻，裂隙也越是扩大。
洪武十一年，朱元璋下令，“禁六部奏事不得关白中书省”，丞相指挥六部的权力被剥夺，标志着皇权与相权之争已经到了不可调和的地步了，朱元璋废弃丞相制度势在必行。这时候，恰巧发生了一件惊天大案，时任丞相的胡惟庸擅权枉法，图谋造反被人告发。
据《明史纪事本末》记载,事发的这一天胡惟庸想了一个诡计，谎称家里井中出现了一汪醴泉，乃是祥瑞，邀请朱元璋去自己宅邸参观。朱元璋一听十分高兴，欣然前往。然而刚坐马车出西华门，突然冲出一个名叫云奇的太监，勒马拦下了帝王车驾，气喘吁吁地话都说不出。朱元璋被吓了一跳，十分生气，令左右侍卫立刻将其拿下。一通乱棍后，云奇右臂都被打断了，奄奄一息，但奇怪的是，他一直指着胡惟庸的宅邸，连疼痛都不能让他退缩。朱元璋忽然明悟，于是登城墙上往胡惟庸家一望，果然看见了胡宅内复壁间藏有有全副武装的甲士，胡惟庸的造反计划因此败露。
原本朱元璋就想对功臣宿将大开杀戒，胡惟庸事发简直是瞌睡来了送枕头。他回去后立刻着手开始肃清逆党，在君主的授意下，被打成胡党的大臣层出不穷。只要是朱元璋不待见的，司法官员都可以投其所好，给其扣上“胡惟庸同党”的帽子。
所谓拔出萝卜带出泥，大臣们狗急跳墙下乱咬人的情况不胜枚举，“时四方仇怨相告讦，凡指为胡党，率相收坐重狱。”从洪武十三年胡惟庸案发到二十三年后李善长被赐死结束，大量的功臣宿将被杀，前后竟然牵连了三万余人。《明史》记载：“帝发怒，下令肃清逆党，词所连及坐诛者三万余人。乃为《昭示奸党录》，布告天下，株连蔓引，迄数年未靖云。”君王威权的恣肆下，人命如草芥一般。可回过头看，胡惟庸真的谋反了吗？可能并没有。“云奇告变”一事处处透着蹊跷，登城而望的朱元璋怎么能看到藏在屋里复壁间的藏匿的士兵，难不成朱元璋有透视眼？再者说，告密的云奇既然事先知道胡惟庸谋逆，为什么不提前告发，要等到火烧眉毛了再急匆匆闯道报警，白挨一顿打？因此，明朝晚期的学者钱谦益说:“云奇之事，国史野史，一无可考。”其中李善长全家70口人被杀更是冤枉，就在李善长死后的第二年,户部郎中王国用上疏为李善长辩白，朱元璋看了觉得说的有理，“竟亦不罪”可见冤案与否对朱元璋来说根本无关紧要，他只是想借胡惟庸案把功高震主、对朱家王朝有威胁的人一网打尽罢了。
同时，诛杀胡惟庸的第二天，朱元璋便宣布废掉丞相制度，开始了大刀阔斧的中央机构改革，以强化他的皇权专制统治。他把政权、军权都分割成几个部分，又各个系统的不同机构分别掌领，“彼此颉颃，不敢相压，事皆朝廷总之。”皇帝权威的扩大一定程度上对明初经济的恢复和发展起到了促进作用，洪武二十六年，明朝税粮收入为3200多万石，和元代全国岁入粮数相比，增加了近两倍；人口达到6000多万，比元朝极盛时期还多700多万。这段时期的明朝简直富得流油，连府县的库房积蓄都是满满当当的，有的粮食压在仓库放腐烂了都没人吃。
可那么多权力全集中到皇帝一个人身上真的是好事吗？中央机构改革后，各种琐碎事务全要由皇帝处理，朱元璋常常一天批阅奏折一百四十多件，鸡鸣而起,昧爽而朝,未日出而临百官，简直比农夫还辛苦。更糟的是，皇权的强大与否，往往与皇帝的个人能力有关。朱元璋在位时的内阁大学士只是随侍的五品小官，可到了世宗中叶，严嵩等内阁首辅虽无宰相之名，却掌握“票拟批答”之权，比不直接草诏的丞相更便于玩弄权柄。而且内阁首辅还要受到宦官“批红”的限制，导致明后期出现了前所未有的宦官专政局面。
胡惟庸之死，本质上是明初皇权与相权之争的必然结局。朱元璋借此诛杀了三万多人，终于结束了千余年的中书柄政之局，自此中国历史上再无丞相之名。他真的成功了吗，从明朝后期的统治来看，也许并没有。