徐阶退休回家，本想着安享晚年，可是他的晚年并不太平。客观上讲，徐阶对大明的确有大恩，他扳倒了严嵩，将大明秩序引入正轨，但私下里，徐家的各色人等，也因为徐阶的权势鸡犬升天，开始胡作非为。
徐家子弟在家乡横征暴敛，兼并大量土地田产，在隆庆二年，海瑞恰好任职应天巡抚，理论上讲，海瑞是徐阶提拔的，且多次帮助海瑞，海瑞理应对徐阶网开一面，然而，海瑞对徐阶却毫不姑息，对徐阶私占田产、横行乡里的案件严格办理，搞得徐阶灰头土脸、尴尬不已。
那么，徐阶为什么会被海瑞欺负？徐阶退休后，难道人走茶就凉了？
一、徐阶一党受到高拱倾轧徐阶罢官后，李春芳接替内阁首辅，李春芳能力不低，但他身后是谁？是高拱。在徐阶、高拱互相争斗的时候，李春芳尽可能避免参与，所以他屡次提出辞职，不久之后，李春芳告老怀乡，高拱掌握了朝廷大权。
高拱是裕王的老师，隆庆帝即位后的，高拱是当仁不让的头号人物，然而，在高拱和徐阶之间，有着数不清的恩怨。
嘉靖去世前，应该是立有遗诏的，但我们为什么没有见到？想必早就被徐阶给雪藏了，那封官方的遗诏，并不是嘉靖皇帝写的，而是由徐阶和张居正共同起草的。
当时高拱已经进了内阁，按照规矩，这份遗诏徐阶应该和高拱商量一下，不论谁来起草，最起码得通知一下吧，但徐阶绕过了高拱，私自和张居正一起起草。
史料记载“同列高拱、郭朴以阶不与共谋，不乐。朴曰：「徐公谤先帝，可斩也。」拱初侍穆宗裕邸，阶引之辅政，然阶独柄国，拱心不平。”高拱对于徐阶的所作所为极其不满，高拱这个人很有才华，而且还是皇帝的老师，自然目中无人，在徐阶掌权之时，高拱就对其不满，而徐阶私自起草遗诏，更让其怒火中烧。
在大明王朝，不论什么级别的官员，不论在不在职，其人身安全都是无法保证的，不同于宋朝对士大夫的保护，在明朝，如果被政敌击败，很可能是死路一条，严嵩就是个鲜明的例子。所以在徐阶罢官回家后，高拱便对其不遗余力地弹劾、倾轧。
史料记载“阶既行，春芳为首辅，未几亦归。拱再出，扼阶不遗余力。郡邑有司希拱指，争齮晷阶，尽夺其田，戍其二子。会拱复为居正所倾而罢，事乃解。”徐阶很看好海瑞，也支持海瑞的做法，但海瑞搞到他的头上，他也很头疼，一定程度上讲，高拱一直在幕后操作。海瑞刚正不阿不假，必定也不会鸟高拱，但海瑞可以被人当枪使，这一点徐阶是清楚的，换言之，徐阶对付的并不是海瑞，而是高拱一党。
二、海瑞已经被奉为标榜人物，名誉极高说海瑞欺负徐阶，明显是开玩笑的说法，在很大程度上，是徐阶提拔了海瑞，于是海瑞才能当上高官，在海瑞上奏的那份《治安疏》之后，徐阶也是求了情的，否则海瑞真的有可能被杀。
海瑞和徐阶，这明显不是一个量级的对手，但这其中有一个重要问题，那就是海瑞名誉太大、影响力太大。
在嘉靖、隆庆、万历年间，海瑞可以说是流量明星，几乎无人不知无人不晓，他都敢对抗嘉靖皇帝，还有什么不敢做的。然而，如果徐阶真的搞死海瑞，他会落得什么下场，必定会被口水淹死。
史料记载“至谓遐举可得，一意修真，竭民脂膏，滥兴土木，二十余年不视朝，法纪弛矣。数年推广事例，名器滥矣。二王不相见，人以为薄于父子。”海瑞上疏骂皇帝，在嘉靖那个年月，谁有这么大的胆子，而且奏折说得句句在理，把嘉靖皇帝批得是体无完肤，最后呢？嘉靖竟然不敢杀海瑞，因为一旦他杀了海瑞，自己就成纣王，对于海瑞这种人，嘉靖气得七窍生烟，却又无可奈何。
嘉靖去世后，海瑞不仅被平安释放，还被升了官，海瑞自带的巨大影响力，就是他的钢铁护身符，嘉靖皇帝不敢杀，隆庆皇帝将其捧得高高的，就连张居正都对其畏惧三分，可见海瑞有多么牛。
徐阶退休后，并没有放弃权力，他在朝廷的势力仍然很大，高拱之所以费力要搞倒徐阶，就是因为其势力太大，高拱要想站稳脚跟，就必须要扳倒徐阶。
对于徐阶来讲，海瑞并不是大难题，却是不容易处理的，就此徐阶也只得将田产归还，给上下都有个交代，才算就此作罢。
三、海瑞为人刚正不阿，对事不对人很多人认为，海瑞一直在和严嵩斗智斗勇，而事实上，海瑞和严嵩并没有太多交集。海瑞做淳安县令的时候，得罪过两个人，他们都是严党的人，一个是胡宗宪、一个是鄢懋卿，胡宗宪心胸宽广，不跟海县令一般见识，而鄢懋卿睚眦必报，却拿海瑞无可奈何。
总而言之，在海瑞做县令的时候，他的官职太小，对严党根本构不成威胁。海瑞上奏《治安疏》的时候，严党已经倒台了，而当时一大家独大是徐阶。一方面海瑞批斗的是嘉靖皇帝，另一方面海瑞也在批判徐阶的各种弊端。
换言之，在海瑞刚刚出名之时，就对徐阶有意见了，那么海瑞真的是在“欺负”徐阶吗？
海瑞做事，从来都是对事不对人，在其中并没有夹杂私人恩怨，这是他做人、做官的原则，从始至终，一直都没有改变。
史料记载“隆庆元年，徐阶为御史齐康所劾，瑞言：「阶事先帝，无能救于神仙土木之误，畏威保位，诚亦有之。然自执政以来，忧勤国事，休休有容，有足多者。康乃甘心鹰犬，捕噬善类，其罪又浮于高拱。」人韪其言。”隆庆元年，在高拱的唆使下，御史齐康弹劾徐阶，如果海瑞真的对徐阶有看法，他应该落井下石才对，然而，海瑞上言帮徐阶辩解，说徐阶忧患国事，值得称赞，反而齐康身为御史，却甘心做高拱的鹰犬，才更应被人唾弃。
由此可见，海瑞做官刚正不阿，只要是贪官他就会去弹劾，只要事情做得对，他就会去称赞，海瑞站在百姓的角度办了很多好事、实事，对于徐阶，他并没有公报私仇，也没有任何私人恩怨，只是由于徐阶晚年做事不周，才导致晚年不保。