潘岳的死，与他在“八王之乱”中所处的政治立场有着密切的关系。
由着潘岳→石崇→贾谧这条线，我们结合《晋书》，还能找出与潘岳有关系的几位掌权人物，分别是杨骏、司马玮、公孙宏、贾南风、司马伦、孙秀。
根据上述这些人，我们就可以知道潘岳的两次不幸。其实早在291年，潘岳就差点丢了命，当时是因为皇后贾南风用各宗室杀死了辅政的太傅杨骏，并诛其三族，而身为太傅主簿的幕僚潘岳，靠着楚王的长史、好友公孙宏的求情，才只是被调职而已。这次经历虽然“惊”，但好在最后无“险”
到了300年的又一次政变时，坐在当年那个求情者的类似位置上的不仅不是曾经受了自己恩德的公孙宏，而且还是被自己鄙夷的孙秀，而孙秀确实是“声名狼藉”，完全是在赵王的羽翼下才得以苟活。早在梁王司马肜接替赵王司马伦任征西大将军时，与孙秀有矛盾的诸将一同建议梁王斩杀孙秀“以谢羌、氐”，因为辛冉劝谏，才免去一死。赵王杀死贾南风及一干重臣后，任命宠臣孙秀为中书令。
孙秀大权在握，大行报复，史称“及秀得志，朝士有宿怨者皆被诛”、“及赵王伦篡位，孙秀专政，忠良之士皆罹祸酷”他诬陷宗室，在抢夺石崇妾绿珠不成，又罗织罪名陷害石崇。一向公开鄙夷孙秀的名士潘岳，自然是他下一个开刀的对象。潘岳也明白这个道理，一次在中书省时，他特意问候孙秀：“孙令犹忆畴昔周旋不？”潘岳本意或是想着借此讨好一下，没想到弄巧成拙。孙秀忆及前辱，直接怼了回去：“中心藏之，何日忘之！”潘岳“自知不免”
果然，孙秀在不久后就给潘岳和他的好友石崇、欧阳建“谋奉淮南王允、齐王冏为乱”的罪名，将潘岳等人及其三族一并处死。
潘岳的母亲、四个兄弟，子女辈的后代，都被杀死，只有一位侄子逃走。另有弟弟潘豹的女儿和母亲紧紧抱在一起嚎哭，坚持到朝廷下诏将其赦免，这才免于一死。