岳飞一生中，与三个女人有极大的关系。
第一个女人是刘氏，她也是岳飞的第一妻子。岳飞与刘氏生岳云、岳雷二子。岳飞从军抗金，与刘氏分开。刘氏与岳飞大约于任徽宗政和八年结合，这是根据岳云的出生年月推算出来的。岳飞留刘氏照顾母亲姚氏。可惜此女不能守节忍受艰苦，先后两次改嫁，《建炎以来系年要录》载：“飞又奏：‘臣始从陛下至北京，留妻刘氏侍臣老母。‘”然刘氏之后抛弃岳飞，两次改嫁他人。后来，刘氏最后嫁与韩世忠军中一押队，岳飞差人送其五百贯。《《会编》卷二百七是这样描述的:飞执兵权之日，遣使王忠臣往楚州韩世忠处下书，得回书欲归。临行世忠嘱之曰:“传语岳宣抚，宣抚有结发之妻，见在此中嫁做一押队之妻，可差人来取之。”回，飞奏言，“履冰渡河之日，留臣妻侍老母，不期妻两经改嫁，臣切骨恨之，已差人送钱五百贯，以助其不足，恐天下不知其由也。”上令报行。
注：在当时。2=3贯已经够一个三口之家生活一个月了。500贯，真是一笔巨资呢。
《要录》卷120也有相似的记载：绍兴八年六月丁卯，飞之在京师也，其妻刘氏与飞母留居相州，及飞母渡河而刘改适，至是在淮东宣抚使韩世忠军中，世忠谕飞复取之，飞遣刘钱三百千。丁卯以其事闻，具奏:“臣不自言，恐有弃妻之谤。”诏答之。
先说这则记载的真伪吧，台湾方面的岳飞研究专家对此条记载持伪造的意见，理由是秦桧当权以后，尤其是岳飞身死之后，秦桧指使其子秦熺，大肆篡改原始档案，对岳飞进行攻击与污蔑。而且岳飞家谱中也根本没有记载过这个刘氏。
大陆方面则完全肯定此条记载的真实性，因为专家李心传在编写《要录》的时候，曾经亲自看过岳飞的上奏。既然亲见岳飞的上奏，这件事的真实性自然是不容置疑的。何况当其实人们普遍对妇女改嫁持宽容态度，秦桧犯不着在这些小节上污蔑岳飞。
接着来看岳飞的态度。
韩世忠告诉岳飞他的结发妻子嫁给自己手下的一个押队，让王忠臣回去告诉岳飞，快点来接结发妻子回家吧。岳飞听到王忠臣的密报后，不作回答。结果被韩世忠这个大嘴捅到了皇上那里，岳飞迫不得已上奏说：“当初渡河的时候，把妻子留在家中侍奉老母，没料想这厮竟然改嫁两次，我真是切骨恨之呀。已经派人给她送了五百贯，来帮助她家用，恐怕天下不知道这件事情的原委，”可是，毕竟是刘氏先负了他，像岳飞这样血性的男人，对于这样的女人是是可忍，孰不可忍的态度，于是面对皇帝陛下的撮合，也只有硬邦邦的“切骨恨之”四个字加以回复。多少旧日耳鬓厮磨举案齐眉的往事，都因为这个女人的背叛化作子虚乌有。唉，谁说英雄无情，英雄有情，这情愈真也就愈烈，容不得半分踏错行差。这个忍心抛弃自己儿子的女人，实在是无福消受这番情真意切呢。
或许刘氏就像金庸笔下的马春花，身为一个农妇却有几分艳丽的姿色，于是被一个王孙贵胄看上，在一个月黑风高的夜晚，偷偷的逃离了贫穷的家庭，投入王孙公子的怀抱。然而那个公子，也不过是将她当作玩物，轻易的抛弃了。她终究还是再次落入了下里巴人的手中，继续过着穷困的生活。只是，刘氏在接过那五百贯的巨额资助时，不知她的心里是否有不甘与羞惭。
第二个女人。
岳飞与第二个女人的风流韵事发生年代不详，大约在绍兴五年平定杨么之后，经过是这样的：公家素无姬侍，先父被檄差出，远方妄传公纳士族之女以为妾。先父以告，公曰:「四川吴宣抚尝遣属官来议军事，某饭之，彼惊讶某之冷落，归言於吴宣抚。吴乃以二千缗买一士族女，遣两使臣妻送来。某令其立于屏后，告之曰:『某家上下所衣麻布耳，所食齑面耳。女娘子若能如此同甘苦，乃可留，不然，不敢留。』女乃吃然而笑，某曰:『如此则不可留也。』遂遣还之，初未尝曾见其面也。」翻译过来就是：岳飞家里向来没有姬妾侍奉，有一天黄纵出门干公务，听说岳飞纳士族之女为妾的传闻。黄纵回来以后赶紧询问岳飞，岳飞说：是有这么回事，四川的吴宣抚派人来我这里议论军事上的事情。我请他吃饭。吃饭的时候，每个人前面都是一溜艳妆美女，该是多么赏心悦目大畅人心呢。是吴宣抚就破费两千缗，买了一个女子送给岳飞。
岳飞知道这事情后，让她立在屏风后面，告诉她：我们家上上下下皆穿麻衣，吃的也只是咸菜粗粮，您要是能和我同甘共苦就留下吧，如若不然，还是请回吧。那个女子吃吃的笑了，岳飞就把她打发回去了。
岳飞对自己身边女子的要求--“同甘共苦”，能够城为志同道合的革命伴侣，如果没有共同的追求，宁可舍弃别人白白赠送的美女！岳飞的原配刘氏就是不能“同甘共苦”与岳飞分道扬镳的。岳飞有了刘氏的前车之鉴，这回赶走这个美女也就是情理之中了。
岳飞在感情上已经受过一次伤害了，不能再受第二次伤害，岳飞赶走美女的时候，心眼里估计正琢磨着刘氏呢，呵呵。瞧刘氏改嫁对岳飞的刺激有多大。
第三个女人。
上面介绍了两个与岳飞有缘无分的女人，接着要说的就是与岳飞“执子之手，与子携老”的李娃了。
哦，如果没有岳飞的那场冤案，相信岳飞与李娃俩是可以彼此看着，慢慢变老的。
李娃在岳飞孙子岳珂编的《鄂国金陀编》中是有传记的：李氏，名娃，字孝娥。奉其姑有礼度，又能筹理军事。先臣出军，则必至诸将家，抚其妻、子，以恩结之，得其欢心。在宜兴日，先臣尝召至行在，部下谋叛，李氏得之，不言。一日，会诸将于门，坐告之，捕斩叛者，一军肃然。
《金佗续编》卷一三《先祖妣李氏复楚国夫人告》这样形容李娃：前楚国夫人李氏柔洁以为质，俭勒而自修，处安荣不闻骄之愆，居患难不改幽闲之操。
李娃，字孝娥，宜兴人。公元1130年春，岳飞在宜兴娶李娃为妻。李娃在建炎四年居宜兴，则应在建炎二，三年间嫁岳飞。她比岳飞年长两岁，嫁时已有二十八、九岁。
李娃是南宋抗金英雄岳飞第二任夫人，岳飞夫妇俩感情也是极好，李娃可以说是岳飞的贤内助，她聪颖贤惠、有胆有识，她日夜协助岳飞布置军事，受到将士们的赞誉。
如此德才兼备的女子，也十分受朝廷赏识，从李娃的封位便可得知。岳飞遇害后，与岳雷等流放岑南二十年。
从绍兴十一年到绍兴三十一年，二十一年间李娃率领岳飞的子女在岭南苦度日月。他们遭受的是对流放人最为严厉的编管刑，严格限制人身自由，需要每月到监管人处呈身。在这样的境遇中，李娃都能够“居患难不改幽闲之操”，直到岳飞得到，李娃的节操令世人敬仰佩服。