不少影视作品都将杨素刻画成一个奸佞小人，但这只是编剧一厢情愿的臆测罢了。
古来英雄爱美人，但杨素这号英雄却志不在此。杨素一生，先后将三位倾国倾城的美人拱手让人，成全了三段姻缘，可谓极其高尚了。
大隋未统一中原时，陈国皇帝有个妹妹叫乐昌公主，此女才色双绝。当乐昌公主到了出阁的年龄时，陈后主将她许配给当朝太子舍人徐德言。然而，没过多久隋军便蜂拥而至，将陈国一举覆灭。
在战争爆发之前，徐德言对新婚燕尔的夫人说道：“你长得漂亮又才华横溢，所以，如果这场战争我遭遇了不测，想必你也能有好的归宿。如果，你我二人有缘分的话，将来一定可以再续前缘。我将这铜镜掰成两半送给你，当作我们相见的信物。”杨素灭掉了陈国之后，在俘虏中一眼相中了乐昌公主，于是，便将其纳为妾室。杨素很喜欢这位美人，但却不知道她心里的小秘密。徐德言在国家灭亡后四处寻找夫人，没想到，她竟嫁给了杨素。
这对苦命鸳鸯相见后，永昌公主将自己的身世对杨素和盘托出，并将掰断的铜镜拿给杨素看。杨素对二人的故事十分感动，于是，便给了他们充足的安家费，让乐昌公主回归徐德言的怀抱。
比起促成的第一桩婚姻，或许第二桩更让杨素难释怀，因为在这次，有人给杨素戴了绿帽子。
这天杨素回到家中，突然看见爱妾的房间里溜出一个鬼鬼祟祟的家伙。杨素何许人也，他怎会饶过跑到家里偷腥的野男人？于是，杨素拔出宝剑，想要将此人乱刀砍死。然而，当他看到了来人的长相后，不由得停下了手中的动作。
这是个年纪还不到二十的青涩小伙，面容稚嫩。杨素以前在同僚家中做客时见过这小子，他便是李德林的儿子李百药。早就听说这李百药才华横溢年少有为，如果，因为偷情死在自己的手里岂不冤枉？况且，这件事传出去名声肯定不好听。
于是，杨素便打算放过这个误入歧途的小伙子。杨素对他说：“我听说你喜欢吟诗作对，那你现在给我写首诗。如果写的好，我就放过你。如果写的不好，别怪我杀了你。”小伙的命都被人掐在手里，怎敢忤逆？
于是，他三下五除二写好了一首诗，交到杨素面前。
杨素拿起诗来读了又读，觉得颇有韵味，这小子果然有经世之才。于是，杨素当场将那名偷情的小妾送给了李百药，而且还赏了他一笔钱。更难能可贵的是，后来皇帝让杨素引荐人才时，他想到了这个特殊的小伙子，给他提供了入仕的机会。
可以说李百药是幸运的，他在给杨素戴了绿帽子后，非但没有受到报复，反而因为杨素的爱才之心而获得了美人和官位。可以说，杨素是史上最特别的男人，换做任何一个人，恐怕李百药都要被千刀万剐了。
杨素所成全的第三桩婚姻，就是李靖与红拂女。
李靖是大唐王朝的开国功臣，名列凌烟阁。他后来的地位，可以与杨素比肩。红拂的名字在史料上比较少见，关于她的记载也大多语焉不详。
在晚隋时期，某次李靖来杨素府上拜访，期间李靖遇到了红拂女。李靖是出了名的帅小伙，所以，便与红拂女一见钟情。杨素是个神经大条的人，所以，并没有将这件事放在心上。没想到，没过多久红拂女便失踪了，原来此女竟背叛杨素与李靖私奔了。
按理说，这桩丑闻若发生在一个正常男人身上，他早就冲出去和奸夫玩命了。不过，杨素是个以事业为重的人，考虑到李靖的舅父是当朝大将韩擒虎，他也就将这口气咽下去了，权当从来没拥有过红拂这个女人。就这样，杨素又一次成全了一桩婚。
有句俗语说的好，“宁拆一座庙，不毁一桩婚”，当这一件件丑事发生在自家时，杨素尚能保持清醒的头脑，展现宽广的胸襟，这种情操着实令人倾佩。这杨素也不愧是一奇人，至少被戴绿帽子这种事放在其他人身上，那是万万都不能释怀的。