唐代孟棨所写笔记小说《本事诗》里，杨素的爱妾乐昌公主思念前夫徐德言，杨素让乐昌公主和前夫团聚，“破镜重圆”。
唐代刘餗所写笔记小说《隋唐嘉话》里，杨素的宠妾与李百通看上了眼，居然大咧咧地在杨素府中私通，被杨素逮个正着，但杨素看李百通是个少年俊才，就把宠妾送给了李百通，“成人之美”。
唐末杜光庭所写传奇小说《虬髯客传》里，杨素的歌伎红拂又和李靖私奔了，杨素还是欣然成全了红拂和李，又来了个“红拂夜奔”。
这三个后世耳熟能详的故事，除了“破镜重圆”据考证虽然正史无记载，但有存在的可能性之外，“成人之美”和“红拂夜奔”都是完全虚构的。
李百药出身博陵李氏，二十八岁就袭爵安平县公，是太子杨勇的通事舍人，杨广继位后就被排挤外贬。李靖出身“五姓七望”陇西李氏丹杨房，更不是《虬髯客传》中的布衣书生。两人都是世家子弟。
别说两人出身高贵，性格高傲，做不出私通私奔的事。再者，他们看上了谁，随口和杨素提一句，杨素就会欣然赠送美人。
虽然不知道唐人为什么在写小说的时候，都热衷给杨素头上染点绿，但从他们总想撬杨素家的美人，翘完后还让杨素给主角当送官送钱的贵人，就知道杨素在隋朝权势之重。
杨素在隋文帝杨坚手下屡立战功，在隋文帝一朝就已经位高权重，不仅自己被封越国公，其子皆因为他的功劳被隋文帝封爵。
他又助杨广夺嫡，轻松帮杨广平定汉王杨谅叛乱。杨广对其厚赏无数。
杨素的权势在大业元年达到了鼎盛。
而鼎盛后，盛极而衰之快，让杨素所料未及。
当杨素助杨广坐稳了皇位，在杨广心中，杨素就成了影响他皇位稳定的因素。
即使杨素未有任何错误，还主动把弱点递给杨广，广求家产美姬，甚至做出早上拆房子晚上建房子这种奇葩事，引来众人鄙夷。杨广还是忌惮他。
大业二年，太史令上奏杨广“分野有大丧”。
时人都信谶纬，太史令其实不是专职的史官，而是官方“占星术士”。“分野”是先秦时传下的占星术用语，即将天上星宿划分成十二个星区，与地上疆域对应，以预言祸福。
隋朝的名称取自“随国”，与楚国同属“翼轸”分野。隋文帝和杨广都信这个，所以隋朝没有楚王和楚国公。
杨广听了太史公的上奏后，很快就将杨素改为隋朝第一个楚国公。
杨素立刻明白了皇帝的用意。
汉文帝曾经率领群臣哭死舅父。杨广此举和汉文帝差不多，就是告诉杨素，你现在自己选择去死，还能给自己和家族留个体面。
于是改封楚国公后不久，杨素就生病了。
杨广一边派名医去为杨素医治，一边暗中打探杨素的病情和对此事的反应。
听了宇文述打探回来的消息后，杨广心里对杨素的怨恨有些愤怒，但杨素好歹还是顺从地走上了自己给他安排好的路，杨广大度地原谅了杨素。
只要杨素死，他仍旧能厚待杨素的家族。
杨广对宇文述道：“若杨素不死，朕必定除其族！”
宇文述恭敬道：“陛下请安心，杨素必是不敢不死的。”
杨广冷哼：“希望他能识趣。”
大兴城中，李世民和李玄霸也得知了这件会让朝野上下轰动万分的事。
这时，高颎正手持书卷，敲着李世民的脑袋。
李世民很聪明，但有了小马之后，总有点定不下心读书，此次考校又被高颎看出了“赶工”的痕迹。
虽然李世民的功课是完成了，学识也掌握得不错。但这时候老师教书不仅看结果，也看重过程。
态度至关重要。
李世民就是读书态度不端正，必须被敲脑袋。
高颎离开大兴时，就感到了皇帝和杨素之间的气氛有些古怪，所以留下了人观察杨素的动静。