　　直到仁寿末，杨素不再处理事务。隋文帝曾赏赐王公以下的人射箭，杨素名列第一，隋文帝亲将外国进贡来的金精盘，价值万两，赐给了杨素。

　　公元604年（仁寿四年），杨素跟随隋文帝驾临仁寿宫，隋文帝又多次赏赐宴席。等到隋文帝病重，杨素和兵部尚书柳述、黄门侍郎元岩等人入宫侍候。当时皇太子杨广住在宫内的大宝殿，怕隋文帝有什么不好的消息须要预先防备，于是亲自写了一封信，封好送出来问杨素。杨素记下宫外的形势，来报告太子。宫人却将回信误送到了隋文帝的住处，隋文帝见信大怒。这时，隋文帝宠爱的陈贵人又说太子对她无礼。隋文帝于是大发脾气，要召见已废的皇子杨勇。

　　太子与杨素谋划对策，杨素假传圣旨派东宫的士兵入宫守卫，出入都由宇文述、郭衍决定，又命令张衡守候隋文帝的病情。隋文帝就在这天晚上驾崩了，因此朝廷内外有很多非议。

　　公元604年（仁寿四年），隋文帝驾崩后，杨广登基，派车骑将军屈突通带着隋文帝的诏书，召杨谅回朝。杨谅知有异，不听从遂起兵反叛。杨谅命蠕蠕天保占领蒲州，烧断了河桥，又派王耳冉子率领几万人与他合力防守。杨素率领五千轻骑前去偷袭，他先隐蔽在渭口，夜间悄悄渡河，黎明时发动进攻，蠕蠕天保大败而逃，王耳冉子因害怕而开城投降。杨广下诏书召回杨素。

　　起初，杨素出发之前就计算过几天可以打败敌人，结果不出所料。杨广又拜杨素为并州道行军总管、河北安抚大使，率领几万人讨伐杨谅。当时晋州、绛州、吕州州城都被杨谅守住，杨素各派两千人去牵制他们。杨谅命令赵子开拥十余万之众，占领了所有的道路，盘踞在高壁，摆开五十里的战阵。杨素命令部将带兵正面对敌，自己则率领一支队伍潜入霍山，沿着悬崖深谷前进，直捣叛军老巢，一举击败了他们，杀死杀伤的数以万计。杨谅所任命的介州刺史梁修罗驻守在介休，梁修罗听说杨素来了，非常害怕，弃城而逃。杨素继续前进，到达清源，离并州还有三十里。杨谅率领部将王世宗、赵子开、萧摩诃等将近十万人马，前来迎战，杨素又打败了他们，活捉了萧摩诃。杨谅退守并州，杨素进兵包围了他，杨谅无计可施，非常窘迫，只好投降，其余党羽也都一一铲平。

　　杨广派遣杨素的弟弟修武公杨约携带亲笔诏书慰劳杨素，杨素见诏后也上表陈述了自己的谢意。这个月杨素回到京城，跟随杨广抵达洛阳。杨广任杨素为营建东京的大监。因杨素平定杨谅有功，炀帝拜他的儿子万石、仁行，侄子玄挺都为仪同三司，并赐给他们织物五万段、绮罗一千匹，赐杨谅妓妾二十人。

　　公元605年（大业元年），又升杨素为尚书令，赏赐给他东京上等府第一处，织物两千段，不久又拜为太子太师，其他职务不变，前后赏赐给他的东西不知有多少。

　　公元606年（大业二年），杨广拜杨素为司徒，又改封他为楚公，食邑两千五百户。这一年，杨素死在任上。谥曰“景武”，杨广追封他为光禄大夫、太尉公、弘农河东绛郡临汾文城河内汲郡长平上党西河十郡太守，赐给他载丧的鍂车、为他执斑剑的仪仗四十人，以及鍂车前后的仪仗队和乐队，还赐给谷子小麦五千石、织物五千段，派鸿胪卿专门监督办理丧事，并且下诏书表示哀悼。

　　杨素曾经作了一首共七百字的五言诗送给番州刺史薛道衡，气势非常宏大，风韵出众，堪称一时的上乘之作。写后没几天，杨素就死了。薛道衡叹息说：“人快要死的时候，他的话语也变得很友善了，难道就是像这样的吗？”杨素留有文集十卷。杨素虽然有辅佐隋文帝建国立业的谋略，并且有平定杨谅的功绩，然而却深为杨广所忌。杨广面显出对他特殊的礼遇，实际上恩情却很淡薄。太史官说隋地所属的分野将有重大的丧事发生，杨广因而改封杨素为楚公，因为楚地和隋地属同一分野，杨广想借杨素来拦挡遭丧的运气。

　　杨素卧病在床的时候，杨广常派一些有名的医生前去诊治侍候，并且赐他许多上好的药品，然而却总在暗地里问医生，总怕他不死去。

　　杨素知道自己的名望和地位已到了极限，不肯吃药，也不想谨小慎微地活下去了，经常对弟弟杨约说：“我难道还要活下去吗？”杨素依仗自己富足的钱财，广求家产，东西二京他的居宅奢侈华丽，早晨拆毁晚上重建，营造修缮从不停止，在各方的大城市，他的旅店、水磨和肥沃的田地、华丽的房子都以千百来计算。当时人们议论纷纷，并且因此而瞧不起他。杨素死后，长子杨玄感继承了他的爵位。后来杨玄感起兵事败，遭到诛杀，杨素的家族也因受杨玄感的牵连都被株夷。