文帝有些纳闷：有什么话刚才不说，又跟到后边来了？就吩咐：“请他们进来。”
看到两个人进来，文帝先开了口：“二位爱卿有何事禀奏？”
杨素答道：“陛下，太史令有要事禀奏！”
“噢！什么要事，说出来让朕听听！”
袁充跪伏在地上回答：“陛下，臣夜观天文，有皇太子当废之象。”
文帝的脸色立时沉下来，他只闷闷地“嗯”了一声，良久，又说：“朕知道了，你先退下吧。”
袁充应了声：“是。”便退了出去。
显然，文帝要单独跟杨素交谈。杨素暗喜：机会来了！
文帝赐杨素坐下，又屏退了左右，稍稍沉稳了一下气息，说道：
“杨爱卿，朕也请人看过，刚才袁充所说的天象早就显现多次。群臣之中善观天文的不少，只是没有人敢说话罢了。”
杨素说：“陛下明察秋毫，一语中的。单就太子无德一事，不敢直言的人当中就有杨素。其实，微臣觉察太子种种不轨迹象已经很久了，可是，唉……想我杨素追随陛下多年，在朝中也算是一个老臣，对陛下实在不该有什么吞吞吐吐的，真是有愧圣恩啊！”
杨素说着，用衣袖擦拭一下眼角。
文帝随着也叹了一声，说：“爱卿不必自责，在这件事上朕是有过失的。很久以来，朕已感到杨勇不堪承嗣，皇后也一直劝朕早作了断。可是，想到杨勇是朕为平民时所生养，又是长子，总有不忍。只希望他会日渐成熟，改正过错，才克制忍耐到了今天。看来，朕果然有失于当断不断哪！”
杨素接着说：“陛下的话让微臣也想起了一件事。陛下还曾记得诛灭刘居士朋党那件公案吗？”
文帝连连点头，说：“朕当然记得，那已是四五年前的事了。”
文帝早在周室为臣时，有一位知己旧交，叫刘昶。文帝登基之后拜刘昶为上柱国，为此刘昶感激不尽，兢兢业业。刘昶的儿子刘居士却是一个狂荡不羁、目无法度的流氓恶棍，曾几次犯罪，而文帝都看在与刘昶的交情上宽贷了他。谁知这刘居士有恃无恐，更加骄恣横行。他常常盯上一些体魄强健的公卿子弟，将他们绑架到自己家里，捆住手脚，再把车轮套在脖子上，用棍棒皮鞭拷打。那些被打得遍体鳞伤至死不肯求饶的，刘居士便称其为壮士，亲自松绑，酒肉款待并盟誓结拜为朋党。如是不久，刘居士就有同党三百多人。他们三五成群，经常游荡在官路乡道上，袭击过往行人车辆，劫掠财物。不论是平民百姓，还是公卿百官，只要遭遇到刘居士的党羽爪牙无一幸免，哪个敢稍有不从，即拳脚棍棒相加，招来一顿毒打。一时间人心惶惶，民怨鼎沸。几位身受其害的公卿臣子联名上书文帝，告刘居士结党称霸，谋为不轨。文帝大怒，下令将刘居士逮捕斩首，其余党羽也都杀的杀，抓的抓，是公卿子弟者一律除名。
刘居士一伙朋党很快就被诛灭了。文帝担心除恶未尽，留有后患，就下诏命皇太子杨勇继续清查刘居士余党，并且让杨素将诏书送给杨勇。
杨素来到东宫，将诏书交给杨勇，他草草地看了一遍就放在了桌上，冷冷地说：“刘居士的党羽早已伏法，叫我去哪里找？去哪里查？”
杨素说：“陛下恐有漏网者，日后死灰复燃。”
“算了吧！”杨勇忿忿地叫道，“清平世界，朗朗乾坤，竟然出了这样的事。你身为尚书右仆射，岂能没有责任？还是你自己去清查吧，关我什么事！”
杨素见他这副神气，心中怨恨也不敢发作，还是耐心地劝道：“这可是陛下的旨意。”
“哼！你别动不动就拿陛下来要挟我。当年逼迫静帝禅让那事，万一失败，我先得诛杀。今天父亲成了天子，我居然还不如几个兄弟。凡事不论大小，都不准由我自主。我还算得上一个皇太子吗？”说着杨勇深深地叹了口气，“唉！到什么时候，我才能自由自在，不受牵制拘束啊！”