况，自新之事只能作罢，让裴肃走了。裴肃是裴侠的儿子。
杨素弟约及从父文思、文纪、族父忌并为尚书、列卿，诸子无汗马之劳，位至柱国、刺史；广营资产，自京师及诸方都会处，邸店、碾、便利田宅，不可胜数；家僮千数，后庭妓妾曳绮罗者以千数；第宅华侈，制拟宫禁；亲故吏布列清显。既废一太子及一王，威权愈盛。朝臣有违忤者，或至诛夷；有附会及亲戚，虽无才用，必加进擢；朝廷靡然，莫不畏附。敢与素抗而不桡者，独柳及尚书右丞李纲、大理卿梁毗而已。
杨素的弟弟杨约和叔父杨文思、杨文纪、同族的叔父杨忌都官居尚书、列卿，他们的儿子没有什么汗马功劳，却位居柱国、刺史；杨家广营资产，从京师到各地的都会，客店、磨坊、丰腴的田产和房宅不计其数，家中的奴仆有几千人，府内穿着华丽罗绮的歌妓姬妾有千人；宅第豪华奢侈，规制模仿皇宫禁城，亲戚朋友旧部下都官列显要之职。杨素已经废黜了一个太子和一个王，权势更加显赫。朝臣忤逆他们的，有人就被处死甚至夷灭全家；附会他们的人和他们的亲朋故旧，即使没有才能，也必定加官进爵。朝廷内外的人都屈服于杨家的势力，无人不畏附杨素。敢于与杨素对抗而不屈从的人，只有柳和尚书右丞李纲、大理卿梁毗而已。
始，毗为西宁州刺史，凡十一年，蛮夷酋长皆以金多者为豪隽，递相攻夺，略无宁岁，毗患之。后因诸酋长相帅以金遗毗，毗置金坐侧，对之恸哭，而谓之曰：“此物饥不可食，寒不可衣，汝等以此相灭，不可胜数，今将此来，欲杀我邪！”一无所纳。于是蛮夷感悟，遂不相攻击。上闻而善之，征为大理卿，处法平允。
当初，梁毗被任命为西宁州刺史，共十一年。西宁州的蛮夷酋长都以金子多的人为豪强，他们互相攻击掠夺，简直没有宁静的年月。梁毗对此感到忧虑。后来因为各酋长竞相送梁毗金子，梁毗把金子放在坐椅旁，对着金子痛哭道崐：“金子这东西饥不能食，寒不能衣，你们为了它相互残害，争战之事多得数不过来。现在你们送金子来，是要杀我啊！”他一点都没有接受。于是那些蛮夷人都受感动而醒悟，不再互相攻掠了。文帝听到后很高兴，任命梁毗为大理卿。梁毗执掌司法公平允正。
毗见杨素专权，恐为国患，乃上封事曰：“臣闻臣无有作威作福，其害于而家，凶于而国。窃见左仆射越国公素，幸遇愈重，权势日隆，绅之徒，属其视听。忤旨者严霜夏零，阿旨者甘雨冬澍；荣枯由其唇吻，废兴候其指麾；所私皆非忠谠，所进咸是亲戚，子弟布列，兼州连县。天下无事，容息异图；四海有虞，必为祸始。夫奸臣擅命，有渐而来，王莽资之于积年，桓玄基之于易世，而卒殄汉祀，终倾晋祚。陛下若以素为阿衡，臣恐其心未必伊尹也。伏愿揆鉴古今，量为处置，俾洪基永固，率土幸甚！”书奏，上大怒，收毗系狱，亲诘之。毗极言“素擅宠弄权，将领之处，杀戮无道。又太子、蜀王罪废之日，百僚无不震竦，唯素扬眉奋肘，喜见容色，利国家有事以为身幸。”上无以屈，乃释之。
梁毗看到杨素专擅权柄，恐怕他成为国家的祸患，就给文帝上了一封密表说：“我听说臣子没有一个不是因为作威作福而危害其家并祸患于国的，我看到左仆射越国公杨素越来越得到主上的宠信，他权势日见显赫，朝中官宦都是他的耳目。忤逆他的人便遭到似严冬的霜冻在酷夏降下似的打击，阿谀奉承他的人受到的照顾有如冬天降适时的雨露，每个人的荣辱都在于杨素的口唇，升迁贬谪都得听从他的指派；他所偏爱的人都不是忠心为国的人，他所推荐提拔的人都是他的亲戚；他的子弟势力遍布各州县。天下没有什么事，还可以容忍他有私图，要是国家有什么忧患，杨素一定是祸端。奸臣专擅权力这是由来已久的。王莽经营积累了多年，桓玄在皇位变动时打下了基础；终于王莽灭掉了西汉王朝，桓玄倾覆了东晋皇位。陛下要是任命杨素为执掌朝政的大臣，我恐怕他的心未必能象殷商的伊尹一样。希望陛下能考察借鉴古今之事，酌情处置。如果大隋的基业能够永远巩固，天下百姓就很幸运了！”奏表送上去，文帝看后勃然大怒，把梁毗投入监狱，亲自审问他。梁毗恳切地说：“杨素依恃陛下的信任，任意使用权力，率领群下时，对人无缘无故地杀害。还有，太子杨勇、蜀王杨秀获罪被废黜的时候，朝中的文武百官无不震惊惶竦，只有杨素眉飞色舞，手舞足蹈，喜形于色，他视国家有难而以为自己的幸事。”文帝无法使梁毗屈服，就释放了他。
其后上亦疏忌素，乃下敕曰：“仆射国之宰辅，不可躬亲细务，但三五日一向省，评论大事。”外示优崇，实夺之权也。素由是终仁寿之末，不复通判省事。出杨约为伊州刺史。
此后，文帝也暗中疏远防忌杨素，他颁诏说：“仆射是国家的宰辅，不可事必躬亲，只要三、五天到省里去一次，评论审视一下大事即可。”表面上表示优待推崇杨素，实际上是夺下杨素的权力。自此直到仁寿末年，杨素不再完全经办省里的事务。文帝把杨约调任为伊州刺史。
素既被疏，吏部尚书柳述益用事，摄兵部尚书，参掌机密；素由是恶之。
杨素既然被疏远，吏部尚书柳述的权力越来越大，并兼理兵部尚书，参预掌握军国机密。杨素因此就憎恶柳述。
太子问于贺若弼曰：“杨素、韩擒虎、史万岁皆称良将，其优劣何如？”弼曰：“杨素猛将，非谋将；韩擒虎斗将，非领将；史万岁骑将，非大将。”太子曰：“然则大将谁也？”弼拜曰：“唯殿下所择！”弼意自许也。
太子杨广问贺若弼：“杨素、韩擒虎、史万岁都称得上是良将，他们各自的优缺点如何？”贺若弼说：“杨素是猛将，不是善谋略的将领；韩擒虎是斗将，不是统帅全军的将领；史万岁是骑将，不是大将。”太子杨广问：“那么谁是大将呢？”贺若弼跪拜道：“只有殿下挑选的才是大将。”他的意思是说自己是大将。
＇11＇交州俚帅李佛子作乱，据越王故城，遣其兄子大权据龙编城，其别帅李普鼎据乌延城。杨素荐瓜州刺史长安刘方有将帅之略，诏以方为交州道行军总管，统二十七营而进。方军令严肃，有犯必斩；然仁爱士卒，有疾病者亲临抚养，士卒亦以此怀之。至都隆岭，遇贼，击破之。进军临佛子营，先谕以祸福。佛子惧，请降，送之长安。
＇11＇交州的俚人首领李佛子率众造反，占据了骆越王的故城，他派侄子李崐大权占据龙编城，他下属的另一个首领李普鼎占据乌延城。杨素推荐瓜州刺史长安人刘方，认为他有将帅的谋略，文帝下诏任命刘方为交州道行军总管，率领二十七营军队进发。刘方军令严明整肃，有违犯军令的人必被斩首；但是他对士兵仁慈爱护，士兵患病他亲自抚慰调养，士兵们也因此心里感念刘方。刘方军队到达都隆岭，遇到反叛的俚人，刘方率军将俚人击败。进军到李佛子的营地时，刘方先向李佛子陈述利害。李佛子恐惧，请求投降。刘方将李佛子送到长安。
三年（癸亥、603）
三年（癸亥，公元603年）
＇1＇秋，八月，壬申，赐幽州总管燕荣死。荣性严酷，鞭挞左右，动至千数。尝见道次丛荆，以为堪作杖，命取之，辄以试人。人或自陈无罪，荣曰：“后有罪，当免汝。”既而有犯，将杖之，人曰：“前日被杖，使君许以有罪宥之。”荣曰：“无罪尚尔，况有罪邪！”杖之自若。
＇1＇秋季，八月，壬申（初三），文帝将幽州总管燕荣赐死。燕荣性情严酷，鞭笞身边的人往往到上千下。他曾经看到路旁长的一丛丛荆条，认为可以作杖，命人取来，立即就以人来试。有人说自己无罪，燕荣就说：“以后你有罪再免掉你受杖刑。”不久这人有了过失，燕荣又要鞭打他，被打的人说：“上次被打，您答应以后有罪就宽恕我。”燕荣说：“无罪尚且要打，何况有罪呢！”燕荣鞭打人却神情自若。
观州长史元弘嗣迁幽州长史，惧为荣所辱，固辞。上敕荣曰：“弘嗣杖十已上罪，皆须奏闻。”荣忿曰：“竖子何敢玩我！”于是遣弘嗣监纳仓粟，扬得一糠一秕，皆罚之。每笞虽不满十，然一日之中，或至三数。如是历年，怨隙日构。荣遂收弘嗣付狱，禁绝其粮，弘嗣抽絮杂水咽之。其妻诣阙称冤，上遣使按验，奏荣暴虐，赃秽狼藉。征还，赐死。元弘嗣代荣为政，酷又甚之。
观州长史元弘嗣调为幽州长史，他怕受到燕荣的侮辱，坚决推辞。文帝就命令燕荣说：“元弘嗣凡犯打十杖以上的罪过，都必须上报给我。”燕荣气忿地说：“这小子怎敢耍弄我！”于是他派元弘嗣监管收储粮食，风吹走一糠一秕，都要责罚元弘嗣。每次鞭打数虽不满十，但一天有时要打好几次。这样过了几年，燕荣与元弘嗣的矛盾日益加深，燕荣就把元弘嗣投入监狱，断绝元弘嗣的食粮，元弘嗣抽棉絮加上水咽下去。元弘嗣的妻子到皇宫门口喊冤，文帝派人调查，使者回报燕荣为政暴虐，贪赃枉法，声名狼藉。文帝将燕荣召回，命他自尽。元弘嗣代替燕荣执政，他比燕荣还要酷虐。
＇2＇九月，壬戍，置常平官。
＇2＇九月，壬戍（二十四日），设置常平官。
＇3＇是岁，龙门王通诣阙献《太平十二策》，上不能用，罢归。通遂教授于河、汾之间，弟子自远至者甚众，累征不起。杨素甚重之，劝之仕，通曰：“通有先人之弊庐足以蔽风雨，薄田足以具粥，读书谈道足以自乐。愿明公正身以治天下，时和岁丰，通也受赐多矣，不愿仕也。”或谮通于素曰：“彼实慢公，公何敬焉？”素以问通，通曰：“使公可慢，则仆得矣；不可慢，则仆失矣：得失在仆，公何预焉！”素待之如初。
＇3＇这年，龙门人王通到皇宫门前献上《太平十二策》，文帝未予采用，王通作罢返回。他就在河、汾一带教书，他的学生从远方来的人很多。朝廷多次征召他都不出来。杨素很器重王通，劝他作官，王通说：“我有祖先留下的破草房足以遮挡风雨，薄田足以使我喝上粥，读书论道足以自娱。希望明公端正自己的言行来治理天下，四时和谐，年年丰收，我也就受到许多恩赐了。我不愿意作官。”有人对杨素说王通的坏话：“他实在太怠慢您了，您为什么要尊敬他呢？”杨素以此来问王通，王通说：“如果您可以被怠慢，那我就做对了；如果您不可以被怠慢，那我就做错了。得失都在我自己，您何必参与进来呢？”杨素对待他还象当初一样地尊重。
弟子贾琼问息谤，通曰：“无辩。”问止怨，曰：“不争。”通尝称：“无赦之国，其刑必平；重敛之国，其财必削。”又曰：“闻谤而怒者，谗之也；见誉而喜者，佞之媒也：绝去媒，谗佞远矣。”大业末，卒于家，门人谥曰文中子。
王通的弟子贾琼问王通如何平息诽谤，王通说：“不去争辩。”贾琼问如何制止往怨恨，王通说：“不去争论。”王通曾声称：“