都赞同杨谅谋反的阴谋。
会荧惑守东井，仪曹邺人傅奕晓星历，谅问之曰：“是何祥也？”对曰：“天上东井，黄道所经，荧惑过之，乃其常理，若入地上井，则可怪耳。”谅不悦。
当时正好火星处在井宿的位置，仪曹邺人傅奕通晓天文星历，杨谅问他：“这是什么征兆？”傅奕回答：“天上的井宿，在黄道带上，是火星必经之路，这是正常的规律，倘若进入地上井的位置，那就怪异了。”杨谅听了很不高兴。
及高祖崩，炀帝遣车骑将军屈突通以高祖玺书征之。先是，高祖与谅密约：“若玺书召汝，敕字傍别加一点，又与玉麟符合者，当就征。”及发书无验，谅知有变。诘通，通占对不屈，乃遣归长安。谅遂发兵反。
到文帝去世时，炀帝派车骑将军屈突通持印有文帝玉玺的诏书召杨谅进京。原来，文帝与杨谅秘密约定：“要是玺书召你，敕字旁另加一点，还要与玉麟符相契合，才可以应召。”杨谅看到发来的玺书与原约不能验证，就知道出了事，他盘问屈突通，屈突通闪烁其词而不回答，于是，屈突通被打发回长安，杨谅起兵造反。
总管司马安定皇甫诞切谏，谅不纳。诞流涕曰：“窃料大王兵资非京师之敌；加以君臣位定，逆顺势殊，士马虽精，难以取胜。一旦陷身叛逆，于刑书，虽欲为布衣，不可得也。”谅怒，囚之。
总管司马安定人皇甫诞恳切规劝杨谅，杨谅不听。皇甫诞流着泪说：“我预料大王的兵力不是京师军队的对手；加上君臣的地位已经确定，双方势力悬殊，军队虽然精锐但难以取胜。一旦身处叛逆的地位，被追究刑法，就是想作一个平民也不可能了。”杨谅听了发怒，把皇甫诞关进监狱。
岚州刺史乔钟葵将赴谅，其司马京兆陶模拒之曰：“汉王所图不轨，公荷国厚恩，当竭诚效命，岂得身为厉阶乎！”钟葵失色曰：“司马反邪！”临之以兵，辞气不挠，钟葵义而释之。军吏曰：“若不斩模，无以压众心。”乃囚之。于是从谅反者凡十九州。
岚州刺史乔钟葵要去投奔杨谅，岚州司马京兆人陶模反对，说：“汉王杨谅图谋不轨，您身受国家的厚恩，应当竭诚为国效命，怎么能身陷祸端呢？”乔钟葵变了脸色，说：“司马造反吗？”用兵器对着他，但陶模言辞气度都不屈服，乔钟葵感于陶模的义气就放了他。军吏说：“要是不杀陶模，无法让大家心服。”乔钟葵就把陶模关起来。此时跟从杨谅造反的共有十九个州。
王说谅曰：“王所部将吏，家属尽在关西，若用此等，则宜长驱深入，直据京都，所谓疾雷不及掩耳；若但欲割据旧齐之地，宜任东人。”谅不能决，乃兼用二策，唱言杨素反，将诛之。
王劝说杨谅：“大王属下的将领官吏，家属都在关西，要是用这些人，就应该长驱直入，直捣京都，也就是所谓的迅雷不及掩耳；要是只打算割据过去北齐的地盘，就应该任用关东人。”杨谅不能决断，就两条计策并用。他声称杨素谋反，要诛杀杨素。
总管府兵曹闻喜裴文安说谅曰：“井陉以西，在王掌握之内，山东士马，亦为我有，宜悉发之；分遣羸兵屯守要害，仍命随方略地，帅其精锐，直入蒲津。文安请为前锋，王以大军继后，风行雷击，顿于霸上。咸阳以东，可指麾而定。京师震扰，兵不暇集，上下相疑，群情离骇；我陈兵号令，谁敢不从！崐旬日之间，事可定矣。”谅大悦，于是遣所署大将军余公理出太谷，趣河阳，大将军綦良出滏口，趣黎阳，大将军刘建出井陉，略燕、赵，柱国乔钟葵出雁门，署文安为柱国，与柱国纥单贵、王聃等直指京师。
总管府兵曹闻喜人裴文安劝说杨谅：“井陉以西的地方在大王手中，崤山以东的军队也是我们的，应该全部征发。分派弱兵屯守要害，仍命令将领随时攻城略地；率领精锐部队直入蒲津关。我请求担任前锋，大王率领大军随后，以迅雷不及掩耳之势屯兵霸上，咸阳以东的地方便可以挥手而定。这样京师被震动惊扰，没有时间调集军队，上下相互猜疑，大家离心惊骇，我们陈兵以待，发号施令，谁敢不服从！十天之内，大事可定。”杨谅听了大为高兴，就派遣他任命的大将军余公理率兵出太谷，奔河阳；大将军綦良率兵出滏口，奔黎阳；大将军刘建率兵出井陉，攻取燕、赵之地；柱国乔钟葵率军出雁门；任命裴文安为柱国，与柱国纥单贵、王聃等率军直指京师。
帝以右武卫将军洛阳丘和为蒲州刺史，镇蒲津。谅选精锐数百骑戴，诈称谅宫人还长安，门司弗觉，径入蒲州，城中豪杰亦有应之者；丘和觉其变，逾城，逃归长安。蒲州长史勃海高义明、司马北平荣毗皆为反者所执。裴文安等未至蒲津百余里，谅忽改图，令纥单贵断河桥，守蒲州，而召文安还。文安至，谓谅曰：“兵机诡速，本欲出其不意。王既不行，文安又返，使彼计成，大事去矣。”谅不对。以王聃为蒲州刺史，裴文安为晋州刺史，薛粹为绛州刺史，梁菩萨为潞州刺史，韦道正为韩州刺史，张伯英为泽州刺史。代州总管天水李景发兵拒谅，谅遣其将刘袭景；景击斩之。谅复遣乔钟葵帅劲勇三万攻之，景战士不过数千，加以城池不固，为钟葵所攻，崩毁相继，景且战且筑，士卒皆殊死斗；钟葵屡败。司马冯孝慈、司法吕玉并骁勇善战，仪同三司侯莫陈多谋画，工拒守之术，景知三人可用，推诚任之，己无所关预，唯在持重，时抚循而已。
炀帝任命右武卫将军洛阳人丘和为蒲州刺史，镇守蒲津关。杨谅挑选精锐骑兵几百名，戴妇人蔽身用的面罩，诈称是杨谅的宫人返回长安，守城的门卫没有觉察出来，杨谅军队直入蒲州，城中也有豪杰响应，丘和发觉出事，越过城墙逃回长安。蒲州长史勃海人高义明、司马北平人荣毗都被叛军抓住。裴文安等人距百余里到蒲津关时，杨谅忽然改变计划，他命令纥单贵拆断河桥，据守蒲州，将裴文安召回。裴文安对杨谅说：“兵机在于神速诡秘，本来打算出其不意，大王却不这样做，又把我召回，使对方计谋成功，现在大势已去。”杨谅无言以对。他任命王聃为蒲州刺史，裴文安为晋州刺史，薛粹为绛州刺史，梁菩萨为潞州刺史，韦道正为韩州刺史，张伯英为泽州刺史。代州总管天水人李景发兵抵抗杨谅的军队。杨谅派将领刘袭击李景，被李景击杀。杨谅又派乔钟葵率领三万精兵进攻代州，李景手下士兵只有几千人，加上城墙不很牢固，受到乔钟葵的进攻，城墙相继崩塌毁坏，李景一边打仗一边筑城，士卒们都殊死战斗，乔钟葵多次被击败。代州司马冯孝慈、司法吕玉都骁勇善战，仪同三司侯莫陈富于谋略策划，擅长防御坚守的战斗。李景知道这三人可以任用，对他们充分信任，自己不干预具体事务，只是在衙署内坐镇，不时地抚慰巡视而已。
杨素将轻骑五千袭王聃、纥单贵于蒲州，夜，至河际，收商贾船，得数百艘，船内多置草，践之无声，遂衔枚而济；迟明，击之；纥单贵败走，聃惧，以城降。有诏征素还。初，素将行，计日破贼，皆如所量，于是以素为并州道行军总管、河北道安抚大使，帅众数万以讨谅。
杨素率领轻骑五千在蒲州袭击王聃、纥单贵。夜里，杨素率军到了河边，收集了几百只商船，船内铺上许多草，踩上去没有声音。为防止喧哗，杨素让士兵口中衔枚渡过河，天快亮时，进攻杨谅的军队。纥单贵战败逃走，王聃恐惧，献城投降。炀帝下诏征召杨素返回。当初，杨素要动身时，计算好打败叛军的日期，结果如杨素估计的一样。于是炀帝任命杨素为并州道行军总管、河北道安抚大使，率领几万军队讨伐杨谅。
谅之初起兵也，妃兄豆卢毓为府主簿，苦谏，不从，私谓其弟懿曰：“吾匹马归朝，自得免祸，此乃身计，非为国也，不若且伪从之，徐伺其便。”毓，之子也。毓兄显州刺史贤言于帝曰：“臣弟毓素怀志节，必不从乱，但逼凶威，不能自遂，臣请从军，与毓为表里，谅不足图也。”帝许之。贤密遣家人赍敕书至毓所，与之计议。杨谅当初起兵时，他妃子的哥哥豆卢毓是汉王府主簿。豆卢毓苦苦劝谏杨谅不要造反，杨谅不听。豆卢毓私下对他弟弟豆卢懿说：“我一个人回归朝廷，自然可以免祸，这是为我自身考虑，不是为国家。不如暂且装作跟从杨谅，慢慢地再见机行事。”豆卢毓是豆卢的儿子。豆卢毓的哥哥是显州刺史豆卢贤，他对炀帝说：“我弟弟豆卢毓平素就有抱负有气节，一定不会跟着造反，但是迫于叛逆的凶威，不能自主。我请求从军，和豆卢毓一里一外，杨谅就无法图谋作乱了。”炀帝答应了，豆卢贤秘密派家人把皇帝的诏书送到豆卢毓的住处，和他商议大事。
谅出城，将往介州，令敏与总管属朱涛留守。毓谓涛曰：“汉王构逆，败不旋踵，吾属岂可坐受夷灭，孤负国家邪！当与卿出兵拒之。”涛惊曰：“王以大事相付，何得有是语！”因拂衣而去，毓追斩之。出皇甫诞于狱，与之协计，及开府仪同三司宿勤武等闭城拒谅。部分未定，有人告谅，谅袭击之。毓见谅至，绐其众曰：“此贼军也！”谅攻城南门，稽胡守南城，不识谅，射之；矢下如雨；谅移攻西门，守兵识谅，即开门纳之，毓、诞皆死。
杨谅出了城要去介州，他命令豆卢毓和总管属朱涛留守。豆卢毓对朱涛说：“汉王杨谅已构成了叛逆罪，很快就会失败。我们怎么可以受牵连获灭族之罪，同时又辜负国家呢？我应当和您出兵抗拒杨谅。”朱涛吃惊地说：“汉王把大事托付给我们，怎么说这样的话？”于是就拂袖而去，豆卢毓追上去杀死朱涛，把皇甫诞从监狱里放出来，与他协商，并和开府仪同三司宿勤武等人关闭城门以抗拒杨谅。豆卢毓尚未完全部置好，有人把这事报告了杨谅，他就率军袭击豆卢毓。豆卢毓见杨谅率军来到，便哄骗大家说：“这是贼军！”杨谅进攻南城门，稽胡人守卫南城门，他们不认识杨谅，用弓箭射击，箭如雨下。杨谅就转攻西城门，守兵认识杨谅，就开城门让杨谅进城，豆卢毓、皇甫诞都被杀死。
綦良攻慈州刺史上官政，不克，引兵攻行相州事薛胄，又不克，遂自滏口攻黎州，塞白马津。余公理自太行下河内，帝以右卫将军史祥为行军总管，军于河阴。详谓军吏曰：“余公理轻而无谋，恃众而骄，不足破也。”公理屯河阳，祥具舟南岸，公理聚兵当之。祥简精锐于下流潜济，公理闻之，引兵拒之，战于须水。公理未成列，祥击之，公理大败。祥东趣黎阳，綦良军不战而溃。祥，宁之子也。
綦良率军进攻慈州刺史上官政，未能攻克，就率兵进攻兼任相州的行政长官薛胄，又未攻克，于是就从滏口进攻黎州，堵塞白马津。余公理从太行山到河内。炀帝任命右卫将军史祥为行军总管，在河阴驻军。史祥对军吏说：“余公理轻率无计谋，依恃人多而骄横，很容易打败。”余公理驻扎在河阳。史祥在河的南岸准备好船只，余公理集中兵力以抵挡史祥的进攻。史祥挑选精兵从河下游暗地渡