感失利，樊子盖又派裴弘策出战，裴弘策不肯出行，樊子盖就命令将裴弘策押出去斩首示众。国子监祭酒河东人杨汪，对樊子盖稍有不恭敬，樊子盖又要杀掉杨汪，杨汪叩头流血，才得以免死。于是东都的将领官吏都震惊肃敬，不敢仰视樊子盖，樊子盖在东都是令行禁止。杨玄感使用全部精兵攻城，樊子盖根据军情率兵坚守杨玄感无法攻克城池。但是达官子弟应募从军的人，听到裴弘策被处死，都不敢进城。韩擒虎的儿子韩世、观王杨雄的儿子杨恭道、虞世基的儿子虞柔、来护儿的儿子来渊、裴蕴的儿子裴爽、大理卿郑善果的儿子郑俨、周罗的儿子周仲等四十余人都归降了杨玄感，杨玄感将亲信要任的职位都授予了他们。郑善果是郑译的侄子。
玄感收兵得五万余人，发五千守慈道，发五千守慈道，五千守伊阙道，遣韩世将三千人围荥阳，顾觉将五千人取虎牢。虎牢降，以觉为郑州刺史，镇虎牢。
杨玄感招集得到五万余名士兵。他分兵五千把守慈道，五千人把守伊阙道，派韩世率三千人包围荥阳。派顾觉率五千人攻取虎牢，虎牢隋军投降，杨玄感任命顾觉为郑州刺史，镇守虎牢。
代王侑使刑部尚书卫文升帅兵四万救东都，文升至华阴，掘杨素冢，焚其骸骨，示士卒以必死，遂鼓行出崤、渑，直趋东都城北。玄感逆拒之；文升且战且行，屯于金谷。
代王杨侑派刑部尚书卫文升统兵四万救援东都。卫文升到了华阴，挖掘杨素的坟墓，焚烧了杨素的骸骨，向士卒们表明自己必死的决心。于是卫文升率军击鼓进军，出崤谷、渑池，直奔东都城北。杨玄感迎击卫文升，卫文升率军且战且走，在金谷驻扎军队。
辽东城久不拔，帝遣造布囊百余万口，满贮土，欲积为鱼梁大道，阔三十步，高与城齐，使战士登而攻之，又作八轮楼车，高出于城，夹鱼梁道，欲俯崐射城内，指期将攻，城内危蹙。会杨玄感反书至，帝大惧，引纳言苏威入帐中，谓曰：“此儿聪明，得无为患？”威曰：“夫识是非，审成败，乃谓之聪明，玄感粗疏，必无所虑。但恐因此成乱阶耳。”帝又闻达官子弟皆在玄感所，益忧之。兵部侍郎斛斯政素与玄感善，玄感之反，政与之通谋，玄纵兄弟亡归，政潜遣之。帝将穷治玄纵等党与，政内不自安，戊辰，亡奔高丽。庚午，夜二更，帝密召诸将，使引军还，军资、器械、攻具，积如丘山，营垒、帐幕，按堵不动，皆弃之而去。众心惧，无复部分，诸道分散。高丽即时觉之，然不敢出，但于城内鼓噪。至来日午时，方渐出外，四远觇侦，犹疑隋军诈之。经二日，乃出数千兵追蹑，畏隋兵之众，不敢逼，常相去八九十里；将至辽水，知御营毕渡，乃敢逼后军。时后军犹数万人，高丽随而抄击，最后赢弱数千人为所杀略。
辽东城许久攻取不下，炀帝派人制做一百余万个布袋，每个布袋装满土，打算用布袋堆积成一条宽三十步、与城墙同样高的象鱼脊梁一样的坡道，让士兵们登道攻城。他又命人制做八轮楼车，楼车高于城墙，设置在鱼梁道两旁，打算向下射杀城内的人。隋军很快就要攻城了，城内已危在旦夕，恰好报告杨玄感谋反的公文到了，炀帝大为惊恐，他让纳言苏威进入帐中，说：“这个孩子很聪明，恐怕要成为祸患了。”苏威说：“能辨别是非、判断成败的人才可以说是聪明。杨玄感为人粗疏，不必为他谋反而忧患，但是，只怕因此而逐渐成为动乱的来由。”炀帝又听说达官的子弟都在杨玄感那里，越加忧虑。兵部侍郎斛斯政平时就和杨玄感交情很好，杨玄感谋反，斛斯政曾与他一起谋划，杨玄纵兄弟逃回内地是斛斯政暗地送他们回去的。炀帝要追究查办杨玄纵等党羽，斛斯政内心极为恐惧不安，戊辰（二十六日），他逃跑投奔了高丽。庚午（二十八日），夜里二更时分，炀帝秘密召集诸将，让他们率军撤退。所有的军资器械、攻城之具堆积如山，营垒、帐幕，都原地不动，遗弃而去。隋军人人惊惶恐惧，军队部署已乱，各路兵马分离涣散。高丽方面对这种情况很快就觉察到了，但是不敢出去，只是在城内击鼓呐喊。到第二天中午时高丽方面才渐渐地派兵出城，四处远近地侦察，仍然怀疑隋军撤退是假的。过了两天，才出动几千名士兵在隋军后面追踪，但仍然畏惧隋军人多，不敢逼近，两军常常相隔八、九十里。快到辽水时，高丽人得知炀帝车驾已经渡过了辽水，才敢逼近隋军后部，当时隋军后部还有几万人，高丽军队就包抄袭击隋军，最后有几千名隋军老弱士兵被杀死。
初，帝再征高丽，复问太史令庾质曰：“今段何如？”对曰：“臣实愚迷，犹执前见，陛下若亲动万乘，劳费实多。”帝怒曰：“我自行犹不克，直遣人去，安得有功！”及还，谓质曰：“卿前不欲我行，当为此耳。玄感其有成乎？”质曰：“玄感地势虽隆，素非人望，因百姓之劳，冀幸成功。今天下一家，未易可动。”
当初，炀帝准备再次征伐高丽时，曾再次问太史令庾质：“这次情况会怎样？”庾质回答：“我实在是愚钝迷惘，但还是坚持以前的看法，陛下要是亲自率军征伐，劳费实在太多。”炀帝发怒道：“我亲自征伐尚且没能取胜，只派别人去，难道会成功？”等炀帝从高丽回来，他对庾质说 ：“你以前不想让我去，就是为了动乱的缘故吧。杨玄感能够成功吗？”庾质回答：“杨玄感的地位势力虽然很高很强大，但他平时没有声望，他想凭借百姓的劳苦，希望侥幸成功，如今天下一统，不是容易动摇的。”
帝遣虎贲郎将陈棱攻元务本于黎阳，又遣左翊卫大将军宇文述、右候卫将军屈突通乘传发兵以讨玄感。来护儿至东菜，闻玄感围东都，召诸将议旋军救之。诸将咸以无敕，不宜擅还，固执不从，护儿厉声曰：“洛阳被围，心腹之疾；高丽逆命，犹疥癣耳。公家之事，知无不为，专擅在吾，不关诸人，有沮议者，军法从事！”即日回军。令子弘、整驰驿奏闻。帝时还至涿郡，已敕护儿救东都，见弘、整，甚悦，赐护儿玺书曰：“公旋师之时，是朕敕公之日，君臣意合，远同符契。”
炀帝派遣虎贲郎将陈棱去黎阳进攻元务本，又派遣左翊卫大将军宇文述、右候卫将军屈突通乘驿站的传车发兵讨伐杨玄感。来护儿率军到达东莱，闻知杨玄感围困东都，他召集诸将商议回师救援东都。诸将都认为没有皇帝的敕命，不宜擅自回师，都固执地不服从来护儿的命令。来护儿厉声说道：“洛阳被包围，是心腹之患，高丽抗拒王命不过是疥癣之疾。国家的事知道了就不能不崐去做。我来承担专擅权力的罪名，不关别人的事。有阻拦商议回师之事的人要军法从事！”来护儿即日回师。他命令儿子来弘、来整驰马传报上奏炀帝，炀帝当时回到涿郡，已经下令让来护儿救援东都。他见到来弘、来整，非常高兴，赏赐给来护儿的玺书中说：“您回师之时，就是我下令让您回师之日，君臣意见相吻合，非常默契。”
先是，右武候大将军李子雄坐事除名，令从军自效，从来护儿在东莱，帝疑之，诏锁子雄送行在所。子雄杀使者，逃奔玄感。卫文升以步骑二万渡水，与玄感战，玄感屡破之。玄感每战，身先士卒，所向摧陷，又善抚悦其下，皆乐为致死，由是每战多捷，众益盛，至十万人。文升众寡不敌，死伤太半且尽，乃更进屯邙山之阳，与玄感决战，一日十余合。会杨玄挺中流矢死，玄感军乃稍却。
先前，右武候大将军李子雄因获罪被除名，现受命在军队中效力，他跟随来护儿在东莱，炀帝怀疑他，下诏命令将他上枷锁送到皇帝行营，李子雄杀死使者，逃走，去投奔杨玄感。卫文升率领步、骑兵两万人渡过水，与杨玄感军交战。杨玄感屡次击败卫文升，每次作战杨玄感都身先士卒，所向披靡。他还善于安抚部下，因此大家都愿意为他效命，所以每次作战大都能取胜。杨玄感部众愈来愈多，达十万人。卫文升寡不敌众，部下死伤大半，军力将近耗竭，于是他率军进驻邙山的南面，与杨玄感决战。一天之内双方交锋十余次，恰巧杨玄挺被流箭射死，杨玄感的军队才稍稍退却。
秋，七月，癸未，余杭民刘元进起兵以应玄感。元进手长尺余，臂垂过膝，自以相表非常，阴有异志。会帝再发三吴兵征高丽，三吴兵皆相谓曰：“往岁天下全盛，吾辈父兄征高丽者犹太半不返；今已罢弊，复为此行，吾属无遗类矣！”由是多亡命。郡县捕之急，闻元进举兵，亡命者云集，旬月间，众至数万。
秋季，十月，癸未（十一日），余杭人刘元进起兵响应杨玄感。刘元进手长一尺有余，手臂垂下来超过膝盖，他自认为自己相貌非同寻常，暗中另有图谋。正逢炀帝再次征发三吴之兵去征伐高丽，三吴之兵都互相说：“往年国家处于全盛时期，我们父兄中出征高丽的人还大半没有回来，如今国家已经疲惫，又要被征召去打仗，我们的这辈人就要灭绝了！”因此很多人都逃亡。郡县官吏捕捉逃亡的人非常急迫，逃亡的人闻知刘元进起兵，都聚集到他的麾下，一个月内，刘元进部众达几万人。
始，杨玄感至东都，自谓天下响应。得韦福嗣，委以心膂，不复专任李密。福嗣每画策，皆持两端；密揣知其意，谓玄感曰：“福嗣元非同盟，实怀观望；明公初起大事而奸人在侧，听其是非，必为所误，请斩之！”玄感曰：“何至于此！”密退，谓所亲曰：“楚公好反而不欲胜，吾属今为虏矣！”
当初，杨玄感到达东都，自以为天下会响应，他得到韦福嗣后，就视之为心腹，不再完全信任李密了。韦福嗣每次筹划计谋，都模棱两可，李密揣测到韦福嗣的心意，就对杨玄感说：“韦福嗣原本不是我们的同盟，实际上他还心存观望，您刚开始做大事就有奸人在身旁，听从他的是非评断，必然被他耽误，请将韦福嗣杀掉！”杨玄感说：“哪至于如此！”李密退下来，对他的亲信说：“楚公为人喜欢谋反却不打算取胜，我们如今都将是人家的俘虏了！”
李子雄劝玄感速称尊号，玄感以问密，密曰：“昔陈胜自欲称王，张耳谏而被外；魏武将求九锡，荀止而见诛。今者密欲正言，还恐追踪二子；阿谀顺意，又非密之本图。何者？兵起以来，虽复频捷，至于郡县，未有从者；东都守御尚强，天下救兵益至，公当挺身力战，早定关中，乃亟欲自尊，何示人不广也！”玄感笑而止。
李子雄劝杨玄感赶快称帝，杨玄感征求李密的意见，李密说：“从前陈胜打算自己称王，张耳规劝却被排斥在外，魏武帝曹操打算谋求加赐九锡，荀劝他却被诛杀。如今我打算直言规劝，却恐怕落得张耳、荀二人的下场。但是阿谀奉承迎逢上意，又不是我的本意。为什么呢？自从我们起兵以来，虽然屡次取胜，但郡县一级的官员却无人响应。东都的防卫力量还很强大，全国各地的援军到的越来越多，您应当挺身奋力作战，早早平定关中，可您却急于称帝，为什么让人看到您那么狭隘呢？”杨玄感听后笑了，称