臣，至少会有个“帮办军务”名义，然后补实为监司，署理巡抚，顺理成章地以方面大员，当方面之任。
就为了这样一份苦心殷望，变成爱之深则恨之切，大营立脚未定，连失名城，实际上的偾事，亦使曾国藩有创巨痛深之感。如果李元度真的殉了节，则地虽失而士气不失，对朝廷亦好交代。像现在这样空身逃了回来，何以慰君父之望，更何以鼓舞将士？因此，曾国藩大伤脑筋，当然也不会有好嘴脸给李元度看。
于是军中有些刻薄的人，做了一副嵌字的对联：“士不忘丧其元；公胡为改其度？”横额叫做“道旁苦李”。李元度受不了这些讥讪，来了个不辞而别。
这一下，曾国藩真的冒火了。照公事来讲，李元度此刻是“听勘”的待罪之身，何能来去自如？因而请幕友具奏严劾。
这个幕友也是他的门生，就是李鸿章。李鸿章先从吕贤基回安徽办团练，后来在安徽巡抚，也是在他的老师福济幕府中，极不得意，辗转投入曾国藩大营，专司章奏公牍。平日谨遵师命，唯独这一件事，却提出了异议。
“李次青跟老师共过患难。似乎不宜出以如此决绝的手段。”
“李次青自取之咎。”曾国藩说：“大营初立，像他这样子不中用，又不听调度，我何能在祁门立足？”
“祁门形如釜底，是兵家的所谓‘绝地’，本不宜安营。”
李鸿章又说：“老师如果一定要奏劾李次青，门生不敢拟稿。”
曾国藩摸着胡子，慢吞吞地说：“我自己来！”
“果然如此，门生也要告辞了。”
李鸿章以去就力争，而曾国藩丝毫不为所动，将手向外一伸：“悉听尊便！”
师徒二人言语碰僵了，李鸿章当天收拾行李，投奔江西。
曾国藩果然亲自拟稿出奏，十月初十奉到上谕：“皖南道李元度不能坚守待援，着即革职拿问。”
＊＊＊此时的李元度，已经回到了老家平江。他的从邻门大营不辞而别，倒不是畏罪潜逃，只觉得自己决不是无人欣赏的“道旁苦李”，预备回平江另外招募人马，带出来报仇雪耻。
李元度御下极宽，但不大明是非，部下犯了法，求个情就可以宽免。所以营官部卒，爱戴有之，却不大怕他，也不大听他的号令。畏严乐宽，人之常情，家乡子弟听说李元度来招兵，十分踊跃，很快地又成一军，名为“安越军”。
“越”者浙东，所以“安越军”顾名思义，可知是一支援浙东的单队——李元度与浙江再度发生关系，是一个名叫邓辅纶的人，居间拉拢。
邓辅纶的父亲做过江西臬司，家道小康。由于与李元度是小同乡，所以替他“管带”过平江子弟兵。广信府的攻防战告一段落，李元度回平江重新招兵，邓辅纶却由同知报捐了一个道员，分发浙江，到杭州是在这年七月。
不久李元度就有丧师失地之辱，邓辅纶跟他取得了联系，为他进言于王有龄，说可招募平江勇丁援浙。王有龄所最感困难的就是兵力不足。所以邓辅纶的建议，深中下怀，应允李元度如能办到此事，他可以出面奏调，无形中解消了他的皖南失机的责任。于是而有李元度在祁门大营的不辞而别。
及至十月初十的降旨李元度革职拿问时，他已带兵出平江。其时李秀成由皖南、江西，插入湖北，沿途收罗人马，复又原途回金陵。李元度就跟在太平军的后面，由湖南入江西，一前一后，旌旗相望，而实在不曾接仗，但李元度却诳报克复了江西义宁等地。湖北、江西，居然据以出奏，这一下革职拿问之事，便无形中搁置了下来。
祁门大营，自宁国、徽州接连失陷后，情势危殆，幸亏鲍超、张运兰两军得力，而左宗棠由幕僚转为带兵官，如新硎初发，其势极锐，驻军江西景德镇，与皖南为犄角之势。左宗棠当时骄气还不太盛，与曾国藩相处，还能和衷共济。此外则彭玉麟驻湖口，当水路要隘，对于局势的稳定，亦颇有帮助，所以在咸丰十一年初，大致已站定脚步。其时的情势，可由曾国藩致其长子纪泽的一封家书中，看出大概：正月十四日发第二号家信，谅已收到。日内祁门尚属平安。鲍春霆自初九日在洋塘获胜后，即追贼至彭泽，官军驻牯牛岭，贼匪踞下隅坂，与之相持，尚未开仗。日内雨雪泥泞，寒霜凛冽，气象殊不适人意，伪忠王李秀成一股，正月初五日围玉山县，初八日围广丰县，初十日围广信县，均经官军竭力坚守，解围以去。现窜铅山之吴坊、陈坊等处，或由金溪以窜抚建，或经由东乡以扑江西省城，皆意中之事。余属刘养素等坚守抚建，而省城亦预筹防守事宜，只要李逆一股，不甚扰江西腹地，黄逆一股，不再犯景德镇等。三、四月间，安庆克复，江北可分兵来助南岸，则大局必有转机矣！
目下春季尚早，必有危险迭见，余当谨慎图之，泰然处之。
鲍春霆就是鲍超。他的部队即名为“霆”军。其人是中国行伍出身的军人中，最可爱的一个，曾国藩平生驭将，亦以得鲍超为赏心快意的一大乐事。彼此相知甚深，有许多佳话流传。
皖南及江西的局势倒是稳定好转了，浙江的局面却是从咸丰十年二月杭州初次失守，到此时将满一年，始终未见起色，论各省军务，浙江是最弱的一环。提督饶廷选固少将略，谈浙江本省的兵力，主力不过衢州镇总兵李定太的一万二千人，保土御匪，都靠杨昌濬的所谓“借将”，最显著的是张玉良，借自江南大营，此外还有林文察，是清朝台湾的唯一将才。
借将以外，复有借势。借势者靠恃他省为屏障，因此皖南的军饷，一直由浙江筹拨，年耗三十余万，而周天受门户之见极深，浙江并未能获得保护的实益。当洪杨初起时，各省都在练兵，惟有黄宗汉采取御敌于境外的策略并不错，且颇受文宗的奖许，但因此便缺乏如胡林翼所说的，“得力之将数人以折冲御侮于其间。”实亦非始料所及。
至于彼此相仇，则说来最令人痛心，所谓“乖气致戾”，只谈一件事，就可想见：有个四川人，叫王道平，在杭州城内巡抚衙门前面的“梅花碑”摆测字摊，已经十几年，忽然有人疑心他通匪，说已接受太平天国的伪号，就是王道平三个字翻过来，伪封为“平道王”。
这样匪夷所思的事，居然有人相信，拿他捆送营务处，要求立即处决。官府当然要依律审问，搜查他的寓所，毫无佐证，而暴民鼓噪辕门，群聚不散，结果将王道平拉了出来，“脔割其肉立尽”，这股乖戾之气，实在可惊亦复可忧。
乖戾之事，不一而足，愈到危急时愈甚，远道风闻，只道浙江的局势，是名副其实的“兵凶战危”，避之为吉。
当然，认为浙江的局面不祥，仅是他省手握兵符的大帅不肯援浙的三个原因之一，此外两个原因是：第一，自顾且不暇，如果舍己耘人，何异纵井相救，第二，何桂清失陷苏常，影响大局不细，士论对何桂清十分不利，而王有龄是何的谋主，连带予人以很不佳的印象，当然亦无法激起他人奋身援手的侠义心肠。
因此，尽管王有龄赏加头品顶戴，圣眷甚隆，但他支撑浙江的局面，其中艰难困窘，怨谤丛集，几次欲哭无泪之苦，实非局外人所能想像。最感棘手的，还是兵饷两事。饷则竭泽而渔，先以协济他省的，至此自给不足，先是积欠三四个月始能发给一个月，换句话只能照原额发放三分之一或四分之一，到了咸丰十一年春天，积欠三四个月竟只能发放半个月了。
因此，不但军纪愈坏，扰民更甚，兵民相仇的程度更深，而且借来的客军，纷纷求去——当然，讨还援兵的省份，亦有其不得已的苦衷，如福建由于咸丰十年冬，武平、连城、长汀失守，第二年春天便不能不要求撤回闽勇。
闽勇由总兵曾玉明、副将惠寿所统带，而实际上的主将是林文察。他是台湾彰化人，字子明，咸丰八年助剿淡水土匪，捐饷助军，做了武官，官衔是游击，留福建补用。咸丰十年，建宁、邵武及宁洋、永安间，有两大股土匪骚扰，为林文察所破，因功擢升参将，赐号“巴图鲁”，巴图鲁必赏穿黄马褂，但称号不同，林文察此时的称号叫做“固勇巴图鲁”。
林文察受命援浙，是在咸丰十年十二月初。当时太平军由江西出浙江婺源，攻下常山，接着江山亦易手。林文察以孤军受命收复江山，在失守后的第五天，与太平军大战于大溪滩，旗开得胜，连夜追击，李世贤屯江山一带的部队有两万多人，倾巢而出，分三路抄袭。林文察所部只有二千人，分别迎战，又大胜一仗，斩获千余，李世贤退回江山城内，自此日有接战，互有胜负，形成胶着的形势。
十二月廿五，林文察发动一次突袭，亲自带兵“踏营”，林文察的部队，得力于火器精良，一时火光烛天，城内大震。
他在踏毁十几座敌营以后，乘胜攻城。他一面身先士卒，登云梯、攀城墙，一面设下埋伏。李世贤所部仓卒遇变惊惶失措，由西、北两面遁走，为林文察预先埋伏的炮兵所轰击，伤亡甚众。江山县城亦就在这一夜为林文察所收复。因此，擢升副将，晋号为“乌讷思齐巴图鲁”。
到了咸丰十一年二月间，闽浙总督庆端要求撤回闽勇，王有龄万分不愿，但其势实不可留，因为名义上浙江归闽浙总督管辖，而总督又有节制辖区军务的全权，可以直接下令总兵曾玉明撤调人马。
这一下，去了一万多人；而且是颇能打仗的台湾和漳州籍的部队，浙江的防务大受影响，王有龄奏调在湘军中不甚得意的的将领秦如虎、刘培元募勇来浙。但最盼望的却是李元度，王有龄让朱大器筹集了一笔现银，间关送到军前，而李元度一入江西境内，行军甚慢。杭州城内天天传说：“李道台的兵快到了！”其实是地方大吏，为了安定人心，故意放的空气。
其时除了杭州以外，上起嘉兴，下至浙江与江西、安徽交界之处，都有太平军的踪迹。所幸者，钱塘江南岸的宁波、绍兴两府，完整无缺，但全省１５路军需，亦不能尽靠宁绍。
此外湖州孤悬，而赵景贤守得极好，此人是一奇才，与太平军作战，几乎从未吃过败仗，是王有龄唯一可以信任的带兵官。
那时已经文武不分，由监司到县令，莫不是带兵官，而且亦似军民不分，办团练的绅士，亦莫不是带兵官。宁绍的防务，就由在籍绅士王履谦负责，他寄籍顺天府大兴县，本籍绍兴，字吉云，与曾国藩同一年点的翰林，官做到左副都御史，咸丰七年免职，为文宗派为浙东团练大臣，跟王有龄不和，成了浙江局面的致命伤。
＊＊＊到了这年夏天，太平军五路援安庆的计划，几乎完全失败。其中最重要的是李秀成的第一路、陈玉成的第二路和李世贤的第四路，第四路的任务是先攻皖南，断湘军的粮道，但集中二三十万人围攻祁门一隅之地，却始终未能打垮曾国藩的大营。先是第三路黄文金为鲍起、左宗棠一败再败，不能成军，接着是李世贤的第四路，先胜后败，为左宗棠大破于景德镇以南的乐平。统全军撤回浙江，从此不复再能窥伺皖赣。
第二路先由陈玉成自桐城、霍山进入鄂北，占领英山，陈玉成其前锋伪装清兵，长驱直下，向南疾进，十一日之间，行军六百余里，连下三城，