率军进攻，仍不能下。于是祖逖便用离间计，从张平部下分化出谢浮，谢浮借与张平商讨军情之机，杀死张平，率众归降。
张平虽死，樊雅仍占据谯城，祖逖进据太丘（今永城），因军中乏食，处境十分困难。樊雅派兵乘夜来袭，攻入营垒，拔戟大呼，直逼祖逖营帐，军中大乱。祖逖临危不乱，安排左右拒敌，督护董昭英勇杀敌，终于打退了樊雅的进攻。祖逖率部追讨，张平余部帮助樊雅迎击祖逖。为了尽快攻下谯城，祖逖向蓬坞堡主陈川、南中郎将王含求援。陈川派李头、王含派桓宣来援，王含也命参军桓宣领兵五百助战。祖逖一面发兵进攻，一面派对桓宣说：“卿先已说平、雅，信义大著于彼。今复为我说雅。雅若降者，方相擢用，不但免死而已”。桓宣遂入谯城劝降。见到樊雅，桓宣说：“祖逖方欲平荡二寇，每何卿为援。前殷乂轻薄，非豫州意。今若和解，则忠勋可立，富贵可保。若犹固执，东府赫然更遣猛将，以卿乌合之众，凭阻穷城，强贼伺其北，国家攻其南，万无一全也。愿善量之”。樊雅这才出城归降。经过一年多的苦战，祖逖终于攻占谯城，在豫州站住了脚跟，并打通了北伐的通道。
正当祖逖以谯城为根据地，且战且耕，逐步扩大战果时，发生了蓬陂坞主陈川叛归石勒的事件。陈川本是号称“乞活”的流民集团的首领，自称宁朔将军、陈留太守。这支流民武装长期割据浚仪蓬陂，曾经投降石勒，又受晋官号。陈川部将李头攻打谯城立功，祖逖遇之甚厚，正好祖逖获得樊雅一匹好马，李头很想要又不敢说，祖逖知道他的心思后，便把马给了他。以后李头经常感激地说：“若得此人为主，吾死无恨”。陈川闻后大怒，遂杀李头。李头的亲信冯宠鼓动所属四百多人投奔祖逖，陈川更加怒不可遏，大掠豫州诸郡以为报复。祖逖则针锋相对，命卫策在谷水伏击，尽获其所掠之车马子女，祖逖下令，将车马子女全部归回原主，军队一点也不截留。陈川大为惊恐，于东晋大兴二年（公元319年）农历4月以浚仪（今河南开封）投降石勒。
当时石勒建基于襄国（今河北邢台），活动于黄河流域，因实力所限而推行北攻南守方针。南面所要对付的主要是祖逖所率领的北伐队伍。而要阻止祖逖北进，首要的也在于争夺各地的坞堡组织。
祖逖得知陈川叛晋后，遂于五月进攻蓬关（蓬陂，今河南开封）。石勒派养子石虎率领五万大军救授陈川，与祖逖军战于浚仪。祖逖战败，退守淮南（今安徽寿县）＇1＇。石虎在豫州进行了一番洗劫之后，也带着陈川回师襄国，只留下将领桃豹戍守蓬陂坞。农历10月，祖逖派督护陈超攻打桃豹没有成功。农历11月，石勒自立为赵王（史称后赵）。
东晋大兴二年（公元319年）农历6月，石虎派桃豹据浚仪，屯兵西台，从南门出入，祖逖则派韩潜据东台，由东门出入，两军相持四十日。祖逖决定设计智取。当时，双方粮草供应都很紧张，祖逖命令把沙土装在粮袋里，假装成米，让一千多人像运送军粮一样，忙忙碌碌运上东台。又故意让几个人真的挑着大米，走在后面，佯装疲惫在路上休息，等敌军来抢米。桃豹的军队缺粮已久，见晋军运粮，以为有机可乘，突然冲过来抢粮，那几个人扔下粮袋仓皇逃跑。桃豹军士抢得粮米后，以为祖逖士兵都能吃饱，而自己长久饥饿，于是更加恐惧，士气低落。这时，石勒部将刘夜堂用一千头驴运粮食给桃豹，祖逖侦知消息，派部将韩潜、冯铁等部在汴水截击，尽获其粮食和脚力。桃豹闻讯，连夜退兵东燕城（今河南延津）。祖逖乘胜进军，派韩潜进屯封丘（今河南封丘），威逼桃豹，冯铁部进据二台，自己统兵镇守雍丘（今河南杞县）。并屡次派兵截击后赵军，后赵很多城镇纷纷叛赵归晋。
农历7月，石勒不甘心失败，派遣一万多精锐骑兵反扑，但又被严阵以待的北伐军所败。又经过一年多的反复争夺，祖逖取得北伐战争以来最重大的胜利。
祖逖在北伐中不仅善于分化瓦解敌军，而且善于团结可以团结的豪强武装集团和坞壁主，这是他能够以弱小兵力多次打败敌军的重要原因。侦察兵常俘获濮阳人，祖逖总是优待他们，送他们回去，这些人感谢祖逖的恩德，联络了乡里五百家来归附。当时河南境内有赵固、上官巳、李矩、郭默等割据集团，他们各据一方，经常以兵戎相见。祖逖多次派人从中调解，晓以大义，消除他们之间的矛盾，使他们都服从自己的统一指挥。
黄河以南，原有一些坞堡主，迫于石勒强大的势力，不得不臣服于石勒，送其子弟到襄国为人质。祖逖允许他们表面上仍归附石勒，任凭他们两边交往，并常派些小部队假装攻打他们，以表明他们并未归附晋朝，从而消解石勒的疑心，减轻坞堡的压力。各坞堡主感戴祖逖的恩德，经常帮助北伐军刺探情报，因而祖逖在战场上始终处于主动地位，屡战屡胜，威名远播。
六、图平河北
祖逖礼贤下士，善体恤民情。即使是关系疏远、地位低下之人，也施布恩信，予以礼遇。将士“其有微功，赏不逾日”。祖逖在统治区内劝督农桑，恢复农业生产；在军队中一直实行且战且耕，以耕养战，以减轻人民的负担。祖逖自身生活俭朴，自奉节俭，不畜私产，其子弟与战士一样参加耕耘、背柴负薪。他还收葬枯骨，加以祭奠。因此，北伐军得到河南地区人民群众的拥护和爱戴。
一次，祖逖摆下酒宴，招待当地的父老兄弟，一些老人流着眼泪说：“吾等老矣！更得父母，死将何恨”！乃在座上歌曰：
“幸哉遗黎免俘虏，三辰既朗遇慈父。玄酒忘劳甘瓠脯，何以咏恩歌且舞”。
由于祖逖策略得当，民众归心，所以不出几年，基本上收复了黄河以南地区。刘琨在写给亲戚的信中，大力称扬祖逖的威德，晋元帝也下诏擢升他为镇西将军。
在极端困难的条件下，祖逖领导下的北伐军正是依靠群众的支援，同占据绝对优势的敌人苦战四年多，终于收复黄河以南的大片土地；北伐军也由小到大，越战越强，成为一支使“石勒不敢窥兵河南”的劲旅。石勒慑于北伐军的威力，转而采取守势，他下令幽州官府修祖氏坟墓、成皋县修祖逖母亲坟墓。并写信给祖逖，请求互通使节、互市贸易。祖逖格于形势，没有回信，但听任双方互市，收利十倍，于是官方和私人都富足起来，兵马也日益强壮。
七、北伐遗恨
祖逖的目标是清定中原，他不敢稍有懈怠，抓紧练兵积谷，准备“推锋越河，扫清冀朔”。正当祖逖准备渡河北进，完成统一大业之时，晋元帝听说祖逖在河南深得民心，屡建战功，怕将来不利于自己的统治，便于晋太兴四年（公元321年）农历7月任命戴渊为都督兖豫雍冀并司六州军事、征西将军，出镇合肥，以牵制祖逖。祖逖认为，戴渊是南方吴人，虽然有名望，但并无远见卓识，加上自己目前已剪除荆棘，收复河南，而戴不费气力，即来统御，心中颇为不乐。这时，又传来王敦跋扈，朝廷内部矛盾日益尖锐的消息，眼看内乱将起，北伐还有什么希望！祖逖心力交瘁，忧愤成疾。于是，把家眷安排在汝南大木山下。当时中原的士大夫都认为祖逖应该进据武牢，没想到他却把家属安置到了险要之处，纷纷劝阻他，他不听。
祖逖心中虽然忧愤，但仍“图进取不辍”，抱病营缮虎牢城。虎牢城北临黄河，西接成皋，地理位置非常重要，他担心城南没有坚固的壁垒，易被敌人攻破，特意派堂侄祖济（汝南太守）、汝阳太守张敞、新祭内史周闳等率众筑垒。营垒尚未修成，祖逖病危，农历9月，祖逖病死在雍丘（今河南杞县），终年五十六岁。
祖逖死讯传出，豫州人民痛哭流涕，谯梁百姓还自发为祖逖修建祠堂，纪念这位热爱祖国、热爱人民、不畏强敌、百折不挠的爱国名将。朝庭追赠祖逖为车骑将军。
八、祖逖北伐
建兴元年（313年）四月，愍帝在长安即位，以司马睿为左丞相，让他率兵二十万直攻洛阳，六月复遣使催促。当时，司马睿致力于开拓江南地区，根本顾不上北伐。祖逖出身北方大族，本可以在司马睿偏安一隅的小朝廷里安享尊荣，步步高升。但他不愿苟且偷安，不贪恋安定舒适的生活。在南北门阀士族热衷于新*的权力再分配，进行新的兼并的时候，祖逖义正辞严地提出收复半壁河山，拯救中原汉家同胞于水火的强烈要求。祖逖向司马睿进言：“晋室之乱，非上无道而下怨叛也。由籓王争权，自相诛灭，遂使戎狄乘隙，毒流中原。今遗黎既被残酷，人有奋击之志。大王诚能发威命将，使若逖等为之统主，则郡国豪杰必因风向赴，沈弱之士欣于来苏，庶几国耻可雪，愿大王图之”。
祖逖的要求，代表了汉族人民的愿望，但无异于给司马睿出了一个难题。司马睿自移镇建邺，一心在拼凑江南小朝廷，他和拥戴他的门阀士族都无意北伐。但面对祖逖大义凛然的请求，他又不愿落下阻止北伐的恶名，于是，便消极对待此事。为了敷衍天下人耳目，司马睿乃任命祖逖为奋威将军、豫州刺史、前锋都督出师北伐，只拨给他1000人粮饷，3000匹布，不给铠甲兵器，而不给一兵一卒，让他自募士众，自制刀枪。
司马睿的冷漠态度并没有动摇祖逖北伐中原的决心，他率领跟随自己南下的流人队伍百余家，毅然从京口渡江北上。船到中流，祖逖眼望面前滚滚东去的江水，感慨万千。想到山河破碎和百姓涂炭的情景，想到困难的处境和壮志难伸的愤懑，豪气干云，热血涌动，于是敲着船楫朗声发誓：“祖逖不能清中原而复济者，有如大江”（《晋书·祖逖传》）！意思是若不能平定中原，收复失地，决不重回江东！祖逖“辞色壮烈”，部属为之慨叹。祖逖渡过长江后，暂驻淮阴，起炉冶铁，铸造兵器，同时又招募到二千多士兵。建兴四年（316年）十一月，晋愍帝被匈奴贼寇刘曜俘虏，长安失陷，西晋灭亡。司马睿被迫移檄四方，约期北征，祖逖欣然应命。当时北伐的形势十分严峻。祖逖面临的对手不仅是割据冀、豫一带，拥兵十多万祸乱天下的羯寇石勒，河南地区还盘踞着为数众多的汉族地主豪强武装，即所谓“坞主”。这些坞主修筑坞堡，自称刺史、太守，称霸一方，依违于晋、赵之间，情况非常复杂。他们可能成为北伐军的盟友，也可能成为北伐军的敌人。这种形势决定祖逖北伐的道路是一条充满了艰难险阻的道路。
建兴五年，祖逖进驻芦洲（在今安徽亳县），果然，北伐军首先遭到流人坞主张平、樊雅的阻遏。张平、樊雅是兖、豫一带的豪强，乘乱起兵，张自任豫州刺史，樊自任谯郡太守，各据一城，有众数千人。张平部下还有董瞻、于武、谢浮等十多支小部队，各有数百人。张、樊名义上臣属于司马睿，接受司马睿给予的四品将军头衔，实际上不受约束，自行其是。祖逖派遣参军殷乂去联络张、樊，殷乂出身世族，看不起张平，指着他的住房说这只配作马厩