永历五年（清顺治八年，1651），张煌言在舟山得悉老父去世的讣告，逢此父丧之际，清军浙江提督田雄乘机致书张煌言以招降，被张煌言坚决拒绝。当年，清军进攻滃洲，张名振奉鲁王之命率义军攻打吴淞清军，“冀相牵制”。不久，清军攻陷舟山，张煌言与张名振只得偕鲁王进入福建的金门，依附郑成功军，联合抗清。然此时的郑成功使用的是南明唐王的隆武年号，对鲁王的到来，仅按月供给猪肉、大米之物，而“修寓公之敬”。张煌言见此状，尝对郑成功说：“招讨（指郑成功）自始至终为唐王出力效命，真可谓难得的纯良忠臣啊！”郑成功听后则答复说：“侍郎（指张煌言）您从始至终追随鲁王，与我岂不是有异曲同工之妙吗？！”故张、郑二人虽各事其主不同，但其交谊却颇牢固深厚，故鲁“王亦赖以安居”。
永历六年（清顺治九年，1652），张煌言又奉命监张名振义军，并同率义军在郑成功军队配合下，经舟山攻至崇明，并进抵金山，但因兵力不足，只好撤回。次年，这支义军又攻至长江口的崇明，但遭遇清军的阻击而遭败绩。
永历八年（清顺治十一年，1654），二张在郑军的配合下，又自吴淞攻入长江，义军进“逼镇江，登金山，望祭明太祖陵。烽火达江宁”，然由于上游的应援军队迟迟未到，只得退回崇明。同年，义军再度入长江口，攻占过瓜洲、仪真、燕子矶等战略要地，不久又只得率师退“还屯临门”。到永历九年时，郑成功派遣部将陈六御率师与张名振义军配合，攻取舟山。清军台州守将与义军约降，张煌言“以沙船五百（艘）迎之”，致使此战一举告捷。不久，张名振却因中毒身亡，临死前遗言将自己所统属的军队归由张煌言统辖指挥。
永历十年（清顺治十三年，1656），清军再次攻陷舟山，张煌言只得率义军在秦川一带与清军周旋。在此之前，永历七年时，鲁王朱以海见大势已去，便自去“监国”年号，张煌言虽仍事奉鲁王为主，但却只得将义军活动的情况，“通表”远在滇（云南）中的南明桂王朱由榔。
永历十一年（1657），桂王遣派使者，册授张煌言兵部侍郎、翰林院学士的官职。此时，清两江总督郎廷佐投书招降张煌言，张煌言回书以报：“来书揣摩利钝，指画兴衰”，倘若“庸夫听之，或为变色”动摇，但“贞士则不然”。大丈夫“所争者天经地义，所图者国恤家仇，所期待者豪杰事功。圣贤学问，故每毡雪自甘，胆薪深厉，而卒以成事”。至于本人，“仆于将略原非所长，校远潦橹笠濉薄５白筇灰缓簦锥苌搅ⅲ迷蚶稻椋患迷蛉冀凇Ｆ玖攴缣危莺岱骘幔裼庖患鸵樱窀匆愿〈是刀湫脑眨俊敝灰颉袄词槲律鳎时ㄊ小薄Ｈ弧叭粽妒狗偈椤保嗖蛔骰卮穑颉笆首慵嵋庵还悖嗨晃病薄；匦胖校麓羌ぴ剑犊ぐ海亢敛晃战敌胖械摹案〈是怠倍模湟缱潘媸弊急肝牧萑徽Ｓ览辏�1658），张煌言率义军与郑成功军会师，将再度攻入长江，以图光复，但义军次抵羊山时，遇海上飓风大作，只得引军无功而还。永历十三年（1659），张煌言与郑成功一起，为牵制大举向云贵地区进攻的清军，再次率义军入长江作战。先是，义军抵达并占领崇明。张煌言对郑成功建议说：“崇明，江、海门户”，宜先将义军“定营于此”，稍事休整，务使义军“进退有所据”。但郑成功未听从。当时，驻防长江的清军，在瓜洲金、焦二山间横上拦江铁索（俗称“滚江龙”），且在沿江两岸遍置西洋大炮，防守颇为坚固。张煌言却率义军乘十七条船机警巧妙地破坏了江防防线，在后援的郑军配合下，“翦江而渡”，于六月一举攻占瓜洲。攻克瓜洲后，张煌言又向郑成功建议全力攻取镇江，然郑成功顾虑驻守江宁（南京）的清军将赶往支援。张煌言则主张可先派一支舟师水军，佯攻直捣江宁北门，即观音门，这样“南京［清军］自不暇出援”。同时，他还提议这支水军应溯江而上，前往芜湖一带活动，以防阻江楚方面清军的来援。郑成功采纳了意见，并命他向南京方向进攻。此时，张煌言所率义军将属人数不满一万，渡江之舟不满百艘，仍毅然率军西行。不久，张煌言攻克仪真，并进军六合，沿途受到沿江民众的热烈欢迎，“仪征吏民赍版图迎降五十里外”①。当得悉郑成功攻克镇江后，张煌言又致信郑成功，言及当“先抚定夹江郡县”后，再从陆路进军，直取南京，但郑成功未采纳他的建议，“竟从水道进”②。致使有利战机瞬间丧失，而南京清军得以喘息并获后援而巩固城防。
六月二十八日张煌言军直抵南京观音门外江面，停留两日仍不见郑军的到来，只得派遣别的将领率轻舟数十艘的水军，“直（西）上攻芜湖”，他自己则率军驻扎在浦口。待郑成功率“水师”到达后，张煌言又于七月七日赶到芜湖，在此，他“部勒诸军”，将义军兵分四路，分道攻城略地，且在沿途“移檄诸郡县”，张贴文告。许多故明降清的旧官吏，见到文告，纷纷倒戈，“于是太平、宁国、池州、徽州、广德及诸属县皆请降”，使义军很快便收复了四府、三州、二十四县，城池近三十座。
义军纪律严明，所过之处，对民众百姓“秋毫无犯”。张煌言每“经郡县，入谒孔子庙，坐明伦堂，进长吏，考察黜陟，略如巡按行部故事，远近响应”。致使出现“父老争出持牛酒犒师，扶杖炷香，望见衣冠，涕泪交下，以为十五年来所未见”①的空前盛况。而“濒江小艇，载果蓏来贸易者如织”②，给义军很大支持与鼓舞。可是，这一大好形势，却因郑成功率军攻打南京城的失利，而很快急转直下。正当张煌言收复徽州时，闻郑成功在南京城下兵败之事，于是“还芜湖收兵，冀联合瓜洲、镇江（义）军为守计”，期待有利时机，再作他图。不久，张煌言又得到郑成功军已放弃瓜洲、镇江等地，而退回海上的消息，致使张煌言所率义军处于进退维谷、腹背受敌的危险处境，很快遭致溃败。
此际，清两江总督郎廷佐一方面调遣水军切断张煌言义军东退的水路，另一方面又写信向张煌言劝降。张煌言对招降书“拒不应”，同时，为摆脱困境，又率“余兵道繁昌，谋入鄱阳湖”，向江西发展。当义军船队进抵铜陵时，却与湖广来援的大批清军水师遭遇，与之激战而败退。最后，张煌言“抚残兵仅数百，退次无为，焚舟登陆”。又从陆路自桐城，取道霍山、英山，到达东溪岭时，适逢清军“追骑至，从者尽散”。张煌言好不容易才突围而出，只得“变服夜行，至高浒埠，有父老识之，匿于家数日，导使出间道，渡江走建德、祁门乱山间”。此时张煌言身染疟疾发作，几不能行，但他仍不顾病痛，奋力疾行。到达休宁后，“得舟下严州”。登岸后，又复行山路，途经浙江的东阳、义乌“至天台达海”。历尽千难万险，兵败后绕道潜行二千余里，九死一生，终于回到了浙江沿海地区。此后，他“收集旧部”，① 沈冰壶：《张公苍水传》，见《张苍水集》。
② 沈冰壶：《张公苍水传》，见《张苍水集》。
① 全祖望：《明故权兵部尚书兼翰林院学士鄞张公神道碑铭》，见《张苍水集》。② 全祖望：《明故权兵部尚书兼翰林院学士鄞张公神道碑铭》，见《张苍水集》。准备东山再起。郑成功得到张煌言生还的消息后，也将自己的部分兵力拨归他统辖，致使义军稍有壮大。张煌言将义军屯驻长亭乡，“筑塘捍潮，辟田以赡军”需军饷。同时，张煌言又派遣使者向桂王禀告自己兵败的消息。桂王得悉后，在敕书中表示安抚慰问的同时，又给他“加兵部尚书”的职衔。永历十四年（清顺治十七年，1660），张煌言又率义军移驻宁海县临门村，并加紧训练兵士。然在永历十五年时，清廷为了肃清东南沿海地区的抗清势力，颁布了“迁海令”，“廷议徙海上居民”，以断绝对义军的粮饷“接济”。义军“无所得饷”，只得“开屯南田自给”。当郑成功率军东征，从荷兰殖民者手中收复台湾时，张煌言不理解此举的重大战略意义与价值，曾写信给郑成功，“移书阻之”。不久，清军直下云南，终使南明永历政权覆亡。逢此危急之际，张煌言“遣其客罗纶入台湾”，催促郑成功出兵闽南，一方面支持东南沿海人民反对“迁海令”的斗争，另一方面也可牵制清军，以解永历政权之危，但郑成功“以台湾方定，不能行”为由，加以拒绝。于是，张煌言只得又遣使者到湖北的郧阳山中，去说服“十三家兵”出战，“十三家兵”原为李自成起义军的余部，由郝永忠、刘体纯等部将率领，他们以夔东茅麓山为根据地，坚持抗清斗争。张煌言要“十三家兵”出征，“使之扰湖广”清军，牵制敌人，“以缓云南”，挽救永历政权即将覆亡的军事危局，但“十三家兵”终因兵力“衰疲”，加之势单力薄，而未能出战。
清康熙元年（1662），张煌言又将义军移驻沙堤。其时，郑成功收复台湾后，建立郑氏政权。而鲁王则身居金门，故郑成功对其衣食供奉“礼数日薄”。张煌言虽对鲁王仍忠心不贰，且“岁时供亿”不绝，但又“虑成功疑”，故“十年不敢入谒”鲁王。待到张煌言“及闻桂王败亡”后，便“上启鲁王，将奉以号召”。
不久，郑成功突然病逝于台湾，致使抗清斗争形势更为严峻。于是，张煌言只得转战于宁海县临门村一带。还师临门，更使张煌言感慨万千。这时，清廷浙江总督赵廷臣乘张煌言义军处境艰难之际，再次写信招降，张煌言不为所动，并回信拒绝。义军此时虽多次奋战，然孤悬海上，被迫孤军作战，日渐势单力薄。为此有人提议将义军队伍拉上鸡笼岛驻扎，张煌言认为此议不可行，鸡笼小岛，四面环海，易攻难守，若遭致清军突袭有全军覆没的危险。康熙二年（1663），南明鲁王朱以海在金门岛病逝①，张煌言得知此消息后，悲痛欲绝，放声痛哭，说：“孤臣多年以来栖栖遑遑奔走于海上，与部属相依为命而不肯离去者，只因我主鲁王您尚健存。现今您竟弃我辈而先故去，自今我辈更有何指望啊？！”次年，张煌言审时度势，眼见反清复明的大业无望，抗清斗争大势已去时，便痛下决心，将义军人马全部解散。本人则携随从罗纶及部属数人，加上侍者一人，驾一条小船，登上南田岛（今浙江象山南）附近一个名悬澳的荒僻小岛上隐居，悬澳（嶴）小岛孤悬“海中，荒瘠无人烟，南汊港通舟，北倚山，人不能上”，煌言一行人在此岛上，“结茅而处”，暂时得以栖身。清廷浙江总督赵廷臣与清军提督张杰并未放弃对张煌言的迫害，他们合谋要抓住他以邀功。为了侦知张煌言的下落与行踪，利用张煌言的一个旧部属，命他化装成普陀山的寺庙僧人，在海上四处打探、侦伺行踪，待侦知确切住所与踪迹后，清军乘夜半天黑之际，登上悬澳岛，并“引兵攀岭上”，进行偷袭，一举将张煌言、罗纶以及部属叶金、王发，① 关于南明鲁王的卒年，说�