至此，褚遂良、韩瑗、来济、裴行俭等元老重臣集团的骨干相继倒台，武则天觉得，扳倒长孙无忌的时机也到了，于是密令许敬宗、李义府，要想尽一切办法，构陷长孙无忌。
显庆三年（６５８年），李义府上书，以莫须有的罪名诬陷长孙无忌的中表亲高履行及从父兄长孙祥。高宗李治起初还不相信，但架不住武则天的软施硬磨，许敬宗的巧言哄骗，只得当堂下旨，高履行由太常卿外放为益州大都督府长史，长孙祥由工部尚书外放到荆州大都督府长史。
宦官宣旨时，李治惴惴不安地偷眼看着长孙无忌，因事前没给他商量，生怕他不愿意，当堂给自己难堪。谁知，长孙无忌听了旨意以后默默无语，只是垂着手站在那里，面无表情，李治一见，更觉不得劲，早早宣布退朝，躲到后宫去了。
回到家里，长孙无忌心烦意乱，唉声叹气，坐也坐不安，卧也卧不下，于是叫下人弄了几个菜，独自一个人喝闷酒，小酒盅还没端起，门房来报，太子太师于志宁于大人来访，长孙无忌急忙传令，快快有请。
说话间，于志宁已大步走了进来，见屋里一桌一筷一盅，就说：“太尉大人，怎么一个人喝酒？”“别提了，”长孙无忌摇摇头说，“我这喝的是闷酒啊。想不到你来了，正好，咱兄弟俩一块喝点。”于志宁也不客气，坐在桌边，侍婢立即又摆上一副食具。两个人端起杯子，谁也不说话，一连干了好几杯，于志宁才抹抹嘴说：“太尉大人，履行和祥被外放为长史，在朝堂上，你怎么不说话，他俩可都是你的至亲啊。”“哎……”长孙无忌摇了摇头，“今日朝堂已不是昔日朝堂了，我说了也不一定管用。再说，他俩外放，从另一方面来讲也是好事，是离开了这京城的是非之地啊。”“太尉大人，听说褚大人已病逝在爱州了，他生前多次上表，乞求还乡，表书都被许敬宗、李义府扣压住了。”“这些事你听谁说的？”“我听褚大人的儿子彦冲说的，他的哥哥彦甫已南下迎接褚大人的棺木去了。哎，想不到几个同朝为相的老臣，死的死，流放的流放。奸臣恶棍却大行其道，发展下去，怕你我两人也难逃厄运。”“裴行俭临去西域时曾给我说……”长孙无忌话说了半截，却又摇摇头停下了。“他给你说了些什么？”于志宁追问道。“他主要说让我避祸的话，让我告老还乡，避居深山等。但我琢磨着我深受先皇恩宠和临终顾命，如果冒然而去，撒手不管，恐死了以后无颜见先帝于地下。”“是啊，走又走不掉，不走吧，你看看现在朝中的情况，简直乱了套了。沿袭几百年的四妃九嫔等制度也让武后给废了，弄成些不伦不类的宣仪、承闺什么的，皇上也整天居无定所，长安洛阳的来回折腾。”“别说了，志宁，来，咱俩喝酒，一醉解百愁。”长孙无忌给于志宁端起杯子，自己率先干了一杯。“我喝不下去，”于志宁把杯子往桌上一顿，急切地说，“太尉大人，再不能这样继续下去了，得赶快想个办法，我今天来找你，就是为这事，我再也沉不住气了，这武后她究竟想干些什么？”长孙无忌却半天不吭一声，只是望着眼前的小酒盅出神。“太尉大人，实在没有好办法，至少你得私下里找皇上深谈一次，你毕竟是帝舅，皇上也是你一手扶起来的，你的话他不能一点不听吧？”“不是没找皇上谈过，当面他也答应的挺好，过后就不一样了，他现在事事都听那武皇后的。”“你再找皇上谈谈，深谈一次，不信他没一点感觉，不信他一点回心转意的念头都没有。现在这种局面，不能再发展下去了，不好好和他谈谈也不行了。”？
“好吧，”长孙无忌无可奈何地说，“明天早朝后我再找皇上深谈一下，看看效果怎么样。”其后，两个人又谈了一些事，交流了一些看法，对于皇帝李治，都有些恨铁不成钢的感觉，都有些无可奈何的叹息。第二天早朝后，长孙无忌称有事禀奏，随高宗李治来到了旁殿。李治吩咐先给帝舅看座，然后自己才坐下来，问道：“长孙爱卿，你来是不是为了高履行和长孙祥的事？这事朕也觉得过分，但李义府他们言之凿凿，朕没有办法，才把他俩外放为官的，朕想过一段时间，再把他俩召回来，目前的处理，只是平息一下李义府他们的喧腾，这事望长孙爱卿你能理解。”“皇上，老臣单独觐见不是为了那件事，履行和臣兄不论在哪里为官，同样都是尽忠报国，老臣并不感到什么不快。只是近来朝廷中发生的这事那事，老臣觉得有必要和皇上谈一谈。”李治显得百无聊赖地坐在龙椅上，淡淡地说：“谈谈就谈谈吧。”“皇上，遂良去世了，你知不知道？”“什么？褚卿去世了，什么时候去世的？”“已有好几个月了，老臣也是刚刚得知的，想不到，遂良一生无私无畏精忠报国，竟客死于异域他乡。”长孙无忌撩起袖子擦了擦眼泪。李治讪讪地，也感觉到不大得劲，就说：“其实，朕也想把他召回来，只要他上表认个错就行了，给朕个面子就行了，谁知他倔得一个字也没写给朕。”“皇上，据老臣所知，遂良上了三四回表奏了，都让许敬宗、李义府他们扣了下来，隐匿不送报，这许、李二人实在是……”长孙无忌话说到这里，不说了，摇了摇头。“这敬宗、义府胆子这么大，身为侍中、中书，理应协助朕处理政事，上传下达，竟然好恶由之，隐匿不报，朕非处理他俩不可。”“皇上，此二人一向品行不端，惯会见风使舵，惟利是图，实乃奸臣，望皇上明辨是非，罢此二人。另选良臣为侍中、中书，则社稷之幸、李唐之福也。”“好，这事朕会处理的。你，你还有别的事吗？”李治怕长孙无忌再说出什么不顺耳话，想尽快结束这次谈话。“皇上……”长孙无忌看了看左右，见旁边内侍们都站的挺近，张开嘴又闭了口，他本来想谈谈武皇后，怕皇上的左右人等漏了风声，只得另提他事，小声说：“皇上，韩瑗、来济两人一向忠君爱国，现旨令他俩‘终身不听朝觐’，是不是有些过分了，是不是先取消这一条，也给他们一个面君悔过的机会？”“这事可以考虑。”李治点点头说。“其实许敬宗、李义府弹劾他俩的理由也不足，说他俩当初故意安排遂良改任桂州都督，意在里应外合什么的，遂良由潭州改贬桂州当初不是皇上您的旨意吗？”长孙无忌小心翼翼地说，生怕触动李治的自尊。李治却觉着不大得劲，说：“容朕细想，这样吧，今天就说到这儿，朕要回去休息一下了，最近老闹头痛。”“皇上请善保龙体，老臣，告辞了。”长孙无忌磕了一个头，退了出去。李治回到后宫，把许敬宗、李义府隐匿褚遂良奏书一事给武则天一说，武则天直撇嘴，说：“一个小小的爱州刺史，被贬之人，上的书犯不上传给皇上，不然，这天下大大小小的官上这么多的书，皇上一个一个地看，还不活活累倒。”“褚遂良和别人不一样，”李治生气地说，“他毕竟是先帝临终顾命大臣，他的上书，朕怎么可以不看，这许敬宗、李义府也太胆大了，朕非得撤他们的职不可。”“皇上，你……”没等武则天再说，李治断然地打断她的话：“你别说了，这事朕要当一回家，非撤他俩不可。”武则天一见他这生气的样子，不跟他强辩，只是说：“好，好。要处分就处分李义府，他主管奏书。许敬宗也就算了，他这么大年纪，忙上忙下，不辞劳苦，为皇上奔命，没有功劳也有苦劳，不要再处理他了。”李治半天不吱声，心说，到底我是皇上，你武皇后再能又能那里去，这不还是听朕的话。第二天，果然一道旨令，贬李义府为普州刺史，许敬宗在武则天的大力保护下过了关，不但过了关，没几天，在武则天的保荐下，许敬宗权检校中书令。
这天，许敬宗来到后宫，当面向武皇后谢恩。武则天把前因后果给他说了一遍，许敬宗冒着虚汗说：“亏皇后娘娘您掩护了臣一下，不然，这回又中了长孙无忌的道。娘娘，这长孙也太可恶了，今天在朝堂上又劝皇上取消韩瑗、来济终生不准觐见的禁令，这不是明摆着，跟娘娘您顶着干吗？”“是啊，不搞掉他，你我都没好日子过，这不，李义府也让他给弄下去了。”“娘娘，这李义府绝对不能下去，有了他，臣在朝堂上胆子也壮，也敢说话办事，他一走，上朝时，臣就觉得孤孤单单的。”“你现在要立即想办法搞掉长孙无忌，这样才能保住你的位子，李义府也能回来。”“这……”许敬宗搔了搔花白的头发，说，“这老小子一不贪赃，二不卖官，干啥事都很严谨，臣搜不到弹劾他的证据。臣也急，臣老早就想搞掉他了。”“卖官鬻职的罪名不能搞倒搞臭一个人，尤其像长孙无忌这样的盘根大树，得想个绝好？
的办法扳倒他。”“那，怎么搞掉他。”许敬宗眼巴巴地盯着武则天。“就说他谋反，只有说他谋反，才能置他于死地。”“谋反？好事，不过这事怎么才能挑起来……”许敬宗皱着眉头想孬点了，姜还是老的辣，没想一分钟，他就一拍大腿说，“有了。”“什么办法？”武则天凑过脸来，急切地问道。“洛阳县令李奉节上表，状告韦季方和监察史李巢私结朋党，皇上今早朝时，命我和辛茂将查明此事。这韦季方、李巢和长孙无忌的关系密切，咱不如把长孙也扳进这个案子。”“好！”武则天一拍大腿，向许敬宗一笑，接着又严肃地说，“许爱卿，这事你不办则可，要办就好好办，把长孙无忌扳倒，不然，就会打虎不死，反被虎伤。你明白我的意思不？”“明白了！”许敬宗挺了挺单薄的身板说。武则天满意地点了点头，两个人又商量了一些细节，武则天又装模作样问了问许敬宗的生活和家庭情况。许敬宗感叹地说：“哎，老婆也老了，个人感情生活就这么回事。”武则天笑了笑，说：“等晚上，我派人给你送两个宫女去。”“宫女？”许敬宗惊讶地问，说，“臣不敢要。”“有什么不敢要的？是本宫赏赐给你的。后宫里的宫女太多了，也没有用，过两天本宫还准备放出去一批呢。”“啧，娘娘您太关心我了。”许敬宗感动地撩起褂襟擦了擦眼角，“敬宗多活一天，就是为娘娘多活一天，敬宗就是娘娘的狗，娘娘的……”“好，好。你赶快回家歇歇吧，考虑考虑那些事，等晚上两个宫女过去，你可得悠着点儿。”“知道了。”许敬宗恭顺地答道，磕了一个头，喜滋滋而去。第二天，许敬宗精神抖擞，一点儿也不觉着累，坐阵大理寺，令人对韦季方严刑拷打，无所不用其极，逼着韦季方承认长孙无忌是主谋。韦季方咬牙不承认，被折磨得死去活来，晚上，韦季方从昏死中醒来，思前想后，不说吧，硬熬也熬不住；说吧，实在是没有影的事，诬陷长孙太尉天理不容。如今惟有自杀了事，一了百了，想到这里，韦季方撕了褂子，拧成一个带子，硬撑着把它系在牢房的栅栏上面，挽了一个活扣，把脖子伸进去，想上吊自杀，谁知脚刚一离地，就被狱卒发现了。自杀未遂，被严加看管。
狱卒把情况反映给许敬宗，许敬宗灵机一动，计上心来，连忙令人模仿韦季方的笔迹写了一页招供，大意是：我韦季方是长孙无忌的同党，谋反的马前卒，我被捕后，不肯交代，后