次日上朝，韩瑗涕泣极谏，说皇后不可废云云，高宗哪里听得？再上朝，韩瑗又谏，悲不自胜。高宗真是烦透了，怒道：“拉出去！”
事已至此，上朝退朝皆是皇后废立之事，高宗想避都避不开了。韩瑗的奏疏说：“匹夫匹妇，犹相选择，况天子乎！皇后母仪万国，善恶由之……”《诗》啊《书》啊的引了一堆，无非说不能立武氏。来济的上书说：“王者立后，上法乾坤，必择礼教名家，幽闲令淑，副四海之望，称神祗之意。……”又《诗》、《书》、周、汉地引了一堆。高宗真正是烦透了。一挥手将奏疏推倒一地。
朝中闹得翻天覆地。受着太宗顾托的李，却躲在家里，养着莫须有的病。高宗烦闷了几日，终是不甘心。于是召李觐见。
高宗惆怅道：“朕欲立武昭仪为后，遂良固执以为不可。遂良既然是顾命大臣，事情就只好这样作罢么？”
高宗的惆怅看起来轻描淡写。前几日，高宗尚烦躁难安，而这几日，朝中闹得翻天覆地的时候，高宗的情绪，反而渐渐平静下来。是疲倦么？还是因为疲倦而变得漠然？李揣摩不清，高宗自己也不确定。李唯一能确定的是：高宗的不甘心。
李看一眼高宗，又看一眼高宗，才终于吐出一句话：“此陛下家事，何必更问外人！”
话出口时，李是否意识到了它的分量？高宗最终决定抛开众议，废王立武。
庚午，贬褚遂良为潭州（今湖南长沙）都督。
十一月初一日，命司空李主持册命皇后的仪式，授武氏为皇后。是日，百官在肃义门朝见皇后。这破了大唐帝国的先例。
在接下来的几年里，长孙无忌、韩瑗、来济等反对立武氏为后的大臣，相继被清除。
李做的最后一件事，就是从乾封元年（666）十二月到总章元年（668）九月，打下了高丽。太宗没有完成的征辽东的任务，在高宗年间终于完成。
一年后，总章二年（669）十二月，李病重。夜里，李梦见太宗，宛若生前。太宗对他说：“朕欲将幼孤相托，思来想去也没有比卿更合适的。公以前不负李密，现在又岂会负朕！”后来恍恍惚惚，似乎又与太宗及众武臣宴会宫中，行酒令，太宗令在座各言小名。李君羡道：“臣小名叫五娘。“太宗愕然，既而笑曰：“何物女子，乃尔勇健！“李和众武将皆笑。笑闹之间，忽听太宗怒道：“将李君羡拉出去，斩了！”
李惊觉，额头上冷汗直冒。“怎么会梦到这件事？”李自语道。李君羡？李君羡是几时死的？贞观二十二年。
贞观二十二年（648），太宗与众武臣宴会宫中，行酒令，太宗令在座各言小名。左武卫将军李君羡道：“臣小名叫五娘。”太宗愕然，既而笑曰：“何物女子，乃尔勇健！”当时太白屡昼见，太史占卜说：“女主昌。”民间又传《秘记》云：“唐三世之后，女主武王代有天下。”弄得太宗心里纷乱。 恰好李君羡是武安人，左武卫将军，封武连县公，官称封邑皆有“武”字，又恰好在玄武门当值。所以宴会后，太宗将李君羡出为华州刺史。不久，御史奏君羡与妖人来往，图谋不轨。太宗便借故杀了李君羡，籍没其家。
李想起这件事，直到天亮未能再入睡。因为他想到了武皇后，他无来由地把当时的谶语扯到了武皇后身上。又无来由地觉得自己有负先皇所托。
就这样到天亮，李对时任司卫少卿的弟弟李弼说：“吾今日小愈，可共置酒为乐。”
见证后宫天子气（4）new
于是子孙齐集。宴会期间，李对李弼道：“吾自度必不起，故欲与你们告别。你们不要悲泣。我见房、杜平生勤苦，却不能避免不肖子孙的败亡。我有这些子孙，如今都交托给你。等把我安葬完毕，你就搬来这里住，助我抚养孤幼。若有志气不伦、交游非类者，皆先挝杀，然后奏闻。”
几天后，李离开了人世。他生命中最后的几日都生活在太宗的阴影里。他当然想不到，日后武皇后会羽翼日丰，不但与高宗并称“二圣”，更在高宗死后专掌朝政，接连废掉大唐的两个皇帝，最后又干脆自己称帝，改国号为周。李更想不到，多年以后自己的孙子会在扬州起兵反对武则天直接掌权，失败后自己的李姓又恢复到了徐姓。李想不到，但他总觉得自己有负先皇所托，总觉得什么地方不对。或许是冥冥中的感应。
高宗听到李的死讯，不免悲泣。出葬日，高宗幸未央宫，登楼望棺车恸哭。高宗下令，起冢像阴山、铁山、乌德山，以旌其破突厥、薛延陀之功。
最后一个受太宗顾命的大臣离开了。高宗顿时感到内心空洞无物。大唐的江山在他的手上。二十年前，父皇亲手把基业交给了他。长孙无忌、褚遂良、李，都相继离开了。他还背着父皇交给他的基业。路，还要走下去。