前面已经介绍过郭子仪的出身和在安史之乱九节度败退之前的表现，而他卸任后怎样呢？
上元元年（公元760年），党项侵占唐朝边疆，将要逼近京畿地区，于是肃宗任命邠州刺史桑如珪领邠宁节度副使，州刺杜冕为鄜坊节度副使，分道征讨。三月二十六日，任命郭子仪兼任邠宁、鄜坊节度使，不过却是挂个名，人仍然留在长安，只是借他的威名以镇抚党项。所以可以看出，郭子仪在这段时间内基本上是在长安，过着“高阁”生活——所谓束之高阁，既然被束在高阁里，当然就是“高阁”般的生活了。不知肃宗是出于什么心理把他留在长安而不让他带兵，是忌他功高？此前郭子仪功劳虽大，但还没到功劳盖世的地步，何况李光弼的功劳不也是很大么，怎么没“束”起来？其实在鱼朝恩等人的谗言的作用下，肃宗的确是主要出于这方面的考虑，但京城里也得有个大将来保证他的安全，否则一旦京畿地区出什么事情，谁来挂帅？有个郭子仪在长安，可以备不时之需，也不错。而鱼朝恩等宦官的作用至关重要。当时有人上言，说天下尚未平定，不应该闲置郭子仪。于是九月初八，肃宗命郭子仪出镇邠州，党项军队闻讯而退，可见郭子仪的威名的确很大。当月的二十一日，肃宗又下诏：“子仪统诸道兵自朔方直取范阳，还定河北，发射生、英武等禁军及朔方、鄜坊、邠宁、泾原诸道蕃、汉兵共七万人，皆受子仪节度。”如果真按这个来，那么正面由李光弼应战史思明，侧翼由郭子仪进攻，的确是个很好的主意。但是诏书颁下后十来天，鱼朝恩进行阻挠，所以郭子仪还是没出去。
然而宝应元年（公元762年），河中军发生变乱，杀掉了统帅李国贞，而太原节度使邓景山也被部下所杀，朝廷担心这两方面会联合叛军，如果太原等地都被叛军拿下，将十分不利于己。那好端端的，两人怎么会被杀呢？李国贞死的相当冤枉，由于郭子仪从前治军很宽松，而李国贞则比较严厉（怀疑，能有李光弼严么？只是手段不如罢了），朔方将士很不高兴，又想起郭子仪来。再加上朔方军粮草不济，李国贞向朝廷请求了很多次，但是都没有回复，所以士兵们都不高兴。这时谋图作乱的王元振声称李国贞要让朔方军去修理民房，更引起了大家的愤怒，于是发生变乱，李国贞说“修宅则无之，军食则屡奏而未报，诸君所知也”，可是众人不听，说现在说这些还有什么用，便把李国贞、还顺带着一个荔非元礼都杀掉了，之后白孝德出任节度使。而邓景山可以说也是死于粮食，他管理的比较严格，查出来府库里的粮食之所以越来越少，是因为大家都自己藏了一些，所以人们都害怕会受处罚。当时又发生了一件事，就是一名副将按罪当死，他自己求饶，邓景山不答应，他弟弟又请求代替哥哥而死，他也没答应，结果大家请求用一匹马来赎罪，邓景山居然答应了，自然惹得大家不高兴：“我们还不如一匹马吗？”于是邓景山也被杀了。接替邓景山的是辛云京。可是无论是白孝德还是辛云京，一时都无法弹压住局势，而朝中能去弹压的“闲人”就只有郭子仪了，肃宗实在没有办法，按史书的话讲，就是“势不获已”，所以任命郭子仪为“朔方、河中、北庭、潞、仪、泽、沁等州节度行营兼兴平、定国副元帅，充本管观察处置使，进封汾阳郡王”，出镇绛州。三月十一日，郭子仪即将出发，想向肃宗辞行。当时肃宗病的很厉害，大臣们都不能前去晋见，郭子仪请求说：“老臣受命，将死于外，不见陛下，目不瞑矣。”肃宗便将郭子仪召进去，对他说：“河东的事情，就全都托付给你了。”
郭子仪到了绛州，解决李国贞被杀之事。郭子仪到后，王元振自以为有功，就请求郭子仪不要惩治他，但郭子仪说：“汝临贼境，辄害主将，若贼乘其衅，无绛州矣。吾为宰相，岂受一卒之私邪！”因此，郭子仪把王元振及其四十个同谋抓起来全部杀掉了。听说这个消息，辛云京也放手来处理变乱，杀掉了杀死邓景山的几十个人，局势这才平稳下来。
四月间唐代宗即位，由于鱼朝恩、程元振都比较忌讳郭子仪等有功之将，所以八月郭子仪还京后，表请辞去相关危险职务，代宗也便顺势免去他的军权，然后又一次束之高阁，不过这回代宗又他加了个官，山陵使，就是给皇帝修陵的。通鉴于此处与《旧唐书》稍有不同，《旧唐书》的意思像是代宗一上来便免去了他的军权，但通鉴记七月郭子仪又被任命兴平、定国副元帅，与三月的任命是一样的，疑为衍误。十月，代宗任用雍王为元帅，本来又想以郭子仪为副元帅，但由于鱼朝恩、程元振的缘故而取消。此时距安史之乱的结束已经很近了。
安史之乱后，郭子仪多次进言说：“吐蕃、党项不可忽视，应当及早防备他们。”代宗也没怎么注意，后来吐蕃果然来侵犯长安。有人来犯，边将告急，可是朝中代李辅国任元帅行军司马的程元振却把所有告急文书压下，根本不向代宗禀报。十月，吐蕃军队进犯泾州，刺史高晖投降，又做了吐蕃军队的向导，引导他们深入内地。吐蕃军队经过邠州时，代宗才终于得知吐蕃入寇的消息。很快，十月初二，吐蕃军队进犯奉天、武功，离长安已经很近了，于是京师大恐。仓促之下，代宗任命雍王李适为关内元帅，郭子仪为副元帅，出镇咸阳以抵御外敌，可见长安中留下一个将军是多么有用。可怜郭子仪闲居已久，部下早就都离散了，这时临危受命，只好临时招募，征到了二十名骑兵就匆匆启程了。到咸阳时，吐蕃率领吐谷浑、党项、氐、羌等各族军队总共二十多万人，漫山遍野，前后达数十里，已经从司竹园渡过了渭河，顺着山脉正向东涌来。无论如何这二十人是抵挡不住的，郭子仪便派人入朝奏报军情，请求支援，结果又被程元振拦下了。虽然有渭北行营兵马使吕月将的两番对抗，但最终也没能挡住吐蕃——吕月将很值得钦佩，他所部也只有二千人，明知怎么也挡不住，仍然拼死作战，最后全军覆没，吕月将本人被俘，后来就再也没有消息了，或许被杀了？不知道，但吕月将和他手下的士兵们很值得哀悼一番。
长安城中，代宗正在操练军队，但是吐蕃已经跨过了便桥，说话便到。代宗不知所措，只好于十月初七逃往陕州，当初玄宗出逃的情景又生动的再现了一次，官吏们躲藏起来，禁军则一哄而散。但好在大家都有了经验，而且和上一次不同的是，吐蕃重在抢掠，不一定要占领，所以躲过一时便好。听到吐蕃到长安的消息，郭子仪急忙从咸阳赶回来，到长安的时候，代宗已经走了。有句话是“来的早不如来的巧”，代宗走的时间也是很巧的，他刚出宫苑大门渡过浐水，叛降吐蕃的射生军将领王献忠就返回长安了，胁迫着丰王李珙等人去迎接吐蕃军队。当他们走到开远门时，遇上了郭子仪。郭子仪大声呵斥，王献忠跳下马来，跟郭子仪说：“主上东迁，社稷无主，令公身为元帅，废立在一言耳。”郭子仪听事没有回答，李珙又上前问：“你为什么不说话？”郭子仪很清楚形势，所以断然否决，训斥了他们一番，然后派兵把他们送到代宗那里。第二天，代宗一地到了华州，由于州府的官吏早就逃散，没有人来提供食宿，所以和当年玄宗一样的惨。幸好鱼朝恩带着神策军从陕州前来迎驾，代宗才有了安身之地。
于是郭子仪收敛人马，勉励将士们共雪国耻，攻取长安。这时代宗因为担心吐蕃军会东出潼关，所以召郭子仪去陕州。郭子仪上表说：“我若不收复长安，就无法来见陛下。而且我出兵蓝田，吐蕃军一定不敢向东出击。”代宗表示同意。吐蕃这时已经立广武王李承宏为皇帝，想掳掠一番之后整队回国，结果听到百姓传言郭子仪要打回来的消息，信以为真，开始率军撤退。这一次吐蕃入寇，在众节度使都不敢轻易来救援皇帝的情况下，只有郭子仪勇于挑起重担，并且立下克复之功，所以从此代宗十分倚重他。
接着便赶上仆固怀恩的反叛，又是郭子仪去平定的。郭子仪在朔方军中素有威望，所以他一出马几乎就是不战而屈人之兵。后来仆固怀恩两次诱吐蕃攻打长安，第二次他骗吐蕃和回纥人说郭子仪已被鱼朝恩害死了，而代宗也已逝世，所以这些人有恃无恐。不想回纥人在泾阳居然又看到了一个活蹦乱跳的郭子仪，大惊失色，“怎么你原来还活着？”郭子仪说：“昔回纥涉万里，戡大憝，助复二京，我与若等休戚同之。今乃弃旧好，助叛臣，一何愚！彼背主弃亲，于回纥何有？”责备他们背信弃义，回纥人很诚实，说本来听仆固怀恩的话，以为郭子仪和代宗都死了，所以才敢来，否则，“何至于此？”然后请求和郭子仪见面。郭子仪力排众议，只带了数十骑兵前往，比演义里关公的单刀赴会差不了多少。正是郭子仪的威望和这份气魄胆量，很令人折服，所以宴会上郭子仪说动回纥与唐结好。吐蕃人听说这件事，怀疑回纥会与唐联手来攻打自己，所以连夜就逃了，果然在路上遇到了唐军和回纥军，本想大抢一番的吐蕃，不但白抢了一回，自己也搭上了不少东西，而且还被打的大败，如果仆固怀恩还活着，吐蕃人一定和他算帐。
代宗时期，郭子仪以七十多岁的高龄居然担当起了朝廷的顶梁柱，实是辛苦了老人家。德宗即位后，郭子仪又被德宗免去了军权，然后又做了代宗的“山陵使”，尽管军权又没了，但地位仍然不断攀高，此前代宗曾想任他为尚书令，郭子仪很知趣的辞掉了，这回德宗加封他为太尉、尚书令，而且尊号为“尚父”。但郭子仪毕竟年岁太大了，这位经历了玄、肃、代、德四朝的老将军，于建中二年（公元781年）病逝，时年八十五。当时“帝悼痛，废朝五日。诏群臣往吊，随丧所须，皆取于官。赠太师。陪葬建陵”，赐谥忠武。
郭子仪是善始善终，满门富贵，即使程元振、鱼朝恩对他百般诋毁，最后的影响也只限于夺去军权，而于他身家性命却毫无伤害，原因是，“书一纸征之，无不即日就道”。招之即来，挥之即去，毫无脾气，这是皇帝最理想的大臣，所以最终皇帝哪怕真对他起了疑心，也仍然会释然。但郭子仪可以没脾气，但他活的也并不轻松，身居高位，又有这么大的威望，如稍有差错，那几十年的英名就付之东流了，不过，郭子仪最惦念的该是自己的子孙吧，他怎么也要为他们考虑。郭子仪有一个儿子郭暖，娶了代宗的女儿升平公主——我想大家一定想起了打金枝之类的戏曲，不错，戏曲正是由历史而来，不过新旧唐书却是找不到，不知通鉴是取自哪个笔记？出处倒也不必计较，但这件事对郭家来讲，真是虚惊一场。郭暖和公主赌气说的话“汝倚乃父为天子邪？我父薄天子不为！”确实比较容易惹麻烦，所以郭子仪当时吓得把他囚禁起来，自己上皇宫里请罪，幸好遇上还算是比较开明的唐代宗，说了一句“不痴不聋，不作家翁”，然后又劝解了一番，如果遇上一个不讲理的皇帝，郭家只怕有灭门之�