可是，杨鉴却不舍得放弃这个优职，他见宰相时，只谦逊了一番，并未认真辞谢不受。回家，他告诉父亲，宰相不许辞职。
这使杨玄璬为之气结。
这是天宝二年的初冬，十月新寒，杨玉环偕皇帝去了骊山。骊山，自天宝元年起，建筑了一所新宫殿，祀天神的，宫殿很巍峨，有高楼，为长生殿。但是皇帝另外为之立了一个名字：集灵台。因为宫中的寝殿通常呼为长生殿或长生院，以前，祀神的宫殿也称长生殿，两名相同，李隆基加上集灵台以为分别。
集灵台长生殿是道教的，没有太多的戒忌，杨玉环常常在祀神的新宫殿中游乐，她对父亲的病无所知，对哥哥升官很高兴，她曾代表哥哥向皇帝致谢。
这回在骊山，由于杨玉环贪玩不肯回长安，住了三十八天之久。
朝臣中有人记录下这一次皇帝避寒骊山，有“上乐而忘返”之语，这自然是因于杨玉环才乐而忘返的。杨玉环曾经顾全一个皇帝的现实，但她又时常会任性。这回，她任性了。有人向皇帝进言，不宜在骊山宫留得太久。杨玉环也知道了，她很不高兴，向告知这一件事的皇帝说：
“三郎，有时，你大可不予理会，在骊山，你也一样治事的啊！一个人做了皇帝，一年忙到头，玩一个多月也不可以吗？何况这又不是完全玩，对不？”
皇帝望着她期期地笑，说出：“很是，很是！”
“那些人要多事，由他们去，我们一过了年，再去骊山，看他们怎样！”她发着稚气的牢骚。
皇帝又笑着说：“很是，很是！”而这一回，杨玉环发现了皇帝的“很是，很是”，只是敷衍自己，于是，她嗔了，哼了一声，命人去找时日卷来。
“找时日卷来做什么？”皇帝笑问。
“选日子。过了年，哪一天是好日子，我们再上山去！”她说着，皇帝正要接口，她抢着说：“很是，很是！”
于是，皇帝大笑，捏住了她的双手，再说：
“不必急，现在离过年还有半个月哩！”
“我要先行选定日子，不行吗？”她还是有些气恼。
大唐皇帝接受了——杨玉环自己选定了年初六，辛丑日，那是利于行的好日子。她请皇帝预定年初六上午发驾赴骊山，皇帝也答应了下来。
这是她偶然使一次性，皇帝以为很有趣。
进入用天宝年号的第三年，皇帝把年字改为载——称为天宝三载。
年初六，他们又上骊山去了。
对杨玉环来说，这个新年是很有趣的，他们上山的日子，好太阳，天气不大冷，但到骊山的第三天，气候变了，大雪，一夜间，山谷间除了温泉区之外，铺满了白雪，她在积雪上和谢阿蛮同舞。
谢阿蛮的技艺的确很高，她的脚浮陷雪中，但仍能使身体平衡，每次一个脚印，在雪地上留下的痕迹很匀称。至于杨玉环，却无法做到，她好胜，努力学样，终于，她滚跌在雪中，而看她们做雪上舞的皇帝，因杨玉环的滚跌而大乐。
随后，皇帝也冒寒出动，和杨玉环等人堆雪人，他们发动以百计的宫女和内侍堆雪人。
宫廷在欢乐中度新年，朝廷却在人事倾轧中。
先是，在去年底，皇帝准许道士吴筠还山，有一笔相当丰厚的赏赐，正月初，他走了。随驾在骊山的李白，情绪为之低落。接着，秘书监贺知章受到暗暗的压力，自觉再做下去不会讨好，在皇帝批准吴筠还山之后，他由长安城上山，想乞求退休。以他的年龄而乞退休，也很合理的。
皇帝和杨玉环在集灵台长生殿，贺知章是老于官场人事和深知皇帝的性情的，在集灵台内，他灵机一动，把原来请求致仕的方式改变——那是从杨玉环的衣饰而引起的。这一天，杨玉环为了好玩，又着上她平时最厌恶的女道服，自称集灵台主。
贺知章就在谈笑间请求皇帝的恩典，度自己为道士。皇命度一个人为道士，由皇家供奉，待遇很优厚，退休，虽然仍然可得一半俸禄，却比做道士差得太远了。为了现实，他有需要，再者，他又认为，自己请求度为道士，比请求致仕来得好，皇帝必不会起疑。
“贺卿，你这年纪，真还想做道士？”皇帝轻松地问。
“陛下，女道士宜年轻，男道士，似乎是年纪老一些的好——”他说着，转向杨玉环一揖，“还请妃子勿介意！”
贺知章的话说得很风趣，皇帝点点头，连连说好。
皇帝以贺知章为老臣，历事三代四帝，给予特恩，许以贺知章的住宅为千秋观，并命举行送行典礼。
当晚，贺知章把自己请求度为道士获准的事告知了李白——这使李白为之错愕不已。
隔了两天，欢乐中的皇帝接到了杨玄璬病中的上表。这是一封特殊的陈情，除了久病乞休之外，并且缕述杨氏家族四世族系，声言本族以长房作为代表，四世以来，俱皆依长房之制承袭财产等等。在这一段之后，杨玄璬才说明叙述世系之原因，以椒房之亲，宜正谱牒。
这表文很突然，李隆基错愕着。倘若是旁人所上，或者会有讽刺皇家的意思，李隆基本身并非长房，但皇帝明白杨玄璬不会作这种无聊的讽刺。再者，他对年纪并不大的杨玄璬的病，也有所疑，因为杨玄璬因病辞官，已不止一次。
他没有将这事告知杨玉环，也不曾处理事件，他命内常侍偕两名御医同往探疾。
这是恩命，一般大臣也不易得的。
杨玄璬这回的病是真实的，御医回奏了之后，皇帝终于告知玉环。她不便说自己的家事，请求皇帝于回城后，让自己和哥哥见一次，皇帝自然答允了。
不久，大唐皇帝的老臣，以正三品太子宾客衔，官从三品秘书监的贺知章，一获皇帝准许，就上表告以回乡的日期，于是，皇帝颁下特诏，命太子率六卿庶尹大夫人饯行。
这是大唐皇帝历史性的盛典，皇帝本人，先作了一首诗，又附了序文，如下：
“天宝三载，太子宾客贺知章鉴知止足之分，抗归老之疏，解组辞荣，志期入道，朕以其年在迟暮，用循挂冠之事，俾遂赤松之游。正月△日，将归会稽，遂饯东路。乃命六卿、庶尹、大丈、供帐青门，宠行迈也。岂惟崇德尚齿，亦励劝人，无令二疏，独光汉册，乃赋诗赠行：
遗荣期入道，辞老竟抽簪，岂不惜贤达，其如高尚心；寰中得秘要，方外散幽襟，独有青门饯，群僚帐别深。”
（注：全唐诗及纪，唐玄宗此诗序中谓“天宝三年正月五日”，有误，天宝三年，年初一改年为载，玄宗皇帝自己不会再用年字。又正月五日应亦有误。是年正月初六日驾幸骊山，至二月初五庚午始还都城。而饯送贺知章实分作两次，宋蜀本诗序未系日期，依之。）
接着，皇帝于宫内赐宴，饯别，并命预宴的人都作诗赠别，名满天下的大诗人李白，在情绪低落中，草率地写出一首“送贺监归四明应制”的诗。
接着，贺知章离开长安，由太子李亨主持，有一个盛大的送行宴会。八十五岁的贺知章，自女皇帝证圣元年中进士入仕，在官场中经历了五十九年，终于离开了大唐的皇都而回到江南的会稽故乡去。
他身体依然健康，近年，由于李林甫的当权，连贺知章也受到无形的排挤，他离开，是有着依依不舍的。而在近十年间，他的作风也有改变，在生活上狂恣，不再在政治上求进取了。实际上，他并不是文学上的才人而是政治家。早在开元十三年时，他就同时就任礼部侍郎和集贤学士，当时人认为无比的荣宠，宰相源干曜当时有意引他入相的，但首席宰相中书令张说，虽然是提擢贺知章的人，又不愿这位有锋芒的才人入相，只称赞他的文才。提高贺知章在文华上的地位，列为清高人物，另引李元纮为相。从此，贺知章转了几次官，都在清高部门，有一次转为工部侍郎，算是失职而降级，随后又很快起来，以太子宾客的荣衔而官秘书监。他自知拜相无望，年纪又大了，在人们排挤中，趋向狂放，即使这样，在八十五岁的高龄，还是自请做道士而离开。
李白赶到饯行宴，在惆怅中狂饮而送酒中八仙中列首席的朋友，然后，他唱出了下面二十八个字：“镜湖流水漾清波，狂客归舟逸兴多，山阴道士如相见，应写黄庭换白鹅。”
别了，一个集团的首领离开了长安城。
贺知章在秘书监任而兼内职，总是控制皇帝部分机要事务的，他利用自己的地位，也引进四方的才人，使入翰林或其他机构，在朝臣中，他是一派的领袖，显贵如李适之，名望极大的李邕，还有不少有名的文士，和贺知章合在一起，这对李林甫行事是有牵制性的。如今，贺知章这位领袖一走，他的集团等于散了，贵为左相的李适之，没有领导一群人的才能。
这些事，在长安虽然成了议论的中心，但是，宫中的杨玉环却全不着意，当贺知章退休而归去时，她在内宫和做秘书少监的哥哥相见了。
她直率地向哥哥说明了自己在宫中的地位，她表示：皇帝会在适当的时间立自己为贵妃，同时，也会对自己的家人有封赠，她要求兄长向父亲说明，求取谅解。
杨鉴处身在夹缝中，他很痛苦，但他又不能不将父亲的意思说明，他告知妹妹，父亲呈明家世，以长房为主，就是为了避免本身受封爵，如果皇帝有封赐，父亲必然会不惜一死而辞，同时，他又表明父亲辞官的决心。
她又为此而愁，喃喃地说：
“大人只是小小的国子司业，和你的地位相等，而且还不及你的官位重要，为什么要这样呢？”
“玉环，大人原也不许我出任秘书少监的——”杨鉴痛苦地说，“他已谢绝了好几次封官……”
她缄默了，稍后，喟叹着说：
“大人原来是热中做大官的，我知道，这只是为了我的缘故。我本可以回家探父，皇上一定会答允我的，但我不敢，哥，那怎么办呢？让父亲辞官，又不好——”
“大人有病，那是事实，但据我想，你如为贵妃，爵封给予已故的大伯父，大人可能不会感受太大的刺激！”
“哥，这是不可能的，我如果为贵妃，封赐，第一是予生父，已故的大伯会有追赠，二伯父也会有一个爵衔的，封赐不及生父，依照体制是不合的！”
“玉环，大人目前的官职，再拖延下去大约无妨，他不去上班，也不会有人说话。可是，如封赐及于大人，那真会出些事，大人的性情你总知道的，他是儒家！”
她无法可想了。杨鉴和妹妹默默相对了一些时，告诉她：从妹花花丧夫，有儿子，又承受了夫家的大财产，此外，杨鉴又说到再从兄杨钊，在巴蜀做官，渐渐有了声名。他说出：花花曾以资力济助杨钊。
她为花花的丧夫而叹息，对于隔一族的堂兄杨钊的事，她完全不关心，因为，她本家的事就够烦了。
李隆基原想在天宝三载的春日册立杨玉环的，当杨玉环把父亲的反应坦率地告知皇帝时，皇帝被迫只能将这一事暂缓下来，皇帝为此而心情不好，于是，有一连串的事故发生了。左补阙兼东宫侍读薛令之，多年未有升迁，在壁上题了一首诗表示心情，皇帝到东宫巡视时看到了薛令之题诗的最后两句“无以谋朝夕，由何保岁寒”，很不高兴，他命