失去了恢复华北势力范围的机会。于是，张学良毅然倒向蒋介石一边，出兵关内。9月21日，东北军占领天津。26日，进驻北平。至此，平津、河北的政权遂被东北军全部接收，东北集团的势力一下子扩展到华北，成为全国最大的地方实力派。
10月9日，张学良在沈阳宣布接受蒋介石的委任。蒋介石为了使张学良更好地为自己卖命，于11月特邀张学良到南京参加三届四中全会，并推之为中央政治会议委员。1931年5月，张学良第二次到南京出席国民会议，由浦口过江时，江上军舰与狮子山炮台礼炮齐鸣，国民政府军政大员群集下关迎接，满城张贴“欢迎拥护中央，巩固统一的张学良将军”、“欢迎维护和平效忠党国的张副司令”的标语。张学良被推为国民会议九人主席团之一，两次主持会议，摄影时与蒋介石并排立于前排中央。蒋介石还邀请张学良阅兵、训话，张学良离京时，蒋介石亲自到机场送行。蒋介石的盛情感动了张学良，他表示：“学良誓尽精诚，以拥护中央，完成和平统一，虽牺牲生命，亦必完成此志。”
就在张学良帮蒋介石翦除异己之时，日本帝国主义于1931年7月制造了长春“万宝山事件”，唆使盘踞在河北邢台地区的军阀石友三叛乱。张学良当即命部队迎头痛击，彻底击败叛军。8月，日军又制造“中村事件”，企图借机寻衅。对此，张学良连连向蒋介石请示机宜，但蒋介石却于8月16日电令张学良：“无论日本军此后在东北如何挑衅，我方应予不抵抗，力避冲突。”由于张学良对蒋介石的不抵抗主义深信不疑，因此，他将蒋介石的命令转告东北各军政长官，要他们一体遵守，还不时下达指示。
1931年9月18日子夜，日军胡说中国兵扒了一段南满铁路，并以此为借口悍然出兵进攻沈阳。张学良听此紧急情况后，当即用电话向东北军下令：“有抵抗者、开枪者，枪毙，这是蒋委员长的命令。”所以，日军如入无人之境，占领了沈阳，并在前后不到142天的时间内，使东北三省全部沦亡。
“九一八”事变后，日本轻易地夺去了我国130万平方公里的土地，3000万东北人民从此处于水深火热之中。张学良本人也蒙受了极大的损失，不仅丢了10多万人的部队，而且还替蒋介石背上不抵抗的黑锅，被人嘲笑为“不抵抗将军”。从此，张学良失去了东北地盘，政治上相对独立、雄据一方的局面也消失了，其势力受到了极大的削弱。
1931年12月15日，由于失职和全国舆论的谴责，张学良至电国民政府，表示“守土无状，万死不足以蔽辜”，请辞海陆空三军副总司令职。国民政府照准，改任他为北平绥靖公署主任，坐镇华北。
1932年8月，张学良被蒋介石任命为军委会北平分会代委员长。当时，伪满洲国成立不久，日寇的侵略矛头又指向了热河、北平、天津，企图占领华北。张学良决心用热血贯彻抵抗，保卫祖国，洗刷自己和东北军不抵抗的恶名。1933年元旦，日寇进攻山海关，张学良命令东北军何柱国部奋起还击，就此揭开了长城抗战的序幕。2月21日，日本关东军以锦州为基地，开始进攻热河。由于蒋介石继续执行妥协投降政策，前线的将士军心涣散，毫无斗志，张学良的作战部署无法贯彻下去。日军只用了13天的时间就占领了热河。
热河失守，全国舆论大哗，愤怒谴责国民党政府，也谴责张学良。3月8日，张学良即致电南京引咎辞职。电文说：“自东北沦陷，效命引间，原冀戴罪图功，勉求自赎，讵料热河之战，未逾旬日，失地千里……戾愆丛集，百喙莫辞……”。张学良原以为蒋介石会挽留他的，在电文发出后，还对左右说：“我要亲自率领刘多荃的精锐部队和全部东北军与日寇一拼，誓死收复热河。”没想到，蒋介石3月9日从江西剿匪前线赶到保定对他说：“现在全国舆论沸腾，攻击我们两个人，我与你同舟共济，若不先下去一人，以息全国愤怒的浪潮，难免同遭灭顶。”就这样，张学良再次充当了蒋介石的替罪羊。
回到卧室，张学良伏枕大哭。三年后，张学良在西安对人说了他当时的心情：由于全国人民抗日，中央军也北上参战，他非常兴奋，以为蒋介石要决心抗日了。“哪知保定见蒋委员长，不谈抗战，反而逼我下台，所有以前的热情支持，不过是诱我上圈套，好逼我下台。这是日、蒋合演的把戏而已！”“有谁较为善良，或者让人稍微喘口气呢？毒害是一样的，如果定要加以区别，那就是蛇比虎更狠。因此，我回到车厢，就闷倒在我的床上，号啕大哭。”
3月9日，张学良回到北平，对一亲信说：“中日问题，蒋先生以和为主，还不知道演变到什么地步。人骂我不抵抗，我也不辩。但是下野后，天知道我这不抵抗的罪名要背到哪天呢？”并要对方给他查出林肯说的三句话：“你可欺骗全体人民于一时，或欺骗部分人民于永久，但不能欺骗全体人民于永久。”看来，张学良总算对蒋介石有了一点了解，可惜，远远不够。
3月11日，张学良通电下野。4月，被罢官出国。出国前，他先到上海戒毒。张学良大约从1925年开始吸鸦片，后因庸医用吗啡戒鸦片，以致毒瘾更深。经过两次挫折，张学良深知不戒毒，不仅无法复仇雪耻，并将中毒而死。因此，为戒毒，他把手枪放在床边，并命令左右侍从：“无论我如何痛苦呼喊，你们也不准给我打针，谁要是胆敢走近我的床头，我就立即一枪把他打死。”大约经过半个月的艰苦努力，张学良终于戒除了这多年的恶嗜。戒毒不仅使张学良身体健康，也使他的政治生命有了转机。
1933年4月10日，张学良一行从上海出发赴欧洲考察。他先到西欧，着重了解德、意法西斯的一套办法。他也打算去苏联了解社会主义国家的情况，但因“中东路事件”的影响，苏联拒绝他入境。
1934年1月，蒋介石将张学良从国外召回，令其指挥东北军参加第五次“围剿”中央红军的行动。
本来，张学良这次回国只是一心想抗日，不想参加任何内战，正如他的《自述》所说：“归国当时之志愿：一本想为一超脱军人，不再统率东北军，为私情所累和他们保持超然关系，以备将来抗日也。二不希望参与任何国内战争。”东北军的许多高级将领也反对东北军参加内战，不同意张学良充当打内战的司令。但是，张学良回国后结合从欧洲得来的一些体会，思想却发生了变化。张学良认为：“日寇侵略野心很大，我们国家正处在危急存亡时刻。日寇为什么敢于大胆地侵略中国呢？就是因为中国不统一，要统一就必须大家都拥护国民政府，拥护蒋委员长。我在德国作了考察，他们就是由于全国有严密的组织，有大家拥护的领袖，所以才富强起来的。我们中国也要走这条道路才能富强，才能抵抗日寇的侵略。”他还认为，尽管有人批评蒋介石“为人私欲过重，缺乏忠诚，不足以为民族复兴的领袖”，“但环顾当前人物，在政治上、军事上真能领导全局者，除蒋先生外又有何人”？因此，张学良决定继续拥护蒋介石为领袖，容许他有个试验的机会。出于这一思想，张学良对蒋介石“攘外必先安内”的反动政策也就全盘接受。他对部下说：“现在外有强敌入侵，内有共产党捣乱，要求国家真正统一，必须先消灭共产党，委员长的先安内而后攘外的政策是绝对正确的，我们为挽救国家危难，收复失地，只有拥护委员长，贯彻委员长的国策。”
1934年2月，张学良出任鄂豫皖三省“剿匪”副总司令，代行总司令职务，驻节武昌。他从东北军抽调了八十多个团的兵力，围剿鄂豫皖根据地。可是，他们被徐海东领导的红25军打得落花流水，围剿计划失败。1934年底，红25军向陕北进行战略转移，蒋介石电令张学良继续围剿红军，否则以“纵匪抗令论罪”。1935年2月，蒋介石撤消鄂豫皖三省“剿匪”司令部，成立军事委员会武昌行营，张学良任主任。4月2日，国民政府授张学良为一级陆军上将。从7月起，张学良经常来往于武昌与西安之间，进行围剿红军的准备工作。10月，蒋介石
任命张学良为西北“剿匪”总司令部副司令，并代理总司令职务。
最初，张学良和东北军对进攻革命根据地还是很卖力的，指望通过围剿的胜利取得蒋介石的信任，从而扩充势力，以便有朝一日打回东北老家。1935年9月，张学良指挥10万之众，向陕甘革命根据地发起第三次围剿，结果在不到两个月的时间内，东北军被人数和装备远远逊于他们的红军打得落花流水，损失了两个半师的兵力，两名师长阵亡，两个师参谋长、六个团长非死即俘。这样惨重的损失在东北军历史上是非常罕见的，张学良受到了极大的震动。
1935年10月末，张学良到南京参加国民党四届六中全会和五全大会。本来，蒋介石曾宣布过，因打红军而遭受损失的部队优先补充。但这次张学良到南京，蒋介石对他剿共失利不仅没有任何安慰的表示，反而由军政部长何应钦出面下令撤销张学良的两个师番号，停饷，连张学良请求对两个师长每人发10万元特恤金的要求也被驳回。这对张学良是个沉重的打击，使他愤懑异常。张学良痛定思痛，思想上开始有所转变。
国民党五全大会结束后，张学良来到上海，会见了爱国人士杜重远和义勇军将领李杜。杜重远给他分析形势，着重谈了联合战线和抗日救国的问题，指出：“东北军能攻善战，应当用于抗日疆场，日寇并不可畏，真正可畏的是一个民族丧失了气节；只有抗日，东北军才有前途，你个人也可以有荣誉；东北军现在陕甘，正应当联合共产党、杨虎城和盛世才共同抗日。”张学良非常赞同杜重远的意见，感叹自己受了“攘外必先安内”政策的愚弄，表示决心今后退出内战，高举抗日旗帜。
正在这时，“一二·九”运动爆发。共产党坚决抗日的主张，剿共作战的失利，全国炽热的抗日气氛和杜、李二人的忠告，使张学良更加坚定了自己的认识，剿共只有死路一条。只有联共抗日，他个人才能在全国人民面前一洗前罪，东北军才有出路，中华民族才有希望。于是，张学良开始积极要求与共产党建立联系。
1935年底，张学良回到西安。他首先同驻守西安的西北军即第17路军将领杨虎城将军会晤，就停止内战、联合抗日的问题进行了磋商。由于杨虎城早就同共产党有联系，于是双方不谋而合。
1936年3月20日，张学良同红军代表李克农在洛川进行了会谈。双方就联合抗日问题进行了初步商谈，达成了局部停战的协定。这是张学良与共产党和红军的第一次接触，双方相互了解了对方的态度，意义非常重大。此次会谈，标志着张学良从此走上了联共抗日的道路，是他一生中最重要的转折。
4月9日，张学良与周恩来在延安进行正式会谈，共商抗日救国大计。两人一见面，就热情地握手。周恩来说：“我是在东北长大的，1910年到1913年秋在沈阳读书。”张学良说：“我了解，听我的老师张伯苓说过。”周恩来很奇怪，问张学良：“怎么