但既然最终还是要扩大战争，侵华日军就不想等得太久。华中方面，第13师团开始向凤阳、蚌埠进攻；华北方面，日军第2军下达了向大运河进攻的命令。至1938年2月上旬，南线日军攻占巢县、蚌埠，企图北渡淮河；北线日军攻占青岛、邹县，并继续向南推进。日军的战略意图已很明显，即发动徐州会战，打通津浦路，以使华北、华中日军连结起来，进而向西推进。
中国军队驻防徐州的是李宗仁的第5战区，任务是担当津浦路的防御战，防守区域北至济南黄河南岸，南达浦口长江北岸，东自长江吴淞口向北延伸至黄河口的海岸线。李宗仁认为：淞沪战事一旦结束，津浦线必然是日军攻击的下一个目标，因为这样日军才可能清除右侧面威胁，然后西侵；而从我方来说，如果能在津浦线上将日军拖住数月，使武汉后方有充分时间重彩部署，则抗战还可以继续，如果我军在津浦线上迅速败退，日军则可一举而下武汉，囊括中原，使我方无喘息机会，抗战前途将不堪设想。
第5战区成立时，可用兵力不足7个军，而且多为“杂牌部队”，津浦线处于日军南北夹击中，且日军随时可以自海州、青岛登陆，7个军的兵力难以应付。在离开南京的时候，李宗仁向蒋介石陈述了防御津浦线的兵力问题。蒋介石答应京沪（南京至上海）线上撤往江北的部队，都归李宗仁节制。显然蒋介石也准备在徐州地区与日军再战一场。
针对日军南北夹击的态势，李宗仁制定了主动反击，南守北打的战略方针，对于在山东的日军，进行一系列的反击战，同时设法守住淮河以南的防线。
血战台儿庄：日本现代军队的第一场大惨败狂妄的坂垣、矶谷师团
日本华北方面军极欲扩大战争，尤其是西尾寿造的第2军。1937年底，日本大本营准许华北方面军总司令寺內寿一派遣华北方面军渡过黄河进攻山东半岛，寺內寿一下令由西尾寿造指挥日本的两支“钢军”，第5、10师团承担这一任务。
第5师团师团长坂垣征四郎和第10师团师团长矶谷廉介，是日本士官学校的同学，交情深厚，又爱互争锋芒。这两个师团同为日军中最顽强的部队，军官士卒受侵略主义毒素的影响最深，发动“二二六”政变的日本少壮派，几乎全在这两个师团之内。
日军12月23日由青城、济阳间渡过黄河。负责指挥津浦线北段防御任务的第9战区副司令长官兼第3集团军总司令韩复榘抗战意志不坚定，竟率所部两军，舍弃津浦路，向鲁西南撤退，以致我方津浦路正面大门洞开。27日日军不战而克济南，而后分兵两路，第10师团沿津浦铁路南下，第5师团由青岛沿胶济路西进，形成一个钳形攻势。
韩复榘败退使山东作战的日军认为，中国军队的战斗意志已经崩溃，蒋介石失去了号令部队作战的权威。这更加助长了日军第5、第10师团求战冒进的心态。这两个师团协力并进，与南京北犯的日军相呼应，大有一举直捣徐州，攻占第5战区指挥部的气慨，根本就不相信中国军队会认真抵抗，更别提是否会发生孤军深入，而受到中国军队包围的问题。尤其是第5师团，在平型关等地受到我军痛击，复仇求战心态更甚。在得到大本营南进攻击的命令后，立刻率军往南猛攻，进迫临沂。
临沂为鲁南军事上所必争的重镇，得失关系全局。当时驻守临沂的庞炳勋军团，实际只有5个步兵团，实力不及一个军。这支“杂牌部队”与号称“大日本皇军中最优秀的坂垣师团”在临沂大打了起来。敌以一个师团的优势兵力，并附属山炮一个团、骑兵一个旅，向庞部猛攻。庞部据城死守，致使日军数日夜的反复冲杀，竟不能越雷池一步。
正在庞炳勋部激战临沂时，张自忠第59军奉命增援。日方估计，第59军最快也要三天才能赶到临沂。但是张自忠部急行军，竟然能够在一日一夜之内，于3月12日黄昏提前赶到临沂郊外。这时敌军攻城正急，第59军在在敌方完全没有预备情况下，猛攻日军第5师团背侧，临沂庞炳勋部见援军已到，士气大振，开城出击。两军内外夹攻，坂垣师团不支，仓皇撤退。庞、张两部合力穷追一昼夜，敌军无法立足，一退90余里，缩入莒县城内，据城死守。当时日军以100多辆卡车，满载阵亡日军尸首奔逃，但沿途仍然遗留不少死尸。坂垣师团在临沂之战中被歼3个联队，第11联队长长野裕一郎大佐、弁田中佐和1名大队长被击毙，在平型关之战后，再遭败击。
临沂一战，击破了日军第5、第10师团对台儿庄的钳形攻势。但沿津浦线而下的矶谷师团，仍在不断向南突进。3月16日，敌第10师团一部进攻滕县。守卫滕县的第122师师长王铭章亲自督战死守，血战三昼夜，终为敌攻破，师长王铭章以下官兵2000余人壮烈殉国，至为惨烈。滕县死守，延缓了日军南侵日期，使汤恩伯、孙连仲等部能及时赶到台儿庄参战。李宗仁评价：“若无滕县之苦守，焉有台儿庄之大捷？台儿庄之战果，实滕县先烈所造成也”。
王铭章，四川新都人，1933年任师长，1937年率部出川抗日。先在晋东驰援娘子关，节节阻击日军，后坚守正太路南侧，徐州会战前率第122师进驻滕县。国民政府为表彰第122师抗敌事迹，特为该师立碑记功，并追授王铭章上将军衔。王铭章的灵柩经武汉、重庆、成都运到他的家乡时，沿途民众纷纷举行悼念祭奠活动。在武汉，国民政府举行了隆重的悼念仪式，蒋介石亲自参加了仪式，中共中央也派代表参加悼念会，毛泽东等联名敬献了挽联，挽联上写着：“奋战守孤城，视死如归，是革命军人本色；决心歼顽敌，以身殉国，为中华民族增光”。蒋介石也送了挽联，写着：“执干戈以卫家邦，壮志不还，拼将忠忱垂宇宙；闻鼓鼙而思将帅，国殇同哭，忍标遗像肃清高”。
日军第10师团是一支重装备的机械化部队，并拥有空军协同支援作战的能力，师团长矶谷廉介中将根本就不把中国军队放在眼里。在攻占滕县后，又攻克临城，这是日军大本营给华北方面军的南下禁止线。但是矶谷判断李宗仁部队不足，可以调动的部队已被坂垣师团吸引住，决心大胆深入，越过临城与枣庄一线，进而直捣徐州。所以他命令第10师团分兵两路，继续全速南下，一部攻占韩庄，主力于3月19日攻占峄县。占领峄县后，矶谷以濑谷支队为主力，向台儿庄推进，以图打开徐州门户。
血战台儿庄：日本现代军队的第一场大惨败李宗仁的口袋阵
台儿庄是徐州的门户，它位于徐州东北30公里的大运河北岸、临城至赵墩的铁路支线上，北连津浦路，南接陇海线，扼守大运河的咽喉，是日军夹击徐州的首争之地。但台儿庄周围本是平原地带，无险可守，正是敌人机械化部队驰骋之所，对于劣势装备的我国军队极为不利。
在临沂和滕县告急时，国民政府军事委员会命第1战区的汤恩伯集团和孙连仲集团星夜增援徐州。汤恩伯第20军团，辖2个军，即关麟征第52军和王仲廉第81军，共计5个师：郑洞国第2师、陈大庆第4师、张耀明第25师、张雪中第89师和张轸第110师，该集团军装备齐全，步兵一律捷克式步枪，另外还有重机枪、步兵炮、山炮等重武器，是中国军队的精华。孙连仲第2集团军下辖田镇南第30军和冯安邦的第42军，由于曾参加娘子关保卫战，损失颇大，实际可参加战斗的只有黄樵松第27师、张金照第30师和池峰城的第31师。
李宗仁的作战计划是，由善于防守的孙连仲军团在台儿庄构筑工事，布下袋形的防御阵地，而汤恩伯军团让开津浦路正面，诱矶谷师团深入；待台儿庄防御阵地发挥到最高效能时，由汤恩伯军团潜进南下，击敌之背侧，包围而歼灭之。
孙连仲在台儿庄的口袋阵地部署，是以第31师防守台儿庄主阵地，第30师与第110师在台儿庄以西，第27师与独立第44旅在台儿庄以东，分别建立阵地。
在这个口袋阵中，孙连仲部能否吸引日军深入，以及日军进入后能否抵挡得住其一波波的攻击，至关重要。如果不能诱敌进入，则达不到围歼的目的；如果敌军深入后，阵地被日军击溃，被日军攻克台儿庄，后果则更为严重，第5战区的整个局势将会一败涂地。而对于汤恩伯部来说，其责任在于收紧口袋，切断日军补给线，只要补给线被切断，进入口袋阵的日军战斗力则必下降，而我包围之军则可将其合击歼灭。
按李宗仁的计划，汤恩伯部在津浦线作微弱抵抗后，让开正面退入抱犊岗东南的山区，日军不出李宗仁所料，舍汤恩伯军团而不顾，尽其所有，沿津浦路临枣支线而下，直扑台儿庄。3月23日，日军由枣庄南下，在台儿庄北侧的康庄、泥沟地区与守军警戒部队接战。台儿庄战役正式打响。
血战台儿庄：日本现代军队的第一场大惨败血战台儿庄
3月24日起，日军反复向台儿庄猛攻，与守军展开激战。日军炮火异常猛烈，守军阵地每日落炮弹六七千发之多，炮轰之后，便以坦克为前导，向守军阵地猛攻。守军以血肉之躯与敌之炮火和坦克相搏斗，至死不退。日军猛攻三昼夜，冲入台儿庄城内，敌我遂在台儿庄内作拉锯战，开展逐街、逐屋争夺战。为争一间屋子，常常相持二三日，伤亡官兵二三十人；为夺一小巷，往往要牺牲一二个连或一二个营。日军几度增援，曾经控制台儿庄四分之三的地区，并一度准备渡过运河，冲向徐州。但我守军拼死不退，孙连仲下令守城部队，即使全员战死，也绝不能撤退。为整饬军纪，鼓舞士气，孙连仲将作战不力的右翼旅长侯象麟撤职，交军法处，将左翼某营营长张某，枪毙于阵前。
正当孙连仲部与日军进行殊死的阵地争夺战时，在台儿庄北部外围战线上，正是汤恩伯部伺机而动的机会。3月28日，汤恩伯下令部队扎紧口袋，开始对深入台儿庄的日军进行合围。
此时矶谷才发现部队已陷入中国军队的包围之中，急调援兵增援。3月29日，从青岛而来的坂本支队急行军增援台儿庄日军，一下子冲到了汤恩伯部侧背，差一点把汤恩伯部反包围起来。此种情形下，汤恩伯命令重新打开口袋，命令第52军向东移动，让坂本支队进入台儿庄阵地。受困日军受到坂本支队的支援，开始激烈反攻，孙连仲部作战更加艰难。
4月3日，我军阵地只存南关一隅，日军电台称已将台儿庄全部占领。孙连仲向李宗仁报告，第2集团军已伤亡十分之七，请示暂时撤退到运河南岸，“让第二集团军留点种子，也是长官的大恩大德！”李宗仁告诉孙连仲，必须坚守到次日拂晓，如违抗命令，当军法从事。孙连仲回答：“绝对服从命令，整个集团军打完为止！”与李宗仁通话后，孙连仲亲自督战。死守最后阵地的池峰城再度请示准予撤退。孙连仲命令他：“士兵打完了你就自己上前填进去。你填过了，我就来填进去。有谁敢退过运河者，杀无赦！”
4月3日午夜，孙连仲部组织先锋敢死队数百人，分组对敌反�