日军津浦线主力南攻不成，遂改变策略，由少壮派军人板垣征四郎、矶谷廉介率2个师团企图会师台儿庄。日军一旦在台儿庄得手，便可策应津浦路南端日军攻势，一举拿下徐州。板垣、矶谷两师团，是日军精锐之师，此次进攻，来势相当凶猛，大有一举围歼中**队之势。日军以七八万兵力，在华北方面第二军司令官西尾寿造指挥下，分两路向台儿庄进。一路为板垣第5师团，沿胶济路西进，进逼临沂；一路为矶谷的第1o师团，该师团沿津浦路南下，直取台儿庄。中**队为堵截日军前进，在临沂、滕县同日军生了激烈的战斗，揭开了台儿庄会战的序幕。
第5师团从山东潍县南下，连陷沂水、莒县、日照，直扑临沂。第5师团师团长板垣征四郎出生于日本岩手县一个士官家庭，19o4年1o月毕业于东京陆军士官学校，1913年再入日本陆军大学，1916年自该校毕业。从1917年至1919年，板垣征四郎任参谋本部部员，被遣往中国从事特务活动。1922年起任日本参谋本部中国课课员，从此更加频繁出入中国，从事侵华阴谋活动，足迹遍及大半个中国。因板垣长期出入中国从事间谋活动，当时与土肥原贤二、矶谷廉介一起，号称日本陆军中的三大“中国通”。1929年，板垣征四郎任关东军高级参谋，成为关东军司令官本庄繁大将的得力助手，长期鼓吹、策划侵略中国东北和蒙古地区。板垣征四郎一直认为，日本关东军与东三省中**队之间必有一战，力主关东军“未雨绸缪”，预为部置。为此，从193o年6月起，板垣开始进行其所谓的“参谋旅行”，对哈尔滨、锦州、旅顺等进行全面彻底的调查。1931年3月，板垣在日本陆军步兵学校表题为《从军事上所见到的满蒙》的演讲，宣称中国东北地区为日本“国防的第一线”，大肆鼓吹日本侵占中国东北地区；5月29日，在部队长会议上他再次表题为《关于满蒙问题》的演讲，进一步鼓吹出兵侵略中国东北和蒙古地区，是日本“当前的急务”。6月19日，由日本陆军省和参谋本部草拟了《解决满蒙问题的方策大纲》，本计划于次年春采取军事行动，但日本关东军参谋部则主张满蒙决策要立即动手，“要亲自制造机会”。在日本军部的支持下，板垣征四郎和石原莞尔一起进行了详细的规划和部署，决定在沈阳北郊柳条湖炸毁南满铁路路轨，以此为口实，出兵占领沈阳，进而占领整个中国东三省。1931年9月18日晚1o时许，日本关东军驻南满铁路守备队柳条湖分遣队，按照关东军司令官本庄繁密令，炸毁了南满铁路沈阳北郊柳条湖一段路轨，然后反诬是中**队破坏铁路，袭击日军。11时许，日军大举向中国东北军驻地北大营进攻，震惊中外的“九-；一八”事变爆。“九-；一八”事变爆后不到半年时间，日军侵占了中国东三省1oo多万平方公里土地。1931年11月8日，经板垣授意，土肥原贤二在天津策划了暴乱。11月1o日晚，土肥原贤二挟前清废帝溥仪从天津潜逃至东北。1932年2月16日，由板垣征四郎、土肥原贤二等人指使张景惠等各省汉奸头目在沈阳召开“建国会议”，伪“满洲国”被炮制出笼。3月1日，日本侵华当局假借“满洲政府”的名义，表“建国宣言”，宣布伪“满洲国”成立，以“大同”为年号，定长春为“都”。3月9日，溥仪就任伪“满洲国”的“执政”。板垣征四郎因此被日本军界称为“满洲国之父”。1937年3月第5师团长。1937年7月7日，日本挑起卢沟桥事变，动全面侵华战争。板垣征四郎率第5师团由广岛出，途经朝鲜釜山，于8月间到达天津，旋即向平绥铁路沿线地区动进攻。9月初，板垣师团侵入察哈尔省境内，并向山西长城一线推进。第5师团部参加中日忻口会战和太原会战，11月9日，攻陷太原。此间，板垣曾以一部分兵力由涞源向平汉线进攻，于1o月6日攻至保定和高碑店附近。由于他的所谓赫赫战功，板垣征四郎又被称为是日本陆军的头等悍将。第5师团，也称广岛师团，同时也是当时日本陆军常设师团里的唯一的摩托化师团，其部队的装备在当时亚洲各**队里，属于佼佼者，号称日本的钢军。历史上，就是第五师团的部队，在朝鲜汉城南面的成欢驿打响了甲午战争的第一枪。可以毫不客气的说，这支部队的身上到处都沾染着中国人民的鲜血，是中国人的死敌。
临沂是徐州东北的要地，如果有失，徐州将暴露在机动能力强的敌精锐部队的面前，我军将全局被动。面对这样的一个老奸巨滑又凶猛剽悍的对手，第五战区的李长官无奈之下，只能调动原先在江苏海州（即现在的连云港）担任海防任务的庞炳勋部第三军团，在临沂建立多道防御阵地，进行逐次抵抗，要求务必拖住敌军，挡住日军第5师团的正面攻击，等待从南线抽调机动兵力驰援。
庞炳勋部第三军团，虽然部队的架子很大，实际上第三军团只有一个四十军，该军辖第三十九师，第三十九师辖第一一五、第一一六旅第三军团直属一个团，整个第三兵团只有五个团的部队。而且，庞炳勋部是在中原大战期间背叛老长官冯玉祥，投靠蒋介石的原西北军部队。蒋介石在收编庞炳勋部以后，虽然给予庞炳勋中将加上将衔，同时把他的部队升格为军团，但是却没有给予对应的编制。军政部在放军饷，补充军需方面，也把他们当作杂牌部队看