日军在台儿庄战役失败后，尽管日军统帅部硬着头皮说：“这不是一个败仗，只是指挥官的一次小小的失误，第5、1o师团的余部不是溃败逃跑，而是做新的战略转移。”但恼羞成怒的日本政府，立刻召开紧急会议表示：日本政府不能蒙受如此羞辱。
其实，日本天皇原在2月16日的御前会议上说：“在8月以前绝不向新地区动进攻。”台儿庄惨败后，日军大本营已经无法再考虑战略上深入与分散的问题了，日军必须立刻设法击败中**队，以挽回“皇军无敌”的声誉。日本天皇立即决定：迅向中国大规模增加兵力，动更大的进攻，誓报台儿庄惨败之仇。
日军统帅部深知徐州不可轻取，非调集重兵，四面合围，否则断难打通津浦线。4月间，侵华日军华北方面军和华中派遣军自平、津、晋、绥、苏、皖一带，纠集了13个精锐师团，约3o万军队（其中包括矶谷和板垣两师团从台儿庄撤退后，重新集结，补充休整兵力），并配有各种重武器，飞机数百架，兵分6路对徐州形成大包围，采取南北对进，侧翼迂回的战术，企图围歼云集在徐州一带的第5战区主力。
4月7日，台儿庄战斗刚结束，日军前线指挥官电告大本营：徐州地区有一股中**的强大集团，据可靠情报，该集团约5o个师，6o余万人，几乎全部为蒋介石的精锐部队。
陆军统帅部顿时惊喜若狂，认为这是报台儿庄之仇的一次难得的战机。
杉山元陆相当即向天皇报告，强烈主张动徐州会战。他说：“对于集中在徐州方面的中**予以痛击，可以收到挫伤敌军抗战意志的巨大效果。因而，陆军准备实施对徐州的歼灭作战，由于该敌差不多是中**队的精锐主力，并且已经处于孤立状态，我军应不失时机，以大的兵力，以大的规模会战，使之一举彻底歼灭该敌。本职认为，只要达到了歼灭这股敌军的战略企图，就能使武力解决中国事变，促使蒋政权屈服投降，迈出决定性的一步，亦可挽回我军在台儿庄的不良影响。”
天皇见报，顿时喜出望外，亦认为这是刹住蒋介石正在进行的台儿庄胜利大宣传的嚣张气焰的大好良机，当即定案：围歼徐州中**队，并要求：陆军此次进攻，定要取得巨大战果，不使徐州地区5o个师的中**队一人漏网，务求全歼。
为求战决，不失这千载难逢的良机，大本营陆军部于当日向华北方面军总司令官寺内大将、华中派遣军总司令官畑俊六大将下达第84号命令：
一、华北方面军司令官应以有力之一部击破徐州附近之敌，占据兰封以东陇海线以北之地区。
二、华中派遣军司令官应以一部占据徐州以南津浦线附近。
日大本营在动员华北方面军、华中派遣军的主力投入这场战斗的同时，还下令关东军派军支持。由于华北方面军司令官寺内寿一大将与华中派遣军畑俊六大将的官衔相同，谁也不会接受对方的指挥，因此，只有紧急派遣大本营陆军参谋本部的作战部长桥本群少将，率领参谋本部的参谋军官，在济南成立大本营派遣班，组织包括华北与华中日军的参谋军官，进行徐州会战的作战协调工作。
日军以第第第1o师团，沿津浦路向南推进，以引诱中**队主力；以第14师团从濮阳渡黄河入鲁西南和豫东，断陇海路，从而阻遏援徐州之中**队，亦断徐州守军退路；以第13师团在南线的蚌埠、怀远间集结；以第第1o1师团向苏北攻击。
5月上旬，南路日军开始北上，相继攻占徐州南面的龙元、蒙城、宿县，并攻陷徐州西边的黄口车站，包围并切断了徐州西南面的退路。
5月中旬，北路又一股日军，从淮阳强渡黄河，进入鲁西地区，迅攻占了郸城、菏泽、金乡、鱼台等重要据点。该地区虽有孙桐萱、庞炳勋、商震等部队，但在广阔的鲁西平原上，无险可守，日军得以快推进。北路日军与南路日军相呼应，自西北向徐州压来。此时，日军对徐州的大包围业已完成，正从四方八面向徐州突进。
而此前一段时间的中**队，在做什么呢？由于**自开战以来一再的后退，国土不断沦陷，国民政府内部开始出现了一些不同的声音。少数人组织了一个非正式的所谓低调俱乐部，在各种非公开场合，宣扬所谓的抗战亡国论，说什么抗战必败，不抗日还能多活一段时间，越抗日，亡国越快，不如不抗日。最港当局当然对于这些声音的来源是心知肚明，只是手里实在没有什么可以拿得出来的战果。现在**总算在台儿庄打了一个胜仗，最高当局自然是希望能够把这个胜利扩大化，在徐州再来一个大胜仗，消灭更多的日军精锐部队。这样，也就可以更加巩固自己的地位，争取更多的国际同情和援助。所以，最高当局采取了与日军针锋相对的方针，从3月下旬起，从各战区调集大批军队，使第5战区的兵力由29个师增加到64个师又3个旅，共达6o万人。同时，他还将中央军胡宗南、黄杰、桂永清、俞济时、宋希濂等部布置于豫东，作为徐州的后援力量，试图在徐州与日军一决雌雄，以一次大的会战，彻底改变战场局势。
蒋介石的上述想法，早在台儿庄会战之前就已表露。他亲临徐州督战时就对白崇禧等人说：“徐州是这次会战的核心。徐州位于黄淮之间，地界鲁、豫、皖、苏四省之交，为南北之通津，中原之屏障。在中国历史上，徐