与此同时，淮河北岸小蚌埠战斗也很激烈。2月8日，日军先以飞机、大炮猛轰北岸守军113师的阵地，将河岸防御工事全部摧毁。随后千余日军在炮火掩护下，乘民船和汽艇实施强渡。守军顽强抵抗，两次击退渡河日军。当晚23时，日军又进行夜间强渡，一度登上北岸，攻占了小蚌埠镇。
第113师师长周光烈令第337旅反击，激战至9日1时，恢复了阵地。10日拂晓，日军再次发动大规模强渡进攻，经几小时激战，上午10时，渡河日军攻占了小蚌埠镇。师长周光烈指挥部队向日军多次冲击，反复拼杀。第337旅窦光殿旅长命令：“不到战死，没有我的命令，决不准后退！”
该旅官兵抱定必死的决心，同日军展开几次惨烈的肉搏，消灭日军五百多人。张儒彬团誓死不退，全团高唱《义勇军进行曲》冲进敌阵，与日军展开肉搏。张儒彬团长左腿负重伤，仍大声鼓励战士们：“弟兄们，在津浦南段牺牲，虽死犹荣，一息尚存，就要决战到底！”
双方反复争夺多次，小蚌埠终于被日军占领。战至傍晚，枪声停息了，全团仅有一人生还！12日，日军占领了临淮关、蚌埠等地。
第五战区司令长官李宗仁闻讯，不禁为之一惊。他赶紧带着参谋长徐祖诒来到前沿阵地，登上一处高地，俯视着淮河。只见宽阔的河面上，湍急的河水滚滚东流。
李宗仁举起望远镜，望着远处的原野村庄、战火硝烟，轻声说：“淮河是徐州南面最后一道屏障了，不能丢啊！”
徐祖诒说：“德公，看来淮河一线只靠于学忠一个军来防守，实在是兵力单薄啊！”
李宗仁说：“是啊，当务之急，是火速增调援兵，加强淮河防务！”
徐祖诒问：“援兵，调谁呢？”
李宗仁果断地说：“西北军名将——张自忠！”
2月13日，李宗仁将刚转隶五战区的张自忠第59军调来，接替了第51军防地。第51军撤至西寺坡车站一带休整。
16日，张自忠指挥第59军向火星庙、新桥方面日军发起猛烈攻击。新锐之师锐不可挡。日军抵抗不住第59军猛攻，向曹老集溃逃。第59军紧追不舍，一直追至曹老集、胡家口之线。17日，一举攻下曹老集。尔后又向淮河北岸日军发动全线进攻，势如破竹所向披靡。经第59军连日打击，淮河北岸日军伤亡2,500多人，阵脚大乱。
李宗仁抓住时机，命令第31军由淮南铁路向上窑、凤阳，令新隶属五战区的第21集团军第7军由合肥向明光、定远分别实施侧击；同时要求空军支援，轰炸蚌埠、临淮关之敌，迫使日军将已渡淮北的主力撤回淮南，以加强蚌埠及津浦路防守。
张自忠乘机命令第180师和第38师各组成一个加强团，向小蚌埠之敌实施反击，于20日收复小蚌埠。迫使淮河以北日军全部撤回淮河以南。
同日，李宗仁按蒋介石指示，电令张自忠即调赴临城待命。津浦路南段仍由于学忠第51军防守，暂时与日军隔淮河对峙。至此淮河阻击战结束。