4月4日，台儿庄内的双方部队，继续展开激烈巷战。日军第五师团坂本支队击破了城外部队的阻击，突入城内，和濑谷支队会合。日军两个支队合兵一处以后，继续向庄内的守军阵地发动猛烈的进攻，以重炮轰击，坦克猛冲，步兵以浪式队形不断进攻。
刘建业知道，敌人到了这种时候，还这样的疯狂进攻，只可能是最后的赌博，一旦赌博不成功，就很可能会选择开溜。因为，虽然没有能够阻止坂本支队入城，但是城外的部队并没有离开，而是调整了部署，配合着城内的守军，向城内的日军发起攻势。处于这种不利境地情况下的日军，如果不能取得预料的战果，就只能撤退，否则将会被全面包围，到时候能不能脱身，就不知道了。所以，刘建业没有和以往一样命令部队坚守每一寸阵地，而是命令集中火力，封锁日军的进攻路线，在给予日军有生力量足够的杀伤以后，部队可以自行选择是否收缩防御。前提是必须至少抱住西南角和南门不被敌人占据。得到了师长的命令，新51旅就采用了磁性战术，始终和敌人保持接触，以密集的步兵火力，杀伤敌人的步兵，敌人进攻的时候，逐次抵抗后撤，敌人停下来休整的时候，就发动反击，不让敌人有喘息的机会。同时，部队还组织了若干小分队，换上鬼子的军服，由会一些日语的军官带队，渗透到敌人战线后面，放火，投掷炸药，打冷枪，搅得鬼子不得安宁。
在新51旅阵地前损失了不少兵员的鬼子，发现眼前的这些对手，简直就像牛皮糖一样，咬不断嚼不烂，难缠的很，而且步兵火力与自己相比根本不落下风，虽然阵地是占据了一些，可是代价实在是太大了，于是主动调整了进攻方式，把全面进攻改成了重点进攻，集中兵力和火力进攻相对来说，火力要差一些的31师。31师面临的压力骤然加大，损失直线上升。第二集团军不断从城外的部队抽调兵员支援城内，才勉强保住了阵地不被敌人全部占领。为了给守军一精神鼓励，中国空军出动了27架飞机再次对台儿庄东北、西北日军阵地进行轰炸。
4日深夜，此时台儿庄孙连仲部守军已伤亡殆尽，再也抽调不出部队了。孙连仲强烈地意识到，再孤军死守，将全军覆亡，于是他向李宗仁报告说：“第2集团军已伤亡惨重。敌人火力太强，攻势过猛，但是我们把敌人也消耗得差不多了。可否请长官答应暂时撤退到运河南岸，好让第2集团军留点种子，也是长官的大恩大德。”
李宗仁听得出，孙连仲讲这番话时，语调哀婉，他深知孙的处境是何等的艰难，又是何等的悲壮，但李宗仁更清楚，台儿庄目前的重要性，他估算汤恩伯军团第二天中午可赶至台儿庄北部，因此鼓励孙连仲说：“敌、我在台儿庄已血战一周，胜负之数决定于最后5分钟。援军明日中午可到，我本人也将于明晨来台儿庄督战，你务必守至明天拂晓。”说完，李怕孙情绪低下，影响士气，又下令道：“我的命令如若违抗，当军法从事。”孙连仲以前虽和李宗仁只一面之缘，但听人说过，李在战区司令官中，属较通情理的一位，此时此刻李下这样的命令，深知台儿庄对整个战役至关重要的价值，以及李宗仁对此次战役胜利的信心。于是孙态度坚决地表示：“我绝对服从命令，整个集团军打完为止。”孙连仲的态度，使焦急万分的李宗仁感到有些安慰，但他总有些不放心，于是又指示孙连仲，“今夜你还须向敌夜袭，以打破敌军明晨拂晓攻击的计划，则汤军团明日中午到达后，我们便可对敌人实行内外夹击。”孙表示部队已用完，夜袭不容易。李听后立即指示：“我现在悬赏10万元，你将后方凡可拿枪的士兵、担架兵、炊事兵与前线士兵一起集合起来，组织一支敢死队，实行夜袭。这10万块钱将来按人平分。”
孙连仲将李宗仁的命令传达后，数百人一支的敢死队很快成立起来。
4月5日午夜，敢死队在敢死队长仵德厚的率领下，分组向敌出袭，冲击敌阵。他们各个精神异常振奋。已是血战数十天的敌军，也精疲力竭，深夜正坠入梦乡，听到不知从哪来的枪声，顿时乱作一团，一面仓皇应战，一面后退。经血战为敌所占的台儿庄各街，竟在短短不到一小时内，一举夺回四分之三。激战通宵，敌军被逼退守北门一隅。此时，李宗仁不但得报孙连仲夜袭成功的喜讯，又得汤恩伯部翌日天明前可赶到台儿庄的消息，高兴极了，他立即率随员，连夜亲自赶到台儿庄郊外，准备亲自指挥对矶谷师团的歼灭战。
4月5日，第一战区司令长官程潜到徐州参与台儿庄督战，并下令要求4月6日至4月8日限期围歼台儿庄以北日军。同日，蒋介石给汤恩伯发电责问，为何“以十师之众对师半之敌”焉然不能取胜？前线各部队在上峰的严令下，开始不惜伤亡，加紧对日军的攻击。关麟征率52军肃清兰陵、洪山之敌，南下向日军发动猛攻；王仲廉所部85军东进，重创板垣部，回师直指台儿庄。此时，肖汪附近的日军坂本支队虽与濑谷支队会合，但在北、东、南三面受到第20军团第75军的猛烈攻击，加之与第5师团的后方补给线被切断，处境十分困难。由于坂本支队损失惨重和只能从濑谷支队得到部分的粮食和弹yao，第5师团命令坂本支队回撤临沂。濑谷支队得知坂本支队准备回撤后，也向第10师团要求后撤，但未获得批准。