当西夏军做好了准备，灵州城就易守难攻了。而且西夏重兵不断向灵州集结，宋夏局势开始逆转。高遵裕、刘昌祚围困灵州城近一个月仍不能破城，粮饷不继，又值天降大雪，兵卒饥寒交迫，进退维艰。粱太后见时机已到，便下令决开黄河堤坝，水淹高遵裕围城大军。可怜宋兵十余万众，冻、溺而死者不计其效，夺路逃生者仅有一万人，还是在刘昌祚部英勇殿后下得以幸存的。
各路宋军得知灵州攻城失败后，纷纷撤退。除了李宪部有秩序地安全撤回兰州，其余各路都是落荒而逃。王中正的河东军军纪全无，一度有哗变的风险。沈括负责在五原接应，这些逃兵按律当斩，极不稳定。但是沈括非常妥善地处理了此番危机，首先斩杀了率先带队逃离的种谔部左班殿直刘归仁，并宣谕全军：“士卒们都是远离故土，为国效忠，理应受到抚恤。”败军在沈括的指挥下有序撤回关内安置。之后，沈括又派大将曲珍率军声东击西，击退西夏追兵，顺利撤军。
战争是一头猛兽，一旦打响它就奔跃而出，完全不受控制。五路大军，在荒凉的西北征伐千里，组织、通信都有极大的困难。越是分兵多路，协同就越是困难。种谔原本受王中正节制，但因为战功赫赫取消了节制，造成了王中正部与种谔部完全不协调，以致无法向脱钩的两军补给，两路溃败。军事奇才刘昌祚受高遵裕节制，原本拿下空虚的灵州城近在咫尺，却受高遵裕阴暗的内心所节制，给大宋带来十数万人的牺牲。几千里的路途，哪里会遇到沼泽，哪里会遇到险隘都是难以预估的。这些不确定性给几十万人的行军、补给造成了巨大的困难。相比于宋军，西夏的战法简练而实用，坚壁清野、诱敌深入。宋军攻取的宥州、石州、夏州、银州城几乎是空城，原本就贫瘠的西北地区根本无法提供几十万人的军队补给。宋军战线越拉越长，补给越来越困难，进入冬天就是宋军极不适应的季节，宋军遭遇了重大失败。
这次大规模的伐夏行动，除李宪部外，其他各路大军均困于灵州，因粮草断绝，惨遭溃败，宋朝损失三十多万人。五路伐夏大败的战报传至朝廷，神宗皇帝大为恼怒。可几十万人的生命怎一个怒字了得？