久攻不下，损兵折将，促使赵匡胤考虑撤兵事宜。加上这时天气炎热，淫雨连绵，大军驻扎在甘草地上，因为士兵水土不服，很多人拉起了肚子，军中疾病流行，士气低落。还有辽军在第一次增援失败后，再次派出援军，正在陆续赶来，宋军处境不利。见此情形，大常博士李光赞上言：“陛下神明类武，自即位后战无不胜，谋无不克，兵锋所指，势如破竹，过去僭窃帝王之号者，如今有许多已对陛下称臣。区区一座太原孤城，本不需亲劳大驾。重务飞挽，兴师动众，有可能给天下百姓带来沉重负担，引起他们的不满。大宋疆域辽阔，不在乎区区一城，得到它不足为荣，失去它也不足为辱。况且时当炎热，候当暑雨，如果河津泛滥，粮道阻隔，大军乏食，恐怕又将引起皇上焦虑。以臣之见，不如车驾回京，屯兵上党，夏割其麦，秋取其禾，这样既免除了兴师动众之扰，又可以削弱刘氏根基。望陛下三思。”
这番言论，言辞委婉，说理透彻。其实，赵匡胤早已有撤军念头，只是难以开口，这下总算找到了台阶，自然是心中默许。便同赵普商量，赵普对李光赞的话很是赞同。于是，开始谋划班师回朝事宜。
