因官家腿上箭创流血不止，难以乘马，崔翰便命士卒寻来一辆驴车，又让他脱了黄袍，换上普通士卒的衣服，这才率领两百余骑班直卫士护送着赵炅从尚未受辽兵攻打的御营西侧走脱。
高怀德随即披了赵炅的黄袍，握剑立于黄罗伞下，继续指挥御营军兵抵抗辽兵。其时御营中尚有班直卫士及控鹤军过万军卒，在高怀德接管指挥后，竭力抵挡，居然堪堪稳住了防线，双方又激战了个多时辰，耶律休哥亲自率军冲击御后阵数十次，身背三创，亦未成功，因马力衰竭，将士疲乏，只好撤围而去。两军停战，高怀德旋即连夜召集众将到御营商讨撤军事宜。
“汝说的可是真的？”听高怀德说官家居然在乱军中不见，刘延让大惊失色，旋即想到另一个可能，怒从心起，吼道：“奶奶地，退兵，退兵！”石守信面色虽然平静，按在桌案上的手掌却青筋暴起，甚至在微微颤抖。潘美、曹翰等赵炅倚重的宿将心情复杂地沉默着，而孔守正、傅潜等官家从晋王旧邸一手简拔的班直将领则低头不语。
诸将虽然各怀心思，却都笼罩着一股羞耻的情绪。赵炅御驾亲征号令诸军，虽然屡有出格之处，众将都无异议，只因五代以来，君主和统帅实则是合二为一的角色，庄宗李存勖号称“十个指头上得天下”，周世宗督战险些为流矢所中，不但不避，还令卫士将御座前移数尺，让敌将再射，赵匡胤亦是“一条杆棒等身齐，打下四百座军州都姓赵”的盖世枭雄。将为军之胆，文才武略，道德仁义放在一边，马上得天下，首先要有让众军心服的胆气。可是，中原竟然出了抛弃大军的皇帝！
沉默良久，石守信开口道：“二十万禁军危如累卵，幽州城坚难下，契丹援兵云集外围虎视眈眈，当次非常之时，官家却不见踪影，有道是国不可一日无君，众军不可一日无帅。“他语意未尽，便住口环视众将，高琼、孔守正、傅潜等班直将领脸色立刻变得极为难看，潘美、曹翰低头不语，张美、崔彦进等若有所思，而高怀德与他怒视，破口骂道：“石守信，汝可是想要谋反？”石守信还未开口，刘延让便回敬道：“高怀德！汝今日身披黄袍，假冒官家哄骗众军，才是真谋反！”两员老将怒气勃发，掌中气氛更显得压抑，帐篷外面更鼓声声清晰地传来，已是二更，陈德颇有些倦意地抬头，他兵仅三百，又不是禁军系的，在这废立大事上，发言权微弱得很。
刘延让与高怀德怒视良久，忍耐不住，道：“武功郡王德昭乃先帝之子，就在御营之中。”啪的一声，一拍腰间横刀，转头看向潘美、曹翰二将，大声道：“昔年太祖皇帝待你二人不薄，今日众军无主，你二人意下如何？”听他打破僵局，石守信、高怀德，张美、崔彦进、孔守正、傅潜、王超等的目光都投注在潘美和曹翰身上。潘美奉旨协调都督众军攻打幽州，曹翰与米信统领铁骑、虎捷军，都是手握重兵又未受多少损失的。
众将都屏住了呼吸，五代以来，禁军拥立皇帝如同走马灯一般，每回都有无数人头落地。帐幕中静得可怕，旁边插着的牛油蜡烛偶尔发出哔哔勃勃的爆响声，闪烁的火光映出潘美与曹翰的脸孔的阴影不断变幻。然而潘美绞着双手，垂头不语，曹翰手握着刀柄，警惕地注视着帐中众人。高怀德不敢假传圣旨，通知众将时便告知了官家不见，是以众将都带了不少的卫士到御营来参加军议，当此非常之时不得不有所防备，免得遭了暗算。
等了许久，潘曹二将仍是不语，石守信失望地长叹一口气，长身站起，叹道：“罢了，罢了，大家一拍两散，各自退兵吧。”他也不管众人如何，径自按剑步出中军帐，刘延让也跟着起来，呸了一口，骂道：“一群孬种！”大步走了出去。高怀德若释重负地吐了一口气。众将突然卷入到一场未遂的废立争议中，心情都有些异样，顾不得客套，纷纷起身回营，契丹人大军在侧，退兵要趁早，走得晚了，只怕就要成异乡之鬼。
陈德匆匆回到军营，三百牙兵早已准备妥当，正欲出发时，忽然有亲兵来报杨业前来拜访，陈德便命张仲曜率军暂且等待。只见杨业匆匆踏入营帐，一见陈德便高声道：“外间传言官家在乱军中走失，各部都在准备退兵，可是真的？”众军哄传，有的说官家抛弃大军独自逃走，有的说官家忽然不见，但确实消息只有参加了中军商议的将领才知道，更无人通知河东一系的厢军，杨业心知擅自退军是处斩的罪名，若是众军皆退，留在战场上的那就成了牺牲品，是以亲自到陈德这里来确认消息，见安西军已经在列队待发，心中已明白大半，看向陈德，只见他点点头，沉声道：“正是如此，各部都在争相退兵。”
此时御营中已经人喧马嘶闹成一片，各部禁军都知道敌前退军的厉害，他们虽然不似安西军这样早有准备，却可以丢弃辎重粮草，甚至军械铠甲，抢夺马匹大车，以最快地的速度朝南退却，涿州现在还在宋军控制之中，只要在契丹兵追上之前退往涿州，凭城坚守，也就安全了。于是，几乎在瞬息之间，各处宋军大营仿佛失去蜂王的马蜂窝一般，到处都是仓皇奔走的溃军。似潘美、曹翰、石守信等宿将尚能勉强集合牙兵卫士，整军而退，而孔守正、傅潜等新近拔擢的将领，竟然对御前班直失去了掌控，众班直精锐苦战一天，等到的