姚家与宋王室的关系也是最密切的。不同其他世家，姚家先祖乃是唯一一个在北宋开国君王未起势之前便追随其左右的，为北宋建国立下过不可忽视的功劳。
宋王在建国后不久便殡天。时新王尚幼，太后揽权，把持朝政，作乱宫廷，宋王室一度陷入危难，就连王位都险些被外戚篡夺，最终还是靠着姚家先祖才得以转危为安。自此以后，姚家便成为北宋守护神的角色，为北宋历代君王所器重。在郭仪之前，北宋历代大将军无不姓姚，甚至就连郭仪也算是半个姚家人。
兴许是真有血脉传承一说，姚家人丁虽不兴旺，却无一不是文武双全，人中龙凤，比之郭仪也毫不逊色的fēng_liú人物。郭仪之前的北宋大将军，枪圣姚东明与北疆刀皇完颜君卓的雪夜一战更是成为茶馆说书人热门的故事之一。
在姚东明死后，北宋大将军便变成了郭仪，不过由于其“姚家女婿”的身份，姚家的地位不仅没有受到丝毫的影响，反而因为郭仪达到了巅峰。不过，姚家的辉煌也就到底为止了。
祁安之败，包含郭仪以及姚家少家主，姚东明长子姚弘在内，十万甲士殒命他乡。大宋遭受如此损失，自然也是需要有人出来负责的。在郭仪已“死”的情况下，这份罪责自然是落在了与其关系密切的姚家头上。
照理说，以宋王室与姚家的关系，便是追责，惩罚也不会太重。但当时赵轻玄年纪太小没什么实权，而张王两家又对姚家不爽已久，好不容易得了机会又岂会放过？是以，为了安抚其他世家，庞渝只得以王上的名义将姚家尚在朝中效命的人全部削去官职，并将姚家迁出燕平。
先是姚家少家主与姚家女婿战死祁安，接着是姚薇承受不住噩耗离家出走，紧接着就是遭到发配。在这一连串的打击之下，盛极百年的姚家就此沉寂下去，令人唏嘘。