过了几天，杨素进入皇宫侍奉宴会，他婉转地说：“晋王杨广孝悌恭俭，像他父亲一样。”用此话来揣摩独孤皇后的意思。独孤皇后流着泪说：“您的话说得对！我儿子阿麽(杨广)常孝敬友爱，每次听到皇上和我派宫内的使者去，必定亲自远迎；说到远离双亲，没有一次不落泪的。还有他的妻子也很令人怜爱，我派婢女去她那里，她常与婢女同寝共食，哪像睍地伐（杨勇）整天沉溺于酒宴，亲近小人，猜疑防备骨肉至亲！所以我愈加爱怜阿麽，常常担心睍地伐将他暗害。”杨素了解了皇后的意思，因此就竭力地说太子杨勇不成器，于是皇后就给杨素财物，让他辅佐杨坚进行废立太子之事。
其实归结起来，杨勇被废的原因有三点。一是杨勇的太子势力太过于庞大，对于杨坚尤其是后来年老的杨坚来说并不安全，所以杨坚在早些时候便开始有意识地消减打压他的势力；二是杨勇的人品、生活作风不受父母杨坚夫妇的喜欢，甚至厌恶；三是杨勇的兄弟尤其是杨广太优秀并且后面对其下了黑手，使其在相比之下更为差劲。
;