圣意再明显不过，太子素无德行，二圣早有废黜之意，只是苦于高仆射为首的群臣力挺，只得作罢。而晋王仁厚爱士之名天下皆知，又是皇后最喜欢的忠孝专情之人，不日就将从扬州总管的任上回京，这一回来就不太会再回去了，他在大兴的朝臣中没有什么可以依靠的，第一个就想到了越国公和您，如果您和越国公可以拥立晋王，那晋王一定能铭恩于骨髓，也能让越国公去除累卵之危，成泰山之安啊。”
这一番话说得杨约心花怒放，他当即就答应回去后劝说杨素，这样一来二去，双方讨价还价了一年多，杨素还是没有下定决心，直到开皇十七年时射箭场之事，杨素与高熲正式翻脸后，杨素才下定决心，转投晋王。
从此杨素开始为晋王在朝中拉拢重臣大将，这些年下来，于仲文，郭衍，张衡这些有力大将，都倒向了杨广，就连那个没心没肺，头脑简单的史万岁，也在杨素的忽悠下答应当晋王府的左卫率，若不是因为受贿事发，现在史大将军也都成了晋王一党了。
只是王世充敏锐地感觉到，杨素投向杨广，以后未必会有好结果，虽然自己和杨广只有几面之缘，几乎没有说过话，但杨广那深沉阴狠的个性，和演啥象啥的影帝气质，实在让他不寒而栗，这是个翻脸无情，为达目的不罢休的人，连亲情都可以扔掉，更不用说这种互相利用时的援手之义了，杨素不是第一批入伙的，这就注定了以后即使杨广登位，只怕越国公也不会有太好的结果，至少宇文述肯定到时候会压他一头的。
王世充睁开了眼，这一刻他作了一个重要决定：直接转投杨广，再不成的话结好宇文述，万不得已再去和杨素合作。