能让这个女子到处去宣扬，他便让兄弟王肃去找这个女人给她点钱，让她离开太原，不料这个女人却找不到了，事情已经过去好几个月，这个件事他也渐渐忘了，不料这个意想不到的时刻，这件事忽然暴发出来。
王绪额头上不断冒冷汗，苏威竟然提到了他儿子的名字，那么会不会把儿子的底细揭露出来？
他克制住心中的慌乱，故作镇静道：“这件事苏相国不觉得很滑稽吗？王氏名门竟然会和个风尘女子有关系，这件事听起来就是那么荒诞！”
“呵呵！这个女人竟然跑去拦楚王殿下的车驾，为了保护王相国的名誉，楚王殿下便命御史台接手了此事，听说御史台从长安调查回来，发现了个更有趣的事情，是关于令郎！”
苏威这几句话如把刀插进了王绪的心脏，令他彻底绝望，王绪明白了，杨元庆已经知道了儿子王凌在东宫文学馆为供奉之事，他脚踩两只船之事曝光。
王绪仿佛下子苍老了十岁，在即将换相这个骨节眼上，这件事被抖出来，对他的影响何其之大。
但王绪还抱着线希望，这件事就是苏威想要挟自己，还是杨元庆的意思，如果是前者，那么还有线可以解决的希望，他和苏威可以谈谈条件。
王绪叹了口气，“苏相国，你就明说了吧！你到底想要什么，我们可以谈谈。”
“呵呵！王相国果然是聪明人。”
苏威遗憾地摇摇头，“我倒是很想和你谈谈。只可惜我不是代表我自己而来。”
“什么？”
王绪脸上阵抽搐，“你在说什么？”
苏威将本弹劾奏折的副本放在桌上，淡淡道“你自己看看吧！看完了，你就知道该怎各办了。”
说完，苏威站起身扬长而去
王绪拾起奏疏只看了两页，便俨如脚踏入了深渊，眼前片漆黑，他知道自己的相位完了，杨元庆在这个时候把这件事抖出来，无疑就是想让他退相，现在是给他个台阶，如果自己还不知趣的话，恐怕问题就严重了。
次日早，王绪正式提出了辞呈，以能力不足为由，辞去相位，杨元庆三次退回他的辞呈，王绪又三次上奏，杨元庆最终批准了他的辞呈，改封他为赵郡太守，另封魏郡太守杨善会为刑部尚书，入紫微阁为相。
也在同天，渔阳郡太守卢豫调入京出任内史令兼户部尚书，恒山郡太守崔弘元出任纳言，两人皆入紫微阁为相。
崔弘元是前涿郡参守崔弘升之兄，是博陵崔氏家主，在河北