随杨玄感进关中的所有人都封赏官职，惟独谢思礼依然是幕僚的身份，没有一官半职，而且已渐渐被排挤出决策圈，杨玄感基本上不再听他的建议，这两天杨玄感处于一种山穷水尽之时，谢思礼的求见便让他想起当初献计拿下关中之事。
“让他进来！”
片刻，谢思礼走了进来，躬身向杨玄感施一礼，“参见楚公！”
“谢先生有什么事要见我？”
杨玄感尽量保持一种客气的态度，这时，杨玄感长子杨峻也出现了，他就在隔壁替父亲整理文书，听说谢思礼到来，杨峻心中生出了警惕之心，他没有说什么，在一个角落里坐下，就仿佛一个监视之人，令谢思礼实在是不舒服。
他忍住心中对杨峻的厌恶，对杨玄感道：“卑职今天去拜访了韦霁，想请他出山协助楚公。”
韦霁是韦氏家主，隋朝太常寺卿，他留在长安辅佐代王杨侑，长安城破后，韦霁便隐居在韦府中，杨玄感多次上门拜见，他都避而不见，杨玄感听说谢思礼竟然见到了韦霁，顿时精神一振，若关陇士族领袖的韦氏家族肯支持自己，那么必然会影响其他关陇士族也支持自己，局势未必不能扭转。
“他怎么说？”杨玄感急切问道。
旁边杨峻撇了撇嘴，他无法理解父亲为何还会兴奋？父亲几次登门拜访韦家都不见，谢思礼登门韦家便接见了，这不就是一种对父亲的变相羞辱吗？但杨峻没有吭声，他也想听一听谢思礼拜访韦家的结果如何。
谢思礼欠身道：“韦阁老说，如果他出来接受官职也可以，但他有一个条件。”
“他有井么条件？”
“韦阁老认为杨家子弟占据了太多的要职，他希望楚公至少削减六成以上，他说”
“够了！”
杨玄感一声呵斥，面沉如水，韦霁不过是一个普通高官罢了从前在朝中地位还不如自己，又不是高颎、苏威这样的泰山北斗，不过是仗一个名望家族，竟然要自己削减六成杨氏子弟他有什么资格提这样的要求？此人不用也罢！
杨玄感心中极为恼火，便冷冷对谢思礼道：“以后没有我的许可，不准擅自去拜访这些名门世家，去吧！这件事到此为止。”
谢思礼心中叹息，他是想借韦家之口来指出杨玄感最大的弊端和问题所在，杨玄感太倚重家族子弟，杨氏子弟几乎把持了所有关中郡县以及朝中要职，才引起关陇各大世家的极大反感没有一家愿意为杨玄感效力如果这些杨氏子弟都很优秀也就罢了