杨家的青山楼最初是因为杨晞和杨玄珪被刺杀而得到天子的特批成立，实际上就是一个武士组织，刚开始有五百名武士，但发展几年后，已经有一千余人，但在官方备案上依旧只有五百人。
杨家的青山楼已经有一千多人的规模，就不再适合驻扎在城内，正好天子李隆基把庆王的天青庄园赏给了杨国忠，杨国忠索性就把天青庄园作为武士的基地，又将天青庄园改名为青山庄园。
青山庄园位于城东，依山傍水，风景秀丽，占地二十顷，四周修建有围墙，庄园内没有种麦子，全部都是草坪，是庆王的跑马之地，杨国忠在庄园内修建了二十几座大木屋，使它成为青山楼武士的抓驻扎之地。
三更时分，一万士兵从四面八方进入了青山庄园，很快将数十座木屋团团包围。
大将管崇嗣一挥手，士兵们一脚踹开门，冲进了屋内.
兵不血刃，一千三百多名青山庄园的武士被押了出来，全部被抓了壮丁，编进了军队，只有首领杨建正好来城内探亲，逃过了一劫。
次日上午，杨建把消息传出来，杨家几名重要人物紧急商议。
包括杨国忠、杨锜、杨铦以及虢国夫人和韩国夫人，一共五个人在一起紧急商议。
“哥舒翰就是故意挑衅，丝毫没有把我们杨家放在眼里。”
杨锜一阵咬牙切齿，他对虢国夫人杨玉珮道：“三妹，你一定要把这件事告诉天子，恳求他替我们做主！”
杨玉珮对天青楼武士从来就不感兴趣，她一直用不上，每年还要花大钱养活他们，杨玉珮早就有意见了。
她柳眉一竖，“你们堂堂三个大男人，一个当朝宰相，一个秘书监令，一个太仆寺卿，你们不知道怎么办？却来问我一个女人，你们好意思吗？”
杨国忠毕竟做了好几年宰相，他知道有的事情见不得光，他缓缓道：“青山楼我们有把柄，天子只批了五百名武士，但实际上我们扩增到一千三百人，天子批准的是武士，我们却擅自改为带甲骑兵，如果哥舒翰抓住这两点说事，我们会很被动，甚至会被朝臣群起攻之，这件事我们只能吃个哑巴亏。”
杨锜和杨铦怒道：“一千多人啊！难道就这么算了？”
杨国忠眼露凶光道：“哥舒翰既然做了初一，我们就会做十五，等着吧！只要他有把柄落在我手中，我就绝不会放过他。”
哥舒翰对杨家的这次偷袭，使杨家吃了一个大哑巴亏，也使杨国忠和哥舒翰之间由此结下了深怨。