自从隋军北撤后，王世充再次整顿兵马，大肆募兵，怎奈杨元庆只给他河南和弘农两郡，人口不足，再加上他征兵甚急，激起民众恐慌，大量民众逃往颍川郡和荥阳郡。
忙碌近两个月，王世充才征到两万人，加上他剩下的一万军队，洛阳的守军只有三万人。
连年战乱和粮食奇缺早已使河南郡民不聊生，民众的不断逃亡使王世充辖下人口锐减。
无奈之下，王世充只得下令将荥阳和河南郡的民众全部集中洛阳居住，共计二十余万，而洛阳以外地区，则变得千里赤野，人烟罕见。
事实上，王世充的江山就只剩下一座孤城，他不愿看到这个结果，但他又不得不接受这个残酷的事实。
王世充已经完全沉沦了，他政务扔给了世子王应玄，把军队交给侄子王仁则，他自己则关在宫内，和一群宫女花天酒地、醉生梦死地生活，用他的话说，做一天皇帝，就要享受一天帝王的奢侈。
但机会却在他最绝望时出现了，突厥的南侵使杨元庆被迫收缩防线，放弃了襄城郡、淯阳郡和颍川郡。
虽然杨元庆没有明说，但王世充却明白杨元庆未表明的意思，他立刻命令王仁则率军一万取颍川郡，又命次子王应恕率军一万取襄城郡。
王世充再次振作起来，从洛阳城的民众中挑选三万青壮，强令他们从军，他每天亲自训练。
此时王世充的野心开始迅速膨胀起来，杨元庆现在只控制荥阳郡和东郡，那么东面的梁郡、东平郡、济阴郡、谯郡以及南面的淮安郡、汝南郡、南阳郡和淅阳郡，他都统统可以占领。
王世充从来不认为自己无才无德。他文武双全。懂得休兵养民，懂得收买人心，他有统一天下。建立万世基业之志。
只是他时运不济，控制了洛阳这个四战之地，被隋唐魏三大强敌包围。几年的连年征伐使他兵力荡空、根基崩坏，但只要能给他三五年的时间厉兵秣马，他必将成为中原一大强势。
就在王世充意气风发，准备大展手脚之时，一个令他几近绝望的消息传来，唐朝出兵了，二十万唐军从关中和荆襄杀向洛阳，王世充仰天悲鸣三声，又手忙脚乱地命令王仁则和王应恕撤军回洛阳。
洛阳城内一片混乱。大批民众开始趁机逃亡，王世充见众心日离，便定下严刑峻制。家中一人逃者。无少长皆坐为戮，父子、兄弟、夫妻许其相告而免之。
又令五家相保。有全家叛去而邻人不觉者，诛及四邻，杀人相继，但逃亡却益甚