唐代有个叫张祜的人，写了首诗“虢国夫人承主恩，平明骑马入宫门。却嫌脂粉污颜色，淡扫蛾眉朝至尊。”这首诗就影射了玄宗和虢国夫人有染，而且玄宗和虢国夫人杨玉瑶有染的直接来源就在这里。
诗中所说虢国夫人是唐玄宗李隆基的贵妃杨玉环的三姐，而集灵台在骊山之上，为祀神之所。
当时，杨贵妃得宠于唐玄宗，杨氏一门皆受封爵，贵不可言。据《旧唐书·杨贵妃传》所载，其大姐封韩国夫人，三姐封虢国夫人，八姐封秦国夫人，“并承恩泽，出入宫掖，势倾天下”。这首仅有四句的七绝通过虢国夫人朝见唐玄宗的情景，就将他们之间的暧昧关系和杨氏专宠的嚣张气焰描写得淋漓尽致，令人叹为观止。
“平明”时分，本不是朝见皇帝的时辰，虢国夫人却能上朝，不是皇帝特宠，哪得如此;宫门乃是禁地，岂是骑马之所在，虢国夫人却能骑马而入，不是皇帝特准，又哪能如此!而胭脂水粉本是使女子更增美色的化妆品，而虢国夫人“却嫌脂粉”，岂非又是怪事?原来宋·乐史《太真外传》中说：“虢国不施妆粉，自炫美艳，常素面朝天。”原来她自信自己天然美色胜似脂粉妆饰，也正是为了在皇帝面前炫耀争宠，这与以浓妆艳抹取悦于君王实为异曲同工。其实，虢国夫人也并不是不化妆就来朝见皇帝的，只不过是“淡扫蛾眉”而已。虢国夫人超乎常人的美色。但是透过“却嫌脂粉”的“淡扫蛾眉”，不难看出，虢国夫人那种轻佻风骚、曲意承欢的荡妇形象。
据《杨太真外传》记载，杨贵妃“有姊三人，皆丰硕修整，工于谐浪，巧会旨趣。每入宫中，移晷方出。……封大姨为韩国夫人，三姨为虢国夫人，八姨为秦国夫人。同日拜命，皆月给钱十万，为脂粉之资。然虢国不施脂粉，自炫美艳，常素面朝天。
虢国夫人，杨氏，唐代蒲州永乐，也就是今天山西芮城县人，父杨玄琰。虢国夫人才貌双全，不让其妹杨玉环半分。曾嫁裴氏为妻。裴氏死后，才三十出头的杨三姐就成为了年轻漂亮的小寡妇。杨贵妃得宠于唐玄宗以后，因怀念家人，请求唐玄宗将三个姐姐一起迎入京师。唐玄宗称杨贵妃的三个姐姐为姨，并赐以住宅，天宝初年分封她们三人为国夫人，分别为虢国夫人、韩国夫人和秦国夫人。当时，三夫人并承恩泽，出入宫掖，势倾朝野，公主以下皆持礼相待。
随着杨贵妃的宠遇逐日加深隆重，尤其是虢、韩、秦三夫人也宠遇愈隆，唐玄宗每年赏赐给她们的脂粉钱就有千贯之多。而她们又竞相构筑宅第，互相攀比，见所建比自己住宅宏丽的即拆撤重建，每建一堂花费都在千万以上，土木之工，昼夜不息。这其中又属虢国夫人最为豪侈，所建新宅园的中堂召工圬墁，约用钱二百万贯，圬工还求再加厚赏。虢国夫人赠给绛罗五百疋。其出手豪奢由此可见一斑。天宝十载正月望夜，杨家联袂夜游，与广宁公主骑从争过西市门。杨氏奴挥鞭及公主的衣服，公主堕马。驸马程昌裔搀扶公主，因而被打了数鞭。广宁公主向父皇唐玄宗哭诉，唐玄宗下令杀了杨家奴仆，但两位公主的驸马却因此丢官。
当时长安城中有歌谣唱道：“生男勿喜女勿悲，生女也可妆门楣。”这与著名诗人白居易的《长恨歌》中的“不重生难重生女”有着异曲同工之妙。唐玄宗每年十月要游幸华清宫，届时，虢国夫人与韩、秦两夫人，及杨氏兄弟一并从幸，车马仆从，连接数坊，锦绣珠玉，鲜华夺目，仿佛云锦集霞，或百花之焕发。他们所经之处，沿途遗失丢弃的首饰珠宝玉器很多，香风飘达数十里。虢国夫人这个风流的寡妇，平时放浪形骸，淫荡不羁，一边与唐玄宗卿卿我我，眉来眼去;一边又与其兄杨国忠同车来往，或三朝庆贺，或五鼓待漏，倩妆盈巷，蜡炬如昼，从不避嫌。
安禄山叛乱后，唐玄宗准备让皇太子李亨为天下兵马元帅，监抚军国事。虢国夫人与诸杨兄妹相聚而哭，随之谋划一番，让杨贵妃出面，谏阻了唐玄宗的内禅。但安禄山的叛军还是凶狠地向长安杀来，唐玄宗被迫逃离长安，路经马嵬坡时，大内禁军大将陈玄礼密启太子诛杀杨国忠父子，随即又逼迫唐玄宗下令让杨贵妃自缢而死。当时虢国夫人也逃出长安西行，当她得知杨国忠、杨贵妃相继遇难的消息后，与其子女及杨国忠妻一起骑马逃奔陈仓。县令薛景仙闻讯后，亲自率人追赶。虢国夫人仓惶中逃入竹林，在此杀死其子裴徽和杨国忠妻裴柔，然后自刎，未死，被薛景仙抓获，关入狱中。这时，虢国夫人并无惧色，从容应对。不久，刎伤出血凝结喉中窒息而死，被葬在陈仓郊外。