在历史记载中杨贵妃曾经两次被唐玄宗遣返回家，一次是因为争风吃醋，一次是为了警告杨家。
历史记载里，在天宝五载七月，杨贵妃因为“妒悍不逊”的罪名被唐玄宗赶回了娘家。唐玄宗在得到了杨玉环之后，不改自己风流的本性，在宫里专门设了一个职业，叫作“花鸟使”，专门负责去民间寻找各种美女然后送进后宫。唐玄宗喜欢新鲜，虽然整日和杨贵妃在一起也很快乐，但是在腻歪之余还是会背着杨贵妃去召幸这些女人。杨贵妃发现了很多次唐玄宗背着自己偷腥，十分吃醋，就与玄宗大吵大闹，前几次玄宗还会安抚她，后来也生气，认为妃子竟然管起了皇帝，简直是不像话。于是，在一气之下，下令将杨贵妃“撵回去”。杨贵妃回了娘家，唐玄宗经过了最开始的恼怒又很快觉得后悔。在贵妃回去的当天，就趁着夜色，将贵妃从杨家接了回来。在正史《旧唐书卷五十一》里记载：“五载七月，贵妃以微谴送归杨銛宅。”天宝九年，杨贵妃又一次被唐玄宗遣送回了娘家。这次的原因是玄宗想用这件事给日益嚣张的杨家一个警告。这件事的起因是因为杨贵妃受宠，杨家的势力日益显赫，不仅杨家的男丁们被封官，女子也被封了诰命。随着杨家的地位的升高，杨家的人开始飞扬跋扈起来。杨家自己的人越来越不遵守规矩，凭借外戚力量还公开收受贿赂。他们将自己的地位摆的比皇室还高，《新唐书》中记载过皇上的亲妹妹在与杨贵妃的三位姐姐见面的时候，只能让座，不敢与她们平起平坐。唐玄宗的女儿信成公主曾经和杨家人发生矛盾，杨家的人敢直接将公主和驸马暴打一顿，最後还是公主主动认错了结此事。
玄宗知道了杨家的种种行为后，也很生气了，就将杨家所依仗的贵妃撵回了家，算是给杨家一个警告。
