汉武帝的第一任皇后，当然就是馆陶公主的女儿、“金屋藏娇”的陈阿娇了。但据说阿娇嫉妒心很重，更倚仗娘家的势力为所欲为，加上她并没有生下儿子，武帝的兴趣就逐渐从她身上转移开了。
卫子夫进宫以后，很受宠爱，阿娇嫉妒得不得了，听信一个名叫楚服的女巫的话，设坛斋醮，祈祷自己得子，并且重拾武帝的欢心。巫术本是汉宫中的大忌，消息泄露后，武帝大怒，不但杀了楚服，还把皇后宫中宫女、太监300余人悉数斩首。元光五年（前130），废陈皇后，幽禁在长门宫中。
后来陈皇后阿娇以千金赠武帝近侍、大文学家司马相如，请他写《长门赋》，以抒发自己的悲怨之情。武帝读了《长门赋》，颇为感伤，可是此时他正宠爱着卫子夫，又必须倚靠卫青、霍去病等外戚良将作战，虽然慨叹，却终于不肯赦免陈皇后。
元朔元年（前128），卫子夫生下一个儿子，起名为刘据。武帝遂封卫子夫为皇后，不久又立刘据为太子。为了拉近和卫氏的关系，他还把自己寡居的姐姐平阳公主下嫁给卫青为妻。卫、霍之门，煊赫一时。
然而随着卫子夫年龄渐大，容颜衰老，武帝又开始把目光转向了其他的嫔妃。他先是宠爱一位姓王的夫人，继而某次听乐师李延年唱歌道：“北方有佳人，遗世而独立。一顾倾人城，再顾倾人国。宁不知倾城与倾国，佳人难再得。”武帝慨叹：“世上真有这样的美人吗？”李延年说：“歌中所唱，就是我的妹妹。”于是把其妹献给武帝，就是著名的李夫人。
李夫人的兄长李广利因此得到汉武帝的重用。太初元年（前104），武帝封李广利为贰师将军，要他率领“属国六千骑及郡国恶少年数万人”前往贰师城取良马。贰师是西域大宛国的辖地。张骞当年出使西域，原本是为了联络大月氏夹击匈奴，后来听说大月氏已经西迁，他就搜集了西域各国的情报还告武帝。
武帝派霍去病打通河西走廊，与西域诸国取得了联系，双方开展贸易，协防匈奴，关系相当不错。然而张骞带来回来的一个小消息，却使大宛国遭遇到灭顶之灾。
据说大宛国中有天马，国人捕捉野马以与天马交合，生下的小马能日行千里，而且汗出如血，称为“汗血马”。武帝好神仙方士之说，想到若得天马，定可乘之上天，就算得不到天马，得到天马之子，或许也有类似效果，于是派人去大宛求取汗血马。大宛拒绝了汉使的要求，说：“汗血马是我们的国宝，况且离了大宛就很难生存，因此不能给。”武帝大怒，就派李广利远征大宛贰师城，去抢夺汗血马。
西域各国听说汉军来攻，都关闭城门，不肯提供粮草，李广利花了两年的时间，损兵折将，却毫无所得，只好退守敦煌。武帝拒绝众臣的进谏，一意孤行，又赦免囚犯，征发军队，凑了6万人、牛10万头、马3万匹给李广利。李广利经过苦战，终于迫使大宛投降，献出了汗血马数十匹，其他良马三千余匹。
然而武帝骑着汗血马也飞不上天，不仅如此，汗血马来到中原后，因为没有大宛野马与其杂交，代代退化，很快就和普通马匹没有区别了。
李夫人虽然深受宠爱，可惜福气太浅，年纪轻轻就去世了。李广利和他的儿女亲家刘屈氂很想扳倒太子刘据，立李夫人所生的昌邑王刘髆为太子。但他们还没来得及有什么举动，征和元年（前92）十一月，长安发生了“巫蛊之祸”。
所谓巫蛊，即指用巫术诅咒，或者将木偶人埋在地下，以达到加祸于人的目的。武帝晚年多病，怀疑是被左右的人巫蛊所致，遂发兵大搜长安城。丞相公孙贺为赎其子公孙敬声之罪，逮捕了阳陵大侠朱安世，朱安世反告公孙敬声与阳石公主（武帝与卫子夫之女，太子刘据的亲姐姐）私通，并说他们派巫士在驰道埋木偶人以诅咒武帝。
武帝信以为真，将公孙贺父子下狱，次年（前91）正月，公孙贺父子死在狱中。闰四月，诸邑公主、阳石公主以及卫皇后的侄子长平侯卫伉也被处死。
然而这件事情还没有完，当时传说有女巫往来宫中，教宫中美人度厄，埋木偶人进行祭祀，武帝得知后大怒，杀后宫及大臣数百人，并令绣衣直指江充审理此案。江充是有名的酷吏，严刑拷打下层层攀诬，因此事而死者竟达数万人。
太子刘据素来厌恶江充，江充很怕太子登基后会要自己的命，遂趁此机会，诬告说太子宫中也埋有木偶人。此时武帝不在长安城中，而在甘泉宫养病，和朝中消息隔阂，刘据生怕此事传到父亲耳朵里就危险了，于是先下手为强，矫诏捕杀了江充，并派人到未央宫去，请母亲卫皇后下旨，调发士卒以自卫。
武帝派一名宦官前往调查此事，刘据列队相迎，宦官却以为他要带兵杀害自己，于是匆忙逃回甘泉宫，报说太子造反。武帝勃然大怒，派丞相刘屈氂前往捕拿，双方在长安城内混战了好几天，最终刘据兵败逃亡，途中自缢，卫皇后也在宫中服毒药而死。
刘据倒台，太子之位空了出来，李广利和刘屈氂这一将一相掌握着朝政，正好怂恿武帝立刘髆为皇太子。然而武帝事后却越想越是奇怪，刘据素来仁孝，为什么会仓促造反呢？正好此时官吏们举发的巫蛊案件经核查，大多不实，高寝郎田千秋趁机上书为刘据鸣冤。武帝派人反复调查，得到了江充陷害刘据的证据，同时发现若非刘屈氂故意使事态扩大，本来问题当初就可以解释清楚的。于是族灭江氏，并腰斩刘屈氂。
刘屈氂被杀的消息传到李广利耳中，正在前线和匈奴打仗的他大为惊恐，匆忙率两万骑兵北渡郅居水，希望“深入要功”以减轻罪责，结果军心不稳，全数覆灭，李广利也被迫投降了匈奴。
