燕王刘旦、上官桀等人，并不因为一次失败就肯善罢甘休。元凤元年（前80）九月，他们再次商量了一条毒计，准备让鄂邑公主宴请霍光，趁机埋伏士兵，将其谋害，然后废黜昭帝，迎立燕王做皇帝。密谋未能实现就被发觉，霍光于是抢先一步，诛灭了上官桀、上官安、桑弘羊、丁外人等人全家，燕王刘旦和鄂邑公主恐惧自裁。除掉了政敌，霍光更是威风凜凜，独掌朝政。不久以后，昭帝虽行冠礼（成年礼），但仍然把国家大事全都交给霍光来裁决。
对比汉朝在霍光的执政下逐渐恢复元气，匈奴却江河日下，再不复当年冒顿单于时代的荣光。始元二年（前85），匈奴因为王位继承问题发生内讧，左贤王、右谷蠡王心生怨恨，不再参加一年一度的龙城祭天仪式，匈奴单于的威信降到了谷底。正是在这种背景下，汉、匈再次和亲，匈奴也送回了被扣押多年的苏武等汉朝使节。
刘贺像
元凤元年（前80），匈奴2万骑进犯汉朝边境，很快就被击败，汉军趁胜追击，斩俘9000人，捉获了瓯脱王。第二年，匈奴派9000骑兵屯扎在受降城，目的不是为了南侵，而是为了防备汉朝向北进攻。匈奴兵还在受降城北河流上架设桥梁，以便随时可以逃走。
元凤三年（前78），匈奴右贤王、犁汙王率4000骑分成3队进犯张掖郡，张掖太守发兵反击，杀死大半，逃跑的仅数百人——一个郡太守就有能力击退匈奴中等以上规模的侵扰，还大有斩获，这说明汉朝的国力已经基本恢复了。自此以后，匈奴骑兵不敢再进入张掖郡内。
在不断充实边境军备，抵御匈奴的同时，汉朝继续稳固从匈奴手中夺取的辽东和西域这两片异民族的领土。元凤三年（前78），辽东乌桓造反，霍光派女婿范明友为度辽将军，率2万精兵进剿，斩首6000余级，杀死3名乌桓王。元凤四年（前77）六月，中郎傅介子建议，西域楼兰（西域古国名，在今新疆若羌东北）王安归数次杀死汉朝使臣，不肯服从，应该予以严惩。于是霍光就派傅介子出使楼兰。
傅介子携带了大量珍宝，声称是汉朝赏赐西域诸国的礼物，出塞来到楼兰。楼兰王贪图财物，亲自前来迎接。于是傅介子摆下酒宴，把楼兰王灌醉后，对他说：“天子有话，要我秘密传达给大王。”楼兰王跟随傅介子进入大帐，随即被预先埋伏下的两名壮士刺死，割下首级。汉朝改立楼兰王之弟、当时身在汉朝境内的尉屠耆为王，把楼兰国改名为鄯善，同时派遣司马一名，士兵40人在楼兰伊循城屯田，作为监视。
汉朝对外声威复振，对内也逐渐恢复了武帝前期和平、安定和富足的政治局面。然而汉昭帝刘弗陵却没有福气继续安托霍光，垂拱而治，元平元年（前74）四月，他突得急病，驾崩于未央宫，年仅21岁。21岁的皇帝，和时年17岁的皇后，当然很难生下子嗣，群臣商议，立武帝唯一剩下的儿子广陵王刘胥为继承人。
然而霍光却反对这一意见，他认为刘胥性格不好，武帝、昭帝都曾责备过他，立其为帝并不妥当。正好有人上书说：“周太王废太伯立王季，文王舍伯邑考立武王，唯在所宜，虽废长立少可也。广陵王不可以承宗庙。”霍光就把这封奏章给丞相杨敞看。杨敞是霍光的心腹，当然表示赞成，于是两人决定拥立昌邑王刘贺。
刘贺是汉武帝和李夫人所生的昌邑哀王刘髆之子，他继位后，行为放荡，肆行淫乱，让霍光很不高兴。于是霍光问自己的亲信、大司农田延年该怎么办，田延年直截了当地建议说：“将军为国柱石，审此人不可，何不建白太后，更选贤而立之？”霍光还有点犹豫，说：“我是想这么干的，但类似事情，古代可有先例吗？”田延年回答：“伊尹相殷，废太甲以安宗庙，后世称其忠。将军若能行此，亦汉之伊尹也。”
听说曾有先例，并且先例的创造者还是古代贤相伊尹，霍光的胆气立刻壮了，于是和车骑将军张安世共召丞相、御史、将军、列侯等官僚显贵，在未央宫开会，说：“昌邑王行为昏乱，恐怕会危害社稷，怎么办？”
大家听了全都大吃一惊，不敢回答，田延年迈前一步，手按宝剑，恶狠狠地说：“先帝从小就服从大将军，把天下都交给大将军治理，是因为看大将军贤明，能安刘姓宗室。现在昌邑王作恶，群臣都有怨言，国家将要覆亡。一旦产生变乱，汉家绝祀，大将军虽死，有何面目去地下见先帝呢？今天的会议，大家都要立刻表态，有表态晚的，我请求执法，仗剑砍下他的脑袋！”
这种威逼姿态，实在也太赤裸裸了，霍光赶紧出来打圆场说：“大家责备我是对的，天下纷扰，全都是我的责任。”众人听了这话，全都磕头表态说：“天下人的性命都由大将军把握，我们听从大将军的命令。”
于是以皇太后之命废黜刘贺，送他回归昌邑，公元前74年7月18日—8月14日在位的刘贺，是西汉历史上在位时间最短的皇帝。另立武帝的曾孙，当时流亡民间的刘病已为帝，是为西汉孝宣皇帝。
