同年夏，为进一步歼灭匈奴有生力量，完全控制河西走廊，汉武帝令霍去病与合骑侯公孙敖率精骑数万，由北地(郡治马岭，今甘肃庆阳西北)出发，分两路进攻河西匈奴。霍去病率部渡黄河，经沙漠南缘，迂回至居延泽(今内蒙古额济纳旗北)，西过小月氏(今甘肃敦煌市南湖镇阳关遗址西南)，转向东南，攻至祁连山(今甘肃肃南裕固族自治县西北)，大败酋涂王，降俘6500人，斩首3万余。汉军亦伤亡十分之三。另路公孙敖部因迷失方向未能参加作战。

为策应霍去病作战，郎中令李广、卫尉张骞率骑兵万余，从右北平(郡治平刚，今辽宁凌源西北)出发，进击左贤王。李广率4000骑北进数百里，因张骞部未能按时出发，被左贤王4万骑包围，军士皆恐慌。李广命其子李敢率数十骑冲击匈奴骑兵队伍，以鼓舞士气；并将骑兵列成圆阵御敌，匈奴进攻，则弓弩齐发。激战终日，汉军箭矢将尽，李广手持强弩“大黄”，连续射杀匈奴裨将数人，缓解了匈奴的进攻。战至次日，汉军死伤过半，匈奴也伤亡很大。时张骞率万骑赶到，左贤王解围北撤，完成了牵制左贤王部的任务。

战后，伊樨斜单于怒浑邪王、休屠王惨败，欲召至单于庭诛之。二王恐，乃向汉求降。休屠王悔，浑邪王遂杀休屠王，并其众，共4万余人降汉。西汉将降众分置陇西、北地、上郡(郡治肤施，今陕西榆林市南鱼河堡)、朔方(郡治朔方城，今内蒙古杭锦旗北)，云中(郡治云中，今内蒙古托克托东北)五郡塞外，称五属国。此后，陇西、北地和河西地区少有匈奴攻略，遂减戍卒之半。

霍去病于漠南战役中脱颖而出，此次出战河西，是他第一次独立领兵作战。这位年轻的主帅，一向具有剽悍勇猛的战斗作风，不畏艰险，不怕强敌，作战时“敢深入，常与壮骑先其大军”，这极大地鼓舞了汉军的士气，激励他们英勇奋战。河西之战使汉匈双方的力量对比发生了重大的变化。此役使匈奴继失河南地后又丧失河西，其统治西部地区的根基便被彻底拔除了。此后，匈奴不仅在与汉朝争夺西域的斗争中长期陷于被动的地位，同时也在经济上遭受重大的损失。

霍去病作战时身先士卒，喜欢做先锋。公元前117年，霍去病因病而死，年仅23岁。因为他当时还不到三十岁，武帝悲痛异常，武帝给他修的陵墓外形很像祁连山，还追封为景桓侯，在墓前竖立了一尊“马踏匈奴”的石像，象征着他为国家立下的不朽功勋。