夺马邑与汉高祖进行过一场激战，马邑先得后失，匈奴一直耿耿于怀。此时，军臣单于听信聂翁壹的一番言辞之后，竟然以为马邑唾手可得，于是亲率十万大军进入武州塞（今山西左云），向马邑方向进军。武帝派遣精兵三十二万，命令护军将军韩安国、骁骑将军李广、轻车将军公孙贺率主力部队埋伏在马邑附近的山谷中；将屯将军王恢与材官将军李息率三万多人出代郡，准备在主力部队与匈奴接战后从侧后翼袭击匈奴的辎重，断其退路，一举全歼匈奴主力。全军由韩安国统率，监护王恢等四位将军。聂翁壹这时已回到马邑，杀死一名囚徒，悬头于城下，告诉匈奴前来侦探消息的使者说已经控制了马邑城，单于可以速来掳夺。经过一番精心的安排，陷阱已经布置妥当，只等军臣单于前来送死了。
军臣单于得到使者的报告之后，兴致冲冲地率领大军向马邑方向急驰。但在行至距马邑不过百里之遥的地方，军臣单子忽然发现畜群布满了荒野，却无一人看管，对于这种反常现象甚感疑惑。恰好在此时，匈奴攻下汉一边防小亭，俘获了汉雁门尉史。在单于利剑的威胁下，尉史将汉军的计谋合盘供出。单于听了，大惊之后继而大喜，以为这是天意如此，封尉史为“天王”，下令立即退军。这一突发的事变打乱了汉军的安排，埋伏在马邑山谷的汉军主力还在等待那根本不可能到来的敌人，而王恢、李息率领三万多人，在数倍于己的匈奴大军面前也不敢单独出击。等到汉军主力得知计谋泄露，急追至边塞之时，匈奴全军早已安全退出。汉武帝与群臣精心筹划的“马邑之谋”，劳师动众，就这样无声无息地结束了。
“马邑之谋”的失败，深深刺痛了武帝的自尊心。王恢朝议时首先献策在马邑伏击匈奴，但在匈奴退兵的关键时刻又不敢果断出击，更是激怒了武帝。虽然王恢一再辩解之所以未主动出击匈奴，不是因为怯懦避战，而是事出意外，无法再按原计划行动；何况以三万之众击十万大军，必败无疑。尽管王恢的解释从军事角度讲不是全无道理，武帝的母亲王太后也亲自出面为王恢说情，然而这一切努力都无法平息武帝的怒气。王恢下狱后自知难逃一死，只得自杀身亡。
王恢自杀谢罪，“马邑之谋”功败垂成。原以为这次伏击是“百全必缺，一战即可以擒获单于，征服匈奴，实际上几十万大军同时调动，很难保守秘密；而把战胜匈奴的希望寄托在一次伏击之上，更反映出武帝与群臣对匈奴骑兵善于长途奔袭作战、应变能力极强的特点认识不足。但是武帝没有因为马邑伏击不成而动摇了反击匈奴的决心，而是更加充分地进行新的战争准备，决心再与匈奴一决胜负。匈奴军臣单于在惊魂初定之后，立刻出兵大肆侵扰，攻击边塞亭障，作为对汉军马邑设伏的报复。从此以后，北部边境战火重燃，正式揭开了汉匈长期战争的序幕。
二、河南、漠南之战
元光二年，马邑伏击匈奴失败后，武帝在震怒之下，以“首谋不进”的罪名将王恢下狱，逼迫王恢自杀。其中固然有武帝借此泄愤的成分，但也反映出武帝对指挥马邑之战的将领们的不满情绪。特别是马邑之战的主将韩安国，虽然在景帝初年就以抗击吴楚联军而闻名天下，但对匈奴素来怀有恐惧之心，老成持重有余，主动进取不足，更缺乏随机应变的能力，致使战机白白丧失。年轻气盛的天子与宿将老臣之间在对匈奴作战中的矛盾，通过马邑之战暴露出来。“有非常之功，必待非常之人”，这是武帝用人的一贯指导思想。为了物色能够担负抗击匈奴重任的人才，武帝的目光首先落到了宠姬卫子夫的弟弟卫青的身上。从此之后，卫青在众多的将领中脱颖而出，成为武帝时期抗击匈奴最重要的将领之一。
卫青是河东平阳（今山西临汾西南）人。父亲郑季是一个地位低微的平阳县小吏，在平阳公主家服役时与婢女卫媪私通，生下了卫青。作为一个私生子，卫青的童年和少年时代是在充满了歧视与冷漠的艰苦环境中渡过的。卫青成年之后，重新回到公主府，充当平阳公主的侍从骑奴。建元二年（前139年），卫青最小的姐姐卫子夫得到武帝的宠幸。后来，陈皇后的母亲，即武帝的姑母大长公主得知卫子夫怀孕，深恐威胁到其女儿皇后的地位，于是将卫青囚禁，准备处死。幸亏卫青的挚友、骑郎公孙敖得知消息，连夜带人劫狱，卫青方幸免一死。武帝知道此事后，遂任命卫青为建章监、侍中。从此，卫青摆脱了屈辱卑贱的社会地位。卫子夫被封为夫人后，卫青也晋升为太中大夫，成为朝廷的一名新贵。虽然卫青以外戚贵幸，颇有得官不正之嫌，但他在青少年时代所遭受的苦难与挫折，却为日后驰骋疆尝建功立业创造了条件。
元光六年（前129年），匈奴侵入上谷郡，杀掠吏民。卫青被任命为车骑将军，率领万骑，直出上谷抗击匈奴。同时，轻车将军公孙贺、骑将军公孙敖、骁骑将军李广各率万骑，分别从云中、代郡、雁门出塞，追击匈奴。在四将之中，李广、公孙贺均是沙场老将，而公孙敖少年从军，也经历过战争的洗礼，唯独卫青是初出茅庐的新手。但战争的结局却出乎人们的意料。公孙贺出云中后没有与匈奴遭遇，无功而还；公孙敖出代郡后被匈奴击败，损失了近七千将士，狼狈地逃回；而李广的运气似乎更坏，竟与匈奴单于主力相遇，兵败被俘，依仗过人的机智与精湛的骑射本领，夺取匈奴的战马逃回。四路大军之中，只有卫青一军在击溃侵入上谷之敌后，深入匈奴境内，直至龙城，斩获匈奴七百多人后凯旋而还。卫青初次出师就立下战功，武帝极为高兴，赐卫青爵为关内侯，以示奖掖。
经过这次战争，匈奴大肆进行报复。同年秋天，匈奴骑兵猛攻渔阳（治今北京密云西南）一带。第二年（即元朔元年，前128年），匈奴再次入侵，先攻辽西（治今辽宁凌源西南）一带，杀掠二千多人，辽西太守以身殉国。匈奴继而西进，渔阳又告危急，屯守渔阳的老将韩安国几乎全军覆灭，只好龟缩在营垒之内等待援军。匈奴铁骑在横扫辽西、渔阳之后，乘胜西进，攻入雁门，杀掠千余人。就在这危急之际，卫青再次奉命出征，率三万将士前往雁门迎击匈奴；将军李息出代郡，攻击匈奴后路，与卫青一路遥相策应。卫青率军直赴雁门后，与入侵匈奴展开激战，匈奴惨败，丢下数千具尸首狼狈逃窜。卫青二次出击均获全胜，显示出卓越的军事才能，声威鹊起，在随即展开的著名的河南之战中，理所当然地成为汉军的主帅。
汉军在元光六年、元朔元年二次大规模出兵，虽然取得了一定的战果，但毕竟是单纯的防御性作战，既没有夺取匈奴的战略要地，也没有与匈奴主力接战，匈奴的实力并没有受到严重的削弱。元朔二年（前127年），匈奴又攻入上谷、渔阳，杀掠吏民千余人。事实证明，汉军分兵把守，数路并出的作战方式并不能保障边境的安全，而且在汉军退兵之后，匈奴卷土重来，进行疯狂的报复。当时匈奴主要是在汉边境的东部连续向汉军发动进攻，但对汉朝威胁最大的却不是匈奴东部左贤王的部队，而是活动于阴山一带的右贤王与占据河南地的匈奴楼烦王、白羊王的部队。尤其是河南地，北接阴山，南距长安不过七百多里，西与匈奴休屠王、浑邪王统辖的河西地区相邻，东则威胁定襄、云中郡。自从秦末汉初冒顿单于重占河南地后，一直就是匈奴南下的基地。因此，为了切断匈奴东西二部联系，彻底消除匈奴对关中地区的威胁，夺取河南地的战略意义特别重大。匈奴也十分清楚这一点，所以左贤王的军队连续进攻汉东部边境，企图将汉军主力吸引过去，减轻汉军对河南地的压力。
元朔二年，就在匈奴连续在东部边郡制造事端，以为汉军必然应接不暇，疲于救援之时，武帝不为匈奴在东线的进攻所动，采取匈奴东击，汉军西进的作战方针，果断地发动了著名的河南战役。奉武帝的命令，卫青第三次出征，统帅数万大军从云中（治今内蒙托克托东北）沿黄河北岸向西北迅速挺进，一举攻占高阙（塞名，位于今内蒙锦杭后旗东北），切断了驻守河南地的白羊王、楼烦王与单于王庭的联系。然后卫青立刻率兵南下，沿黄河直驱陇西（治今甘肃临洮），完成了对白羊王、楼烦王的包围。等到白羊王、楼烦王察觉身陷重围之时，在河南的防线已经全面崩溃，只得率领残部西渡黄河，仓惶逃出塞外。这次战役，汉军歼敌数千人，截获牲畜十多万头，全部收复了河南地，取得了对匈奴开战以来第一次战略决战的胜利。卫青对这次战役的指挥也是极其成功的，一改汉军在以往作战中以伏击、阻击、增援为主的作战模式，整个战役都是在长途奔袭，迂回包抄的运动作战的过程中完成的，等到匈奴察觉到汉军的作战意图后，早已陷入汉军的重围，失败的大局已定。卫青也因为夺取河南地有功，被封为长平侯。
汉军攻占河南地之后，为了巩固已有的战果，武帝采纳谋士主父偃的建议，在河南地设置朔方（治今内蒙锦杭旗北）与五原（治今内蒙包头西北）二郡，命令将军苏建率领十多万人修筑朔方城（今内蒙乌拉特旗南），并重新修缮秦时所筑的旧长城。同时，从内地移民十多万人定居朔方，充实边郡人口，并调运大批粮食以补充军需民用。从此之后，河南地牢固地控制在汉廷的手中，成为汉军出击匈奴的一个重要基地。
河南地的失守及汉设置朔方、五原郡，对于匈奴是一个致命的打击，右贤王的辖区——匈奴的右部，直接暴露在汉军的面前；河南地区土地肥沃，气候温润，适于农牧业的发展，对匈奴经济影响极大。匈奴为了夺回河南地，元朔三年（前126年）冬，以数万骑兵攻入代郡，太守共友战死。夏，雁门又遭侵扰。四年，匈奴出动近十万大军，兵分三路，进攻代郡、定襄、上郡。五年，右贤王又率部侵入河南地，攻扰朔方。在短短的三年之中，匈奴连续出动大军不间断地侵扰边境，可见匈奴是多么急于夺回河南地。在这种形势下，武帝为了确保河南之战的胜利成果，于元朔五年（前124年）春又发动了漠南战役。
在漠南战役中，汉军兵分二路，主力由卫青率领，统辖苏建等四位将军，率三万骑兵出朔方，攻击匈奴右贤王部；另一支军队由将军李息、张次公率领，出右北平（治今辽宁平泉北），牵制匈奴左贤王部，从侧翼配合主力部队行动。卫青大军经朔方出高阙后，向北出边塞六七百里，直奔右贤王王庭。右贤王自以为其王庭远离汉塞，汉军绝不可能至此，没有作任何防备，而是在帐中与娇妻美妾们饮酒作乐，直喝得酩酊大醉。然而，右贤王没有料到，就在入夜之后，汉军突然发动了猛烈的攻击。尚在醉乡之中的右贤王被惊天动地的厮杀声惊醒，仅与一名爱妾及数百名骑士仓惶跨上战马，向北突围而去，其部众从裨王（小王）以下一万五千多人，牲畜十多万头都被汉军俘获。由于卫青在这次战役中功勋卓著，武帝特命使者持大将军印前往朔方，在军中拜卫青为大将军，诸将皆归属大�