王恢自思自己的军队敌不过匈奴大军只好退还，韩安国等率领大军分驻马邑境内埋伏，但好几天不见动静，遂改变原先的作战方案，率军出击，结果一无所获。
而“马邑之围”失败的后果影响深远，汉武帝以王恢提出战争却临阵脱逃，将王恢下狱，廷尉判处王恢畏敌观望死刑。
王恢虽买通田蚡通过汉武帝的母亲王太后求情，但仍无法平息汉武帝的愤怒，王恢被迫自杀谢罪。
“马邑之围”之后，匈奴拒绝与西汉朝和亲，在边境拦路劫掠，或者出兵四处袭击汉朝边郡，以报复马邑之围，数量多的数不过来。
“马邑之围”虽未成功，但却使汉朝结束了自西汉初年以来奉行的屈辱的“和亲”政策，同时也拉开了汉匈大规模战争的序幕。
公元188年三月，并州刺史张懿在抵御胡人的进攻时战败被杀，继任为并州刺史的丁原因为张辽武力过人，召其为从事，命他带兵赶赴京城，去接受大将军何进的领导。
大将军何进又派遣张辽前往河北募兵，张辽在河北共募得千余人，然后，返还京城向何进复命，但此时的何进已被宦官所杀。
愤怒的将士们攻杀宦官，幸存的宦官劫持汉少帝，最终董卓立下了救驾的大功，回京后便掌握朝中大权。
由于何进已死，张辽作为大将军何进的直属部下之一，便统兵从属于董卓，后来董卓败亡，张辽统兵从属于吕布，迁任骑都尉。
张辽虽然“以兵属吕布”，但他以北地太守或鲁相名义，在吕布军中仍保持相对的独立地位。
不久，李傕、郭汜、樊稠等人攻打长安，击败吕布，北地太守张辽跟从吕布向东奔逃，漂泊辗转于关中、荆州、豫州、司州、并州、冀州、兖州，在兖州鏖战曹操之后，又前往徐州。
真正让张辽扬名的主要是两件大事，一是随曹操大破乌桓，二是逍遥津“八百破十万”。
公元207年，曹操要征讨在柳城的袁尚、袁熙与乌桓，张辽随大军出征，八月曹操带领先锋部队登上白狼山，突然与敌兵遭遇。
敌人的数量很多，当时，曹操军队的主力重兵还在后方，尚未到达前线，而曹操身边只有少量的军队。
曹军将士们希望等待后续部队，并对当前的危险局面都感到恐惧，在“左右皆惧”的曹军氛围中，张辽力排众议，反对畏敌不前，极力劝说曹操应当趁着胡虏的阵势不整，立刻进行交战，而不是等待后援。
张辽劝战时的语言、神态皆是壮气奋发，曹操十分欣赏张辽的雄壮斗志，又看见乌桓的军队尚未排好战斗阵形，于是采纳了张辽的建议。
曹操亲自将自己所持的麾，授予给张辽暂用，下令由张辽指挥先锋部队出战。
张辽率军突击，大破乌桓军队，并临阵斩杀了以“骁武”著称的乌桓单于蹋顿。
此役虽然敌众我寡、左右皆惧，并且，“蹋顿又骁武，边长老皆比之冒顿”，但是，张辽极力主张迅速进攻，终于，其疾如风，虏众大崩，胡、汉降者二十余万。