公元213年，张辽与臧霸同为征濡须口的前锋，后攻破孙权江西营，擒获孙权都督公孙阳。
公元214年五月，孙权亲征皖城，张辽从合肥向皖城驰援，在增援途中得知皖城失守。
于是，张辽在硖石的南面迅速筑起了一座堡垒，作为合肥的前哨，同年七月曹操征伐孙权，同年十月曹操无功而返，自合肥还。
曹操在离开合肥时，带走了大批部队欲作西征之用，给屯驻合肥的张辽与乐进、李典等将领只留下了七千余人。
张辽得知曹操有西征之意，认为合肥即将孤立无援，孙权必会趁机来攻，于是开凿了藏舟浦，用来隐藏舟船。
公元215年，曹操率领重兵西征张鲁，让护军薛悌送去一封信函，信函边还写明，要在有敌人来攻时再打开来看。
不久，东吴首领孙权率领十万大军进围合肥，张辽与诸将打开信，信中说：“若孙权军来到，张、李将军出战，乐将军守护军，不得与战。”
曹操只在信中明确了3位将领的分工，但是，完全没有提及何时出城、何时撤退、出城人数、攻向哪里、如何接应等具体措施，况且，将在外君命有所不受。
因此合肥诸将们都充满疑虑，张辽根据曹操远征汉中而合肥缺乏后援的现状，做出了分析，消除了诸将的疑惑，李典也对张辽所说的话表示赞同。
于是张辽在当夜募集敢于出城迎战的精锐将士八百人，开剥牛支让将士饱食，准备明日大战。
天色刚亮，张辽被甲持戟，亲自先登上直直陷敌阵，撕裂了东吴军队的防线。
在他率军冲入东吴的中军营垒之前，张辽就已经亲自斩杀了数十名东吴士卒和两名东吴将领。
他一边大声呼喊着自己的名号，一边拼杀，冲入东吴的中军营垒，此后，张辽率军继续猛攻，一直冲杀到孙权的主帅旗之下。
孙权见状大惊，孙权身边的众将士也因惊慌失措而不知道该如何应付，于是孙权等人逃跑到一座较高的山冢上，用长戟来自卫。
张辽见敌方主帅退避，便叱喝孙权，挑衅他下来对战，但孙权没有轻举妄动，随后孙权发现张辽所率领的士兵非常少，于是聚拢东吴军队将张辽的部队重重包围。
张辽在吴军阵中左冲右突，终于打开包围圈，率领部下们突围，虽然孙权带领十万大军，以及吕蒙、甘宁、陈武、徐盛、宋谦、潘璋、贺齐、凌统、蒋钦等众多的东吴名将一起进攻合肥。
但是张辽率领800人冲阵东吴十万大军，使得孙权以“走登高冢”的方式逃命，张辽突出重围之后，为了救援那些身陷重围的将士们而再次冲进入东吴十万大军。
猛将众多的东吴军队都无法挡住张辽，最终被张辽击破而败走，从此，张辽威震江东，每当江东地区的小孩们啼哭不止，小孩们的父母就会说“张辽来了”来吓唬小孩。