因此，清政府屡次颁发奖励团练的命令，力图利用各地的地主武装来遏制太平军势力的发展，这就为曾国藩的湘军的出现，提供了一个机会，11月，清政府命令曾国藩和湖南巡抚张亮基办理团练。
咸丰三年，借着清政府急于寻求力量镇压太平天国的时机，他因势在其家乡湖南一带，依靠师徒、亲戚、好友等复杂的人际关系，建立了一支地方团练，称为湘勇，并清廷上书征用了还只是都司的塔齐布。
8月，获准在衡州练兵，“凡枪炮刀锚之模式，帆樯桨橹之位置，无不躬自演试，殚竭思力”，并派人赴广东购买西洋火炮，筹建水师。
在团练湘勇期间，严肃军纪，开辟新的军队，先后将5000人的湘勇分为塔、罗、王、李等十营，并将团练地点由长沙迁至湘潭，避免与长沙的绿营发生直接矛盾。
咸丰四年2月，湘军倾巢出动，曾国藩发表了《讨粤匪檄》，在这篇檄文里，声称太平天国运动是“荼毒生灵”，“举中国数千年礼义人伦诗书典则，一旦扫地荡尽。
此岂独我大清之奇变，乃开辟以来名教之奇变，我孔子、孟子之所痛哭于九泉”。
接着号召“凡读书识字者，又乌可袖手安坐，不思一为之所也”，其站在了道德的制高点，故动员了当时广大的知识分子参与到对太平军的斗争当中，为日后的胜利打下了坚实的基础。
曾国藩命褚汝航为水军统领，塔齐布为陆军先锋，率大小船舰240艘，水陆大军17000人，挥师东下，3月，岳州战事不利。
4月，在靖港水战中又被太平军石祥贞部击败，曾国藩愤而投水自尽，幸被幕僚章寿麟所救。
因战事不利，曾国藩得旨革职，此时，塔齐布与守备杨载福、知县彭玉麟带领陆军攻克湘潭，7月25日，曾国藩重整水陆各军后，出师攻陷岳州。
击杀太平军曾天养，并攻克城陵矶，因功赏三品顶戴，10月14日，取武昌、汉阳，因功赏二品顶戴， 署湖北巡抚，赏戴花翎。
因曾国藩努力推辞，而赏兵部侍郎衔，12月2日，攻陷田家镇，杀敌数万，焚舟五千，进围九江，因调度有方，赏穿黄马褂。
咸丰五年2月12日夜，石达开总攻湘军水营于湖口，烧毁湘军战船100余艘，曾国藩跳船得免，座船被俘，“文卷册牍俱失”。
曾国藩愤怒至极，打算策马赴敌以死，罗泽南、刘蓉力劝乃止，曾国藩派李孟群、彭玉麟、胡林翼支援武昌，而自己亲自到江西招兵造船。
7月，塔齐布卒于军营，赶往九江，统帅他的部队，8月，收复湖口，9月，补授兵部右侍郎。
咸丰六年，石达开进攻江西，坐困南昌，这时罗泽南卒于军营中，彭玉麟走千里杀入重围至南昌助守。
9月2日，洪秀全与杨秀清内讧，史称天京事变，南昌解围，10月，在长募勇组建吉字营入援江西。
咸丰七年2月20日，其父去世，偕弟曾国华回籍奔丧，7月，两次上疏，请求在家终制，获咸丰帝准许，在当年建“思云馆”。