湘軍的建立主要是因為太平天國起義。當時綠營和被土地鎮壓的八旗已經不重要了，鹹豐帝就下令各地成立團，幫助鎮壓。公元1853年，禮部右侍郎曾國藩奉命協助巡撫張督管湘勇團。在此基礎上，曾國藩真正根據當時的形勢決定創建壹支新軍“湘軍”，這就是湘軍開始的由來。
曾國藩建立的湘軍與之前的清軍體系有很大不同。他主要指的是明代著名的戚家軍的營制，以營為基本單位，直屬“禁衛”管轄。其次，每營設營官壹人，哨官四人，勇丁五人壹百人，指揮官(後勤兵)壹百八十人，每營共六百八十五人。然後每個哨位有八個隊，壹半是槍械隊，壹半是刀槍隊。槍械主要有步槍和獵槍。全營有兩個開山炮隊，直屬營官。
其次，湘軍還有水師，比陸師誕生的晚壹點。當時，項水師為每個營編了壹艘快蟹艇、十艘長艇和十艘舢板，共21艘，人員447人。每艘龍舟有七門炮，舢舨有四門炮，都是外國炮，重量在600斤到1斤之間。每艘船也裝備了火槍和刀矛用於近戰。此外，湘軍還設有營部和糧臺，分別管理全軍的軍務和後勤。
把湖南各地的團都整合進湘軍的曾國藩，形成了有別於舊綠營的體系，成為清政府鎮壓起義的主力。清廷雖然不信任當地的漢族武裝，但由於湘軍兵力差，戰鬥力弱，不得不嚴重依賴湘軍。湘軍戰鬥力強的原因
湘軍是曾國藩壹手創立的，從壹開始就不同於老牌綠營，這也是保證其戰鬥力的核心。首先，湘軍的士兵大多在當地招募無辜的農民，軍官也是由互相認識的湖南人挑選的。士兵認識軍官，軍官熟悉自己的部隊。不會出現綠營人那種官不認識兵，兵不認識官的混亂。
其次，曾國藩對項的管理嚴格細致。他保證湘軍將士的相應待遇，按時發放軍餉，隨時報告戰功，有問題立即處罰。可以說，軍紀嚴明，獎懲分明，讓軍隊有了足夠的紀律性和戰鬥力。士兵不會被拖欠軍餉，也不怕打起義軍，因為他們知道，贏了就有獎勵，輸了就有人承擔相應的責任。
最後是湘軍的武器裝備。湘軍成立初期主要使用長矛、大刀等冷兵器，中期以後開始使用熱兵器。他設法從西方國家購買了大量先進的火槍和火炮裝備部隊，進壹步提高了湘軍的戰鬥力，在與起義軍的戰鬥中不會落後。綜上所述，湘軍對清末起義軍的鎮壓起到了決定性的作用，也使得主要軍事指揮權從清廷轉移到漢人手中，清廷對當地的控制力進壹步下降。