咸丰二年（1852年）十一月，当太平军出湖南进攻武昌时，清廷委任在籍守制的礼部侍郎曾国藩为湖南团练大臣，“令其帮同办理本省团练乡民，搜查土匪诸事务”。曾国藩对举办不脱离生产、“不得远行征调”、“一切经费均归绅耆掌管”的团练不感兴趣。他认为绿营已经腐朽，不足以恃。而敛钱兴办团练，势必产生诸多流弊，关键问题是要建立一支既有别于绿营、又非告昔日分散活动的乡团的新型车队。

十二月二十一日，他奉旨自家乡湘乡抵达省城长沙，次日即上奏清廷，声称“省城兵力单薄，询悉湖南各标兵丁多半调赴大营，本省行伍空虚，势难再调”。他拟“于省城立大团，认真操练，就各县曾经训练之乡民，择其壮健而朴实者招募来省，练一人收一人之益，练一月有一月之效”。曾国藩在痛陈绿营“见贼逃溃”、“无胆无艺”、“所向退怯”、不可为用之后说：“今欲改弦更张，总宜以练兵为要务”，“但求其精，不求其多，但求有济，不求速效，诚能实力操练、于土匪足资剿捕，即于省城防守亦不无裨益。”

在曾国藩上奏的前三天，湖南巡抚张亮基幕僚左宗棠为之起草的《筹办湖南堵剿事宜折》也提出：“委明干官绅，选募本省有身家来历，艺高胆大之乡勇一二千名，即由绅士管带，仿前明戚继光束伍之法行之。所费不及客兵之半，遇有缓急，较客兵尤为恃。”当湖南湘乡秀才罗泽南、王鑫及唐景晖应张亮基札调，率千余名团丁到省城防守后，曾国藩便仿照戚继光建军成法，将这批湘乡团丁编为中、左、右三营，以罗泽南统中营，王鑫统左营，唐景晖统右营，逐日操练。由于曾国藩编练的这支军队来自湘乡团勇，又非经制绿营兵，故曰“湘勇”或“湘军”，后米通称“湘军”。

咸丰三年（1853年）春，张亮基调任湖广总督，潘铎接署湖南巡抚。由于当时太平军已离武汉东下，进逼南京，湖南形势稍有缓和，再加筹饷困难，潘铎遂与曾国藩商议，裁撤新旧团勇三千，湘军唐景晖一营也因此被裁。四月，骆秉章回任湖南巡抚，又招募湘勇二营，分别由邹寿璋和曾国藩弟曾国葆管带。不久，太平军进攻江西南昌，入城助守的曾国藩门徒湖北按察使江忠源请求湖南派兵救援。曾国藩又增募湘勇2000人，新宁楚勇1000人，由罗泽南、郭嵩焘、江忠淑等率领前往南昌救援。虽然旋遭失败，但曾国藩却从中看到了湘军力量所在，因而更坚定了大办湘军的信念。他三年八月移住衡州（今衡阳），至四年初，湘军陆营已扩编为13个营，总兵力5000余人，如果加上由湖南巡抚骆秉章节制的王鑫所统老湘军等，湘军总计已有20个营，兵员8000人。

曾国藩为了从太平天国水营手中夺取长江江面的控制权，在扩建湘军陆营的同时，又创建了水师。水师也招了5000人，编为10个营。后来又建立了骑兵马队。至咸丰末年同治初年，湘军总兵力达50余万人，势力远及十余省。曾国藩曾对李鸿章夸耀说：“长江三千里，几无一船不张鄙人之旗帜”，“各处兵将一呼百诺”，成为与太平军作战的主力。

湘军分陆营、水师、马队三大兵种，均以营为基本建制单位。

湘军创建之初，陆营编制3个营，每营初定360人。次年冬，在衡州扩编13个营，每营500人，咸丰十年（1860年）在安徽祁门始成定制。其编制如下：每营设营官1人，下辖前、后、左、右4哨，每哨设哨官、哨长各1人，另编伙勇8人、护勇5人；每哨辖8队，其中抬枪队2、刀矛队4、小枪队2，各队设什长1人，伙勇1人，抬枪队正勇12人，刀矛、小枪队正勇各队均10人，共计100人。每营营官另编直属亲兵6队，内劈山炮队、刀矛队、小枪队各2，每队什长、伙勇各1人，正勇10人，共计营官亲兵72人。总计一营人数为营官1人，哨官4人，哨长、什长、正勇、护勇、伙勇共500人。此外，每500人又额编长夫180人，平均每100人用长夫36人，专门从事运输等杂役。故湘军陆营，每营实际编制共685人。

水师依托船舰以主军，而船舰又有快蟹、长龙、舢板三种大、中、小型之分。咸丰五年（1855年）曾国藩在《水师得胜歌序》文说道：“快蟹配45人，摇桨者28人，橹8人；长龙配24人，摇桨者16人，橹4人；舢板配14人，摇桨者10人；每船舵工1人，头工1人，炮手数人。四年五月，每船添立管驾者1人，名曰哨官。五年十月每船于众桨手中置火弹于数人，于是规模略备。”

《湘军记》所载水师每营编制为：快蟹船1只，营官领之；长龙10只，舢板船10只，诸哨官领之；合21船为一营。快蟹桨工28人，橹工8人，舱长1人，头篙工1人，舵工1人，炮手6人，共45 人。长龙船桨手16人，橹工4人，头篙工1人，舵工1人，炮手2人，共24人。舢板船桨手10人，头篙工1人，舵工1人，炮手2人，共14人。一营共425人。至咸丰五、六年（1855年~1856年）间，裁快蟹船，减长龙船为8只，增舢板船为22只，合30船为一营。每营共500人，营官、哨官不在此数之内。据龙盛运先生考订，《湘军记》所载快蟹船1，长龙、舢板各10，合21船为一营的编制，并非湘军初定之制，而是咸丰五年春夏间的营制。

湘军马队按营、哨、棚三级编制。咸丰九年（1859年）十月，初定营制为每营设营官1人，下辖10哨；每设哨官1人，下辖6棚；每棚骑兵4人。10哨共骑兵224人，哨官10人。另外，每营还设营官帮办、字识各1人，骑兵亲兵8人，先锋官一棚5人；步队亲兵10人，什长1人（共为一棚，专门负责营官差遣及出队时留守营盘） ；公用长夫40人，营官、帮办专用长夫9人，同治四年（1865年）改定马队营制：每营设营官1人，下前、后、左、右、中5哨。其中前、后、左、右4哨各设正、副哨官1人，中哨以营官为正哨，另立副哨官2人。每哨下辖5棚，每棚设什长1人，马勇10人。另外，每营编配帮办、字识各1人，全营伙夫共31人。总计骑兵马队每营编制319人。

湘军在营官之上设有分管数营的分统；分统之上，又有主掌一路军的统领；统领之上为独当一面的战区统帅；统帅之上为总统全军的大帅，大帅就是曾国藩。

此外，湘军统帅部设有主管军法号令的机构“营务处”，主管粮饷器械等后勤供应的机构“粮台"等。

湘军既不同于绿营，又与过去的勇营不同。雍、乾以来，国家遇有战事，也曾临时招募乡兵，別自成营，协助官军作战，称为勇营。但当时的勇营不脱离生产，旋募旋撤，只是临时招募以补绿营兵力之不足，带有乡兵性质，也未创立营制。及至曾国藩编练湘军，才正式创立了勇营兵制。

《清史稿》中指出，曾国藩所练湘军“乃官勇非团丁，是为乡团改勇营之始”。湘军一改绿营编制不齐、营汛官兵多寡悬殊、分区固定防守的地方军体制，而实行分营立哨、组织编制整齐划一的野战军体制。它又改绿营世兵制，推行兵必自募、将必亲选、饷由帅筹的募兵制，变“兵为国有”为“兵为将有”。正由于湘军改变了绿营大小相制，兵权高度分割的制度，克服了每遇战争临时抽调成军，将帅莫知营制，兵将不融、将官不习，将帅不和的弊病，并以家族、亲属、同乡、同事、同年、同学、师生等关系作为团结官兵的纽带，将三纲五常之伦理道德作为训练士兵的根本，所以湘军成了一支战斗力强和封建隶属关系极浓的曾国藩私属部队，成为镇压太平军的主力。同时，湘军的组织体制编制，也直接影响了淮军、防军、练军。