曾国荃吉字营攻夺安庆后，稍事休整，便顺流东下， 直趋金陵（南京，太平天国改称天京）。
同治元年（公元1862）五月，湘军水陆俱进，其精锐主力吉字营已兵临南京城下。直到同治三年（1864）六月曾国荃以极大代价攻克南京，湘军屯兵南京城下与太平军苦战长达两年零两个月之久。
湘军围困南京，太平天国天王洪秀全仍然深居宫中，对危若累卵的国事置之不理，只迷信上帝， 他甚至对劝其勤政理事的李秀成等人说：
“朕天生真主命，不用兵而定天下”《太平天国史卷四十二·洪秀全·洪天贵福》。
受天京事变刺激， 洪天王变得疑神疑鬼，不相信外人，尤其忌惮手握兵权者。他首先重用自己的长兄洪仁达、次兄洪仁发，其次重用幼西王萧有和（西王萧朝贵遗腹子） ，再次重用族弟、干王洪仁玕，第四倚重驸马（天王婿）钟某和黄某某，能征善战的英王陈玉成和忠王李秀成反倒排在后面。
陈玉成被苗沛霖诱捕遭胜保杀害后，李秀成、李世贤兄弟掌握了太平军的主要力量。而李秀成节制的大军多达7、80万众，大多是他挺进湖北、江西和后来东征江苏、浙江时招募或强行抓丁来的，人数虽多，但成分复杂，素质良莠不齐，军纪不严，缺乏斗志，将士战斗意志和战斗力乃至忠心皆大不如从前的两广老兵；还有一个致命因素：当时的太平天国领导层贪腐贿赂之风盛行，朝政日益腐败，即使名声较好、颇有威望的李秀成在天京、苏州都有富丽堂皇、奢华无比的王府。太平天国等级森严，领导层乃至各级官员如此堕落，使得曾国藩兄弟及其麾下湘军有机可乘。
曾国荃凶猛能战，尤其善于围困太平军所占城池，常围得如铁桶一般，人送绰号“曾铁桶”。却说曾国荃督军攻打天京，一心经营苏福省的李秀成在洪天王的再三严厉催促下，才不太情愿的率数十万江、浙、赣太平军前去救援天京。李秀成临出发前，将其麾下最精锐的邓光明火器营以及范汝增、黄呈忠部十余万人马留在苏福，以保存实力，替自己守住后方。
曾国藩听说李秀成大举入援金陵，担心弟弟兵力不足难于应对，就派李鸿章、左宗棠率在江浙一带的淮军、楚军协助其弟抵抗，李、左担心曾国荃强梁跋扈，因忌惮自己抢功而发生火并，遂迟迟不愿前往，曾国藩一再催促，淮军、楚军都拖延不至，此刻在金陵外围以及江苏、浙江三地，清军与太平军都在发生激战，富庶的江南地区已经成为双方拼命争夺的血肉战场。
曾国荃的吉字营仅有不足一万人马，加上彭玉麟、杨载福（样岳斌）两路湘军水师，还是不足两万人，且当时军中闹起了瘟疫，不少将士因染上疾疫而丧命，没死的也奄奄一息，无力提枪作战，情势异常危殆，突闻李秀成率数十万大军大举袭来，曾国荃有些焦急，赶紧督促士兵加固工事，深壕高垒，还筑起一道长长的木城，准备拼死固守。
李秀成大军赶到天京城下，立刻向围城湘军发起猛攻，曾国荃督率将士拼命还击，坚守不出，李秀成部一时难以攻克，还在阵前扔下不少尸体，便暂时退回。李秀成见湘军人数虽少，但工事坚固，一时攻不下，便分兵轮番施工，加紧建造了200多座营垒，将曾国荃部构筑的各垒工事死死围住，旋即发起昼夜不停的进攻，太平军士卒前仆后继，大有志在必得的架势。
曾国荃被太平军搅得日夜不宁，他指挥将士，全力抵抗，只要能动弹的全部上阵，与奋死前突的太平军浴血死战。曾九帅也是一代猛人，以“扎死寨，打呆仗”著称，这位以顽梗不屈出名的湘军大帅很是厉害，所部皆亡命之徒，人人死战不退，未让兵力占据绝对优势的太平军占到任何便宜。双方连续血战10个昼夜，到第10天清晨，太平军又发起了进攻，枪炮声轰鸣，震动天地，不绝于耳。太平军部分敢死队已经突至湘军阵前，吉字营副将倪桂立刻率部堵截，双方混战时，一颗炮弹从天而降落在倪桂身旁，旋即爆炸，倪桂被炸得血肉横飞，死无全尸。曾国荃自幼霸蛮，他见有些开花炮落地后未爆炸，便壮胆督众勇往直前，将太平军突击队杀退。
曾国荃击退太平军敢死队后，下令部众发射火箭、抛掷火球，击毙了不少不顾性命冲锋的太平军士卒。李秀成见所部死伤惨重，尸横遍野，将士饥疲，便下令暂时后退，来日再战。
次日，天降大雨，太平军的火炮发不了威。雨一连下了好几天 ，灰蒙蒙视野不好，连日来，太平军依然攻打不休，士兵持枪进攻，吉字营将士则持枪还击，一时间，阵地上弹雨横飞，双方相持不下时，一粒流弹击中了曾国荃的脸颊部，血流如注。有人劝他下去疗伤，他仍忍痛咬牙督战，吉字营官兵见九帅这般顽强，皆感奋不已，自然浴血抗击，死命拒敌。
双方激战至16天后，太平军侍王李世贤率3万多驻浙江太平军前来援助堂兄李秀成，一开到壕外，顾不得休息即发起强攻。这时，吉字营将士饥疲不堪，死伤累累，似已走投无路，既然无路可退，干脆放手一搏，所有能动之人均持枪作战，伙夫、医官、伤势较轻者皆奋死拼杀，与李世贤生力军血战两昼夜，击退了李世贤部后，才稍稍吃饭、休息。吉字营死伤惨重，曾国荃极力安慰部下，亲自为伤兵裹伤敷药，部众皆很感动，人人俱怀必死之心。
数日后，太平军久战疲惫，损失也重，稍有懈怠，曾国荃见对“长毛”营垒面静悄悄，提醒左右说：“当心有诈”！果不其然。次日天刚破晓，忽然一声巨响，土石翻飞，吉字营修葺的高数丈壁垒被炸塌一大截，许多头裹红巾的太平军蜂拥而入，冲进湘军壕垒中大砍大杀。曾国荃立刻下令投掷火球，同时用枪炮猛击，苦苦支撑了足足3个时辰，击退了太平军一波波进攻，斩杀、击毙了数千名冲入湘军阵地的太平军突击队，旋即督众迅速用沙袋堵好了缺口。太平军用穴地埋炸药的方法攻入湘军营垒，可惜终被击退，未能得手。
随后，太平军土营又趁夜偷挖地道，偷偷运进炸药。曾国荃则将数千幸存将士一分为三，一部专门防堵，一部加筑内墙，一部则横向挖掘地道 。太平军土营连挖7处地道，都被吉字营察觉并堵住，太平军的“穴地攻城法”再次受挫。
曾国荃见太平军攻势大减，似乎有些气馁，突然挥军杀出壕垒，吉字营将士士气正盛，气势汹汹地冲杀出来，太平军猝不及防，大惊失色。曾国荃趁势督众猛打猛冲，势如破竹般攻破太平军十余座营寨， 打死数百太平军，旋即迅速收兵回营。
李秀成见曾国荃如此顽梗，吉字营如此凶悍，很难攻破之，于是分兵攻打湘军粮饷通道，与负责保护粮道的曾国葆部发生激战。彼时曾国葆也染上了瘟疫，忽冷忽热，好不难受，仍强撑着指挥作战，数次击溃来袭的太平军。曾国荃也分兵一部来援，两军合力击退了太平军。
史载，自同治元年闰八月十九日起，一直到十月初四日，曾国荃以寡击众，对十倍于己的太平军发起主动进攻 ，吉字营将士欠饷已久，却无一人溜走，人人都想杀入南京大发横财，因此都奋勇拼杀，誓死破敌。
十月初五日清晨，太平军再次吹响冲锋螺号，又发起了猛烈进攻，曾国荃不顾疲劳，率全营幸存将士出阵迎战。这次吉字营官兵更加凶悍，人人猛打猛冲，连破数十座太平军营盘，太平军则节节败退，李秀成、李世贤无力禁止，也被迫随大流后撤，曾国荃督数千羸弱之众苦战多日，竟然击溃、逼退李秀成、李世贤大军，奇迹般地破解了大营之围。
这是湘军吉字营首次真正意义上的生死恶战。面对人多势众的太平军，湘军坚守不出，双方对峙相持了3天，太平军因伤亡颇大、武器弹药损耗过多，被迫减缓了攻势。李秀成仔细检讨作战失利，从两线出击、战线拉得过长中吸取教训，将兵力集中于东面，准备发起致命一击。
九月十二日，李秀成再次挥军猛攻雨花台湘军大营，曾国荃督军顽强抵抗，重创太平军，太平军伤亡惨重，损失较大。曾国荃依然固守不出，太平军东线大军在雨花台之役中损失惨重，几乎全部覆没。曾国荃与坐镇安庆的曾国藩积极联络，李秀成却疏忽了这一点，没有派兵切断雨花台与外界的联络通道。从安庆沿长江运来的各类作战物资源源不断地进入吉字营阵地，曾国荃因之获得了大量人力物力的支援。
反观李秀成军，不但没有得到天京城内的支援，还要将苏州运来的粮食弹药送入城内。城外的数十万大军庞大的口粮和作战物资要靠自己设法解决。随着冬天的来临，将士缺吃少穿，窘困不已。到10月下旬，李秀成见攻破雨花台湘军营垒基本无望，所部损兵折将，减员严重，且缺乏冬衣，饥寒交迫，只得分路撤出战团。李秀成率部分将士退入天京城内。其余残余部队则由李世贤率领，往 江西、浙江方向退去。
这场持续了一个半月的残酷大会战也使曾国荃部损失惨重，但总体看湘军还算惨胜。此时的吉字营伤兵累累，战死者布满战壕，不及掩埋，湘军暂时无力攻打天京城。然而，因太平军后期兵员素质下降严重，导致战斗力严重衰退，加上主帅李秀成指挥失误，雨花台大战没有实现 战前预期目的，未能破解天京之围，自身还遭受惨重损失，表明太平天国大势已去，导致部队战斗力下降严重。
