同治二年（1863 ）十一月，打下苏州的淮军兵分两路，李鹤章、刘铭传等军进攻常州、宜兴，以策应正围攻天京的湘军曾国荃部吉字大营，程学启、潘鼎新、李朝斌等直趋嘉善、嘉兴，与左宗棠的楚军遥相呼应。
程学启、潘鼎新、李朝斌等军水陆俱进，最初进展极为顺利，仅在十一月一个月内，依靠招降纳叛，先后进占平湖、乍浦、海盐、嘉善等城，基本未经血战。十二月，进围嘉兴时，却遇到了难啃的硬骨头。
12月24日，程学启兵分五路进攻嘉兴，利用火力优势，架炮轮番猛轰，炮轰千余发，太平军守军亦还以颜色，从城头上炮轰淮军，双方从24日早晨一直战至次日午后三点，淮军虽攻破城外太平军营垒数座，但自身也付出了死伤5、600兵勇的沉重代价。
同治三年（1864）正月底，程学启又增调数十门火炮，持续轰击6、7个小时，炸塌城墙十余丈，前锋敢死队遂发起冲锋，沿缺口奋死登城，但太平军用整桶火药“燃泼下城” ，淮军攻兵顿时伤亡数百人，其余的狼狈撤回。
2月26日，总兵程学启令各军发起总攻，先用大炮连续轰击3昼夜，城墙被炸得土石翻飞，千疮百孔，一处城垣被炸塌数十丈，形成一道巨大的豁口，淮军将士奋死攀登4次，均被守军用火枪及滚木擂石击退。城墙内外淮军和太平军的尸体堆积如山，污血横流 ，境况异常惨烈。
18日，淮军悍将程学启亲自率军发起冲锋，“肉搏以登” ，官兵们前仆后继，终于破城而入。激战中，淮军“弁勇伤亡极多”，程学启亦身负重伤，不久伤重毙命。
另一路淮军攻下无锡后，大将刘铭传即挥军西下攻打常州，太平军守军顽强抵抗，双方鏖战至12月，淮军仅攻毁太平军在城外构筑的壕垒多处。李鸿章见常州“长毛”守军顽梗异常，于是从程学启军以及作为第二梯队的后防军中抽调人马增援，并设法请戈登率洋枪队（常胜军）前来助攻；戈登建议李鸿章，刘铭传等军继续围攻常州，由洋枪队以及淮军水陆师组成联军，往攻素有“江浙之通衢，常州、金陵之后路”之称的重镇宜兴。李鸿章采纳戈登建议。
同治三年（1864）正月至二月，中外联军经过几天苦战，一举攻占了宜兴，接着用甘词厚币诱降太平军溧阳守将，兵不血刃进占溧阳，并趁势向金坛进击。（铁马冰河wu作品）驻守常州的太平军名将、护王陈坤书见情势日益危殆，乃分兵四出，偷袭清军后方，先后攻占杨舍、福山， 旋即进围常熟，一时间，苏州、太仓、无锡大为震动，一日数惊。李鸿章立刻命刘铭传等停止攻打常州，除留少部分兵力继续留在城下，抽调主力驰援常熟。
几乎与此同时，戈登所率的雇佣军和淮军水陆师也在金坛遭到挫败。联军抵达金坛后，仍沿袭老战术，将“许多重炮移至距城数百码内，持续炮击数小时，然后步兵向缺口处发起冲锋”。但太平军守兵一直藏匿在工事内，当敌军开始登城时，就蜂拥而出，突然发起反击，“猛投砖石，势如暴雨，用长矛搏战”，淮军将士埋头冲锋，猝不及防，瞬间被击中、刺倒一大片，接着太平军趁乱发起反冲锋，攻兵死伤惨重，只得“混乱败退”。
这样你来我往的攻防战连续进行了3次，太平军的伤亡固然不轻 ，淮军和洋枪队也“损失了十四个军官和约四分之一的雇佣兵 ”《李文忠公全集·奏稿》 。戈登等因战损过重，只得从金坛撤往溧阳休整，旋又奉命驰援常熟，再遭重挫。戈登常胜军在常熟之战中损失惨重，伤亡兵勇三百余人，外籍军官阵亡八人，丢失枪械四百多支 。经半个多月的激战，太平军奇袭常熟之战，最终仍宣告失败。
接着，戈登又率雇佣军参加了当年3月对常州发起的总攻战役。陈坤书指挥太平军誓死坚守，“戈登的大炮队用榴弹炮和铁筒炮扫射都没用，城墙缺口处的首批太平军被扫光了，第二批太平军又立刻补上《太平天国史料》” 。混战中，外籍军官十九人受伤，十人阵亡，淮军伤亡更多，城墙内外特别是豁口处尸积如山，血流成河。
这样战至四月六日，在淮军和常胜军不惜血本的猛攻下，孤立无援、弹尽粮绝的常州城终告陷落。守军主将、护王陈坤书又率余部与联军展开残酷巷战，使联军又伤亡一千多人。（铁马冰河wu作品） 陈坤书力竭被清军生擒后，拒绝投降，还慷慨陈词道：“欲保守常州以为金陵（天京）犄角，奈事不成，只有尽忠” 《李文忠公奏稿·克复常州折》。陈坤书旋被清军凌迟处死。之后，数万残余太平军守军被淮军和常胜军搜杀殆尽。常州破城十余日后，城中大街小巷仍布满倒毙的僵尸 ，无人收殓，散发出令人窒息的恶臭 ......
