1860年4月，太平天国忠王李秀成率领大军连克苏州、常州后，兵锋直逼上海。此时的清军已然如惊弓之鸟，乱作一团，大清苏淞太兵备道吴煦除了向驻扎上海的英法军队求助之外，还组织当地富商出资赞助美国人华尔建立了洋枪队，6月份正式成军，驻地松江广富林。

洋枪队配备西式枪炮，按照外军方式组织训练。最初的队员是300余名吕宋雇佣兵和一些白人逃兵、水手等，军官为西方人。7月15日，太平军将领陆顺德主力进攻上海七宝镇。洋枪队在清军参将李恒嵩配合下，乘虚袭击并占领了太平军盘踞的松江，首战告捷。但是，这时候的洋枪队实力还不强，在8月9日的青浦之战中遭到李秀成所部的反击，损失惨重，仅有的10几门炮被太平军缴获。洋枪队残兵败回上海后，被英国海军提督何伯以危害租界安全的名义解散。

1861年秋天，华尔在上海富商和官绅的资助下，重建了洋枪队。这次招募的队员以华人为主，军官还是西方人，初期有800人，到1862年1月，洋枪队发展到1200余人，武器装备也大为改善。2月5日，洋枪队在天马山击败太平军，14日，江苏巡抚薛焕正式授予常胜军的番号。之后，洋枪队改编的常胜军与英法军队和清军沆瀣一气，凭借先进武器，先后在肖塘、高桥、泗泾、周浦、嘉定、南翔等地战斗中连连得手。虽然6月份在青浦被太平军围歼了一部分，但是常胜军力量还是处于发展状态。

人数达到鼎盛时期的1862年秋天，常胜军有6500多人，编为5个步兵团和个狙击兵团。常胜军之所以战斗力强悍，是与其武器装备先进、火力强大所分不开的。常胜军轻武器以英制恩菲尔德1853式来复枪为主，这种枪是当时英国军队的制式武器，威力大、精度高。常胜军的炮兵非常强大，编成4个攻城重炮中队和2个野战炮中队，配备十二磅过山炮18门、二十四磅榴弹炮3门、三十二磅榴弹炮4门、八英寸口径重炮2门、臼炮12门。此外，常胜军还有一支内河舰队，有战船50余艘，上面装有各式轻型火炮。

常胜军统领华尔于1862年9月在慈溪被太平军击毙后，先后换了两个统领。1863年3月，英国少校戈登成为常胜军统领，他将队伍作了调整，将人数降到3500人，但是炮兵变化不大，仅将中队改称为连。依照火炮的种类，炮兵连人数在144至174之间，所配备的火炮种类与以前没有变化，只是数量略有增加，并在苏南诸战役中协助刚成立的淮军，出力很大。

当时的淮军虽然开始配备洋枪，但是火炮很少，攻城非常吃力，往往依赖常胜军强大的炮火支援。在太仓、昆山及以后苏常等地攻坚战中，常胜军的三十二磅炮、八英寸重炮起到了非常重要的作用。还有常胜军的装甲汽轮，用上面载的火炮，在配合淮军作战中也成为攻坚利器。

常胜军因为连战皆胜，就飞扬跋扈起来，与清军各部摩擦不断。1864年5月，清廷出银十万两遣散了常胜军。但是，最精锐的炮队600人和步兵300人保留下来，编入了淮军。