甲午战争期间，面对清军的惨败，让清朝官吏之中的开明之士痛心疾首，于是，编练新式军队以御悔，成为当时朝廷上下的一种共识。1894年11月，留驻天津办理东征粮台的广西按察使胡燏棻，在天津马厂组建了采用西式练兵方法的定武军。在南方，由南洋大臣、署理两江总督张之洞提倡的自强军，也于1896年创立。

1895年7月，两江总督张之洞针对清朝八旗、绿营、练军、淮军等武装力量的颓败之势，提出了要在南洋精练一支新军的设想，并开始着手挑选人员。12月，张之洞向朝廷呈递了南洋编练新军的计划，并冠名为自强军。1896年1月，清政府批准了张之洞的上奏，自强军在两江总督驻地江宁（今南京）正式建立。为了区别旧式军队，自强军制定了一套新的规则，其中对于招收的士兵，要求必须是距离江宁不太远的土著乡民，坚决不招流民。

士兵年龄规定在16-20岁，用西医进行体检，身体健康无阴疾，不能有近视眼，家庭出身要清白，并由家族邻居以及乡绅等作保。为了确保队伍的稳定性，规则还要求凡是被录用者，必须声明情愿为自强军效力10年，并且只准开除，不准辞退，成为自强军士兵后，薪饷从优。

全军兵种分为步兵、骑兵、炮兵和工程兵，各以营哨为基本建制单位。步兵每营250人，分为5哨；骑兵每营180人，分为3哨；炮兵每营200人，分为4哨；工程营100人。自强军名为完全参照德国陆军编制，实际步兵一个营人数仅相当于德军一个加强连。

按照最初的编练计划，全军先设步队8营、马队2营、炮队2营、工程队1营，共编制13营2860人。各营统带、哨官由聘请的洋人充任，副统带副哨官由大清武将和武备学堂学员担任，具体分工为洋将负责带兵操练，清将掌管军纪惩则。

1896年2月，张之洞回任湖广总督，刘坤一接任两江总督。因为刘坤一并没有发展新式军队的意愿，所以自强军不受重视，编制大为缩减，马队2营合为1营，工程营被裁撤，全军仅余2588人，并在1896年8月，由江宁移驻吴淞。

刘坤一还设立自强军营务处以督率全军，改变洋将执掌军权的局面。1898年4月，洋将合同期满回国，江南提督李占椿接管了自强军。在吴淞期间，展开了紧张的操练，为了方便督操，将8营步兵分为左右两翼，每翼4营。

自强军步兵用的武器为新式小口径双筒毛瑟枪，炮队2营分别使用德制克虏伯八生后膛炮以及英制麦克信七生半后膛炮各6门，马队操练武器主要是长矛。1897年5月1日，自强军邀请驻沪各国领事、驻军将弁170人观操。只见士兵人人体壮，枪械整洁，射击靶标精准；炮队钢炮光洁，炮手动作敏捷；马队进退迅疾，操法自如，令人耳目一新，受到中外各界人士的称赞。

1895年5月，自强军又移驻江阴，加入了江防军的序列，在沿江炮台附近择地驻扎。1901年9月，清廷下令自强军除留1哨亲兵驻扎南洋以外，其余士兵调往山东并入武卫右军。1905年春，自强军和武卫右军合编入吴凤祥统制的北洋军第四镇，至此，自强军湮没于历史长河之中。