1862年3月，候补道员李鸿章在家乡合肥创建淮军，该部初创时所有军制都按照湘军的那一套来施行，其武器装备也是冷热兵器混用。淮军到上海后对付太平军颇为顺手，并通过上海的洋人商行获得了大批洋枪洋炮。

淮军虽然拥用不少火炮以及炮兵，但和其它清军部队一样，并没有独立的编制，是和步兵混编在一起的。随着镇压太平军和捻军成功之后，淮军成为当时战斗力最强、装备比较好的部队，到十九世纪七十年代，淮军由地方团练一跃成为晚清时期清军的主力部队，同时武器装备也大幅改善。

1871年，德国的前身普鲁士打败了法国，因此世界各国的军队纷纷效仿德式军制，而该国的军火也借机畅销各国。淮军统帅李鸿章在1871年至1876年，先后筹措了大量资金，从德国克虏伯兵工厂购买了一百一十余门80毫米口径的后膛火炮，并雇佣德国教习，开始在淮军仿照德军编制建立炮兵部队。

当时德军炮兵以六门炮编为1个小营，作战时每门炮的运载有正车、备用车各一辆，分别用六匹马牵引，另外还有一个骑马的指挥官，每门炮共需要马十三匹。淮军创建了十九个炮营，每个营也编制六门火炮，但因为没有那么多钱养马，所以只能减去了六匹马。每门炮用的正车和备用车各用三匹马拉，在加上指挥官骑的马，一共用马七匹。每门炮的炮组编制二十四人，全营共一百四十多人。

淮军虽然创建了炮兵部队，但有名无实，与其他兵种的协同作战根本无从谈起，实际上不能算作是近代化的炮兵部队。