1864年，轰轰烈烈的太平天国运动，被湘军等中外反动武装镇压下去，战事停止后，湘军处于赋闲状态。于是，为了巩固作为清朝粮饷赋税重地江南地区的治安，另外也需要安置大量立功湘勇，作为湘军统帅时任两江总督的曾国藩上奏朝廷，请求把湘军水师改编为长江水师。

清廷也考虑到要维护长江中下游一带的稳定，就批准了曾国藩的建议。经过一番筹备，到同治七年（1868年），作为勇营湘军水师改编而成的绿营长江水师正式成立。该水师最高长官为提督，设1人，衙门在安徽太平府，其下辖各级将官为总兵4人、副将5人、参将7人、游击11人、都司44人、守备44人、千总160人、把总190人、外委272人。自游击至总兵在各自收泊战船处汛地建立衙署，都司以下官员至兵丁以船为家，不能驻在陆上。

长江水师管辖范围西至岳州，东至崇明，经过湖南、湖北、江西、安徽、江苏五省沿江区域。由驻岳州、汉阳、湖口、瓜州的四镇总兵分辖各营，计荆州、田家镇、安庆、提督中军、江阴、绥海共6个副将营。沅江、牌州、吴城、饶州、大通、裕溪口、金陵草鞋峡共7个参将营。陆溪口、巴河、华阳、芜湖、孟河口、三江口、绥通7个游击营，此外，再加上汉阳、岳州、湖口、瓜州4个总兵中军中营游击营，共有11个游击营。

整个长江水师共计24营，官兵11060多名，再加上一些其他人员，共12000余人。长江水师虽然改编为绿营，但是，营制还是施行湘军旧制。副将营所辖战船为督阵大舢板船1艘，兵20人，长龙船2艘，每船兵25人，舢板船40艘，每船兵14人，共有战船43艘。参将营设督阵舢板船1艘，长龙船2艘，舢板船30艘，共有战船33艘。游击营设督阵舢板船1艘，长龙船2艘，舢板船20艘，共有战船23艘。

参将营和游击营除了船少一些，每艘船人数与副将营相同，整个水师共有战船740多艘。副将营共有员额630人，哨官43人，参将营共有员额490人，哨官33人，游击营共有员额350人，哨官23人，例如书识等这种临时吏胥不包括在内。长江水师装备的武器还是从湘军水师继承而来，与其他清朝旧式军队一样，也是采用冷热兵器混用的状态。水师战船共配备2000多门火炮，其中有数百门进口的前膛洋庄炮。

兵丁的武器包括洋枪、鸟枪、抬枪、大刀、长矛、腰刀等，因为经费长期不足，武器使用多年得不到更新。创建之后的长江水师，每年所需的70万两饷银主要由沿江五处厘卡收取的厘金供给，清廷对长江水师没有军饷调剂权，长期以来这支水师还是由湘系集团控制。

长江水师存在多年之后，其战斗力没有超过湘军水平，实质上成了立功湘勇安度余生的地方。由于长江水师与其他旧军无异，始终没有任何近代化进程，因此许多官吏要求裁撤长江水师以节约经费。但是，在遭到湘系官员的阻挠后而没能成功。

清朝统治进入倒计时的岁月中，长江水师还是老样子，武器陈旧，管理混乱，致使长江上盗匪横行。因为经费经常短缺，有的水师官兵反而与盐枭勾结从中牟利。辛亥革命后，长江水师也随着清王朝的灭亡而消亡了。