李荫祖，字绳武，辽宁铁岭人。荫生。陕西提督李思忠次子，汉军正黄旗人。明崇祯元年（1628）生，少时入国子监读书。顺治元年（1644年）自荫生授伊阳知县，到任后没有县衙，旋即离去。顺治五年（1648），授户部员外郎。

顺治八年（1651），迁郎中。顺治九年（1652），擢都察院左佥都御史。顺治十一年（1654），命与尚书巴哈纳等分赈保定诸府。不久授直隶、山东、河南总督，加兵部尚书衔。疏请蠲被灾诸州县秋粮，招流民还故里，当随地安集，以时予赈，毋使道殕。又疏言：“直隶滨海，北塘、涧河、黑洋诸地，宜分兵驻守。”时议禁海船，鱼盐米麦不能转输，请官为编号，讥其出入，则商民皆便。并下部议行。

顺治十三年（1656）四月，疏劾河南管河道方大猷侵蚀工银巨万，请逮治，以除民害。顺治帝切责河道总督杨方兴失劾，夺方大猷官，鞫治论死。高鼎据五台山为乱，出三岔口扰真定，李荫祖遣井陉道陈安国谕降，悉散其党。疏言：“太行天下险，三岔居其冲，林密山深，藏奸甚易。自高鼎降，其党散在民间，虽戍以兵，视营垒为传舍。当置游击一，定额兵六百，耑司守御。”上从之。

十四年(1657年)，李荫祖年方二十有九，会湖南北用兵，上察李荫祖年力富强、才猷精敏，加太子太保，改任湖广总督，兼理粮饷。大军进剿贵州，李自成旧部郝永忠、袁宗第、刘体纯、李来亨辈挟十馀万人降于南明，踞郧阳、襄阳之间，干扰饷道。李荫祖请选襄阳水师及均州、黄州、汉阳诸营兵二千人，令副将于大海率军驻守谷城，地扼上游；九谿界连巴蜀，壤接容美、永顺、桑植、保靖四土司，选武昌、洞庭营兵千人戍九谿，断通蜀道。

顺治十五年（1658），汉阳、天门、潜江、沔阳诸郡县水灾，上命李荫祖治赈，民赖以得拯。顺治十六年（1659），经略大学士洪承畴疏请发湖北提镇标兵六千人戍云南，李荫祖以洪承畴已发湖广兵万三千五百有奇，湖南新收降人数万，郧、襄间流贼未殄，留兵不宜复发，请敕承畴就滇中召募，下部议行。复疏议：“讨永忠等，请敕四川总督李国英率师驻重庆，扼巫峡，阻达州；西安将军富喀禅帅师趋兴安府；河南协剿兵诣襄阳合军。臣督诸军分出彝陵、襄阳、郧阳，三道深入，期一举灭贼。”疏既上，会郑成功犯江南，诏将军明安达哩将荆州驻防兵赴援，部议缓师期。顺治十七年（1660），以疾乞罢，命还京调治。康熙三年（1664），卒，年36岁。

李荫祖在任时，凡事亲力亲为，军纪严整，吏治清明，兵无百姓之事。时逢湖广旱灾，庄稼颗粒无收，李荫祖便将百姓吃秕糠、野菜的情形以图画形式上报朝廷，促使顺治下诏免除当地赋税，使灾民免于流离失所。康熙二十五年崇祀名宦。祀直隶、山东、河南、湖广名宦祠。