汉代的绘画，主要是人物画，偶有山水树石的描写，也是作为人物的衬景，比较简单幼稚。从汉代的画像石、画像砖可以看到这一点。
魏晋六朝，虽然人物画仍占有绝对优势，但随着社会的发展，美丽的自然山川逐步为人们所欣赏和重视。当然，虽然顾恺之、宗炳、王微等已在从事山水画的创作，但是他们的创作，技法上仍十分幼稚。
隋唐与五代中国山水画到了隋代，渐显独立。展子虔的《游春图》是现留存人间最古典一幅独立的山水卷轴。从这幅画中可看出，隋代山水画已经发展到一个新的阶段，山石树木和人物的比例已逐渐走向正确，远近关系有所解决。
游春图
山水画发展到唐代，逐渐形成独立的画科。到盛唐时期，山水画与人物画齐头并进。山水画不仅完全独立，且产生了许多著名的山水画大师，开始出现了以李思训和吴道子为代表的“密体”和“疏体”两种画体。密体画的特点是工整、富丽、富于装饰风格。疏体画的特点是超脱酣放，饶有清新的意境。
五代时的南唐、西蜀等国在我国历史上正式创立画院，人物、花鸟、山水画分别作为独立画科逐渐壮大。以荆浩、关仝为代表的五代山水画家，别创新意，画格更趋雄厚高迈，他们的成就，起着继往开来、承上启下的桥梁作用。
宋元时期到宋代，山水画发展到成熟阶段，形势灿烂，名家辈出。有山水画黄金时期之称。五代以后，水墨山水成了山水画中的主要形式。皴法、墨色使山水更加苍润浑厚而有气韵。水墨山水画是萌芽于唐而成于南宋。
水墨画渲淡法始于张璪与王维。之后，王洽继王维的破墨法加以放纵而成“泼墨法”，发展了水墨画法而开启了宋代的画风。
溪山行旅图 范宽
元代，山水画的主要倾向和特点是，师法古人的复古主义严重，带着泥古之情，形象比较脱略，偏重于笔墨情趣，书写个性，寄托襟怀。这与当时历史条件下画家所出的阶级地位、思想感情、审美观点分不开。元四大家，大都过的隐士生活，共同的风格，是以“雅洁淡逸”的风貌来表现祖国山川，笔墨技法上已达到很高的水平。
富春山居图
唐宋的画一般不写款识，最多只落个“穷款”隐藏于石隙、树身，后经苏轼等人“诗画结合”“书画并妙”的倡导，画上才开始有题识。到元代，几乎每幅画都有题跋，书画之外并有印章，印章成了构图点一部分。
明清画派山水画到了明代，派别斗争阻碍了发展。明代山水画之流派从作风上可分为三大派系：院体派，浙派和吴派。从明初到嘉靖之间盛行浙院两派，嘉靖以后，吴派独盛。
院体派，以周臣、唐寅、仇英为代表，特点是仿南宋刘松年青绿金碧山水，作风细笔工整。
浙派，以戴进、吴伟为代表，山水精妙入神，并仿马远、夏珪水墨苍劲格调，雄健劲锐。
吴派，以沈周、文征明、董其昌为代表，人多势大，特点是认王维为鼻祖，临荆、关、董、巨、二米、元四大家的水墨浅绛作风。吴派发展到董其昌以后，自称南宗（谓浙派为北宗），自封为“文人画”。到明末，绘画界已成吴派天下。
清代，山水画家数量空前，但大多是吴派之后，山水画越显枯燥，缺乏生气。当然也有起来反对者，如清初，石涛、八大山人创作的新画风。
民国从鸦片战争到民国前，西方绘画传入我国，画界斗争复杂。但山水画领域也有一批画家，继承了前代革新派画家的优良传统，并吸收了西方绘画的某些长处，如黄宾虹、傅抱石、张大千等。
