在《诗经》和《楚辞》中就已经出现了许多描写山水景物的诗句，但那只是作为衬托或比兴的媒介，不是一种独立的题材。中国文学史上第一首山水诗是曹操的《观沧海》。到了魏晋南北朝时期，山水诗开始繁荣起来。魏晋时期，尤其是南渡之后，社会动荡，政治黑暗，玄学盛行。
很多士大夫逃避现实，以山水为乐土，在山水间过着优哉游哉的生活，从中寻找人生的哲理与乐趣。在山水诗产生和发展的过程中，谢灵运对当时和后世影响最大。谢灵运出身南朝士族，才华横溢，但仕途坎坷。为了摆脱烦恼，谢灵运常常四处游览，寄情于山水。他的山水诗一般先写出游，再写见闻，最后谈玄或发感慨，犹如一篇游记。
他的诗句工整精练，意境清新自然，其中不少佳句都经过一番苦心琢磨和精心雕琢，每首诗犹如一幅赏心悦目的山水画。i射灵运的山水诗极大开拓了诗的境界，确立了山水诗的地位，从此山水诗成为中国诗歌的一个重要流派。南北朝时期的谢姚、何逊也是有名的山水诗人，他们与谢灵运一道，把山水诗推向成熟。
到了唐朝，山水诗蔚为大观，李白、王维、孟浩然、杜甫等都是山水诗高手，他们以卓越的诗才，为后人留下大量的山水诗佳作。
