“三山五岳”的提法，在我国古代很早就出现了。传说中的“三山”因是“神仙”居住的地方，格外受到古人的神往。
也有人将江苏省南京市西南长江东岸南北相连的山，称为“三山”。诗人李白《登金陵凤凰台》有“三山半落青天外”的诗句。江苏省镇江市长江江滨和江中的金山、焦山、北固山夹江相峙，世称“金口三山”。
一种流传最广的说法认为，三山指三神仙，即古代传说中的东海蓬莱、方丈、瀛洲三山，总称“三神仙”，据说山上长有长生药，宫殿都是用黄金、白银建造的。《史记》载：“齐人徐福等上书，言海中有三神山，名曰蓬莱、方丈、瀛洲。”从此以后，三山的名字便在古代小说、戏曲、笔记中经常出现，然而它只不过是传说而已，现实中并不存在。
现在，所谓的五岳是我国的五大名山，它们是东岳泰山、北岳恒山、中岳嵩山、西岳华山和南岳衡山。但在历史上，五岳的称呼却不是这五座山，而是另有其山。
汉宣帝时确定了以河南嵩山为中岳，山东泰山为东岳，安徽潜山县的大茂山为北岳，其后又改湖南的衡山为南岳，隋以后遂成定制。明代的时候开始以山西的恒山为北岳，到清朝时祭祀北岳才改为山西的恒山。
一些封建割据政权也曾将其境内的名山封为五岳。如三国的吴末帝就将今江苏宜兴的离里山为中岳，又封其南的荆南山为南岳等。五代闽帝王延钧封今福建宁德县的霍童山为东岳，永泰县的高盖山为西岳等。唐朝时南诏统治云南，则以境内的苍山为中岳，乌蒙山为东岳，无量山为南岳，玉龙山为北岳，高黎贡山为西岳。
现在所说的三山五岳，泛指我国的所有的名山大川。