“三山五嶽”的提法，在我國古代很早就出現了。傳説中的“三山”因是“神仙”居住的地方，格外受到古人的神往。
也有人將江蘇省南京市西南長江東岸南北相連的山，稱為“三山”。詩人李白《登金陵鳳凰台》有“三山半落青天外”的詩句。江蘇省鎮江市長江江濱和江中的金山、焦山、北固山夾江相峙，世稱“金口三山”。
一種流傳最廣的説法認為，三山指三神仙，即古代傳説中的東海蓬萊、方丈、瀛洲三山，總稱“三神仙”，據説山上長有長生藥，宮殿都是用黃金、白銀建造的。《史記》載：“齊人徐福等上書，言海中有三神山，名曰蓬萊、方丈、瀛洲。”從此以後，三山的名字便在古代小説、戲曲、筆記中經常出現，然而它只不過是傳説而已，現實中並不存在。
現在，所謂的五嶽是我國的五大名山，它們是東嶽泰山、北嶽恆山、中嶽嵩山、西嶽華山和南嶽衡山。但在歷史上，五嶽的稱呼卻不是這五座山，而是另有其山。
漢宣帝時確定了以河南嵩山為中嶽，山東泰山為東嶽，安徽潛山縣的大茂山為北嶽，其後又改湖南的衡山為南嶽，隋以後遂成定製。明代的時候開始以山西的恆山為北嶽，到清朝時祭祀北嶽才改為山西的恆山。
一些封建割據政權也曾將其境內的名山封為五嶽。如三國的吳末帝就將今江蘇宜興的離裏山為中嶽，又封其南的荊南山為南嶽等。五代閩帝王延鈞封今福建寧德縣的霍童山為東嶽，永泰縣的高蓋山為西嶽等。唐朝時南詔統治雲南，則以境內的蒼山為中嶽，烏蒙山為東嶽，無量山為南嶽，玉龍山為北嶽，高黎貢山為西嶽。
現在所説的三山五嶽，泛指我國的所有的名山大川。