蒙山大佛的建造時間有兩種説法。一種説法的來源是《永樂大典》中《太原志·太原縣》的記載,其中記載蒙山大佛的開鑿始於北齊天保二年(559),與前方的開化寺同年,北齊文宣帝高洋賜匾額與開化寺。寺後鑿石修路,依山鑿刻佛像,成蒙山大佛。另一種説法的來源是明嘉靖《太原縣誌》以及明成化《山西通志》的記載,認為蒙山大佛的開鑿在開化寺建寺之後,晚於天保二年(559)。總之不管怎樣,這座大佛的建造年代都是北齊年間,距今有一千多年了,真可謂是歷史悠久。
大佛在隋唐時期達到了鼎盛。隋朝仁壽年初,開化寺專門建造了佛閣以用來保護大佛,並將寺名改為淨明寺。武德三年(620),唐高祖李淵來此禮佛,並將寺名改回開化寺。也有傳説描述李淵是在稱帝之前來禮佛,禮佛結束後的當天晚上,夢中見佛陀,光芒萬丈。李淵的駕臨給這尊大佛帶來了巨大的名望,何況還有民間傳説的加成。大佛最風光的時候還要再往後推移,直到顯慶二年(657),唐高宗李治與皇后武則天同遊開化寺,二聖駕臨,這是十分珍貴的機會,而且這二位以及隨行的同樣地位尊崇的人,給開化寺供養了很多財物,開化寺一時風頭無二。
常言道盛極必衰,開化寺同樣也在唐朝迎來了沒落。著名的會昌法難來臨了,唐武宗會昌四年(844),開化寺佛閣在這次針對佛教的浩劫中廢毀,蒙山大佛也因此暴露在風雨中。雖然後來也多次修繕,起起落落,但都沒有能比得上唐朝前中期那樣的興旺。但是對於蒙山大佛最大的損害並不是會昌法難,而是元朝末年的天下大亂。元朝末年,開化寺被徹底毀廢,曾經風光無限的寺廟只剩下了孤零零的僧房和舍利塔尚在。大佛也在這一時期被毀去了頭部。蒙山大佛本就是摩崖石刻,依山而建,加上幾百年的風吹雨打,佛頭被毀後身體和山融為一體,很難分辨,這就讓安定下來後的人們以為大佛一夜之間消失了。因此後來雖然開化寺重建,但是大佛就消失於人們的視野之中,只存在於傳説之中了。值得慶幸的是,大佛並沒有完全隨着歷史消逝,幾百年後,大佛重新出現於人們視野中。1983年,一名名叫王劍霓的市政工作人員在參加太原地名普查時重新發現了蒙山大佛。
王劍霓在普查工作進行時發現太原蒙山一帶有很多帶寺字的地名,而且還有一處地名叫做大肚崖,這讓他覺得非常奇怪。王劍霓很小的時候就聽説過有關蒙山大佛的傳説,所以多留了心。結果果然就在實地調查時,發現大肚崖其實是蒙山大佛的胸部,徹底損毀的只是大佛的頭部。大肚崖即佛像露出的胸部高度為15.75米,胸部以下全部埋在土石之中,幾百年來堆積的土石厚達數十米。如果説這些僅僅是巧合,那麼佛像背後的山崖頂上,那綿延五百多米的古建築遺蹟就徹底坐實了這是蒙山大佛的事實。
大佛重見天日,自然是引起了極大的重視,立刻就馬上有人來進行調查,之後就是修繕與重建。2008年1月,新修的佛頭安放完成,10月7日,完成修復的蒙山大佛景區正式向公眾開放。大佛曆經千年,見證了無數的人間滄桑;消失幾百年,經受無數的風吹雨打。好在最終我們找到了,找到了這尊意義非凡的大佛,雖然因為消失了幾百年所以現下知名度不高,但是也在一步步走向興盛,宣傳力度也會更大。不久的將來,蒙山大佛必將再現輝煌,重現大唐時期的風采。