劉心武曾有一部小說叫《鐘鼓樓》，其中說：“在北京城中軸線的最北端，屹立著古老的鐘鼓樓。鼓樓在前，紅牆黃瓦。鐘樓在後，灰牆綠瓦。鼓樓胖，鐘樓瘦。儘管它們現在已經不再鳴響晨鐘暮鼓了，但當它們映入有心人的眼中時，依舊巍然地意味著悠悠流逝的時間。 ”我們去一些城市，往往會發現一個現象，就是好像很多地方都有叫鼓樓或鐘樓的地方，其主要原因就是這裡曾經有過鼓樓或鐘樓的建築，如北京的鐘鼓樓是元明清三代的報時中心，它位於中軸線的北端，與南面的景山遙相呼應。南京鐘鼓樓，位於南京市中心，建於明太祖朱元璋洪武十五年，西安鐘鼓樓，位於西安市的市中心，建於明洪武十七年等等。
專門設定鐘鼓樓大約是秦漢以後，《史記·淮陰侯列傳》記載說呂后就是在“長樂鍾室”殺的韓信，《相臺志》說曹魏鄴城宮殿前已經有鐘鼓樓，“鐘樓、鼓樓，二樓在文昌殿前東西。”《酉陽雜俎》說梁朝的宮殿左有鐘樓，右有放鼓的朝堂，“次曰太陽門，左有高樓，懸一大鐘，門右有朝堂，門闢，左右亦有二大畫鼓。”到了唐代，除了宮殿，城市也出現了鐘樓、鼓樓這樣的建築，當時被稱為鼓角樓，《事物紀原》說：“今州郡有樓以安鼓角，俗謂之鼓角樓，蓋自唐始也。”自唐以後，一些城市設定鐘鼓二樓，東鍾西鼓，左右呼應成為一種固定模式。到了元代，鐘鼓樓成為了一個城市地標性質的建築，往往位於市中心，《元一統志》曰：“至元九年改號大都，遷居民以實之，建鐘鼓樓於城中。”佔據優越地理位置的鐘鼓樓往往也是商業的中心，《西遊記》中寫師徒到了西梁女國即女兒國，就見到了當時“鼓樓大街”的繁華，第五十四回寫道：“一行前進，又見那市井上房屋齊整，鋪面軒昂，一般有賣鹽賣米，酒肆茶房，鼓角樓臺通貨殖，旗亭候館掛簾櫳。”“貨殖”就是指做生意。直到今日，鐘鼓樓的實用意義雖然不再，但因位於老城的中心，其商業地位變得更為突出。這也就是為什麼人們總感覺很多城市都有叫鼓樓、鐘樓的地方，一方面是其歷史造就的建築藝術的影響，另一方面則是現今地段的繁榮帶來的印象。
城市中的鐘鼓樓主要是用於警戒和報時。在古代，鐘鼓樓分別在寅時和戌時擊鐘兩次，而從戌時開始，每個更次擊鼓，直到次日寅時，這就是“晨鐘暮鼓”。“緊十八，慢十八，不緊不慢又十八” ，是一些地方受寺廟鐘鼓樓的敲鐘傳統的影響形成的敲鐘節奏，一般每天敲兩次，早上開城門敲一次，晚上關城門再敲一次，每次“緊十八，慢十八，不緊不慢又十八”，共五十四下，一天總共一百單八下，都是九的倍數，體現出人們的數字崇拜。
寺廟裡建有鐘鼓樓，這是到了唐代才出現的，後來逐漸形成了“有寺必有鐘的傳統” 。寺廟裡的鐘鼓樓借鑑了宮殿鐘鼓樓的模式，但最初與東鍾西鼓模式不同，寺廟中往往是“東鍾西藏”，即鐘樓與塔、藏經閣對峙。到了明清時期，鐘樓與鼓樓被佈置在庭院式寺廟中東西兩側的格局變得普遍。
寺廟裡的鐘是梵鍾，主要充當的是佛教樂器、法器，可以在禮佛的時候敲擊伴奏。在《西遊記》中，唐僧與孫悟空到了觀音禪院，就見到了寺廟裡的鐘鼓樓，“又見那鐘鼓樓高，浮屠塔峻。”鐘鼓樓是寺廟重要的建築，唐僧進禪院之後，禮佛下拜，這時候一個寺院的小和尚擊鼓，而孫悟空則負責擊鐘，“三藏展背舒身，鋪胸納地，望金象叩頭。那和尚便去打鼓，行者就去撞鐘。三藏俯伏臺前，傾心禱祝。祝拜已畢，那和尚住了鼓，行者還只管撞鐘不歇，或緊或慢，撞了許久，那道人道：‘拜已畢了，還撞鐘怎麼？’行者方丟了鍾杵，笑道：‘你那裡曉得，我這是做一日和尚撞一日鐘的。 ’此時卻驚動那寺裡大小僧人、上下房長老，聽得鐘聲亂響，一齊擁出道：‘那個野人在這裡亂敲鐘鼓？’” 86版電視劇《西遊記》最初拍攝時，還曾有一個誤會，孫悟空與虎力大仙、鹿力大仙、羊力大仙等人比試隔著櫃子猜裡面物品的時候，“山河社稷襖，乾坤地理裙”結果被孫悟空變成了“破爛流丟一口鐘”，這個“鍾”實際上並不是我們所說的“古鐘” ，而是一種無袖不開衩的長外衣，形如鍾。 《西遊記》在寶林寺，也提到了這種衣服，“東邊打鼓，西邊撞鐘。鐘鼓一齊響處，驚動了兩廊大小僧眾，上殿問道：‘這早還下晚哩，撞鐘打鼓做甚？’道人說：‘快換衣服，隨老師父排班，出山門外迎接唐朝來的老爺。 ’那眾和尚，真個齊齊整整，擺班出門迎接。有的披了袈裟，有的著了褊衫，無的穿著個一口鐘直裰，十分窮的，沒有長衣服，就把腰裙接起兩條披在身上。”從這段描述中又可以看出，寺廟裡的鐘鼓樓還有早晚報時以及聚集僧眾的作用。
每年除夕，寺廟裡的鐘鼓樓敲鐘又有辭舊迎新的象徵意義，明《七修類稿》說寺廟為了迎接新年，除夕這一天會敲一百零八下，一百零八正好是十二個月，二十四節氣，七十二候相加所得，一百零八象徵著一年，而其節奏各地又有所不同，浙江杭州一帶是“前發三十六，後發三十六，中發三十六”，紹興一帶則是“緊十八，慢十八，六遍輳成一百八”等等。後來一些城市鐘鼓樓一百零八下敲鐘節奏的形成即是受到了此種風俗的影響。
總之，鍾、鼓既是中國傳統禮樂社會中重要的樂器，也是重要的禮器。鐘鼓樓在古代城市中主要是報時之用，如今，鐘樓、鼓樓已經成為了一個城市地標性質的建築，是城市文化的象徵了。