第一、春秋時期：郡縣開始零星出現
根據《春秋》、《左傳》的相關記載，在春秋早期就已經出現了許多諸侯國置縣的記錄。比如：楚國先後將陳、蔡、鄧、庸等小國滅掉之後，就地置縣，而且派官吏去那裏擔任長官。
但這個時候的縣跟後世所謂的郡縣有所不同，比如：這個時候的縣並不是國君的直屬地，並且具有非常明顯的封建采邑的性質，缺少內部的基層組織。
直到公元前514年，才出現了真正意義上的縣。當時晉國的韓、趙、魏、知、範、中行氏等六家大夫，聯手滅掉了祁氏與羊舌氏，然後將這兩家的地盤分成十個縣，任命十個人為縣大夫。
這些縣大夫，都要有真才實學，要到縣裏去親自辦公，並且將公務往上級上報，這就跟後世的縣比較相似了。
而這個時候關於郡的記載是非常有限的，只有在《左傳》中略有提到：公元前493年，晉國為了激勵將士們，許諾“克敵者，下大夫受郡”。
起初，郡與縣只是名稱上的不同，兩者之間並沒有統屬關係，郡通常是設在諸侯國的邊地，而縣則通常設立在較為繁華地區。
第二、戰國時期：諸侯國大面積設縣，郡統轄縣的關係開始出現。
戰國時期，各個諸侯國紛紛拓展疆域，但這些諸侯國的國君又擔心自己辛苦征服來的土地會變成別人的，便不願意在這些新疆域上採用分封制，這種局面無疑大大促進了郡縣制的改革。
公元前350年，秦孝公任命商鞅進行變法，把小鄉聚為縣，在秦國公設了四十一個縣，每一個縣的最高長官都是由秦王來直接任命。
除了秦國以外，各國置縣一般遵循如下原則：
1.在農耕發達的地方置縣；2.在都城的周邊置縣；3.在戰略要地置縣。
可以這麼説，在戰國時期，各國置縣的情況已經相當普遍了，郡下轄縣的情況也已經開始出現。
像這種情況，一般情況下就多出現各諸侯國的邊地裏。有的是先在邊地設了一個郡，後來隨着經濟的逐步繁榮，便在郡下多設了幾縣。有的則是因為軍事上的需要，便在幾個邊地縣上設置一個郡來進行統轄管理。
第三、秦朝時期：郡縣制得到全面的推廣
考慮到春秋戰國時期，諸侯國之間的亂戰局面正是由於分封制緣故，秦始皇最終決定採取李斯的建議，將郡縣制推行至天下，他把全國上下分成三十六個郡，每個郡都設置郡守、郡尉、監察史等官職。
為了與小農經濟相吻合，秦朝郡的劃分，通常情況下是以山川為界，其轄區與自然地理轄區十分吻合。
後來秦朝雖然短命而亡，但其郡縣制卻被歷朝歷代所繼承下來，沿用至今。