既然華夏秦漢帝國與周邊尚未發展出複雜政治體的非華夏人羣實力相差懸殊，佔有新的土地、資源和人口又會增強帝國的實力，為什麼帝國的擴張不能一直維持下去？這是一個複雜的問題，至少以下幾個原因應該考慮：首先，中央集權制度固然大大增強了總體的政治軍事能力，但也使局部的問題成為整體的負擔，從而使外患轉為內憂。
主父偃如是描述秦對匈奴的戰爭：秦皇帝……遂使蒙恬將兵攻胡，闢地千里，以河為境。地固澤鹵，不生五穀。然後發天下丁男以守北河。暴兵露師十有餘年，死者不可勝數，終不能逾河而北。……又使天下蜚芻挽粟，起於黃、腄、琅邪負海之郡，轉輸北河，率三十鍾而致一石。男子疾耕不足於糧饟，女子紡績不足於帷幕。百姓靡敝，孤寡老弱不能相養，道路死者相望，蓋天下始畔秦也。
司馬遷對漢武帝開邊的代價也有類似認識：當是時，漢通西南夷道，作者數萬人，千里負擔饋糧，率十餘鍾致一石，散幣於邛僰以集之。數歲道不通，蠻夷因以數攻，吏發兵誅之。悉巴蜀租賦不足以更之，乃募豪民田南夷，入粟縣官，而內受錢于都內。東至滄海之郡，人徒之費擬於南夷。又興十萬餘人築衞朔方，轉漕甚遼遠，自山東鹹被其勞，費數十百鉅萬，府庫益虛。戰爭或者開邊活動雖然發生在邊境，動員的卻是全國的人力、物力，勢必給內地人民也帶來沉重負擔。而山東地區的人民，原本與朔方的戰事毫無關係。甚至巴蜀的百姓對於開拓鄰近的西南夷都不支持。
嚴安上書漢武帝曰：今欲招南夷，朝夜郎，降羌僰，略濊州，建城邑，深入匈奴，燔其蘢城，議者美之。此人臣之利也，非天下之長策也。今中國無狗吠之驚，而外累於遠方之備，靡敝國家，非所以子民也。“人臣之利”與“天下長策”的分歧，反映出帝王將相等統治階層與承擔義務的人民之間，在利益與觀念上不一致。疆域廣大帶來的結果是服役路程的遙遠，上引文中主父偃與司馬遷都注意到“三十鍾至一石”、“十餘鍾而至一石”的問題，一鍾等於六石四鬥，可見長途運糧運輸成本的驚人。不僅向邊地，向中央的路途同樣過於遙遠。賈誼注意到，淮南之地的吏民因為徭役往來長安太遠，“自悉而補，中道衣敝，錢用諸費稱此，其苦屬漢而欲得王至甚”，願意做諸侯之民、不願做天子之民的大有人在。葛劍雄據此指出，有時分裂和分治比統一更受到民眾的歡迎。甚至統治集團中也有各種離心的因素，漢初各諸侯國自不待言，隨着帝國的擴張，外郡太守也被認為是對中央皇權的威脅。
嚴安認為：外郡之地或幾千裏，列城數十，形束壤制，旁脅諸侯，非公室之利也。……今郡守之權，非特六卿之重也；地幾千裏，非特閭巷之資也；甲兵器械，非特棘矜之用也；以遭萬世之變，則不可稱諱也。
外郡就是邊郡，兩漢之際以及東漢末年的歷史證明，邊郡太守的確可以成為割據一方的力量，嚴安的憂慮深具遠見。綜上可見，大帝國內部原本存在諸多不利於維持統一的因素，始終需要用極大力量去消弭或壓制各種離心傾向。因為中央集權大帝國的存在，百姓不得不承受一些原本與己無關的義務。帝國幅員越遼闊，履行這些義務的難度和成本就越高。而且隨着疆域的擴張，邊境地方政府的權力和實力也隨之增強，從而提高了維持集權統一的成本。如果這些成本超出了社會的承受力，維護統一和集權的脆弱平衡就會被打破，就出現了漢代政論家所説的“土崩”之勢。其次，華夏帝國的擴張受到地理環境及與之相關的經濟生態的制約。如果將漢帝國的疆域畫到一張分層設色的現代中國地形圖上，我們會看到一個非常有趣的現象。在漢武帝大舉擴張之前，漢帝國的絕大部分郡國都在地圖上綠色的區域，也就是海拔1000米以下的地區。這裏有個特例，即關中盆地以北黃土高原上的北地郡、上郡，以及西邊的隴西郡，這幾處雖然海拔較高，但由於黃土易於進行旱作農業，在新石器時代已是仰韶文化集中分佈的地區。經過周、秦二代的長期經營，這幾處已成為大關中區的有機組成部分。
但這幾個郡也是與匈奴接壤的邊境地帶，秦長城貫穿其間，漢初力弱不能全守，只能保住故塞（即秦昭襄王長城）以內的部分。漢武帝時代的擴張，宏觀來看，在西線，正是將國境向1000—1500米海拔以上的地帶推進。配合上氣候乾濕的因素，在北方和西北，漢的國境向原被匈奴、羌佔據的較乾旱的農牧交錯地帶或者牧區推進。而在以巴蜀為擴張基地的西南，擴張的方向是從盆地底部指向四沿高海拔的地區。在南方、東南和東北方向，漢朝征服的雖然不是高海拔地區，但無一不需要越過高山的阻隔以獲得山那邊的平原地帶，在南方是越過南嶺，在東北越過的是單單大嶺。漢代的陸路交通靠車，對道路要求很高，故而秦漢都花很大投入修築驛道。大道之外，交通即不方便。在有可通航的河流的情況下，大宗物資依靠水運，但溯流行舟需要人力畜力牽挽，同樣代價高昂。
總之，從低海拔地區向高海拔地區擴張，面臨着交通方面逐級遞增的巨大阻力。交通上的阻力並非不能克服，軍事行動往往能行險出奇，玉門關外的白龍堆及以西的戈壁沙漠區，可謂最不適合行軍之地，然而李廣利的軍隊仍能越過並打到大宛城下；衞青、霍去病數次絕漠出擊，三路大軍翻越南嶺一舉攻滅趙氏南越國，無不證明了這一點。從較長時段看，真正阻止漢帝國擴張步伐的，主要不是交通，而是地理變化帶來的經濟生態的差異。眾所周知，長城一線是北方的農牧交錯帶的北線，長城的修建正是將農牧交錯地帶儘可能地圈了進來。在漢代人看來，匈奴人逐草隨畜，射獵為生，“與中國殊章服，異習俗，飲食不同，言語不通”，“其地不可耕而食也，其民不可臣而畜也”。正因為如此，天地才在胡漢之間“隔以山谷，雍以沙幕”，以絕外內。因此漢對匈奴的戰略目標，止於讓單于俯首繫頸於闕下，對於越大漠而置郡縣，不僅是交通上力有不及，更重要的是從來沒有被當作一個目標。
班固所説的“其地不可耕而食”是一個重要標準，漢帝國只對可以耕而食的地區有興趣。葛劍雄指出，各個漢族建立的中原王朝對自己疆域的要求基本上是以是否適宜農耕，是否能夠生產足以養活當地居民的糧食為標準的。他據此分析漢朝在幾個方向上擴張的成敗，河西走廊、陰山以南、寧夏平原和湟水流域歸入漢朝疆域後，得以穩定下來，是因為他們具有農業開發的條件，可以接納大量移民和屯駐屯田軍隊，因而可以維持行政機構和軍事力量的長期存在。而陰山以北、西域綠洲、閩中山地，在當時都不具備大規模發展農業的條件，不能供養行政機構和軍隊，也無法接納大量移民，漢朝軍隊即使曾經征服那裏，也不能設置常規的行政區，對閩越、東越故地還實行了徙民棄地的政策。在農業條件和交通狀況都不理想的西南夷地區，漢朝雖設了郡縣，但這些初郡無法收税，一切行政費用和吏卒都靠鄰郡供給。這種情況下，不得不維持當地原有的政治組織，王、侯、邑長等土官系統得以保持，事實上不過是一種羈縻式管理。成帝河平中，夜郎王興與鈎町王禹、漏卧侯俞尚能舉兵相攻，夜郎王興還能帶着“邑君數十人”入見牂牁太守陳立，即説明了這一點。與是否農耕相關，是否定居或者適宜定居也是帝國所看重的因素。以西南夷地區為例，對於完全“隨畜遷徙，毋常處，毋君長”的巂、昆明未能置郡縣，以“耕田有邑聚”的夜郎、滇、邛都所置的犍為、牂牁、益州、越巂四郡較為穩定地維持了下來，於“或土著、或移徙”的筰都、冄駹所置沈黎、汶山二郡，設置後終廢為都尉，不能久存。可見納入郡縣體系的難易程度洽又與其定居程度相關。童恩正曾獨具慧眼地發現中國從東北至西南有一條“邊地半月形文化傳播帶”，它東起大興安嶺南段，沿長城一線向西直抵河湟地區，再折向南方，沿青藏高原東部直達雲南北部，在這一地帶中有大量考古學證據表明其文化的相似性和可能存在的傳播關係。童先生進而指出，這種文化相似性或文化傳播得以實現的條件，是這一地區在自然環境如地形地貌、温度濕度、農作物生長期、年降水量、植被類型等的全面接近，同時與此半月地帶以南以東的地區形成巨大反差。因此這一地帶就成為畜牧或半農半牧民族的繁衍生息之所，其邊界如長城、岷山等自古以來就被看作是隔絕華夷的天限。
童先生的這一發現，有力地説明了地理環境和經濟生態對華夏擴張的制約。最後一個制約華夏帝國擴張的範圍和效率的因素是原住人羣的政治組織形態，這一點與其經濟生態和定居程度有一定關係而又獨立發揮作用。王明珂注意到，西北方高原河谷遊牧的西羌為一個個分散的“部落”，出於森林草原地帶的烏桓與鮮卑在進入中原之前大多集結為“部落聯盟”，而蒙古草原遊牧的匈奴則能建立其“國家”組織。這些不同的政治發育狀態，也決定了漢帝國與他們的關係。例如，羌人政治組織的分散性，使得暫時的鬆散的部落聯盟很容易被打敗，但迷唐、滇吾等羌人豪酋被打敗後，其麾下的眾多部落、牧團可以選擇離去，加入另一個聯盟，投入另一場戰爭。因而漢帝國與羌人之間的戰爭是沒有勝負和止境的。究竟什麼類型的政治組織形態更容易被整合進華夏帝國的體系，這是一個值得深入探討的問題。趙氏南越國的歷史説明，最適合被整合的，莫過於一個較小型的華夏式政治體。相似的官僚制度、郡縣制度甚至統治手段，都讓它能夠迅速地被吸收進漢帝國。最不適合被吸收的，則是分散的、序階化不發達的政治體，甚至尚無穩定政治體的鬆散人羣，這樣的人羣配合上深險的地理環境、非農耕非定居的生活形態，能夠有效遊離於帝國控制之外。因為缺少集中的政治組織，在秦漢文獻中他們甚至無法被記錄下來。魏晉以下，隨着華夏活動範圍的擴大，文獻中才逐漸出現他們的形象，往往被描述為山精野人之類的異類。
比如南朝人鄧德明筆下的“木客”就是這樣的一羣人：木客頭面語聲亦不全異人，但手腳爪如鈎。利高巖絕峯，然後居之。能斫榜，牽着樹上聚之。昔有人慾就其買榜，先置物樹下，隨量多少取之。若合其意，便將去，亦不橫犯也。但終不與人面對交語作市井。死皆知殯斂之，不令人見其形也。葬棺法，每在高岸樹杪，或藏石窠中。南康三營代舡兵往説親睹葬：所舞倡之節，雖異於世，聽如風林汎響，聲頻[類]歌吹之和。義熙中，徐道覆南出，遣人伐榜以裝舟艦。木客乃獻其榜，而不得見 。
木客在《太平御覽》中被歸入“神鬼部”，説明這樣的人羣是較少為華夏所知的。他們藏生巖穴之中，不與人交語，以這種特殊的方式保持遊離於帝國統治之外的地位。這條材料雖是六朝人所記載，可以推想漢代在廣大山地中，這樣富於神秘色彩的人羣一定更廣泛地存在。介於這兩個極端之間的，還有政治組織發育程度不等的各種人羣，他們的政治體介於無政治組織的鬆散社會與華夏式官僚制帝國之間，不妨稱為中等規模政治體。如武陵蠻“有邑君長……名渠帥曰精夫。”嶺南的俚人，“往往別村各有長帥，無君主，恃在山險，不用城。”這些人羣的政治組織發育程度較低，大概平民之外只有一個層級。與之相比發育程度較高的有哀牢夷，他們有王，永平十二年（公元69年）哀牢王柳貌遣子率種人內屬時“稱邑王者七十七人”，可見至少有王、邑王兩級政治組織。如其51890户553711口的人口規模誇張不大，則平均一個邑王管轄673户7191口，其下還應有更基層的組織。那麼它已可算作一個複雜的“酋邦”了。同樣的酋邦級政治體還有滇和夜郎。童恩正根據考古材料論證了滇的政治規模及其酋邦屬性，結論令人信服。夜郎在南夷中最為大國，且早在漢武帝時唐蒙即言“聞夜郎所有精兵，可得十餘萬”，可見其政治組織的複雜程度絕不在滇之下。西漢征服西南夷地區後，在以百數的君長中，“獨夜郎、滇受王印”，意味着漢朝充分了解這兩處的政治體規模和複雜程度高於其他。對於這些中等規模政治體，漢帝國保留了他們原有的政治結構，同時設置郡縣，形成雙軌制度。
郡縣長官不能直接治民，而只是對王、侯、邑長等起監督和溝通的作用。這些所謂“初郡”，實行的是“以其故俗治，毋賦税”的政策，或者僅僅收取象徵性的貢納，以表達某種臣服關係。比如漢初對南郡的蠻人，“其君長歲出賦二千一十六錢，三歲一出義賦千八百錢。其民户出幏布八丈二尺，雞羽三十鍭”；對巴郡的板楯蠻，“復其渠帥羅、樸、督、鄂、度、夕、龔七姓，不輸租賦，餘户乃歲入賨錢，口四十”；而東漢時永昌太守鄭純與哀牢夷人約，“邑豪歲輸布貫頭衣二領，鹽一斛，以為常賦”。這種羈縻式的統治，即使在政治上將初郡納入帝國的版圖，在財政上能調用的人力、物力資源仍極為有限，要以此為基地再向周圍擴張，絕無可能。要讓這樣的地區成為可以正常徵納賦税徭役的正式郡縣，通常需要循吏的移風易俗來改變其生產方式，再有追求政績的暴吏設法增加其賦役負擔，還要反覆鎮壓由此引起的大大小小的反抗。這些需要經過相當長的時間。在成為正式郡縣之前，這些地區只能看作是帝國的內部邊緣。過於鬆散的原住人羣難以被有效統治，而已有的相當規模的政治體，雖然為間接統治創造了條件，卻也成為建立直接統治的障礙。
正是在這個意義上，原住人羣的政治組織形態成為制約華夏帝國擴張的重要因素。綜上所述，華夏帝國的擴張主要受到三個因素的制約：一是集權帝國自身的動員成本和離心傾向；二是地理環境以及經濟生態；三是原住人羣的政治組織形態。這些因素往往綜合發生作用，但在不同地區又各有偏重。例如面對北方和西北青藏高原的草原地帶時，經濟生態的障礙是主要的，而匈奴人的高度組織化帶來的軍事力，或者西羌在政治上的破碎化帶來的戰而不勝，也發揮了阻礙作用。面對單單大嶺以東的真番、臨屯，以及玉門關外的西域綠洲諸國時，地理和交通的制約更為重要，與之相關是帝國無力從內部動員如此多的人力物力，漢伐大宛、隋徵高麗都帶來災難性的後果，正説明這一點。對於西南夷地區，地理、交通同樣有限制，但更重要的是當地原有的政治組織形態，決定漢朝獲得這一地區的方式，以及此後不得不實行間接統治的策略。然而農業文明已有的基礎，加上雙軌並行的制度，為郡縣系統的擴張以及華夏移民的進入準備了充足空間，最終影響到這裏的歷史走向。華夏帝國的擴張，在西北、北方、東北、西南等版圖上可見的外部邊緣受到重重限制以後，迫切需要尋找一個突破口。這個突破口就是華南的山地丘陵地帶，也就是魯西奇所説的中華帝國“內地的邊緣”。