既然华夏秦汉帝国与周边尚未发展出复杂政治体的非华夏人群实力相差悬殊，占有新的土地、资源和人口又会增强帝国的实力，为什么帝国的扩张不能一直维持下去？这是一个复杂的问题，至少以下几个原因应该考虑：首先，中央集权制度固然大大增强了总体的政治军事能力，但也使局部的问题成为整体的负担，从而使外患转为内忧。
主父偃如是描述秦对匈奴的战争：秦皇帝……遂使蒙恬将兵攻胡，辟地千里，以河为境。地固泽卤，不生五谷。然后发天下丁男以守北河。暴兵露师十有余年，死者不可胜数，终不能逾河而北。……又使天下蜚刍挽粟，起于黄、腄、琅邪负海之郡，转输北河，率三十钟而致一石。男子疾耕不足于粮饟，女子纺绩不足于帷幕。百姓靡敝，孤寡老弱不能相养，道路死者相望，盖天下始畔秦也。
司马迁对汉武帝开边的代价也有类似认识：当是时，汉通西南夷道，作者数万人，千里负担馈粮，率十余钟致一石，散币于邛僰以集之。数岁道不通，蛮夷因以数攻，吏发兵诛之。悉巴蜀租赋不足以更之，乃募豪民田南夷，入粟县官，而内受钱于都内。东至沧海之郡，人徒之费拟于南夷。又兴十万余人筑卫朔方，转漕甚辽远，自山东咸被其劳，费数十百巨万，府库益虚。战争或者开边活动虽然发生在边境，动员的却是全国的人力、物力，势必给内地人民也带来沉重负担。而山东地区的人民，原本与朔方的战事毫无关系。甚至巴蜀的百姓对于开拓邻近的西南夷都不支持。
严安上书汉武帝曰：今欲招南夷，朝夜郎，降羌僰，略濊州，建城邑，深入匈奴，燔其茏城，议者美之。此人臣之利也，非天下之长策也。今中国无狗吠之惊，而外累于远方之备，靡敝国家，非所以子民也。“人臣之利”与“天下长策”的分歧，反映出帝王将相等统治阶层与承担义务的人民之间，在利益与观念上不一致。疆域广大带来的结果是服役路程的遥远，上引文中主父偃与司马迁都注意到“三十钟至一石”、“十余钟而至一石”的问题，一钟等于六石四斗，可见长途运粮运输成本的惊人。不仅向边地，向中央的路途同样过于遥远。贾谊注意到，淮南之地的吏民因为徭役往来长安太远，“自悉而补，中道衣敝，钱用诸费称此，其苦属汉而欲得王至甚”，愿意做诸侯之民、不愿做天子之民的大有人在。葛剑雄据此指出，有时分裂和分治比统一更受到民众的欢迎。甚至统治集团中也有各种离心的因素，汉初各诸侯国自不待言，随着帝国的扩张，外郡太守也被认为是对中央皇权的威胁。
严安认为：外郡之地或几千里，列城数十，形束壤制，旁胁诸侯，非公室之利也。……今郡守之权，非特六卿之重也；地几千里，非特闾巷之资也；甲兵器械，非特棘矜之用也；以遭万世之变，则不可称讳也。
外郡就是边郡，两汉之际以及东汉末年的历史证明，边郡太守的确可以成为割据一方的力量，严安的忧虑深具远见。综上可见，大帝国内部原本存在诸多不利于维持统一的因素，始终需要用极大力量去消弭或压制各种离心倾向。因为中央集权大帝国的存在，百姓不得不承受一些原本与己无关的义务。帝国幅员越辽阔，履行这些义务的难度和成本就越高。而且随着疆域的扩张，边境地方政府的权力和实力也随之增强，从而提高了维持集权统一的成本。如果这些成本超出了社会的承受力，维护统一和集权的脆弱平衡就会被打破，就出现了汉代政论家所说的“土崩”之势。其次，华夏帝国的扩张受到地理环境及与之相关的经济生态的制约。如果将汉帝国的疆域画到一张分层设色的现代中国地形图上，我们会看到一个非常有趣的现象。在汉武帝大举扩张之前，汉帝国的绝大部分郡国都在地图上绿色的区域，也就是海拔1000米以下的地区。这里有个特例，即关中盆地以北黄土高原上的北地郡、上郡，以及西边的陇西郡，这几处虽然海拔较高，但由于黄土易于进行旱作农业，在新石器时代已是仰韶文化集中分布的地区。经过周、秦二代的长期经营，这几处已成为大关中区的有机组成部分。
但这几个郡也是与匈奴接壤的边境地带，秦长城贯穿其间，汉初力弱不能全守，只能保住故塞（即秦昭襄王长城）以内的部分。汉武帝时代的扩张，宏观来看，在西线，正是将国境向1000—1500米海拔以上的地带推进。配合上气候干湿的因素，在北方和西北，汉的国境向原被匈奴、羌占据的较干旱的农牧交错地带或者牧区推进。而在以巴蜀为扩张基地的西南，扩张的方向是从盆地底部指向四沿高海拔的地区。在南方、东南和东北方向，汉朝征服的虽然不是高海拔地区，但无一不需要越过高山的阻隔以获得山那边的平原地带，在南方是越过南岭，在东北越过的是单单大岭。汉代的陆路交通靠车，对道路要求很高，故而秦汉都花很大投入修筑驿道。大道之外，交通即不方便。在有可通航的河流的情况下，大宗物资依靠水运，但溯流行舟需要人力畜力牵挽，同样代价高昂。
总之，从低海拔地区向高海拔地区扩张，面临着交通方面逐级递增的巨大阻力。交通上的阻力并非不能克服，军事行动往往能行险出奇，玉门关外的白龙堆及以西的戈壁沙漠区，可谓最不适合行军之地，然而李广利的军队仍能越过并打到大宛城下；卫青、霍去病数次绝漠出击，三路大军翻越南岭一举攻灭赵氏南越国，无不证明了这一点。从较长时段看，真正阻止汉帝国扩张步伐的，主要不是交通，而是地理变化带来的经济生态的差异。众所周知，长城一线是北方的农牧交错带的北线，长城的修建正是将农牧交错地带尽可能地圈了进来。在汉代人看来，匈奴人逐草随畜，射猎为生，“与中国殊章服，异习俗，饮食不同，言语不通”，“其地不可耕而食也，其民不可臣而畜也”。正因为如此，天地才在胡汉之间“隔以山谷，雍以沙幕”，以绝外内。因此汉对匈奴的战略目标，止于让单于俯首系颈于阙下，对于越大漠而置郡县，不仅是交通上力有不及，更重要的是从来没有被当作一个目标。
班固所说的“其地不可耕而食”是一个重要标准，汉帝国只对可以耕而食的地区有兴趣。葛剑雄指出，各个汉族建立的中原王朝对自己疆域的要求基本上是以是否适宜农耕，是否能够生产足以养活当地居民的粮食为标准的。他据此分析汉朝在几个方向上扩张的成败，河西走廊、阴山以南、宁夏平原和湟水流域归入汉朝疆域后，得以稳定下来，是因为他们具有农业开发的条件，可以接纳大量移民和屯驻屯田军队，因而可以维持行政机构和军事力量的长期存在。而阴山以北、西域绿洲、闽中山地，在当时都不具备大规模发展农业的条件，不能供养行政机构和军队，也无法接纳大量移民，汉朝军队即使曾经征服那里，也不能设置常规的行政区，对闽越、东越故地还实行了徙民弃地的政策。在农业条件和交通状况都不理想的西南夷地区，汉朝虽设了郡县，但这些初郡无法收税，一切行政费用和吏卒都靠邻郡供给。这种情况下，不得不维持当地原有的政治组织，王、侯、邑长等土官系统得以保持，事实上不过是一种羁縻式管理。成帝河平中，夜郎王兴与钩町王禹、漏卧侯俞尚能举兵相攻，夜郎王兴还能带着“邑君数十人”入见牂牁太守陈立，即说明了这一点。与是否农耕相关，是否定居或者适宜定居也是帝国所看重的因素。以西南夷地区为例，对于完全“随畜迁徙，毋常处，毋君长”的巂、昆明未能置郡县，以“耕田有邑聚”的夜郎、滇、邛都所置的犍为、牂牁、益州、越巂四郡较为稳定地维持了下来，于“或土著、或移徙”的筰都、冄駹所置沈黎、汶山二郡，设置后终废为都尉，不能久存。可见纳入郡县体系的难易程度洽又与其定居程度相关。童恩正曾独具慧眼地发现中国从东北至西南有一条“边地半月形文化传播带”，它东起大兴安岭南段，沿长城一线向西直抵河湟地区，再折向南方，沿青藏高原东部直达云南北部，在这一地带中有大量考古学证据表明其文化的相似性和可能存在的传播关系。童先生进而指出，这种文化相似性或文化传播得以实现的条件，是这一地区在自然环境如地形地貌、温度湿度、农作物生长期、年降水量、植被类型等的全面接近，同时与此半月地带以南以东的地区形成巨大反差。因此这一地带就成为畜牧或半农半牧民族的繁衍生息之所，其边界如长城、岷山等自古以来就被看作是隔绝华夷的天限。
童先生的这一发现，有力地说明了地理环境和经济生态对华夏扩张的制约。最后一个制约华夏帝国扩张的范围和效率的因素是原住人群的政治组织形态，这一点与其经济生态和定居程度有一定关系而又独立发挥作用。王明珂注意到，西北方高原河谷游牧的西羌为一个个分散的“部落”，出于森林草原地带的乌桓与鲜卑在进入中原之前大多集结为“部落联盟”，而蒙古草原游牧的匈奴则能建立其“国家”组织。这些不同的政治发育状态，也决定了汉帝国与他们的关系。例如，羌人政治组织的分散性，使得暂时的松散的部落联盟很容易被打败，但迷唐、滇吾等羌人豪酋被打败后，其麾下的众多部落、牧团可以选择离去，加入另一个联盟，投入另一场战争。因而汉帝国与羌人之间的战争是没有胜负和止境的。究竟什么类型的政治组织形态更容易被整合进华夏帝国的体系，这是一个值得深入探讨的问题。赵氏南越国的历史说明，最适合被整合的，莫过于一个较小型的华夏式政治体。相似的官僚制度、郡县制度甚至统治手段，都让它能够迅速地被吸收进汉帝国。最不适合被吸收的，则是分散的、序阶化不发达的政治体，甚至尚无稳定政治体的松散人群，这样的人群配合上深险的地理环境、非农耕非定居的生活形态，能够有效游离于帝国控制之外。因为缺少集中的政治组织，在秦汉文献中他们甚至无法被记录下来。魏晋以下，随着华夏活动范围的扩大，文献中才逐渐出现他们的形象，往往被描述为山精野人之类的异类。
比如南朝人邓德明笔下的“木客”就是这样的一群人：木客头面语声亦不全异人，但手脚爪如钩。利高岩绝峰，然后居之。能斫榜，牵着树上聚之。昔有人欲就其买榜，先置物树下，随量多少取之。若合其意，便将去，亦不横犯也。但终不与人面对交语作市井。死皆知殡敛之，不令人见其形也。葬棺法，每在高岸树杪，或藏石窠中。南康三营代舡兵往说亲睹葬：所舞倡之节，虽异於世，听如风林汎响，声频[类]歌吹之和。义熙中，徐道覆南出，遣人伐榜以装舟舰。木客乃献其榜，而不得见 。
木客在《太平御览》中被归入“神鬼部”，说明这样的人群是较少为华夏所知的。他们藏生岩穴之中，不与人交语，以这种特殊的方式保持游离于帝国统治之外的地位。这条材料虽是六朝人所记载，可以推想汉代在广大山地中，这样富于神秘色彩的人群一定更广泛地存在。介于这两个极端之间的，还有政治组织发育程度不等的各种人群，他们的政治体介于无政治组织的松散社会与华夏式官僚制帝国之间，不妨称为中等规模政治体。如武陵蛮“有邑君长……名渠帅曰精夫。”岭南的俚人，“往往别村各有长帅，无君主，恃在山险，不用城。”这些人群的政治组织发育程度较低，大概平民之外只有一个层级。与之相比发育程度较高的有哀牢夷，他们有王，永平十二年（公元69年）哀牢王柳貌遣子率种人内属时“称邑王者七十七人”，可见至少有王、邑王两级政治组织。如其51890户553711口的人口规模夸张不大，则平均一个邑王管辖673户7191口，其下还应有更基层的组织。那么它已可算作一个复杂的“酋邦”了。同样的酋邦级政治体还有滇和夜郎。童恩正根据考古材料论证了滇的政治规模及其酋邦属性，结论令人信服。夜郎在南夷中最为大国，且早在汉武帝时唐蒙即言“闻夜郎所有精兵，可得十余万”，可见其政治组织的复杂程度绝不在滇之下。西汉征服西南夷地区后，在以百数的君长中，“独夜郎、滇受王印”，意味着汉朝充分了解这两处的政治体规模和复杂程度高于其他。对于这些中等规模政治体，汉帝国保留了他们原有的政治结构，同时设置郡县，形成双轨制度。
郡县长官不能直接治民，而只是对王、侯、邑长等起监督和沟通的作用。这些所谓“初郡”，实行的是“以其故俗治，毋赋税”的政策，或者仅仅收取象征性的贡纳，以表达某种臣服关系。比如汉初对南郡的蛮人，“其君长岁出赋二千一十六钱，三岁一出义赋千八百钱。其民户出幏布八丈二尺，鸡羽三十鍭”；对巴郡的板楯蛮，“复其渠帅罗、朴、督、鄂、度、夕、龚七姓，不输租赋，余户乃岁入賨钱，口四十”；而东汉时永昌太守郑纯与哀牢夷人约，“邑豪岁输布贯头衣二领，盐一斛，以为常赋”。这种羁縻式的统治，即使在政治上将初郡纳入帝国的版图，在财政上能调用的人力、物力资源仍极为有限，要以此为基地再向周围扩张，绝无可能。要让这样的地区成为可以正常征纳赋税徭役的正式郡县，通常需要循吏的移风易俗来改变其生产方式，再有追求政绩的暴吏设法增加其赋役负担，还要反复镇压由此引起的大大小小的反抗。这些需要经过相当长的时间。在成为正式郡县之前，这些地区只能看作是帝国的内部边缘。过于松散的原住人群难以被有效统治，而已有的相当规模的政治体，虽然为间接统治创造了条件，却也成为建立直接统治的障碍。
正是在这个意义上，原住人群的政治组织形态成为制约华夏帝国扩张的重要因素。综上所述，华夏帝国的扩张主要受到三个因素的制约：一是集权帝国自身的动员成本和离心倾向；二是地理环境以及经济生态；三是原住人群的政治组织形态。这些因素往往综合发生作用，但在不同地区又各有偏重。例如面对北方和西北青藏高原的草原地带时，经济生态的障碍是主要的，而匈奴人的高度组织化带来的军事力，或者西羌在政治上的破碎化带来的战而不胜，也发挥了阻碍作用。面对单单大岭以东的真番、临屯，以及玉门关外的西域绿洲诸国时，地理和交通的制约更为重要，与之相关是帝国无力从内部动员如此多的人力物力，汉伐大宛、隋征高丽都带来灾难性的后果，正说明这一点。对于西南夷地区，地理、交通同样有限制，但更重要的是当地原有的政治组织形态，决定汉朝获得这一地区的方式，以及此后不得不实行间接统治的策略。然而农业文明已有的基础，加上双轨并行的制度，为郡县系统的扩张以及华夏移民的进入准备了充足空间，最终影响到这里的历史走向。华夏帝国的扩张，在西北、北方、东北、西南等版图上可见的外部边缘受到重重限制以后，迫切需要寻找一个突破口。这个突破口就是华南的山地丘陵地带，也就是鲁西奇所说的中华帝国“内地的边缘”。