歷朝歷代的問題常在於朝廷垮台或權威喪失之後，各地豪強自行其是、尾大不掉，其中一個典型的例子就是兩晉南北朝時期。永嘉之亂以後，西晉滅亡，皇室和士族大批南遷，北方的形勢變得十分複雜。一方面，許多地方大族自己組織武裝力量並建立起堅固的堡壘來抵禦外族劫掠，當時稱為“塢堡”。另一方面，北方有許多進入中原的外族，以部落兵的形式在各地建立短暫的政權。
圖-西晉流民南遷
單就第一個方面來説，自募兵勇的地方大族掌握了當地的土地和人口，維持了小範圍的安定，但也造就了一個個獨立王國。而就第二個方面來説，外族建立的勢力集團基本都未曾有效控制過中原，因為這些部落兵的目的在於擄掠，缺乏建立長期統治的心態。而有些即使建立了朝廷，皇帝的命令也無法深入地方，更無法到達大族控制的地區。所以，五胡十六國中大多數國家的壽命都相當短暫，而北朝的問題就是如何把這些分散的力量整合起來。
圖-東晉十六國局勢圖
第一次進行嘗試的是前秦君主苻堅。苻堅，氐族人，他任用王猛治國，一度相當成功。王猛所做的工作主要有兩方面，一是壓制前秦一些部落貴族，使他們不再隨意劫掠，不再肆意妄為。換句話説，他要拿制度來約束原有部落的力量，並且從效果上看，苻堅和王猛君臣確實一度壓服了部落貴族，使他們一定程度上納入了體制。二便是王猛試圖將朝廷的力量深入到大族控制的地區，他的做法是在各地選拔有才幹的人進入朝廷擔任官吏。其選拔標準並不考慮出身，由此蒐羅了大批賢才為官並努力在中原恢復法度。
圖-前秦都城長安位置
在這些熟悉魏晉體制的中原人的幫助下，王猛迅速建立起了前秦的制度，使前秦的國力大大增強。在王猛的輔佐下，前秦基本統一了北方，不過可惜王猛死後，沒有選出合適的繼承人，苻堅晚年又昏庸無道、好大喜功，淝水之戰大敗之後，苻堅百萬大軍土崩瓦解，前秦隨即崩潰，北方再度回到分散的局面。接下來歷史的重任落在了北魏鮮卑族的身上，而北魏所做的整合工作，可分為以下幾個階段。
圖-東晉前秦肥水之戰
首先是穩定人口，恢復農業生產，將生產力放回到土地上，使四處流浪的人回來耕種，軍人也儘可能地回到生產上。為此北魏建立了均田制，將無主荒廢的土地分配給農民，使每個農民都有朝廷分配的土地，均田制安頓了百姓，千瘡百孔的北方得到了喘息之機。
其次就是把部落拆散，這項工作是李沖在北魏統治者的支持下完成的。北魏建立了三長制，不管是鮮卑人或是俘虜來的其他族的人，都重新歸屬地方層級，把部落裏的人口全部歸屬到地方去。這種政策當然會遭遇很大阻力，尤其是鮮卑貴族首領們反對更為激烈，但在鮮卑君主和中原知識分子的通力合作下，最終還是得以順利執行，鮮卑人變成依靠農業生產維持生計的人口，而不再是以掠奪中原人為生。
圖-北魏由大同遷都至洛陽
北魏的第三個階段就是鞏固已取得的成果，因為北魏政權雖然在結構上已經漢化，但還需要正名。北魏孝文帝拓跋宏一方面鼓勵胡漢通婚，另一方面徵調大量中原人進入官府服務。他甚至將姓氏都做了更改，胡人取漢姓使得胡人忘了他們原來是胡人，也令中原人更能接受這些外來人口，比如北魏皇族拓跋氏就改成了元氏。
在北魏改革的基礎上，到了北周又有一次重要的改革，這就是府兵制。北周武帝宇文邕在蘇綽幫助下，建立了府兵制，就是將部落的組織和軍隊的組織巧妙地結合在一起。北周軍隊的組成分子不再僅限於鮮卑人，而是增加了中原地方豪強的部隊。府兵制下，職業軍人散佈全國各地，平日裏軍隊不用國家養，自己種田養活自己，到了要作戰的時候就拿起兵器為國家打仗。這樣的制度使國家擁有強大的武力，卻不用人民繳納更多的賦税去支持，北周由此達到了前所未有的富強局面，甚至為後來的隋唐盛世奠定了基礎。
從前秦到北魏再到北周，君臣間數次的通力合作，最終使中國北方在經歷一次又一次的動盪之後，得以不分彼此地整合在一起。