東晉政權所受到的外部威脅，主要來自黃河流域的胡族和長江上游（益州）的政治勢力。北人南渡之初，上下同仇敵愾，要求驅逐胡人，返回故土。以祖逖及其部下流民為代表。祖逖從淮水流域進抵黃河沿岸，聯繫保據塢壁不甘臣服胡族的北方人民，謀劃恢復中原，經營八年(313～321)之久。
當時，北方匈奴劉氏與胡羯石氏相爭，形勢有利於東晉。但元帝無意北伐，對祖逖所需人力物力都不予支持，加之皇室與王敦矛盾尖鋭，祖逖備遭掣肘，壯志未伸而死。石氏兵力一度威脅江南，後趙建國，據有幽、冀、並諸州後，軍事優勢更為顯著。
庾亮、庾翼雖先後擬議北伐，但由於力量對比懸殊，都未實現。石虎死後，河北大亂，西晉遺民20餘萬口渡河欲歸附東晉。褚裒北伐，先鋒達到彭城，戰敗退回。以後北方前燕與前秦東西並立，殷浩北伐也屢次失敗。
公元347年，軍事家族出身的桓温率軍溯江而上攻滅了佔據蜀地的成漢政權，這場勝利給桓温帶來了超乎尋常的聲望。在此後二十多年時間裏，桓温掌控了南方的政治。
從上面這幾起事件中可以看出，司馬家族雖然在名義上是東晉的最高統治者，但軍事集團將領卻在朝廷中擁有非常強勢的話語權。桓温掌權後，東晉進入了相對的穩定時期，此時朝廷內部開始有人提議收復北方中原故土。然而，這項提議卻引起了很大爭論。首先，原來從北方“衣冠南渡”的世家大族都已經到了第二代、第三代，他們生活在南方舒適的莊園裏，並在朝廷中擔任清閒的要職。對於這些“官二代”、“官三代”而言，所謂的中原故土只是一個書本上的概念，並不存在什麼鄉土情結，因此是否要以舉國之力開展北伐是一件需要商榷的事情。
更重要的是，支持北伐必然要授予以桓温為首的軍事集團將領們更大權力，一旦北伐成功，桓温等人的威望就要凌駕於皇權之上，重新統一全國對現在的朝廷來説意味着災難。而即便北伐失敗，掌握着“刀把子”的將領們也存在發動叛亂建立軍事王朝的隱患。因此，從皇帝到朝廷上的絕大多數文官，都是北伐收復中原這項提議的強烈反對者。
後來，桓温還是以自己的權勢力排眾議，先後發動了三次北伐戰爭。然而由於東晉內部沒有形成共識，因此北伐軍隊的實力大打折扣，三次北伐皆未達到預期目的，桓温的聲望也因此受損，其奪取帝位的野心終究沒能實現。
永和十年（354）桓温伐前秦，深入敵境，但未乘勝奪取長安，只徙關中3000餘户而歸。兩年以後，又伐前燕，奪取了洛陽，但不久復歸於燕。太和四年(369)再度北伐，到達距前燕首都鄴不遠的枋頭，未再前進，退敗於襄邑（今河南睢縣）。桓温晚年借北伐以樹立威名，謀求禪讓，但未成功。
前秦苻堅吞併前燕(370)後，屢次南向出兵，意圖統一南北。太元八年(383)，苻堅以絕對優勢的兵力威脅江南，謝玄率北府兵以寡敵眾，由於秦軍中多為被奴役部族故矛盾重重，因而在晉軍渡河時潰敗導致戰局扭轉，淝水一戰秦軍大敗。失敗的前秦從此分崩離析並迅速敗亡，短暫統一的華北也再度走向混亂。乘前秦衰弱，後秦姚氏佔有關中，後燕慕容氏立國河北，東晉雖暫時解除了大軍壓境的威脅，但未能在北伐事業上有所進展。
義熙六年（410）劉裕滅南燕，此後青、兗等州歸屬東晉、劉宋50餘年。十三年，滅後秦。由於關中懸遠，東晉很難從江南遙控，劉裕又忙於南歸奪取政權，無意進一步恢復中原，一度收復的長安與洛陽，隨即為赫連夏與北魏所得，終東晉之世，未能長期恢復西晉的兩京。
隆安三年（399）爆發了孫恩盧循起義，鬥爭持續近12年，司馬氏政權受到沉重打擊。孫恩死後，桓玄起兵稱帝。劉裕對內鎮壓孫恩、盧循起義，討平桓玄，對外北伐滅南燕，西征平譙縱，江南政權擺脱了最直接的外部威脅，得到穩定。滅後秦之後，420年劉裕取代了東晉。
就這樣由於政治、經濟、文化、地理等多方面原因，各民族在北方混戰長達一百餘年才由北魏初步統一(後北魏又分裂為東西魏)，成為秦朝以後中國古代分裂時間最長、動亂頻率最高的歷史時期，政治、經濟、文化進程也讓位於戰爭和民族融合(一直持續至南北朝時期，直到隋朝才完全融合)而進展緩慢，從而促成了南北朝對峙局面的出現。