在歷史上，每當中原王朝面臨嚴重外患的時刻，邊疆地區的軍人往往是各方勢力爭取與拉攏的重要對象。這些人往往在南北政權對峙的過程中，起着舉足輕重的作用。他們對於南方政權的重要性，遠遠大過北方的割據政權。
這個原理在南宋也是如此。但隨着宋金戰爭的發展，這些人的待遇也是不盡相同。
靖康年間，在金軍的強大攻勢下，數量龐大但是效率極低的北宋軍事力量趨於崩潰。但後隨着南宋政權在江南逐步站穩腳跟。為瓦解敵軍士氣，削弱敵方力量，南宋開始利用北方民眾對趙宋王朝的忠義之心。或利用金朝、偽齊內部的民族矛盾，加強了對偽齊官兵和金朝籤軍進行招誘。
針對金朝抓的北方壯丁--籤軍，南宋也制訂了招納政策。南宋初期的幾個主要將領，都很重視對歸正人的招募。中興名將之一的張浚就曾經十分感慨，當時南宋名將麾下建功立業的精鋭部隊，很多都是當時的北方歸正人。
岳飛在抗金戰爭中，也特別注意招納北方忠義民兵。董先、牛皋都曾降附偽齊，先後率軍投奔南宋。二人受到岳飛的重用，作戰驍勇，逐漸成為岳飛的得力部將。岳飛的麾下，有相當多的士卒其實是北來的降軍。
其他的南宋將領也有用北方漢人組織的精鋭部隊。比如韓世忠麾下的劉晏和他指揮的赤心隊。劉晏原本是遼國的進士，後來率部投奔宋朝。在開封保衞戰中，指揮由遼東之人組成的“赤心隊”。後來這幾百北方騎兵，歸隨御營前軍副統制劉正彥指揮。在著名的劉苗兵變中，這些人被韓世忠接受。在巴蜀地區，姚仲也以燕雲漢兒和河間地區的漢人組織了赤心軍，加強蜀北的防禦能力。
外強中乾的劉光世，甚至還用金錢和封妻廕子招降了契丹人和渤海人的降軍。公元1131年，南侵的金軍北還之後，留下了一支由契丹人、渤海人和燕雲漢兒組成了部隊去窺視江南。劉光世聽説之後，派人打造了名叫“招納信寶“的特款銅錢，派人去金軍中宣傳。結果有萬餘人過江來投降。宋朝給這些人配發糧餉，補足裝備。對於其中的部分首領，宋人賜予了姓趙的獎勵。對於其中沒有妻兒家室的人，宋人甚至為他們娶妻，幫助他們在南方徹底安家落户。後來，劉光世用這幫人組織了奇兵軍和赤心軍兩支隊伍。
當然，南宋朝廷對於北來的歸降者態度十分複雜。在國防壓力增大時，宋高宗就授意岳飛等將領去招募兩河和燕雲地區的漢兒為己所用。這些人來到南宋之後，往往被就近安排在靠近中原的北部邊境。南宋除發放賑濟錢糧，分配土地、耕牛、種子進行安置外，將男丁收入軍中，也是安置歸正人的常規做法。因為宋廷希望利用這些人與金人的國仇家恨，調動他們積極作戰。
在紹興議和前後，為了避免引發金人的怒火，宋高宗甚至命令防江各軍嚴禁北人前來投奔。一旦發現投奔者，都要立即遣返回北方，可謂十分精分。
到了宋孝宗時期，由於南宋對金國的政策逐漸轉向強硬。金國內部局勢的變化，引發了南宋對於北方軍人的新一波招募。
在大一統思想的慫恿下，完顏亮開始籌劃滅亡南宋的計劃。為了應付龐大的軍需，金朝除了加徵賦税外，強行徵調各族壯丁入伍，導致民眾怨聲載道。南宋政府在應付金軍進攻的同時，同時在沿邊地區發佈《契丹通好榜》等榜文，挑撥契丹人和女真人的關係。聲稱宋遼本為兄弟，都是女真人導致了兩國的崩潰，還暗示宋朝可以幫助契丹人復國。
金軍南侵時，北方爆發了契丹族打起義。完顏亮在平定起義的同時，對金朝軍隊中的契丹將領開始猜忌起來，對契丹人的待遇也嚴苛起來。後來金軍在採石磯和瓜洲受阻，北方傳來了完顏雍叛亂的消息。完顏亮的親信，契丹人耶律元宜發動兵變，終結了完顏亮的統一大夢。
值得一提的是，當時帶南宋水師取得陳家島海戰勝利的岳飛舊部李寶，也是歸正人之列。算是上一代北軍碩果僅存的骨血。
在這樣的背景下，金軍中的一些契丹將領選擇歸降宋朝。金國驃衞大將軍蕭鷓巴、左驍衞上將軍耶律適哩、節度使耶律禿謀等人選擇投降宋朝。為了獎勵這些契丹人的歸順，南宋朝廷破格將他們從歸明人升級成歸正人。也就是北來投降者中的最高級別。
還是在這一時期，南歸士人的代表辛棄疾，趁着海陵王南下率起義軍迴歸南宋。但是南宋官場的重南輕北，使北方人大多受歧視。比如年輕的辛棄疾來歸時僅被授予江陰籤判，後來長期在外地做着無關痛癢的小官，負責與軍事無關的事務。除了鎮江與滁州之外，他的任職地基本上不在前線。其向朝廷上奏的建議和兵書往往得不到重視。即使他的軍事才能和文學素養，還有對北方的瞭解強於很多南宋士大夫，但是終其一生都非常不得志。
在後來的隆興北伐中，宋方的主將之一是有着傳奇經歷的“李顯忠”。他是延安府人，曾在宋、金、偽齊和西夏等勢力之間輾轉，最後才南歸南宋。他南下時帶來的隊伍和老班底，成為了他後來在紹興年間和隆興年間抗敵立功的根本班底。
在一系列敵進我退之後，虎頭蛇尾的隆興北伐最終不了了之。從紹興末年到隆慶北伐之間，南宋朝廷先後擁有過：由契丹人蕭琦指揮的忠毅軍、蕭鷓巴的忠順軍、在紹興末年歸附淮南地區的強勇軍，以及四川地區由契丹、女真和漢兒組成的義勝軍等歸降軍隊伍。
隨着宋金兩大帝國武力的同步衰退，以及對峙局面的穩定，南宋士大夫對於這些人北方的歸正人開始嚴苛起來，大有卸磨殺驢的態勢。
比如朱熹認為：漢朝亡於宦官和外戚，唐亡於外族藩鎮。今天宋朝將亡於這些契丹、漢兒和女真降兵。他認為這些人一旦割據州縣反叛，南宋政府軍拿這些人根本沒辦法。
南宋朝臣對於南下投靠者也本能的敵視
嚴守華夷觀念的南宋朝臣建議，對數目龐大的北軍採取謹慎態度。儘量壓縮其數量，解散其本族的編制。蕭琦的忠毅軍被打散後，散佈在建康府的御前諸軍之中。蕭鷓巴手下的七百契丹人和漢兒，全被換為南宋士兵。隆興和議後又加速了對眾多的北軍進行篩選和瓦解。這讓原本成建制的北軍淹沒在南宋軍隊之中。
對於北來的士人和平民，南宋擔心這些人中有間諜存在。所以在婚姻嫁娶上對於契丹與女真等外人，限制他們與延邊州郡的居民通婚，強迫他們放棄本民族服飾。對於歸正的百姓和軍屬，南宋政府組織了專門的歸正人農莊，發給他們田宅，借給他們秧苗、耕牛等生產資料、讓他們穩定下來，但是為了把他們和土地綁死。還做出了種種限制，規定官授田宅，不得自由典賣。歸正人要固定地住在一個地區，不得隨便逃亡或者自由遷徙。而且這些人不能與邊地之人結婚，還要改掉從北方帶回來的胡俗。
對於北方投奔的各族官吏和士人，南宋政府一方面嚴格審核他們的出身和經歷，防止他們偽造進士出身和官身騙取職位。也防止金國間諜以文人身份進入南宋。另一方面由於對歸正人的大量封賞，造成了歸正官貶值，歸正人氾濫的問題。加重了南宋官吏和財政的壓力。所以這一時期南宋社會對於歸正人變得更加嚴苛了。
隆興和議之後，宋金之間保持了較長時間的和平局面。但是南宋方面清楚的意識到，江浙人組成的部隊戰力孱弱，而且非常消耗軍餉。只有北人從小生長在北方，熟悉胡人習俗，對於胡人畏懼心理較小。所以秘密的招引和接納從來就沒有停止過。歸正人也在持續不斷地為南宋關於金國的情報。
所以到了開禧北伐前夕，辛棄疾在給南宋朝廷的奏報中表示：如果要北伐，需要重新從宋金邊界招募北人組建新軍。與南宋官軍分開操練，單獨編組，以防前者被後者的習氣所腐蝕。
雖然開禧北伐依舊是失敗，但是宋金局勢依舊在激烈地變化着。自1206年成吉思汗統一蒙古草原後，對金朝不斷進行軍事打擊，使得北方人掀起了入宋的新一波浪潮。
北方的戰亂，迫使北方民眾組織義軍自保。在眾多義軍當中，以山東、淮海地區的紅襖軍最著名。後來李全、彭義斌對之前的隊伍進行整合，堅持對金作戰。在受到南宋朝廷的接待後，南下的山東義軍在淮南重挫金軍。李全還帶着詔書北返，招諭山東豪傑收復失地。先後攻佔海州、濟南等州府，最後將山東十一州獻給南宋。原本無南宋一兵一卒的山東地區，在李全的經營下成為南宋的勢力範圍，使金人驚呼：宋人以虛名致李全，遂有山東實地。
儘管如此，但是李全還是有着不小的個人野心。在擔任南宋京東忠義諸軍都統制期間，依恃自身軍力強盛，不斷吞併忠義軍其他各部，擴張自身實力。逐漸產生在宋金蒙三方間待價而沽。最後，李全在青州被蒙軍圍困一年後率屬下忠義軍投降了蒙古人。
在兩淮-荊湖-川陝地區，隨着金國統治中心南遷，金朝皇帝準備南渡江南偏安。南宋也用中原移民、金朝降兵組成的軍隊保衞宋境。比如孟宗政駐守棗陽時，中原百姓紛紛前來歸附。金人呼為“孟爺爺”。他的兒子孟珙，在金國殘餘力量計劃入蜀立國的時候，以戰和並用的手段，招降了契丹族的世襲猛安、鄧州主官移剌瑗。從他手裏獲得了14000名步兵和1500名騎兵，以及他所管轄的12萬口百姓。這支隊伍中有着為數不少的契丹將士。
南宋朝廷上對於歸正人的不信任一直都沒有改變。南宋時代由於外族侵略加重，傳統的華夷之辯和忠義觀念被空前加強。面對北來軍人，南宋人往往以變節之人和失節之人看待。朝廷經常用南宋官吏管理北人，拆散北方將官和他們的部下。對於他們的升遷進行各種明面或隱形歧視。
而且在戰爭有所緩和的年代，宋朝對於武人的不信任，就會在南宋社會里發作。其實對於南宋本土的士大夫而言，多數人想的並不是恢復過去的帝國，而是用北伐這個政治正確的幌子搞政治鬥爭。辛棄疾的不得志，就是站在了這幫人的反面。至於多數南方百姓，在祖先歷經了南遷的苦難之後，大多數人對於失落的首都汴梁和滿目瘡痍的中原祖地，基本上沒有直觀的感覺。他們在意的是自己當下的家園和田產。對於那些受到優待的北軍家屬和歸正百姓，他們也是比較排斥的。
除了那些有着流亡之痛的北方歸來人和出使過中原的士大夫，多數南宋人毫無戰鬥意志。至於那些投宋的契丹人和女真人將領，則因為外族身份，在婚喪嫁娶還有日常生活中遭遇到更多的不舒適與不方便。所以這部分人，或者在南下後身體生病去世，還有的處處受排擠。甚至有人再次叛變回到北方。
總而言之，南宋對於歸正人的態度，和北宋滅亡時的投機心態一樣。體現了典型的弱者心理和投機取巧思路。