近代中國的「留學」概念是從19世紀晚期才形成的，然而向前追溯，「留學」這個詞早在隋唐時期就出現了，只不過那時的留學生都是來中國留學。
大約在公元600年前後，日本的聖德太子開始向隋朝派出使節和學生，系統的到中國學習文化，隋朝也是中國首次大批接受外國學生的朝代。「留學生」一詞就是在這個時候由日本首創的，用以區別在中國短暫學習一段時間後便返回日本的「還學生」。但由於時間短暫，學習不完整、不繫統，還學生在日本的地位是遠不及留學生的。
進入唐朝後，日本向中國派遣留學生的風氣更盛，這時他們還有了統一的名字——遣唐使。在貞觀時期，日本對遣唐使的派遣達13次之多，而留在大唐學習的留學生最多的時候有六百多人。大唐對日本留學生開放了最高標準的「國子監六學」，公元九世紀，日本人正是以漢字為基礎創造了日語的假名。
唐朝幾代帝王對留學生的各種投入處處盡顯着大唐作為天朝上國的自豪感，主持大唐禮儀的鴻臚寺官員經常要承擔留學生的教學和輔導工作。而日本的這些留學生一般沒有固定的學習時間，幾年到幾十年的都有，最著名的阿部仲麻呂更是直接在大唐做到了從三品的左散騎常侍。
「留學僧」在唐朝也是一羣真實的存在。這些日本僧人來唐朝系統學習與宗教相關的文化知識，這些「留學僧」回國後與留學生一樣，都會受到天皇的格外重視。儘管唐朝也派使者到過日本，但由於「撮爾島國不值一學」的想法，這些人並不能成為「留學生」。鑑真的六次東渡實際上是有違唐朝國禁的私人行為。
唐朝之後，中國的大門彷彿就關上了，裏面的人出不去，外面的人進不來。