日本國家的形成經歷了相當漫長的歷史過程。
由於日本出現歷史文獻的時代較晚，因而我們只有藉助日本週邊國家，尤其是中國的歷史文獻，以及日本的考古發掘資料，來追溯這一過程的原委。
一般認為，在彌生時代前期相中期（約為公元前3世紀至公元1世紀），在北九州和畿內地區已出現了許多“原生小國”。
中國正史《漢書·地理志》記載説：“樂浪海中有倭人，分為百餘國，以歲時來獻見雲。”其中的“百餘國”，雖非確數，但也反映了公元前2世紀至公元1世紀這一時期，在日本列島小國林立的狀況。
《後漢書·倭傳》則記載説：自武帝滅朝鮮，使驛通於漢者三十許國。”
雖不能説日本列島上的這些小國均有條件與漢朝建立交往關係，但“三十許國”的數字要比“百餘國”少了許多。這大約可以反映出這些小國在逐漸向地域統一的方向發展。
《後漢書·倭傳》特別提及其中的“倭奴國”，説：“建武中元二年（公元57年），倭奴國奉貢朝賀，使人自稱大夫，倭國之極南界也。光武賜以印綬。”其中提及的漢光武帝於公元57年賜給倭奴國王的印章，在1784年2月（舊曆）於福岡縣誌賀島被發現了。
這是一枚長寬約為2.3釐米，厚0.8釐米的金印，蛇形紐，陰文篆書“漢委奴國王”5個字。在相當長時間內，一些人對此印是否漢代遺物表示懷疑。但是，近年來在中國先後發現了“滇王之印”（1957年）、“廣陵王璽”（1981年）、“文帝行璽”（1983年）等漢代印章。“漢委奴國王”金印與這些漢代印章在紐式、形制、重量或字體上相似。由此可斷定“漢委奴國王”金印確係漢代遺物，也可證明中國史籍對當時日本國家狀況的記載大體無誤。
此外，從日本的考古發掘資料來看，在以九州北部和大阪灣沿岸為中心的近畿地區，發現下一些屬於這一時期的人羣集中生活的據點集落遺址。這些集落遺址大部周圍築有壕溝。這些據點集落遺址中，均出土了一些反映少數人巳具有某種權威的隨葬品，如銅鏡、銅劍、銅矛，銅戈、銅鐸、玉器等。
在有的遺址中還出土了用於戰爭的鐵製武器，如鐵鏃等。這些考古發掘資料表明這些集落的內部已有上下貴賤的區別，對外已進行戰爭。因而，每一個集落都可能是一個“原生小國”，當時的日本列島確實存在過“百餘國”井立的狀況。
中國史籍《三國志·魏志·倭人傳》則較為詳盡地記載了：
稍後逐漸形成的地域大國邪馬台國的社會政冶狀況。邪馬台國約存在於公元2世紀至公元3世紀後期。在邪馬台國內，已有上下尊卑區別，“尊卑各有差序，足相臣服”。也出現了階級區別，有稱為“國大人”和“大人”的貴族統治階級，有隸屬於“大人”的被統治階級“下户”，還有更為低賤的可作贈品的“生口”，和可作殉葬品的“奴婢”。
邪馬台國已形成國家機構。國家的最高統治者為王，“其國本亦以男子為王”，以後經內亂“乃共立一女子為王，名曰卑彌呼”。
在女王卑彌呼統治時期，其下設輔臣“有男弟佐治國”。女王卑彌呼居城池內，還有常備軍守衞。“居處宮室樓觀，城柵嚴設，常有人持兵守衞。”中央一級的官吏，還有分管政治、貿易和外交的“大率”、“大倭”和“大夫”。邪馬台國已有租賦制度，“收租賦，有邸閣”；也有刑罰，“其犯法，輕者沒其妻子，重者滅其門户及家族。”
邪馬台國還監督與控制着同一地域的其他小國，如“斯馬國”至“奴國”的21個小國和“伊都國”等。女王卑彌呼曾多次遣使曹魏，並受到魏明帝的冊封，稱“親魏倭王”。
卑彌呼女王死後，葬儀隆重，“大作冢，徑百餘步，殉葬者奴蜱百餘人。”
《三國志·魏志·倭人傳》有關邪馬台國的記載表明，邪馬台國已是控制相當大地域的階級國家，儘管其階級分化與國家機構仍未盡成熟。
中國史籍《晉書·武帝本紀》亦記載了武帝泰始二年（公元266年），女國王最後一次遣使入貢的情況。不過，自此以後直至《宋書·倭國傳》記載宋高祖劉裕於永初二年（公元421年）賜沼倭王贊，有近一個半世紀，中國史籍對日本的狀況缺載。
而恰恰在這一時期，在畿內地區興起了控制日本大部分地域的大和國王權。由於缺少文獻記載，有關大和國的興起及其統一日本的活動雖已不得其詳，但根據少量的保存至今的金石文材料，可知大和國王權具有強烈的軍事性格。
據傳為百濟肖古王贈給大和國的七支刀，現仍保存於奈良縣天理市石上神宮。刀上的銘文表明此刀是百濟國王為感謝大和國派兵渡海攻擊新羅而解救百濟所贈送的。
現保存於我國吉林省輯安縣境內，建造於公元414年的高句麗奸大王碑（廣開土王碑）的碑文，則記載大和國曾派兵渡海與百濟聯合進攻新羅。結果，新羅求救高句麗，擊退了大和國軍。
此外，自5世紀初期至中期，在大和盆地、河內平原一帶出現許多人型古墳，也表明大和國是較邪馬台國更為強大的存在。
中國史籍《宋書·倭國傳》則記載了5世紀大和國五位國王（即“倭五王”贊、珍、濟，興、武）與劉宋交往的情況。他們部曾遣使朝貢，並接受劉宋皇帝的冊封。例如，倭王珍被封為“安車大將軍、倭國王”，其臣屬13人亦分別被封“平西、徵虜、冠車、輔國將軍號”。
據《宋書·倭國傳》記載，末順帝開明二年（公元478年），倭王武曾遣使上表，表文中提及其先祖統一日本的活動情況説：“自昔祖禰，躬欖甲冑，跋涉山川，不遑寧處。東證毛人五十五國，西服眾夷六十六國，渡下海北九十五國。”
然而，有關這一時期的日本國家的體制，卻不得其詳。
不過，這一時期的大和國不僅逐漸統一了日本，而且成長為可與朝鮮半島上的高句麗、百濟相抗衡的強國。因為它在致力於接受中國南朝劉宋朝廷冊封的同時，還試圖建立以它為中心的地域性冊封體制。
《宋書·倭國傳》記載，倭王珍，濟、武都曾要求宋朝皇帝冊封其“使持節都督倭、百濟、新羅、任那、秦韓、慕韓六國諸軍事”等封號。結果，倭王濟與武部分地達到了目的，劉宋朝廷承認了他們對百濟之外的其他幾個國家和地區的軍事控制權。
日本成為制度完備的國家，應是在公元7世紀以後的事。
7世紀初，推古女王和聖德太子多次派遣“遣隋使”和留學生到中國大陸。在與隋的交往中，開始稱國名為“日本”，稱國王為“天皇”。
日本開始認真學習隋的政治制度，開始實行所謂的“推古朝改革”。
尤其是在645年實行大化改新”之後，日本更是頻繁地派遣“遣唐使”和留學生、留學僧到中國，全面地學習唐朝的各項制度，實行經濟、政治社會改革，並仿照唐的“律令”而稍加修改，制定了日本的“律令”，將各項改革和制度法典化，使日本成為比較成熟的國家。