在忽必烈統治中原之前，蒙古帝國的前四位大汗——成吉思汗、窩闊台、貴由和蒙哥都對馬蹄不及的東方島國日本根本沒有留意過。
直到忽必烈奪得蒙古大汗之位後，1265年高麗人趙彝來朝，言談之中，説出了不少關於日本的情況。
從那時起，忽必烈才開始留意這個不遠的東方還有這樣一個非常富庶的島國。次年，忽必烈命兵部侍郎殷弘為國信副使，持國書出使日本。
在國書中，忽必烈明確告訴日本，要向高麗等國學習，速來大元朝進貢，否則，將派出蒙古鐵騎攻打。這份威脅的國書幾經周折，終於送到了日本天皇手中。
按照忽必烈的想象，彈丸之國的日本只要收到大元帝國的國書，肯定會立即派人來元朝進貢。
然而，令忽必烈沒想到的是，由於當時信息的不發達，元朝不知道日本，同樣的，日本國內也不知道元朝的輝煌，他們對這份恐嚇型的國書根本就沒當回事。
忽必烈出世以來，還沒碰到過如此無視自己的小國家！於是，他準備用軍事力量敲開日本的大門。忽必烈向高麗國王下達了軍事動員令，並命高麗國建造大量的戰船。
不過，此時的忽必烈還很忙碌，中原還沒有完全佔領，他還顧不上出兵日本。1268年，忽必烈又命郎赫德經高麗出使日本，沒想到的是，此次竟然遭到日本拒絕入境的羞辱。
1270年底，忽必烈決定派女真人趙良弼第三次出使日本。次年初，忽必烈正式改國號為大元，為了顯示元帝國的軍威，在舉國同慶的時候，派忽麻林、王國昌等人率領一部分蒙古軍隊進駐高麗，並在靠近日本海域的地方駐紮，為趙良弼出使日本助威。
日本的大宰府（相當於外交機構）通過相應的情報系統得知大元帝國在高麗境內駐紮軍隊及信使趙良弼即將來日的消息後，立即上報幕府與天皇。這次，日本人坐不住了，國內輿論一片譁然，各部軍隊也開始積極備戰。
1271年農曆的九月十九日，趙良弼一行抵達日本後，立即遭到日本軍人的包圍，後經波折，日本大宰府的少貳藤原經資會見了趙良弼。
藤原經資向趙良弼索要國書，由於他只不過是一員普通武將，所以遭到了趙良弼的拒絕，並告訴他，國書只能交給天皇親看，如果天皇不方便，幕府大將軍親看也行。
在這份忽必烈擬定的第三份“告日本天皇書”中，口氣已較前兩次稍委婉，但遺憾的是，日本人考慮到國書中的戰爭恐嚇和在高麗境內駐紮的元朝軍隊，堅定地認為元朝是侵略者而不是和平使者。趙良弼還落了個限期離境，灰溜溜地回到了國內。
日本人的不友好舉動徹底將以世界霸主自居的忽必烈激怒了！
放眼當世，再強大的國家也畏懼蒙古鐵騎！而日本一個彈丸之國竟敢如此無禮！況且，日本由於種種原因，與元朝的敵對方南宋政權關係密切，民間交往頻繁不斷，這不是和大元帝國作對嗎？
忽必烈決定給日本人一點顏色看看。1273年5月，忽必烈出兵高麗，並控制了日本與南宋間的海上交通要塞，在得到高麗的戰船已經全部建造成功的消息後，忽必烈感到東征日本的時機已經成熟，於是，他命令由蒙、漢、高麗三族軍隊組成的聯軍，正式東征日本。
按照當時的軍事實力對比：蒙古鐵騎的組織極為嚴密，戰鬥力強盛，在世界各地可謂是攻無不克、戰無不勝；並且元朝還擁有領先世界水平的秘密武器——火器，絕對是當時世界上的頭號軍事強國；反觀日本，他們當時的軍隊以武士為中堅，組織鬆散，士兵多為兼職，戰略戰術根本沒有，這怎麼看也是一場 毫無懸念的戰爭。
然而，戰爭的結果卻大大出人意料！
1274年，第一次進攻日本的蒙古遠征軍從高麗揚帆出海，駛往九州島，遠征軍共有兩萬五千人，其中蒙古人和高麗人大約各佔一半，還有部分的女真人和漢族人。遠征軍的統帥為蒙古人忽敦，兩位副統帥為高麗人洪茶丘和漢人劉復亨。
面對元軍的來襲，日本鎌倉幕府調集部分正規軍迎戰，九州島沿海各蕃也緊急組織武士和民兵參戰。激烈的戰鬥打了二十多天，劉復亨陣亡，元軍在折損大半後退回海灘依託回回炮進行防守。後來，由於箭和糧食用盡，無法繼續守住陣地，元軍只好登船撤退。
忽必烈在得知第一次東征日本失敗後，雖然很生氣，但當時正是攻滅南宋統一中原的關鍵時刻，他也就沒顧得上理會這個彈丸之國。
1281年，忽必烈在統一中原之後，政局基本安定下來之後，便着手準備第二次東征日本。此次出征的軍容甚為壯觀，共有大小艦船近五千艘，軍隊約二十萬，其中蒙古人四萬五千，高麗人五萬多，漢人約十萬。
當年6月上旬，元軍開始登陸作戰，登陸地點九龍山距上次戰爭主力部隊登陸地點不遠。這次遠征軍遭到了更頑強的抵抗，高麗軍統帥洪茶丘被俘殺，幾名蒙古高級將領也相繼陣亡。
激烈的戰鬥持續進行了一個多月，遠征軍的損失已經超過了三分之一。由於日本沿海灘構築了一道堅固的石牆，元軍的進攻始終無法突破。到七月下旬，元軍的糧草和箭已基本用光，不得不收兵撤退。
至此，忽必烈大帝在位期間的兩次對日本用兵，均以失敗而告終。強大的蒙古鐵騎兩次東征為何都未能征服日本？綜觀史料，大致有以下幾方面的原因：
一、第一次進攻日本時元軍兵力不足。
當時，南宋尚未滅亡，蒙古人也僅控制了北方地區，而且正集結重兵準備南下滅宋，所以用來進攻日本的軍隊只有兩萬多人。
勞師遠征而且又是蒙古人不擅長的跨海作戰，再加上日本人的拼殺抵抗，這點兵力顯然是不夠的。而更主要的是，忽必烈還沒有把東方的島國當回事。
二、元軍在戰術上沒有絲毫的優勢。
按照日本人的説法，蒙古人的戰鬥力並不如想象中那樣強大。當戰鬥開始後，日本人採取了與蒙古人貼身近戰的戰術，使蒙古人的弓箭和回回炮優勢失效。
蒙古鐵騎平時在陸地上騎馬四處征戰，機動性很強，一般也只帶很少的糧食，他們的吃穿主要是通過掠奪戰爭地區來解決，而這兩次戰爭中，蒙古軍隊偏偏無法發揮自己的特長，一直未能突入到日本內地居民區，自然不可能獲得補給。相比之下，日本人的戰術就很高明。
三、元軍在武器裝備上沒有明顯的優勢。
東征日本，蒙古軍隊第一次遇到了武器裝備強於自己的對手。日本人裝備的優勢不僅僅是戰刀，也在於武士所穿的鐵甲。
據説元軍普通士兵的刀劍於日本武士的刀一碰即斷（當時日本的冶鐵和刀具製造技術世界一流）；只要距離稍遠，蒙古的弓箭就無法穿透日本武士穿的盔甲。
四、跨海作戰保密不嚴。
元軍的兩次東征日本，都不是突然襲擊，日本事先已經得到可靠消息，並做了充分的迎戰準備。尤其是第二次入侵，日本人嚴密偵查着元帝國的軍事動向，對蒙古軍隊來襲做了充分的戰爭準備。
而且，當時的日本政局穩定，權臣北條時宗對鎌倉幕府和日本各蕃的控制遠勝以往，因此，日本能夠發動更多的人力物力來抗擊入侵。
幕府在九州島徵用民夫，於博德灣一帶蒙古人最有可能登陸的地區沿海灘構築了一道石牆，用以阻擋蒙古騎兵，而事實上，蒙古軍隊始終也沒有突破這道防線。
五、天公也不作美，颶風幫了日本的忙。
元軍兩次進攻日本都遭遇到了猛烈的颶風，損失慘重。尤其是第二次進攻，當時太平洋上突然颳起了猛烈的颶風，風暴持續了四天，元軍南方艦隊的艦船基本被毀，北方艦隊的艦船也損失大半。
當戰爭失敗不可避免時，北方艦隊的艦船搭載指揮官以及部分蒙古軍和高麗軍逃離戰爭返回高麗，南方軍的指揮官和部分高級官員眼看回天乏術，也只得丟下大部隊，乘南方艦隊逃離戰場。
此時九龍山的海灘上還留有近十萬元軍（大部分是漢人），這些人失去了補給和退路，在沒有指揮官的情況下，又無力突破日軍的防線，陷入絕望的境地。幾天後，日本人開始反攻，將殘存的這些元軍驅趕至一處名為八角島的狹窄地區，然後縱兵攻擊，元軍大部分被殺，最後只剩了兩萬人做了俘虜。
六、日本人奮勇抗敵的勇氣也是至關重要的。
除去以上各種原因，日本人奮勇抗敵的勇氣也許才是蒙古軍隊折戟沉沙於日本海的關鍵點。元帝國在安南（今越南北部）的失敗也可以從另一個側面證明當時的蒙古軍隊不可能征服日本。
蒙古軍隊也曾兩次攻打安南，安南軍隊的裝備和戰鬥力遠不如日本軍隊，也沒有日本人的地利，不過他們奮勇抗敵的勇氣卻和日本人相似。據説，所有安南士兵的手臂上都刺有“殺韃”二字，以表明拼死殺敵的決心。
由於中原和安南之間沒有大海阻隔，蒙古鐵騎能輕易地突然安南腹地，在整個安南戰爭期間，安南的任何地方都被蒙古人佔領過，但安南軍隊在初期遭遇大敗後，立即避開正面戰鬥，不斷地組織小規模襲擾，搞得蒙古軍隊損失慘重。
安南戰爭曠日持久，元軍的人員、兵器、糧草補充在內地引起了巨大的財政危機，最終，忽必烈不得不將元軍從安南全部撤出。
因此，也可以這樣認為：日本、安南等人口、國土面積都只有元帝國幾十分之一的小民族，他們能擊退蒙古人的入侵，除了各種天時、地利因素外，主要還是憑藉自己的勇氣和不屈精神。