在忽必烈统治中原之前，蒙古帝国的前四位大汗——成吉思汗、窝阔台、贵由和蒙哥都对马蹄不及的东方岛国日本根本没有留意过。
直到忽必烈夺得蒙古大汗之位后，1265年高丽人赵彝来朝，言谈之中，说出了不少关于日本的情况。
从那时起，忽必烈才开始留意这个不远的东方还有这样一个非常富庶的岛国。次年，忽必烈命兵部侍郎殷弘为国信副使，持国书出使日本。
在国书中，忽必烈明确告诉日本，要向高丽等国学习，速来大元朝进贡，否则，将派出蒙古铁骑攻打。这份威胁的国书几经周折，终于送到了日本天皇手中。
按照忽必烈的想象，弹丸之国的日本只要收到大元帝国的国书，肯定会立即派人来元朝进贡。
然而，令忽必烈没想到的是，由于当时信息的不发达，元朝不知道日本，同样的，日本国内也不知道元朝的辉煌，他们对这份恐吓型的国书根本就没当回事。
忽必烈出世以来，还没碰到过如此无视自己的小国家！于是，他准备用军事力量敲开日本的大门。忽必烈向高丽国王下达了军事动员令，并命高丽国建造大量的战船。
不过，此时的忽必烈还很忙碌，中原还没有完全占领，他还顾不上出兵日本。1268年，忽必烈又命郎赫德经高丽出使日本，没想到的是，此次竟然遭到日本拒绝入境的羞辱。
1270年底，忽必烈决定派女真人赵良弼第三次出使日本。次年初，忽必烈正式改国号为大元，为了显示元帝国的军威，在举国同庆的时候，派忽麻林、王国昌等人率领一部分蒙古军队进驻高丽，并在靠近日本海域的地方驻扎，为赵良弼出使日本助威。
日本的大宰府（相当于外交机构）通过相应的情报系统得知大元帝国在高丽境内驻扎军队及信使赵良弼即将来日的消息后，立即上报幕府与天皇。这次，日本人坐不住了，国内舆论一片哗然，各部军队也开始积极备战。
1271年农历的九月十九日，赵良弼一行抵达日本后，立即遭到日本军人的包围，后经波折，日本大宰府的少贰藤原经资会见了赵良弼。
藤原经资向赵良弼索要国书，由于他只不过是一员普通武将，所以遭到了赵良弼的拒绝，并告诉他，国书只能交给天皇亲看，如果天皇不方便，幕府大将军亲看也行。
在这份忽必烈拟定的第三份“告日本天皇书”中，口气已较前两次稍委婉，但遗憾的是，日本人考虑到国书中的战争恐吓和在高丽境内驻扎的元朝军队，坚定地认为元朝是侵略者而不是和平使者。赵良弼还落了个限期离境，灰溜溜地回到了国内。
日本人的不友好举动彻底将以世界霸主自居的忽必烈激怒了！
放眼当世，再强大的国家也畏惧蒙古铁骑！而日本一个弹丸之国竟敢如此无礼！况且，日本由于种种原因，与元朝的敌对方南宋政权关系密切，民间交往频繁不断，这不是和大元帝国作对吗？
忽必烈决定给日本人一点颜色看看。1273年5月，忽必烈出兵高丽，并控制了日本与南宋间的海上交通要塞，在得到高丽的战船已经全部建造成功的消息后，忽必烈感到东征日本的时机已经成熟，于是，他命令由蒙、汉、高丽三族军队组成的联军，正式东征日本。
按照当时的军事实力对比：蒙古铁骑的组织极为严密，战斗力强盛，在世界各地可谓是攻无不克、战无不胜；并且元朝还拥有领先世界水平的秘密武器——火器，绝对是当时世界上的头号军事强国；反观日本，他们当时的军队以武士为中坚，组织松散，士兵多为兼职，战略战术根本没有，这怎么看也是一场 毫无悬念的战争。
然而，战争的结果却大大出人意料！
1274年，第一次进攻日本的蒙古远征军从高丽扬帆出海，驶往九州岛，远征军共有两万五千人，其中蒙古人和高丽人大约各占一半，还有部分的女真人和汉族人。远征军的统帅为蒙古人忽敦，两位副统帅为高丽人洪茶丘和汉人刘复亨。
面对元军的来袭，日本镰仓幕府调集部分正规军迎战，九州岛沿海各蕃也紧急组织武士和民兵参战。激烈的战斗打了二十多天，刘复亨阵亡，元军在折损大半后退回海滩依托回回炮进行防守。后来，由于箭和粮食用尽，无法继续守住阵地，元军只好登船撤退。
忽必烈在得知第一次东征日本失败后，虽然很生气，但当时正是攻灭南宋统一中原的关键时刻，他也就没顾得上理会这个弹丸之国。
1281年，忽必烈在统一中原之后，政局基本安定下来之后，便着手准备第二次东征日本。此次出征的军容甚为壮观，共有大小舰船近五千艘，军队约二十万，其中蒙古人四万五千，高丽人五万多，汉人约十万。
当年6月上旬，元军开始登陆作战，登陆地点九龙山距上次战争主力部队登陆地点不远。这次远征军遭到了更顽强的抵抗，高丽军统帅洪茶丘被俘杀，几名蒙古高级将领也相继阵亡。
激烈的战斗持续进行了一个多月，远征军的损失已经超过了三分之一。由于日本沿海滩构筑了一道坚固的石墙，元军的进攻始终无法突破。到七月下旬，元军的粮草和箭已基本用光，不得不收兵撤退。
至此，忽必烈大帝在位期间的两次对日本用兵，均以失败而告终。强大的蒙古铁骑两次东征为何都未能征服日本？综观史料，大致有以下几方面的原因：
一、第一次进攻日本时元军兵力不足。
当时，南宋尚未灭亡，蒙古人也仅控制了北方地区，而且正集结重兵准备南下灭宋，所以用来进攻日本的军队只有两万多人。
劳师远征而且又是蒙古人不擅长的跨海作战，再加上日本人的拼杀抵抗，这点兵力显然是不够的。而更主要的是，忽必烈还没有把东方的岛国当回事。
二、元军在战术上没有丝毫的优势。
按照日本人的说法，蒙古人的战斗力并不如想象中那样强大。当战斗开始后，日本人采取了与蒙古人贴身近战的战术，使蒙古人的弓箭和回回炮优势失效。
蒙古铁骑平时在陆地上骑马四处征战，机动性很强，一般也只带很少的粮食，他们的吃穿主要是通过掠夺战争地区来解决，而这两次战争中，蒙古军队偏偏无法发挥自己的特长，一直未能突入到日本内地居民区，自然不可能获得补给。相比之下，日本人的战术就很高明。
三、元军在武器装备上没有明显的优势。
东征日本，蒙古军队第一次遇到了武器装备强于自己的对手。日本人装备的优势不仅仅是战刀，也在于武士所穿的铁甲。
据说元军普通士兵的刀剑于日本武士的刀一碰即断（当时日本的冶铁和刀具制造技术世界一流）；只要距离稍远，蒙古的弓箭就无法穿透日本武士穿的盔甲。
四、跨海作战保密不严。
元军的两次东征日本，都不是突然袭击，日本事先已经得到可靠消息，并做了充分的迎战准备。尤其是第二次入侵，日本人严密侦查着元帝国的军事动向，对蒙古军队来袭做了充分的战争准备。
而且，当时的日本政局稳定，权臣北条时宗对镰仓幕府和日本各蕃的控制远胜以往，因此，日本能够发动更多的人力物力来抗击入侵。
幕府在九州岛征用民夫，于博德湾一带蒙古人最有可能登陆的地区沿海滩构筑了一道石墙，用以阻挡蒙古骑兵，而事实上，蒙古军队始终也没有突破这道防线。
五、天公也不作美，飓风帮了日本的忙。
元军两次进攻日本都遭遇到了猛烈的飓风，损失惨重。尤其是第二次进攻，当时太平洋上突然刮起了猛烈的飓风，风暴持续了四天，元军南方舰队的舰船基本被毁，北方舰队的舰船也损失大半。
当战争失败不可避免时，北方舰队的舰船搭载指挥官以及部分蒙古军和高丽军逃离战争返回高丽，南方军的指挥官和部分高级官员眼看回天乏术，也只得丢下大部队，乘南方舰队逃离战场。
此时九龙山的海滩上还留有近十万元军（大部分是汉人），这些人失去了补给和退路，在没有指挥官的情况下，又无力突破日军的防线，陷入绝望的境地。几天后，日本人开始反攻，将残存的这些元军驱赶至一处名为八角岛的狭窄地区，然后纵兵攻击，元军大部分被杀，最后只剩了两万人做了俘虏。
六、日本人奋勇抗敌的勇气也是至关重要的。
除去以上各种原因，日本人奋勇抗敌的勇气也许才是蒙古军队折戟沉沙于日本海的关键点。元帝国在安南（今越南北部）的失败也可以从另一个侧面证明当时的蒙古军队不可能征服日本。
蒙古军队也曾两次攻打安南，安南军队的装备和战斗力远不如日本军队，也没有日本人的地利，不过他们奋勇抗敌的勇气却和日本人相似。据说，所有安南士兵的手臂上都刺有“杀鞑”二字，以表明拼死杀敌的决心。
由于中原和安南之间没有大海阻隔，蒙古铁骑能轻易地突然安南腹地，在整个安南战争期间，安南的任何地方都被蒙古人占领过，但安南军队在初期遭遇大败后，立即避开正面战斗，不断地组织小规模袭扰，搞得蒙古军队损失惨重。
安南战争旷日持久，元军的人员、兵器、粮草补充在内地引起了巨大的财政危机，最终，忽必烈不得不将元军从安南全部撤出。
因此，也可以这样认为：日本、安南等人口、国土面积都只有元帝国几十分之一的小民族，他们能击退蒙古人的入侵，除了各种天时、地利因素外，主要还是凭借自己的勇气和不屈精神。