Японцы встретили посланников холодно и своими действиями окончательно восстановили против себя Хубилая, дав ему повод прибегнуть в более жестким мерам. Японский императорский двор, находившийся в Киото, не обладал реальной властью, которая была сосредоточена в руках бакуфу, военного правительства во главе с сегуном, пребывавшего в Камакуре. Страна фактически управлялась не сегуном, а регентом Ходзё Токимунэ, который и не думал уступать требованиям монголов. Опираясь на силу самурайского (воинского) сословия и полагаясь на выгоды, предоставляемые островным положением Японии, он и его со-регент Ходзё Масамура отвергли все попытки монгольского посольства установить дипломатические отношения. Обсудив возможные варианты ответа на письмо Хубилая, в котором японский император именовался «царем маленькой страны», бакуфу просто отослало монголов обратно без каких-либо объяснений. Хотя придворные чиновники написали послание, составленное в миролюбивых и примирительных тонах, и представили его на рассмотрение бакуфу, регент запретил передавать его монгольским эмиссарам. Не смущаясь неудачей, в начале 1271 г. Хубилай отправил в Японию еще одно посольство с тем же посланием, что и в предыдущий раз. Сопровождавшие послов корейцы тайно предупредили японцев об угрозе, которую представляет монгольская военная мощь, но японцы вновь отказались допустить послов ко двору. На обратном пути послы захватили двух японских рыбаков и привезли их с собой в Китай. Хубилай принял рыбаков и наказал им передать своему государю, чтобы он проявил должное уважение к императору Китая и монгольскому хану, направив к нему посольство с данью. Затем он отпустил их, дав им сопровождение до Кореи, откуда они должны были переправиться в Японию. Однако возвращение задержанных рыбаков не вызвало у японского правительства никакой реакции.
К этому времени Хубилая уже начало раздражать «высокомерие» японцев. Он не мог до бесконечности терпеть такое пренебрежение. В обеих своих ипостасях, и как великий хан, и как император Китая, он не мог допустить унизительного обращения со стороны другого государства. Монгольский обычай требовал подобающего приема послов, а в соответствии с китайской традицией император являлся верховным властелином всех стран на земле. Столь четкие требования, предъявлявшиеся к правителю обеими традициями, означали, что Хубилай не должен был смотреть сквозь пальцы на прием, который был оказан его послам в Японии. Однако, прежде чем перейти к более жесткой политике, он направил к японскому двору еще одного посланника. На эту роль он избрал Чжао Лянби (1217-1286), который выехал весной 1272 г. и высадился в Имадзу на восточном берегу острова Кюсю в октябре того же года. Потребовав допустить его к императору и получив немногословный отказ, посол выдвинул ультиматум: у японского императора есть два месяца, чтобы ответить на письмо Хубилая. Императорский двор хотел составить ответ в самых вежливых и туманных выражениях, но военное правительство отвергало всякую мысль о компромиссе. Это мнение восторжествовало, и китайские послы были изгнаны из страны. Грубость, проявленная бакуфу, оценивается как «равнозначная объявлению войны». Чжао Лянби вернулся в Китай в шестой месяц 1273 г. и представил Хубилаю доклад о Японии и обычаях ее жителей, а также, вероятно, о системе обороны страны. Рассказ Чжао об оскорбительном приеме посольства разгневал Хубилая. Он не мог больше медлить, так как от отсрочек дерзость японцев лишь возрастала. За несколько месяцев до возвращения Чжао монголы одержали важную победу над Южной Сун, взяв Сянъян, и теперь Хубилай получил возможность отрядить небольшую часть своей армии на усмирение японцев. В то же время поход на Японию можно было представить частью кампании против Сун, так как японцы вели оживленную торговлю с южнокитайскими врагами Хубилая. Разгромив японцев, он мог перерезать торговые связи между двумя своими неприятелями, тем самым ослабив Сун.
Хубилай затратил некоторое время на подготовку к вторжению в Японию. Он приказал корейцам построить корабли для перевозки монгольских войск через Японское море. Монголы намеревались высадиться на самом южном из островов Японского архипелага. В ноябре 1274 г. войско, состоявшее из 15000 монгольских, китайских и чжурчжэньских воинов и 6000-8000 по большей части недовольных корейских солдат, которые вовсе не горели желанием участвовать в этом походе, при помощи 7000 корейских моряков, вышло в море из Хаппо (близ современного Пусана). Флотилию составляли 300 больших и 400-500 небольших судов. Войска сначала высадились на островах Цусима и Икисима, где с легкостью разгромили японцев. И все же силы, отправленные Хубилаем на завоевание Японии, никак нельзя назвать внушительными. Очевидно, он недооценил степень возможного сопротивления.
Решающая битва должна была состояться, естественно, на острове Кюсю. Хотя японцы знали о выступлении монгольской армии, они плохо подготовились к отпору. Они не могли содержать на Кюсю большое войско по экономическим причинам, и кроме того, чтобы выставить против монголов мощную армию, японскому государству не хватало политического единства и централизации. Им было нечего противопоставить монгольскому дальнобойному оружию, в том числе арбалетам и разного рода метательных машин. Их военачальники не могли сравниться с монгольскими ни по военному опыту, ни по боевой закалке. Японцы были искусны в рукопашном бою, но монголы сражались в тесно сомкнутом строю, а с такой тактикой ведения боя японцы были незнакомы. Поэтому 19 ноября, когда монголы высадились на восточном берегу Кюсю у Хакаты, они имели неоспоримое преимущество над японским войском. Монгольские боевые порядки и тактика привели японцев в замешательство, равно как и использование ими при наступлении барабанов и колоколов. К исходу первого вечера японская армия понесла ощутимые потери в людях и снаряжении и, кроме того, заняла очень слабую позицию. Единственным выходом оставалось бегство, и только ночь спасла японцев от позора.
Однако тут свое слово сказала природа. Той самой ночью разразилась ужасная буря. Корейские моряки убедили монгольских военачальников в том, что им следует вернуться на корабли и выйти в открытое море, пока не стихнет шторм. В противном случае суда разобьются о прибрежные скалы, и монголы потеряют единственное средство к отступлению. Монголы нехотя согласились с этими доводами и начали отводить свои войска от Хакаты. Некоторые японские воины бросились в погоню и убили какое-то число отступавших монголов. Однако наибольшие потери той ночью монголы понесли в море. Ветер, волны и скалы потопили несколько сотен кораблей и, по некоторым сведениям, погибло 13000 человек. Эта буря спасла Японию. Экспедиция закончилась для монголов катастрофой, а выжившие отплыли на родину, чтобы сообщить Хубилаю о неудаче.
Так как великий хан уделял все свое внимание покорению Южной Сун, он не мог отвлечься на японские дела и отомстить японцам. Вместо этого, в 1275 г. он направил к ним очередное посольство во главе с Ду Шичжуном и Хэ Вэньчжу, чтобы добиться своих целей, не прибегая к новому вторжению. Японские власти, гордые своим недавним успехом и полагавшиеся на волю богов, спасших Японию в последний раз, усугубили разрыв с китайской династией, казнив несчастных послов. В глазах монголов это было одно из самых страшных преступлений. Хубилай не мог оставить такое оскорбление безнаказанным. Однако прошло еще несколько лет, прежде чем он получил возможность послать в Японию карательные войска.
К середине 1270-х гг. он окончательно усмирил Корею и даже привлек корейцев на свою сторону, сколь бы отрицательно они не относились к его стремлению покорить Японию. Тем не менее, он не достиг успеха. У него было много других, более важных поводов для беспокойства, например, угрозы территориальной целостности своего государства. Серьезную озабоченность вызывала Средняя Азия. Хубилаю следовало заняться в первую очередь этими землями, прежде чем вновь обратить внимание на Японию.