Русских моряков очаровали красота и утонченность японских женщин, хотя они и недоумевали по поводу некоторых японских обычаев. «Что касается женщин, то мы, разумеется, других случаев, как видеть их на улице, в лавках или гостиницах, не имели; а в этих местах, с прибавкой и храмов, показываются только женщины низшего класса, да и то сравнительно с мужчинами не в большом количестве. Между ними часто попадаются довольно хорошенькие, но, увы, то же злодейское обыкновение, что и в Хакодате, покрывать белилами и другими разноцветными мастиками лицо и шею невольно напомнит поблекшую, но все-таки играющую первые роли актрису провинциального театра».

В свою очередь японские жители тоже во все глаза глядели на чужеземцев. В Японии тогда существовало немало противников открытия страны, особенно среди чиновничества, поэтому прогулки нередко были сопряжены если не с опасностью для жизни, то во всяком случае с некоторыми неудобствами. Смех и крики зевак постоянно сопровождали русских во время их экскурсий по городу. Порой гостей встречали и камнями: кто-то маленькими, а кто-то и более увесистыми. Увы, узкие японские улицы не позволяли избежать неприятных встреч. Иногда в конце прогулки русские напоминали зайцев, которых гнали собаками.

Русским особенно понравились японские парки. «А сады, в особенности террасы, очень хороши. На одной из них мы пили чай; она обсажена деревьями, покрыта легкой крышей, или по-нашему маркизой, и разделена на несколько отделений, отгороженных друг от друга тоненькими жердочками; в каждом из этих отделений особенная семья торговцев чая. По любви к простору, так свойственному русской натуре, мы разлеглись во всех отделениях и совершенно запутали чиновников, все еще пытавшихся предлагать нам угощение за счет правительства. Вид с террасы на громадный город, раскинутый у наших ног, очень хорош: по крайней мере, успокаивает глаз однообразием: вы видите крыши и деревья, деревья и крыши, и только там, вдали, синее море и на нем как бы в тумане залитые ярким светом солнца джонки и наша грозная эскадра».

Тем временем Муравьев-Амурский вел напряженные переговоры о разграничении России и Японии. Он сообщил японцам, что российские власти хотят восстановить пост в заливе Анива, снятый в 1854 г. Николай Николаевич предложил провести границу по проливу Лаперуза, а японские рыбалки оставить в их владении. Японцы же предлагали провести границу по 50-й широте. 23 августа состоялся последний разговор, который закончился ничем. Одной из причин того, что японское правительство настороженно отнеслось к инициативе Муравьева, была близость дальневосточных рубежей России.

Во время российско-японских переговоров, вечером 14 августа 1859 г., произошло трагическое событие, которое показывает, насколько непросто складывались отношения между двумя странами. Несколько членов экипажа корвета «Гридень» были посланы на баркасе в Канагаву для закупки продуктов. Успешно окончив все дела, они хотели в тот же вечер вернуться на судно, но случилось непредвиденное.

«Мофет, — писал командир русской эскадры капитан 1-го ранга А. А. Попов, — шел из лавок в сопровождении матроса Ивана Соколова, который нес за ним ящик с деньгами, а мещанин Александр Корольков шел несколько впереди их. Вдруг на одном из перекрестков на них напали несколько японцев, вооруженных саблями. В темноте и при неожиданности нападения борьба была невозможна, тем более что никто из наших не имел при себе оружия; через минуту матрос упал мертвым, а мичман Мофет плавал в крови своей, получив несколько глубоких и смертельных ран. Корольков же, предупрежденный г. Мофетом, который закричал ему: «Александр, нас бьют!» кинулся в одну из лавок, в то время уже запиравшуюся на ночь хозяином, и был спасен от смерти последним, но получил сильную рану в левую руку с перерубом кости; другим ударом у него перерублена фуражка у самого виска».

Нападавшие скрылись, прихватив ящик с деньгами. На крики быстро собралась толпа. Проходившие мимо два американских матроса сообщили о происшествии своему командиру, жившему неподалеку. Несмотря на помощь японского врача, Мофет скончался через два часа. Японские власти немедленно выразили глубокое сожаление и попросили прощения за кровавый инцидент. Муравьев-Амурский мог воспользоваться мощью своей эскадры, но он последовал совету Гошкевича и других своих спутников не вмешиваться. Ему предстояло срочно вернуться на Дальний Восток, и он поручил провести расследование А. А. Попову, выставив условие сменить губернаторов, а преступников, если они будут найдены, подвергнуть казни на месте преступления.

Похороны русских моряков прошли весьма торжественно, с участием японских священнослужителей. Журнал «Морской сборник» отмечал: «Желая почтить память своего товарища и по возможности выразить свое полное сочувствие к несчастной судьбе его, гг. офицеры и гардемарины всей эскадры сделали подписку и поручили одному из консулов поставить памятник на могиле Р. С. Мофета и матроса Соколова, похороненных в присутствии гг. офицеров и команд с двух наших судов, немедленно присланных из Иедо». Так в Йокогаме появился православный крест. Русская могила стала первой на Иностранном кладбище.

24 августа 1859 г. Муравьев-Амурский пересел на пароходо-корвет «Америка» и ушел в Хакодате. Капитану 1-го ранга Унковскому на фрегате «Аскольд» было поручено оставаться на рейде Токио до 15 сентября и проконтролировать ход расследования. На борт фрегата сразу прибыли высшие сановники и в присутствии всего экипажа попросили извинения за трагический случай, сообщив, что губернаторы Иокогамы Мицио-Тсикокгоно-Ками и Като-Икино-Ками лишились должности.

Крайний срок поимки преступников Унковский назначил на 12 сентября. Начиная расследование, Попов в сопровождении японского чиновника, присланного из Токио, отправился на корвете «Новик» в Канагаву. Осмотрев место преступления, Попов предложил губернатору закрыть все лавки, но тот ответил, что не имеет права этого делать без приказа из Токио да и не хочет лишать народ последних средств к существованию. На просьбу отобрать у японцев оружие он также не согласился, так как наличие меча является для самурая обязательным и является его отличительной особенностью. Все, что мог сделать губернатор, это дать согласие на ношение оружия русскими во время их съезда на берег.

Несмотря на энергичные розыски, установить личности убийц не удалось. Японские власти предложили казнить полицейского чиновника, который дежурил в это время в Йокогаме, но Унковский, конечно же, отверг эту идею. Задерживаться в Японии дольше русские корабли уже не могли. Перед тем как 17 (29) сентября 1859 г. сняться на фрегате «Аскольд» в Кронштадт, Унковский обязал правительство Японии найти преступников и казнить их.

Этот трагический случай вызвал много противоречивых откликов. Английский консул обвинил во всем губернатора, не сумевшего организовать быстрое расследование, но американский консул, напротив, считал, что губернатор сделал все возможное, чтобы обнаружить преступников. Иностранная пресса обвинила во всем японские радикальные крути, заинтересованные в нагнетании политической обстановки.

17 ноября 1859 г. газета «Таймс» писала: «Вчера один пьяный японский офицер размахивал шпагою (с толстой рукояткой и лезвием наподобие бритвы), заявляя, что он желал бы срубить голову русскому. И что же сделали? Он был очевидно опасен, и его оттащили в сторону на почтительное расстояние длинным шестом с крюком и обезоружили, но только для того, чтобы он отправился домой». Еще одно свидетельство того, что отношение к иностранцам в Японии было далеко не всегда дружественным.

Адмирал Е. В. Путятин неоднократно просил власти Нагасаки выделить морякам постоянное место для размещения русского лагеря. Японцы отнекивались или предлагали неудобные места, весьма отдаленные от города, например в Умегасаки (Umegasaki), у мыса при входе в залив Нагасаки, где в свое время жил Николай Резанов. В январе 1854 г., покидая Нагасаки, Путятин вернулся к этому вопросу. И. А. Гончаров писал по этому поводу: «Вчера предупредили японцев, что нам должно быть отведено хорошее место, но ни одно из тех, которые они показывали прежде. Они были готовы к этому объяснению. Хагивари сейчас же вынул и план из-за пазухи и указал, где будет отведено место: подле города где-то. «Там есть кумирня, — прибавил он, — бонзы на время выберутся оттуда». Кроме того, есть дом или два, откуда тоже выгоняют каких-то чиновников. Завтра К. Н. Посьет, по приказанию адмирала, едет осмотреть. Губернаторы, кажется, все силы употребляют угодить нам или, по крайней мере, показывают вид, что угождают. Совсем противное тому, что было три месяца назад! Впечатление, произведенное в Едо нашим прибытием, назначение оттуда, для переговоров с нами, высших сановников и, наконец, вероятно, данные губернаторам инструкции, как обходиться с нами, — все это много сбавило спеси у их превосходительств».