Хабаров попытался предостеречь Зиновьева от опрометчивого решения, но тот не счёл нужным прислушаться к советам Ерофея Павловича и подобрал в спутники к Чечигину первых попавшихся людей, случайных и ненадёжных. Зиновьев во что бы то ни стало стремился выполнить распоряжение Сибирского приказа, не вникая в реальную расстановку сил на Дальнем Востоке. Дальнейшая судьба Чечигина его не интересовала.

Покидал Зиновьев Приамурье в сопровождении 150 стрельцов из Сибирского приказа. Он увозил с собой весь ясачный сбор, ясачные книги и даже их черновики, чем создавал затруднения для работы Онуфрия Степанова. Зиновьев также забрал принадлежавшую Ерофею Павловичу пушнину, многие его личные вещи и наличные деньги, полностью ограбив Хабарова. Иванову и Полякову было приказано присоединиться к отряду и сопровождать его до Москвы, дабы там дать свои показания против Ерофея Павловича. Ещё забрал с собой Зиновьев всех толмачей и нескольких даурских женщин и подростков из числа пленных.

Перед выходом в обратный путь Зиновьев сказал своим людям лишь несколько слов:

   — Осень в разгаре. Не за горами зима. Поспешим, чтобы до снега добраться к Тугирскому волоку. Там сделаем передышку и продолжим путь на лыжах и нартах.

В октябре 1653 года Зиновьев с отрядом был уже на Тугирском волоке. Здесь он переменил свои планы, позабыв о своём намерении продолжать путь на лыжах и нартах. Начальник зимовки успел построить для себя удобную избу. Это жильё вполне устроило Зиновьева, и хозяин был оттуда изгнан. В избе поселился Дмитрий Зиновьев с двумя охранниками. Своим приближённым он строго приказал:

   — Следите за Хабаровым, чтоб не убег. Весной тронемся в дальнейший путь.

Итак, отряд Зиновьева на мелких дощаниках поднялся вверх по амурскому притоку Урке. Гребцы налегали на вёсла.

Хабаров испытывал неприятное чувство, ощущая постоянное внимание соглядатаев, следивших за каждым его шагом. Нетрудно было понять, что делали они это не по собственному почину, а по приказу Зиновьева.

На одной из стоянок Хабаров сошёл на берег и решил немного пройтись вдоль берега, чтобы поразмяться. Приставленные к нему казаки назойливо следовали за ним, а один из них даже не удержался и сказал Ерофею Павловичу угрюмо:

   — Не увлекайся, мужик, не отдаляйся от дощаника. Как бы Зиновьев не повелел заковать тебя в кандалы, коли не угодишь ему. У нас это живо делается.

   — Передай своему Зиновьеву, что такого удовольствия ему не доставлю, — сдержанно ответил Ерофей Павлович и повернул к судну.

Стоял октябрь. Деревья, росшие по берегам, сбрасывали листву, подхватываемую холодным ветром. Выше, на склонах холмов и гор, зеленели высокие ели.

Караван остановился в верховьях реки у опознавательного знака — врытого в землю бревна с перекладиной; люди высадились на берег у начинавшегося водораздела. По горным перевалам спускалась к Тугиру тропа, которую было принято называть Тугирским волоком. Она петляла по перевалам и уже была припорошена ранним снегом. Преодолев перевалы, спустились к Тугиру, а через некоторое время достигли Тугирского зимовья, состоявшего из двух избушек и амбара. В зимовье ютился небольшой отряд.

   — Здесь зазимуем до следующей весны, — объявил Зиновьев своим людям.

   — Пошто здесь, а не в Илимске, как обещал? — дерзко спросил один из казаков.

   — Так мне угодно, — резко ответил Зиновьев. — Силы ваши берегу. Да и не уверен, что нарт и лыж на весь отряд хватит.

Дерзкий казак удовлетворился ответом и умолк.

Зиновьев с приближёнными занял самую большую избу. В другой в тесноте смогла разместиться лишь часть отряда, места всем не хватило. Пришлось наспех рубить ещё одну избу. В её строительстве принял участие и Ерофей Павлович. Плотницким делом он хорошо владел. Часть казаков, чтобы прокормиться, занялась охотничьим промыслом. Кроме того, Зиновьев наложил свою тяжёлую руку на припасы обитателей зимовья. Зимовщики роптали, протестовали, и в конце концов умолкли, так как были в меньшинстве. Однако их глава снарядил двух казаков и на собачьих упряжках направил их в Якутск к воеводе Акинфову с жалобой на Зиновьева и с просьбой о хлебной помощи. О цели поездки двух казаков стало известно и Ерофею Павловичу Хабарову.

Оба казака возвратились лишь к концу зимы. Жалобу на Зиновьева Акинфов переслал в Сибирский приказ с попутчиками-купцами, а в хлебной помощи отказал. Хабаров понял причину отказа: с какой стати якутский воевода должен кормить отряд пришлых людей Зиновьева, которые непременно воспользуются этой помощью, как уже воспользовались припасами хозяев зимовья? Воевода сообщил управляющему Тугирского острожка, что лишнего хлеба в Якутске нет, и посоветовал кормиться за счёт охотничьего промысла и рыбной ловли.

Казаки, побывавшие в Якутске, привезли для Хабарова неожиданную новость. В Якутске оказалась вся его семья, прибывшая из Сольвычегодска, где жена Хабарова Василиса долгое время жила, опираясь на своё хозяйство и помощь родных. С ней находились дочь Наталья, бывшая уже замужем, и два сына, Андрей и Максим. В 1643—1644 годах, в период заточения в Якутской тюрьме, Хабаров просил Сибирский приказ отпустить его к семье. Такое разрешение от главы приказа Николая Ивановича Одоевского пришло в Якутск в 1645 году, но тогда по каким-то причинам Ерофей Павлович не воспользовался этим разрешением. Очевидно, Хабаров, несмотря на все постигшие его невзгоды, считал себя крепко привязанным к Дальнему Востоку и надеялся, что судьба к нему здесь окажется благосклонной. Отъезд же на Вычегду мог быть чреват нежелательными для него последствиями — потерей всяких связей с Восточной Сибирью.

Пять лет спустя, в 1650 году, находясь уже на амурской службе, Хабаров посетил Якутск, чтобы выхлопотать там подкрепление для своего отряда. Во время этой поездки Ерофей Павлович подал челобитную с просьбой отпустить к нему жену Василису с другими членами своей семьи. Челобитную поддержал тогдашний воевода Францбеков, и Хабаров надеялся, что при его содействии он сумеет устроить семью либо на Киренге, либо в Якутске.

Челобитную Хабарова, заверенную Францбековым и дьяком Стеншиным, доставил в Сибирский приказ ленский пятидесятник Иван Кожин. Учитывая заслуги Хабарова в его амурском походе, Сибирский приказ оказал Ерофею Павловичу содействие в выполнении его просьбы. Жену Хабарова и членов его семьи отправили в Якутию в сопровождении Ивана Кожина, возвращавшегося к месту службы.

Когда получил известие о том, что его семья находится в Якутске, Ерофей Павлович направился к Зиновьеву, хотя всякое общение с этим высокомерным и заносчивым человеком было для него тяжким бременем.

   — Дозволь, батюшка... — робко начал Хабаров, обращаясь к Зиновьеву.

   — Чего тебе, Хабаров?

   — Новость для меня великую привезли казаки из Якутска.

   — Какую ещё новость?

   — Жёнка моя Василиса с семейством прибыла из Соли Вычегодской. Забота мне. Все живы, здоровы — как судьбу благодарить...

   — Сие твоя забота. Мне-то зачем говоришь об этом?

   — Как зачем? Прошу твоей милости — отпусти меня до Якутска, чтоб уладить семейные дела.

   — Это с какой же стати я должен тебя отпускать?

   — Жена ведь с детками кровными. Сколько годков не виделись.

   — Сие не моя забота, Ерофейка, — повторил холодно Зиновьев.

   — Смилуйся, батюшка Митрий. Семья ведь кровная. Сколько лет не виделись.

Однако Зиновьев был неумолим. Спор Хабарова с ним был долгим и прекратился только тогда, когда Зиновьев пригрозил заковать Ерофея Павловича в железа и высечь за упрямство. Поверил Хабаров, что Зиновьев мог так поступить и поэтому решил пойти на уступку.

   — Пусть будет по-твоему. Разреши тогда человека послать к семье в Якутск.

   — Кого ты пошлёшь?

   — Кого-нибудь из здешних зимовщиков.

   — Посылай, коли найдёшь согласного.