Францбеков, не ожидая ответа царя, выделил Хабарову 21 стрельца, а всего с добровольцами Хабаров набрал 117 человек. Осенью 1650 г. вернулся в Лавкай. Оставшиеся здесь казаки доложили ему о попытках враждебно настроенных дауров напасть на их селение. Ерофей Павлович, сняв весь свой отряд, пошел против этих дауров, засевших в городке князя Албазы — Албазине, находившемся в 250 км к востоку от слияния Аргуни и Шилки. Хорошо укрепленный городок имел достаточное количество защитников, но дауры оставили его. Преследуя отступающих, отряд Хабарова на десятый день пути встретил их многочисленное войско и был атакован, но казаки обратили в бегство дауров. Недалеко от места этой стычки Хабаров построил острог и оставил в нем небольшой отряд крестьян для обработки пашен, а сам с остальными казаками возвратился в Албазин на зимовку, куда для усиления его отряда из Якутска было послано 132 добровольца. Но Е.П. Хабаров, не дождавшись прихода якутских людей, в июне 1651 г. начал свой героический поход вниз по Амуру.
20 августа 1651 г. отряд Хабарова дошел до городка князя Толги. Это был хорошо укрепленный городок, обнесенный стенами и окруженный тройным рвом. Городок был взят без боя — князь с братьями пировал на лоне природы в окрестностях городка. Захваченные врасплох, они не оказали никакого сопротивления и принесли присягу на верность русскому царю. Хабаровцы по-хозяйски начали было обживать новое место: строить избы и присматривать земли под пашни, но в сентябре дауры, жившие до этого времени мирно и привозившие казакам продовольствие, вдруг побросали свои жилища и ушли всем улусом. Хабаров, оставив обезлюденный городок, двинулся вниз по Амуру. Сразу же за Толгиным городком начинались земли пашенных дючеров, а за ними располагались улусы натков — ачанов (предки современных нанайцев). На этой земле Хабаров остановился на зимовку в построенном острожке — Ачанском, расположенном на правом берегу Амура, на мысе Джаори, в 3 км от нынешнего села Троицкое. Весной казаки внезапно обнаружили под стенами своего острога огромное войско маньчжуров, вооруженных пищалями и пушками.
Дело заключалось в том, что на всем пути следования хабаровцев маньчжурские лазутчики неотступно следили за их действиями. Хозяйственная деятельность русских казаков и крестьян вызывала у маньчжурских феодалов опасение, что на фоне их политики ограбления племен Приамурья русские показывают себя с лучшей стороны и рано или поздно найдут общий язык с трудолюбивыми даурами. На первых порах маньчжуры пытались разжечь вражду между даурами и русскими поселенцами и чужими руками уничтожить отряд Хабарова. Когда же их расчеты не оправдались, они, невзирая на то что расстояние от границ маньчжурской территории до Амура составляло почти 1 тыс. км, решили выступить против хабаровцев собственной военной силой. И вот на заре 24 марта 1652 г. раздалась пушечная пальба. Есаул Андрей Иванов, первым выскочивший на укрепления городка, увидел двухтысячное неприятельское войско под командованием Хайсэ и по тревоге стал созывать товарищей. Немногим казакам удалось надеть кольчуги, а остальные в одних рубашках заняли оборону. Противник успел уже пробить брешь в стене, но казаки под предводительством Е. Хабарова и А. Иванова не растерялись. Они подтянули к пролому медную пушку и открыли огонь из нее и пищалей. Маньчжуры отхлынули. Казаки, воспользовавшись замешательством неприятеля, бросились на вылазку. И хотя их было всего 300 человек, они наголову разбили маньчжур. В качестве трофеев казакам достались пушки, многоствольные пищали и знамена.
Ерофей Хабаров, не желая обострять отношения с маньчжурскими ханами и учитывая малочисленность своего отряда, вынужден был уйти вверх по Амуру. В середине мая хабаровцы встретились с отрядом в 137 человек во главе с Т. Чечигиным, Д. Поповым и А. Петриловским, посланным им на помощь из Якутска. Еще до этой встречи из состава отряда Т. Чечигина на поиск хабаровцев была отправлена команда казаков из 27 человек во главе с Иваном Нагибой. Она прошла мимо отряда Хабарова и вышла из устья Амура в открытое море, а затем реками Ленского бассейна 15 сентября 1653 г. возвратилась в Якутск. Так отряд И. Нагибы после В. Пояркова еще раз прошел морским путем в центр Восточной Сибири.
Объединенный отряд Е. Хабарова и Т. Чечигина, продолжив свой путь вверх по Амуру, в августе 1652 г. остановился на зимовку на правом берегу против устья реки Зея. Вскоре группа казаков во главе со Степаном Поляковым, отделившись от отряда Хабарова, попыталась заняться грабежом местного населения. Хабаров сначала убеждал поляковцев не делать этого, но его не послушались. Тогда он решительными действиями пресек самовольство Полякова.
В августе 1653 г. на Амур прибыл московский дворянин Дмитрий Иванович Зиновьев с указом подготовить все необходимое для приема правительственного войска. В устье Зеи он встретился с Хабаровым, для которого эта встреча оказалась недоброй. Недовольные строгостью Хабарова, несколько казаков написали на него жалобу, а говоря языком того времени — «навет», в котором обвиняли его в притеснениях и «нарушении государева дела»[51]. Зиновьев, использовав навет, отстранил Хабарова от руководства отрядом и подверг его всяческим унижениям. Он отобрал у Хабарова все его пожитки и под арестом повез в Москву, прихватив с собой и его долговую расписку из Якутска. Таким образом, Е.П. Хабаров превратился в государева должника. В Москве, в Сибирском приказе, начался разбор дела. Несмотря на то что Зиновьев в черном свете выставил деятельность Хабарова на Амуре, 12 июня 1655 г. Сибирский приказ вынес оправдательное решение. За самоуправство Зиновьеву полагалась жестокая мера наказания, но его помиловали по повелению царя Алексея Михайловича.
За долгие годы службы Хабаров получил звание «сына боярского» — попал в привилегированный слой служилых людей, но ни жалованья от царя, ни имущества от дворянина Зиновьева Хабаров так и не дождался. В 1658 г. он возвратился на Лену, в Усть-Киренгский острожек, будучи назначенным на административную должность в округе. Хабаров смотрел за пашнями, вел гражданские дела, пресекал разбои. Оклад за службу ему полагался натурой, но он отказался от хлебного жалованья и снова занялся хлебопашеством, что было редким случаем из жизни сына боярского, добровольно, не по нужде ставшего земледельцем.
Однако прежние долги взимались с Хабарова, и в 1660 г. он угодил даже в тюрьму. Но вскоре был освобожден, хотя и продолжал оплачивать долги. В 1667 г. Хабаров на склоне лет, подарив свою заимку в Усть-Киренге монастырю, намеревался вернуться в Даурию, в земли которой буквально хлынула волна переселенцев. Об этом замечательном человеке спустя много лет будет написано: «Илимский воевода (Зиновьев)… топтал ногами и сажал в железо того почтенного исторического человека, Ерофея Павловича Хабарова, который снабдил Сибирь… солеваренными заводами и приобрел… богатый, цветущий Амур. Даровитый устюжанин… только за то и пострадал, что стоял на дороге неспособному, алчному, но имевшему власть воеводе»[52].
После отъезда Е. Хабарова в 1653 г. в Москву отрядом из 370 человек руководил Онуфрий Степанов. В 1654 г. маньчжуры преградили путь отряду, шедшему вверх по реке Сунгари. Степанов вынужден был зазимовать в Кумарском остроге, построенном Е. Хабаровым в 1652 г. в устье реки Кумара (Кумархэ) — правого притока Амура. Весной 1655 г. 10-тысячное маньчжурское войско, снабженное пушками и осадными лестницами, окружило острог. Предвидя столкновения с маньчжурами, Степанов хорошо подготовил острог к осаде, казаки под его руководством выкопали ров, разбросали «чеснок потайный» — железные шипы перед рвом, устроили стены с верхними и нижними бойницами. Для водоснабжения гарнизона и тушения пожаров они выкопали глубокий колодец. Три недели маньчжуры безуспешно пытались взять острог, но не смогли. После этого они вынуждены были отступить на свои базы под Мукден.