Спор Хабарова с воеводой оказался долгим и напряжённым. В конце концов Ерофей Павлович прибег к последней хитрости.
— А зачем тебе пускать Ерофейку по миру? Какой тебе прок от нищего Ерофейки? Давай договоримся полюбовно, чтоб и тебе была выгода и мне.
— Что ты предлагаешь?
— А вот что. Я согласен выплачивать воеводству долги частями. Долги признаю сполна. Ежегодно будешь получать от меня по тысяче пудов хлеба, собранного с моих пашен. Ведь твои казаки нуждаются в прокорме.
Воевода задумался и не сразу ответил.
— Добро. Пусть будет по-твоему, Ерофейка.
— Это ещё не всё, воевода.
— Что ты ещё хочешь от меня?
— Ты беспрепятственно пропускаешь на олёкминские промыслы моих людей и не посягаешь на добытых ими соболей.
— Ишь ты.
— Мы же стараемся для государевой казны.
— Коли для государевой...
Воевода согласился и с этим условием, но выдвинул своё, жёсткое.
— Соглашусь с тобой, Хабаров, коли ты найдёшь поручителей, которые бы за тебя отвечали своим имуществом.
— Найду таких людей среди моих бывших соратников. Хотя бы в Илимске. Отпусти меня туда. Привезу тебе поручительства.
— Отпущу тебя, но в сопровождении Федьки Пущина и отряда казаков.
— Надзиратели мои. Опасаешься, как бы не сбежал?
— А понимай, как тебе угодно. А если говорить серьёзно... У меня нет полной уверенности, что такое поручительство тебе дадут. С какой бы стати? В таком случае Федька Пущин привезёт тебя обратно в Якутск. И ты станешь узником.
— Согласен с твоим условием, воевода, ибо верю, что в Илимске найдётся немало людей, кои питают ко мне доброе расположение.
Уверенность Ерофея Павловича подтвердилась. В Илимске среди казаков нашлось немало друзей и бывших соратников Хабарова. Они без колебаний написали ему поручительство.
Возвращался Хабаров из Илимска вольным человеком. Великий надзор с него был снят, о чём торжественно объявил Пущин. Ерофей Павлович вернулся в Хабаровку, где загрузил несколько дощаников хлебом и отправил в Якутск.
— Передай воеводе, Ерофейка держит слово, — сказал он Пущину. — Ждите будущей осенью новой партии хлеба.
Отгрузив хлеб в Якутск, Хабаров задумался. Его захватила другая серьёзная забота. Когда он спорил, рядился с воеводой, свидетель их беседы, дьяк воеводства, заметил:
— Ерофей в возрасте. Успеет ли со всеми долгами рассчитаться перед воеводством?
— А коли не успеет, уйдёт в мир иной, должок перейдёт к сыновьям, — ответил на это воевода.
Ерофей Павлович вспомнил об этом разговоре и сказал сам себе:
— Как бы не так! Не быть по-твоему, воевода.
— Послушайте, сыны мои... — начал он говорить, пригласив обоих сыновей для доверительной беседы. — Отец ваш человек старый, хворый. Сколько мне ещё отпущено годков, одному Всевышнему ведомо. После меня останется великий долг казне. Коли, не успею восполнить его при жизни, долг ляжет на вас, ежели мы с вами живём одним хозяйством. Для вас, сыны мои, этот долг может оказаться непосильным. Давайте вместе подумаем, как избежать такого, как нам поступить.
Хабаров выдержал паузу. Сыновья помалкивали, ожидая решения отца.
— Не догадываетесь, сыны, что я вам скажу?
— Нет, отец, — ответил старший Андрей.
— Не вижу из сего скверного дела выхода, кроме одного-единственного. Вы отделяетесь и ведёте самостоятельные хозяйства. Стало быть, перестанете считаться моими наследниками. Тогда моё долговое бремя вас никак не касаемо. Понятно?
— Понятно, — ответил Андрей.
— Тебя, Андрюха, как старшего сына, поверстаем в дети боярские по Илимску. Служи там усердно. А ты, Максимка, имеешь пристрастие к землепашеству.
— Имею, батюшка, — ответил младший сын.
— Дам тебе надел в Верхне-Киренской слободе. И обзаводись своим самостоятельным хозяйством. Меня проведывайте. Завсегда вам буду рад. Но наследниками моими уж не будете. Наследовать-то уже будет нечего...
Дальнейшая судьба сыновей Ерофея Павловича была такова. Андрей перебрался в Якутск и там при новом воеводе Большом Голенищеве-Кутузове начал свою казачью службу. Казаком стал впоследствии и сын Андрея, внук Ерофея Павловича, Михаил Хабаров, который от рядового казака дослужился до сотника. А Максим Хабаров оставался пахотным крестьянином слободы.
Вместе с Максимом уехала и его жена, которая вела хозяйство в семье Хабаровых, и Ерофей Павлович был вынужден подобрать себе новую стряпуху. В середине 60-х годов умерла его жена Василиса. Перед смертью она почти совсем не принимала пищу, ослабела сильно и словно высохла, а вскоре тихо отошла в мир иной. Похоронили её в Усть-Киренском монастыре. Ерофей Павлович часто посещал могилу Василисы и проводил долгие беседы с настоятелем, старцем Гермогеном. Настоятель заглядывался на обширные владения Хабарова и исподволь склонял его перед кончиной стать иноком монастыря, а всё своё хозяйство завещать монастырской братии, однако Ерофей Павлович пока не решался что-либо ответить Гермогену.
После отделения сыновей и смерти жены Ерофей Павлович стал реже бывать в Хабаровке. Часть времени он проводил в монастыре, а часть — в Илимске, где встречался со старыми соратниками, возвращавшимися с Амура. По-прежнему живо интересовался обстановкой на Амуре и всё ещё мечтал вернуться туда.
А низовья Киренги тем временем окружили новые поселения, появлялись новые земледельцы. Из-за этого порой возникали земельные споры и раздоры. Подобный спор произошёл у Хабарова с пашенным крестьянином Кузьмой Ворониным, который самовольно занял и распахал пустошь, принадлежащую Ерофею Павловичу. Владелец был вынужден затеять судебную тяжбу с Ворониным и послал жалобу илимскому воеводе. Он написал, в частности, что Кузьма посеял рожь чуть ли не у него во дворе. Скандальное дело Хабаров выиграл и смог воспользоваться урожаем, выращенным на его земле.
В Илимске тем временем произошли заметные перемены. Для управления воеводством прибыл новый воевода, Лаврентий Обухов, представлявший по своему нраву полную противоположность прежнему воеводе, Тимофею Шушерину. Обухов отличался вздорным и вероломным характером, к тому же был невероятно корыстолюбивым и жадным. Многих людей в воеводстве он разорил и довёл до нищеты. Его жертвами становились как крестьяне, так и промышленники, и торговые люди. Многие из ближайшего окружения Обухова брали с него пример и тоже участвовали во всяких злоупотреблениях.
В Илимске зрело широкое недовольство воеводой, готовое перерасти в открытый бунт. В конце концов такой бунт произошёл, и жертвой его стал сам деспот-воевода.
Летом 1665 года в устье Киренги развернулась летняя ярмарка — в последние годы такие ярмарки становились традиционными, — съехались на неё многие торговые люди. Шла здесь бойкая торговля хлебом, разными промышленными товарами, умельцы из дальних и ближних посёлков и городков привезли свои поделки. Ярмарка привлекала множество посетителей из окрестных селений, как русских, так и якутов и тунгусов. Прибыл сюда и сам илимский воевода Обухов. Он вёл себя здесь как и везде, занимался вымогательством у людей, предлагавших на ярмарке свои товары, надеясь на свою полную безнаказанность. У одних он забирал товары за бесценок, у других и вовсе задаром. Люди хоть и роптали, но открыто связываться с воеводой не решались. Особенное возмущение всех съехавшихся на ярмарку вызвало то, как он вёл себя с женщинами. Воевода, не стесняясь, говорил им всякие непристойности, буквально не давал прохода, плотоядно лапал, предлагал уединиться с ним где-нибудь в укромном месте.
Чашу терпения илимских людей переполнило приставание Лаврентия Обухова к жене Никифора Черниговского. Никифор был ссыльным поляком, умельцем, уважаемым среди жителей Илимска человеком. Он уже пообтёрся в русской среде и свободно болтал по-русски, и лишь лёгкий акцент выдавал его иностранное происхождение. Люди, не сговариваясь между собой, решили расправиться с ненавистным воеводой. Когда Обухов в сопровождении охраны возвращался по Лене на дощанике к себе в Илимск, на него напала толпа недовольных. Произошло ожесточённое столкновение. Люди, вооружённые чем попало, окружили на лодках воеводский дощаник. Охрана Обухова, не ожидавшая нападения, была без затруднений перебита превосходящими силами нападавших. Сам воевода, охваченный паническим страхом, бросился в воду и попытался плыть к берегу. Пловец он оказался плохой: бестолково размахивал руками, подымая сноп брызг. Бросившиеся вслед за ним несколько казаков быстро настигли воеводу и взяли в полукольцо. Передовой пловец-казак, вооружённый увесистой дубинкой, ударил ею Обухова по голове. Воевода, потеряв сознание, ушёл под воду, оставив на её поверхности кровавое пятно. С деспотом было покончено.
