Придворным завистникам не удалось очернить заслуженного человека, отмеченного самим преобразователем. Но, как известно, клевета наносит удары и достойным людям: в Оренбургский край Неплюева посылали, чтобы отдалить от двора.
В это же время Иван Иванович претерпел и другие невзгоды.
На 46-м году жизни он овдовел, оставшись с четырьмя детьми. Перед отъездом из Москвы в Оренбург Иван Иванович женился на 23-летней девице Анне Паниной. Молодая жена пришла в отчаяние, когда вскоре же после свадьбы узнала о назначении мужа. Дочь дворянина, она никак не хотела покидать светское общество старой русской столицы и ехать с мужем в «замаскированную ссылку». Она заливалась горькими слезами, будто предчувствовала свое трагическое будущее. И действительно, через три года она, как засвидетельствует в своих записках Неплюев, умрет в Орской крепости от тоски…
В «Истории Оренбургской» Петр Рычков повествует, что, возглавив Оренбургскую комиссию, тайный советник Неплюев первым делом решил выстроить Оренбург. Только не на Красной горе. «Столь знатному и большому городу способнее и пристойнее быть близ устья Сакмары-реки, где Бердская крепость застроена, яко тут место пространнее, ровнее, как водою, так и лесом и лугами и всякими к строению потребными припасами пред Красногорским гораздо довольнее, к российским хлебным жительством ближе, и ко всем новопостроенным крепостям, стало быть, в середине…»
Прежний Оренбург, называемый оплотом России на востоке, представлял собой крепость, окруженную забором из плетня и земляного дерна. Бывший петровский боевой офицер Неплюев с усмешкой обозрел сию цитадель, которую его предшественники Кирилов, Татищев и Урусов отваживались навещать лишь раз или два в году. Обычно летом и под охраной многочисленного отряда. Зимой же вся линия крепостей, так называемая Ново-Московская дорога, тянувшаяся от Оренбурга до Самары, лежала в глубоких снегах — ни пройти, ни проехать.
В мае Неплюев отправил в Правительствующий Сенат проект-предложение о новой застройке Оренбурга и, не дождавшись ответа, начал вести подготовку к ней. Осенью из Петербурга пришел ответ: указ Сената от 21 октября 1742 года санкционировал застройку города близ места, где встречался Яик с Сакмарой.
Всю зиму шли подготовительные работы. Сотни ремесленников и ссыльных людей стекались к месту будущей стройки. Обозами везли из Башкирии древесину, с яицких берегов и орских угорий — камень, гальку, яшму. С рудных заводов — листовое железо, литье.
19 апреля 1743 года при торжественном молебствии и артиллерийском салюте город был заложен в третий раз — на том месте, где он стоит поныне.
Стройка велась ускоренно, под круглосуточным воинским караулом. Окрест рыскали отряды киргиз-кайсаков, нападали на русские поселения и обозы, захватывали в плен женщин и детей, находившихся без охранения на сенокосе или жатве хлебов. Разбойничьим налетам подверглись крепости Сорочинская и Новосергиевская, Илецкий городок.
Неплюев, крайне занятый стройкой, вынужден был искать встречи с Абул-Хаиром, с которым он еще не успел познакомиться. Он направил к хану посла с дарами и пригласил в гости. При встрече Неплюев потребовал от Абул-Хаира объяснить вероломства, чинимые его людьми, попросил подтвердить подданство новой императрице Елизавете Петровне, дочери Петра Великого. Хан присягнул на Коране и, увешанный дорогими подарками, удалился в казахские степи.
Осенью на строителей навалилась цинга, из 1350 человек 630 умерло. Несмотря на трудности и замешательства, Оренбург спешно строился, и уже до заморозков новопоселенцы и воинский гарнизон были введены в теплые дома и казармы. Все лето до октября Неплюев наравне со всеми жил в землянке, только своей 12-летней дочери Анне выделил кибитку. Он лично руководил всем строительством, наказывал нерадивых, жаловал умелых, корректировал проект, не изменяя его основы. По тому времени Оренбург раскинулся на довольно внушительной территории. Ширина города равнялась 570 саженям (более километра), а длина — 677 саженям. Город окружили рвом и валом с десятью каменными бастионами по углам. Наружная часть вала была облицована плитным камнем. На бастионах стояли пушечные батареи. Вооруженная стража охраняла четверо городских ворот: Сакмарские, Яицкие, Губернские и Орские.
Уже в сентябре 1747 года в Оренбурге насчитывалось 837 дворов, четыре церкви, гауптвахта, аптека, госпиталь, пороховые склады, провиантские и соляные магазины, таможня, 44 лавки в каменном Гостином дворе и 131 лавка на Меновом.
По описанию Рычкова, Меновой двор, на котором с азиатскими народами все лето до глубокой осени торг и мена производились, был построен на южной степной стороне Яика, в двух верстах от города, «ибо ближе строить его было невозможно, потому что прилегло все место низменное и водопоемное. Для въезда и выезда сделаны двое ворот со сводами… Большая часть того Менового двора покрыта уже листовым железом, а остальные лавки покрывают. По углам, которые на степь, сделаны две батареи и поставлены на них пушки. В рассуждении размеров и красоты этого строения можно объявить, что внутри государства для купечества столь великое здание едва где имеется ль».
В январе 1744 года Неплюев выехал в Петербург доложить о всех оренбургских делах, осложняемых нехваткой ремесленников, купцов, строителей, а также фарисейским поведением Абул-Хаир-хана, якобы не ведавшего о бесчинствах, творимых его соплеменниками. На основе предложений Неплюева Сенат подготовил доклад, который 15 марта 1744 года императрица утвердила резолюцией: в вышеупомянутом городе Оренбурге быть губерний и именоваться Оренбургскою; и быть в ней губернатором тайному советнику Неплюеву.
Из Москвы домой Неплюев и Рычков возвращались на лошадях через Арзамас, где их задержала сильная распутица. Не дождавшись конца водополицы, первый оренбургский губернатор и его ближайший помощник, сменив санную повозку на колесный экипаж, выехали в Оренбург. Их поторапливали недобрые вести: вспыхнул конфликт между казачьим атаманом и старшинами Яицкого войска, заново всколыхнулась по весне башкирская вольница…
— Капризный народ, однако, — сказал Неплюев, рассуждая о башкирах. — Самоохотно подданство принял и сам же оное порочит. Что ему надобно?
— Степного коня на привязи долго не удержишь, — заметил Рычков.
— А кто держит? Узды на них никакой нет. Да и скакать от родных мест незачем.
— Яицкие казаки тоже весьма вольны, а распри, возмущения среди них не унимаются.
— Излишняя воля, говорят, и добрую жену портит, — заметил Неплюев. — О междоусобицах в Яицком войске давно я наслышан, но хочу сам побывать в нем. Чего бы делить яицким казакам: и земли, и воды не меряно.
— А разве малороссийские казаки дружнее живут?
— Малороссийские да и соседи их запорожские казаки в целом исправны в службе, но у них те же несовершенства и тяготы… Земледельцы всюду одинаковы: норовят они вольных казаков, приохоченных к земле, в своих подданных либо в крепостных превратить. А те жалобы, иски пишут, а то прямо за границу уходят, чем немалый вред государству причиняют.
Намерение Неплюева разобраться в беспорядках, творящихся в Яицком городке, в войске яицких казаков совпало с поступившим из Военной коллегии поручением ответить на следующие вопросы: «1. На каком основании яицкие казаки поселены там, когда и кем изначалее даны им вольности и жалованные грамоты, и впредь как их содержать с собственной их пользой? 2. Когда и как оно (Яицкое войско) в здешних местах завелось и утвердилось, так как раньше никаких обстоятельных известий о том не бывало и нет?»
Неплюев понимал, что заниматься внутренним устройством новой губернии невозможно, не обезопасив ее от внешних врагов, то есть не укрепив казацкое войско, которое охраняло ее юго-восточные границы.
Вскоре он и выехал в Яицкий городок, по обыкновению пригласив с собой Рычкова, знатока тамошних мест.
В дороге Иван Иванович много расспрашивал о казаках. Рычков располагал завидным багажом «обстоятельных известий» о них. К тому времени он вчерне уже закончил «Историю Оренбургскую», использовав для ее написания древние летописи, предания, рассказы казаков-старожилов, личные наблюдения.