В свое распоряжение Семен Ульянович получил в Кунгуре двух "вожей" (проводников), подводы, бумагу, чернила и двух казаков для "обережи" (охраны).

12 апреля 1703 года Ремезов с сыном Леонтием выехали из Тобольска "по последнему санному вешнему пути со льдом". Поездка оказалась крайне тяжелой: "многожды был при смерти и тонул". И все-таки уже 27 апреля Ремезовы смогли добраться до Кунгура, где сразу же приступили к работе. Особое внимание они уделили тем районам, по которым должен был проходить провоз каменских пушек к реке Каме.

Уральцы дорожили своей свободой. Они сразу же поняли, что составление чертежа и перепись населения производится для того, чтобы обложить их новыми повинностями. Начался ропот, а кое-где и открытое противодействие. Так, некий отставной подьячий И. Шавкунов позвал к себе двух татар "и говорил непристойные слова о чертещике Семене Ремезове, не велел давать писцовых книг и всем де им лутчим людем и татарам про речки и про озеры и урочища сказывать не велел". Но Ремезов не столько рассчитывал на устные показания "старожильцев", сколько на свои собственные наблюдения.

Большое впечатление на бывалого путешественника произвела впервые увиденная им здешняя уникальная сталактитовая пещера. Именно ему принадлежит самая ранняя зарисовка этого удивительного чуда природы.

Посчастливилось Ремезовым сделать и весьма важную археографическую находку: они обнаружили ценнейшую Кунгурскую летопись, которая им так пригодилась при дальнейших их летописных трудах.

8 июля Семен Ульянович официально сообщил верхо-турскому воеводе об успешном окончании всех чертежных работ: города Кунгура с посадом и второго — всего Кунгурского уезда, "рек и урочищ для удобного провозу всяких припасов и сходство многих рек и меж ими гор и которые реки впали в Сибирскую сторону и вкруг устьем в Каму реку и на них жилья сел и деревни и татарские юрты мордвы и черемис и с окольними х Кунгурскому городу принадлежащими соседи и которые кунгурские жители всяких чинов люди между соседы грани и межи и урочища почитают с Верхотурьем, с Уфою, с Осою, со Строгановыми селы вкруг своей уезд…". Последний был выполнен на нескольких листах.

После этого Ремезов проехал на Каменский завод, где выполнил ряд чертежей и рисунков — пушек и мортир, различных видов брусчатого, полосового и прутового железа для пушечных лафетов и колес. На своих рисунках Ремезов также подробно воссоздал картину доменного производства металла и изготовления селитры. Именно поэтому историки техники считают Семена Ремезова одним из основоположников инженерной графики в Сибири и на Урале.

В этот же период Ремезов принимал личное участие в поисках полезных ископаемых и даже в осмотре некоторых археологических памятников, например, петроглифов на реке Ирбит у деревни Писанец.

По возвращении в Тобольск Ремезов участвовал в дальнейшем поиске "селитрянных земель" и устройстве порохового завода. И тут-то Ремезов услышал крайне неприятную для себя весть — его покровитель Андрей Виниус попал в опалу: он был отстранен от управления Сибирским приказом и от многих других дел. И произошло это необычайно быстро…

Еще в начале 1703 года царь считал Виниуса своим ближайшим другом, продолжал писать ему доверительные шутливые письма. Когда русские войска заняли Шлиссельбург — древний новгородский Орешек — Петр Первый в первую очередь поделился этой радостью именно с Виниусом. "Правда, что зело жесток сей орех был, однако ж слава богу, счастливо разгрызен. Артиллерия наша зело чудесно дело свое исправила".

И вдруг опала… Причина была проста. До монарха дошли достоверные известия, что его друг стал брать взятки.

Петр всегда считал взяточничество одним из величайших бедствий для государства: оно расшатывало основные устои всего порядка в стране. Преобразователь России люто ненавидел тех, кто был нечист на руку. Он приравнивал взяточничество к государственной измене. И потому стремился беспощадно бороться с лихоимцами.

Петр был потрясен, узнав, что и почтенный Андрей Виниус не устоял перед соблазном. Гневу царя не было предела. Виниус, естественно, страшно перепугался, когда услышал, что Петру стало известно о его проделках. И тут он допустил новую роковую ошибку: с помощью новой взятки попытался расположить в свою пользу всесильного тогда Александра Меншикова. Зная, что Ментиков и сам нечист на руку, Виниус послал ему в Петербург дорогие подарки: три коробочки золота, 150 золотых червонцев, 300 рублей денег, умоляя его замолвить словечко перед разгневанным царем. Двуличный Меншиков подарки принял и даже написал Виниусу, что-де он "оправдался совершенно во всем". А в то же самое время направил Петру Первому другое письмо, в котором разоблачал Виниуса и доносил, что тот опять с помощью взятки "выкручивался". Царский любимец, обычно не брезговавший "даяниями", лицемерно писал своему державному другу: "Зело я удивляюсь: как те люди… хотят меня скупить за твою милость деньгами или они не хотят или бог их не обращает. А большую дачу дал мне Виниус и за то, чтоб пушкарский приказ и аптеку хотя у него и взять, только бы Сибирский приказ удержать за ним. Из чего изволишь познать — для чего такую великую дачу дал: надеется от Сибирского приказа впредь себе больших пожитков, а прежде много раз бил челом твоей милости о деревнях, что пить и есть нечего". Этот предательский удар достиг своей цели: Виниус был отстранен от многих других своих должностей и удален в Гродно.

Вот что пишет знаменитый историк С.М. Соловьев в связи с этими событиями: "Старику стало очень тяжело: другие идут быстро вперед… а старый служака забыт в опале! Не он ли умножил казну несколькими сотнями тысяч, нашел руды медные и железные, устроил 4 завода, которые кроме удовлетворения государственным потребностям, отправляют свои произведения за море, устроил китайский торг, нашел селитру и в два с половиной года изготовил больше 600 пушек, улучшил порох, устроил математическую школу? И за все это вместо награды наложили на него взыскание в 13 000 рублей. Чтобы заплатить эту сумму, должен был один двор продать, другой заложить, деньги занять; опозорен, обнищал и, наконец, 65-летнего старика послали в Гродно, где делит год в тяжких трудах".

В довершение всего на Гродно нападают шведы, и Виниус вынужден искать себе убежище в Пруссии, а затем в Голландии. Но у себя на родине он уже никому не был нужен. С трудом удалось выпросить у Петра разрешение вернуться назад в Россию. Но тщетны были надежды вернуть себе доверие царя. Вскоре, опозоренный и разоренный, Виниус умер.

Его преемники в Сибирском приказе уже не нуждались в услугах Семена Ремезова. Но тот, несмотря на преклонный возраст, продолжал трудиться в Тобольске. Он строил Гостиный двор. Законченное в 1706 году сооружение получилось внушительным. Вот как описывает его историк сибирской архитектуры В.И. Кочедамов.

"Гостиный двор, окруженный мощными стенами с башнями на углах, был надежно защищен от врагов и огня. Внутрь двора вели двое ворот с часовней над западными и таможней над восточными. С южной и северной стороны двор имел двухъярусную аркаду, за которой располагались лавки — 30 в верхнем и 35 в нижнем этажах, а под ними склады. На галерею вели наружные открытые лестницы. Крепостной облик гостиному двору придавали башни с машикулями [2]и маленькие окна, прорезавшие гладь стены. Гостиный двор в несколько искаженном виде дошел до нашего времени".

Три года спустя после окончания строительства Гостиного двора до тобольских властей дошли тревожные слухи, что со стороны Башкирии и Казахстана готовится нападение "немирных людей". Срочно было решено в нижнем посаде возвести оборонительный земляной вал, подобный тому, который был создан в 1707–1708 годах при укреплении Московского Кремля и Китай-города. Строить его поручили Семену Ремезову. В 1709 году Ремезов начал составлять подробный план тобольского "подола", нижнего посада, с тем чтобы по нему определить, где потом потребуется насыпать "земленой город с башнями и рвом по московскому образцу". Но земляной вал так и не пришлось строить. После Полтавской победы южные недруги России, прослышав о новых русских ратных успехах, уже не решились вторгаться в Западную Сибирь. С тех самых пор уже более никто никогда не помышлял о нападении на Тобольск. На все последующие века он стая городом, находящимся в глубоком тылу — настолько стараниями русских землепроходцев расширились пределы России.