Подготовка к строительству проходила медленно. Зима 1698/99 года оказалась в Тобольске лютой. Даже весной долгое время "продолжались морозы и стужа была и снеги стояли и земля мерзла была". Земляные работы начались только 7 мая и велись вяло: на стройке применялся принудительный труд ссыльных. В июне они начали "глину копать и уминать гораздо и в станках кирпич делать". Норма на день — 300 кирпичей. Но такую норму они, как правило, не выполняли. Ремезов писал по этому поводу, "ссыльные люди тот кирпич делают против… указу несполна, а по 300 кирпичей на день за недоумением (то есть из-за неумения. — Б. П.)сделать не могут". Впрочем, Семен Ульянович видел и другую причину, помимо "недоумения": "скованным им на чепях (цепях. — Б. П.)кирпича делать и глины копать и уминать невозможно". Но тут уж никто и ничего не мог поделать: таков был жестокий порядок содержания ссыльных-каторжан. Но так или иначе, а за долгие месяцы напряженного нелегкого труда все же удалось изготовить свыше полумиллиона кирпичей и несколько тысяч бочек извести.

9 мая 1700 года в торжественной обстановке под пение церковного хора состоялась официальная закладка приказной палаты. Здание палаты не дошло до наших дней, но по сохранившимся рисункам Семена Ремезова можно довольно наглядно представить, как оно выглядело. Это было прямоугольное каменное строение размером 47 метров на 17 метров и высотою в 15 метров. Первый этаж отводился под кладовые для хранения "казны" — пушнины, хлеба и соли. На втором находились присутственные помещения. Там же располагалась открытая галерея ("гульбище") с колоннами. Она была выполнена по рисунку в одной из книг по французской архитектуре, полученной Ремезовым в Москве. Здание венчала тесовая двускатная крыша, украшенная своеобразными бочкообразными чердачными помещениями. Узенькие оконницы поблескивали слюдой в свинцовой облатке. Над главным входом красовался большой герб Тобольска.

Еще 18 ноября 1698 года Андрей Виниус, принимая от Ремезова большой настенный общий чертеж сибирских земель, дал ему наказ по возвращении в Тобольск составить новую чертежную книгу всей Сибири и включить в нее копии "с привезенных к Москве с сибирских городовых чертежей 24 листа". В итоге должен был получиться атлас особой структуры: уже не с традиционными для XVII века схемами отдельных путей, а с общими изображениями территории воеводств, которые по внешнему виду были бы ближе к западноевропейским картам.

Спустя четыре недели после возвращения в Тобольск Семен Ремезов вместе со своими сыновьями и племянником Афанасием приступил к работе. Чертежная книга должна была быть пополнена новейшими данными и, кроме того, в нее необходимо было включить "Велико-пермские и Печерские и Поморские Двинские страны". Пришлось вновь допрашивать "всяких разных чинов русских людей и иноземцов и иностранных жителей, пришельцев в Тобольск, старожилов, уроженцев, памятливых бывальцов, казанцов, уфимцов, пермяков, усольцов, хеврольцов, яречан, устюжан, мезенцов, колмогорцев, корельцов, пенежан, новгородцев" и других про "меру земли и расстояние пути городов и сел и волостей, про реки, речки и озера и про морские берега, губы и острова и промыслы морские, про горы и леса и про всякие урочища… всякого человека про свой город и урочища".

Восемнадцать "городовых" чертежей Ремезовы дополнили сравнительно незначительно. Но семь сделали заново. Именно так был сделан "Чертеж вновь Велико-пермские и Поморские Печерские и Двинские страны до Соловецкие проливы со окресными жилищи". На основе прежних изображений Казахстана и Бухары Ремезов составил интереснейший "Чертеж земли всей безводной и малопроходной каменной степи", который живо интересует историков Казахстана и Средней Азии. Любопытным был и новый "Чертеж града Тобольска и посадов и нагорья и подгорья с улицами". Прошло каких-нибудь три года, но два больших пожара во многом изменили планировку города, особенно его посадов и "подгорья". Кстати, в обоих случаях Семену Ульяновичу пришлось лично участвовать в борьбе с огнем. Впоследствии он вспоминал, как в пожар 4 июня 1704 года пришлось ему отстаивать "город и башни и воеводский двор и приказ и казенные и зелейные амбары и церкви соборные верхи и Троицкую с приказными письмами… и на нижнем посаде по конец татарских юрт русские дворы и по ново-крещенных жителей улицу".

В новом атласе нашлось место для этнографического чертежа с замысловатым названием — "Чертеж и сходство наличие земель всей Сибири Тобольского города и всех розных градов и жилищ и степи". Лежавшие в его основе сведения были собраны еще в 1673 году. Открывало атлас своеобразное предисловие — "Писание до ласкового читателя".

Уже в сентябре 1699 года Виниус направил тобольским властям напоминание о своем задании. Но строительные работы в городе шли полным ходом, и Ремезовы лишь урывками могли трудиться над составлением атласа. Лишь 1 января 1701 года он был закончен. Но уже вскоре выяснилось, что в нем требуются еще некоторые доработки и уточнения. Осенью 1701 года Семен Ульянович решил отправить теперь уже завершенный труд с казаками, которые повезли в Москву "ясачную казну". Между тем терпение Виниуса лопнуло, и он в ноябре 1701 года послал тобольским воеводам приказание немедленно прислать в Москву самого Семена с его атласом.

14 января 1702 года воевода А.М. Черкасский учинил допрос Семену — почему-де он не выполнил наказ главы Сибирского приказа. Ремезов ответил, что давно все отправлено в Москву. Ему поставили на вид то, что об этом он своевременно не доложил воеводам. Пришлось оправдываться "забвением от недоумения".

Полученную чертежную книгу Виниус объявил своей собственностью. Поэтому и он, и его помощники посчитали возможным делать там свои пометки. По ним видно, что кто-то в Москве готовил к атласу особый географический указатель, но так и не довел задуманное до конца. Некоторые географические названия документа переведены на голландский язык. Как раз в это же время Виниус занимался составлением голландско-русского словаря. Тогда же он по указанию Петра Первого новейшие географические сведения посылал в Голландию Николасу Витсену, который собирался переиздать книгу "Северная и восточная Татария" и намеревался составить новую карту Сибири.

Для успешного ведения Северной войны Петру Первому необходимо было иметь мощную артиллерию. Во главе производства пушек государству требовался человек надежный. "Надзирателем артиллерии" Петр решил назначить Андрея Виниуса. В его задачу входила забота о литье новых орудий. Именно тогда впервые правительство особые надежды стало возлагать на Урал.

28 июня 1702 года Виниус выехал из Москвы на восток. На реке Каменке стоял завод, принадлежащий тобольскому воеводе М.Я. Черкасскому. Он возник еще в сентябре 1699 года, но производил мало пушек. Виниусу предстояло резко увеличить их производство. В Тобольске Виниус вновь встретился с Ремезовым. Мастер на все руки, он должен был принять участие в решении новой для него, но ответственной и важной для государства проблемы. И пришлось немолодому уже — ведь ему пошел седьмой десяток — картографу, зодчему и строителю спешно ехать в Кунгур.

9 января 1703 года был издан указ о передаче города Кунгура в ведение Сибирского приказа с подчинением Верхотурью. Тамошнему воеводе А.И. Калитину повелевалось организовать поиск руд и строительство нового завода в Кунгурском уезде, дабы "в Московском государстве железом и медью и селитрою, и серою горячею Удовольствоваться без постороннего привозу из иных страны". А спустя месяц из Москвы пришла грамота о посылке Семена Ремезова в Верхотурье и Кунгур. Главная задача новой командировки определялась достаточно четко: "И ехать тебе в Кунгурский уезд и зделать всему Кунгурскому уезду, селам и деревням и рекам чертеж исправной с розмером подлинным для удобного железу и иным статьям к Каме реке привозу и описать как тот Кунгурский уезд с Сибирскими и с Уфимским сошлись, и которая река отколь взялась и в которую сторону и куды впала и мочно ль какими судами по ней ходить и суды на ней делать, много ль которою рекою будет ходу лехкими и тяжелыми судами и где пороги…"