После смерти Петра II, уже на его похоронах стало ясно, что судьба Долгоруковых предрешена, и с каждым новым днём перед ними всё отчётливее вырисовывалась мрачная перспектива гонений и опалы.

Богатая и красивая Шереметева, помолвленная с Иваном Долгоруковым, могла бы отказаться от венчания, но она любила своего жениха, и, когда её родственники стали говорить: «Откажись от него — он тебе ещё не муж, помолвлен, да не венчан!» — Наталья Борисовна отвечала: «Войдите в рассуждение: какое это мне утешение, и честна ли совесть, когда он велик, так я с радостью за него шла, а как стал несчастлив, так и отказать ему?»

И когда прошло много лет, и Наталья Борисовна, всё же ставшая Долгоруковой, перенесла вместе со своим мужем невероятные лишения и страдания — о них речь ниже, — она написала так: «Во всех злополучиях была я моему мужу товарищем и теперь скажу самую правду: никогда не раскаивалась я, что пошла за него. Он тому свидетель. Все, любя его, сносила, ещё и его, сколь могла, подкрепляла». После похорон Петра II и дом старого князя Алексея Григорьевича Долгорукова, и дома всех его родственников, а вместе с ними и дом Шереметевой оказались как будто поражёнными чумой — никто не заезжал и не заходил, и к себе никого из опальных вельмож и их родни отнюдь не звал. Князь Алексей Григорьевич со чады и домочадцы из Москвы уехал и поселился в пятнадцати вёрстах от города, в усадьбе Горенки, в большом каменном доме, с оранжереей, с церковью, в парке с прудами. Сюда же приехала и Наталья Борисовна. Молодых обвенчали в усадебной церкви, а короткая и тихая свадьба больше походила на поминки. Когда на третий день новобрачные собрались в Москву, чтобы нанести визиты другим Долгоруковым, вдруг появился сенатский секретарь с именным императорским указом, повелевавшим всему дому Долгоруковых отправляться в ссылку. И вместо Москвы поехали Долгоруковы, куда им велено было — за восемьсот вёрст, в одну из пензенских вотчин.

Стоял апрель, таяли снега, и дорога была нелегка.

В Коломне нагнал их офицер и отобрал и у старого князя, и у его сына, бывшего камергера «кавалерии», ордена Андрея Первозванного. По дороге к Пензе начались меж Долгоруковыми раздоры. Невестку они невзлюбили сразу же и отделили Ивана и Наталью от своего кошта и даже палатку на ночь ставили им где-нибудь обочь, не на самом удобном месте. Обоз их то и дело плутал, и ночевать чаще всего приходилось то в лесу, то в поле. Через три недели доехали они до села Селище, под Касиловым, которое тоже принадлежало их семье. Не успели Долгоруковы передохнуть, как в тот же день нагнали их солдаты и велели не мешкая менять путь и отправляться в Сибирь. Под строгим караулом, не объявляя пункта назначения, семью погрузили на струг и по Оке и Каме через месяц доставили в Соликамск, а потом погнали пешком через Уральские горы. Местность была совершенно пустынна, и спать приходилось под открытым небом. В Тюмени их снова погрузили на судно, на сей раз это была старая, дырявая расшива, и повезли по Иртышу на север. Через месяц плавания расшива причалила к острову между реками Сосьвой и Вогулкой, на котором в землянках и курных избах, маленьких, кособоких, грязных жили дотоле невиданные ими люди: они ездили на собаках, ели сырую рыбу и носили на голом теле одежду из невыделанных оленьих шкур. И изб таких были сотни, а людей поболе тысячи, да церковь, да острог.

Это был печально знаменитый Березов, где умер опальный светлейший князь и генералиссимус Меншиков и где теперь предстояло жить и им.

Долгоруковых заперли в острог, и от всего пережитого в пути и увиденного в Березове старый князь через неделю умер, и лишь только успели его схоронить, как следом за ним умерла и его жена. Наталья Борисовна, бывшая уже на сносях, тихо плакала, Иван пребывал в постоянной печали, а Екатерина — неистовствовала, срывая досаду и зло на мягкосердечной и безответной Наталье Борисовне.

Со временем положение ссыльных чуть улучшилось: их стали выпускать из острога, а воинский начальник, майор Петров и местный воевода Бобровский иной раз даже приглашали их к себе в гости. Когда же у Натальи родился сын Михаил, то Петров стал его крестным отцом. Всё было бы более или менее благополучно, если бы Иван Алексеевич не подружился с отставным моряком, пьяницей Овцыным, который стал волочиться за бывшей царской невестой, а князь Иван пустился в загул и во хмелю стал говорить своему новому другу невесть что. Он рассказывал об оргиях Елизаветы, о её связи со многими дворцовыми лакеями, конюхами и истопниками, утверждал, что и сам тоже был любовником цесаревны.

Слухи об этих пьяных сплетнях поползли по Березову и вскоре отозвались доносом в Петербург. На первых порах велено было всех Долгоруковых вновь запереть в острог и в город более не выпускать. А вслед за первым доносом пошёл второй, после чего Ивана Алексеевича отделили от семьи и посадили в землянку под замок.

В мае 1738 года в Березове появился капитан Ушаков — родственник начальника Тайной канцелярии, но под чужой фамилией и, разумеется, не в мундире. Он перезнакомился со всеми и особенно сошёлся с «порушенной невестой», которая и наговорила ему такого, что брата её из землянки в Березове отправили в Тобольск.

«Отняли у меня жизнь мою, беспримерного моего милостивого отца и мужа, с кем я хотела свой век окончить и в тюрьме была ему товарищ; эта чёрная изба, в которой я с ним жила, казалась мне веселее царских палат... Что я делала? Кричала, билась, волосы на себе драла; кто ни попадёт встречу, всем валюсь в ноги и прошу со слезами: «Помилуйте, когда вы христиане, дайте только взглянуть на него и проститься». Но не было милосердного человека, никто не утеснил меня и словом, а только взяли меня и посадили в темницу. А там через два месяца родился у меня и второй сын — Митенька», — писала потом в своих записках нежная и верная Наталья Борисовна.

В Тобольске Ушаков и генерал-поручик Василий Иванович Суворов, отец будущего великого полководца, пытками довели князя Ивана до того, что он сошёл с ума. Из Тобольска его увезли в Шлиссельбург, где уже сидели в казематах пять его двоюродных братьев и дядьёв Долгоруковых. Ивана приговорили к колесованию, а трёх родных братьев его покойного отца, Василия, Сергея и Ивана, к отсечению головы.

На казнь их всех увезли в Новгород. Когда Ивану ломали руки и ноги, он читал молитву, чуть вздрагивая при каждом новом переломе... А двух братьев Ивана, Александра и Николая, ободрали кнутом, отрезали обоим языки и заточили в вологодском остроге. Ещё одного брата, Алексея, сослали на Камчатку, Екатерину же отправили в Томский женский монастырь, где она жила в одной келье с монашками-нищенками, питавшимися подаянием.

А Наталья Борисовна подала Анне Ивановне прошение. Она просила, если муж её жив, то позволить ей быть с ним даже если он в тюрьме, а если мёртв, то отпустить её в монастырь. Императрица разрешила, и Наталья Борисовна, неся на руках младшего, Митеньку, больного и слабого, пошла с восьмилетним Мишенькой из Березова в Москву. Они вышли в дорогу 17 июня 1740 года и ровно через четыре месяца, 17 октября, пришли в Москву. Они не знали, что именно в этот самый день в Петербурге умерла их гонительница, злой гений их семьи — Анна Ивановна.

А вот Наталья Борисовна окончила дни свои в одном из киевских женских монастырей. Там-то она и написала свои «Памятные записки», завершив их так: «Надеюсь, что всякая христианская душа обрадуется моей смерти, подумав: она перестала плакать».

Анна Ивановна, сокрушив «верховников», стала Всероссийской самодержицей.

Укрепляя доставшуюся ей власть, она восстановила Сенат, а 18 октября 1731 года по инициативе Остермана был образован Кабинет министров «для лучшего и порядочнейшего отправления всех государственных дел, подлежащих рассмотрению императрицы». Будучи Советом при императрице, Кабинет министров обладал широкими правами в области законодательства, управления, суда и контроля за всеми государственными учреждениями в столице и на местах.