Долгих девять лет прожили Долгоруковы, Иван и Наталья, в тяжелейших для них условиях, казавшихся ещё тяжелее после жизни свободной и богатой. Особенно тяжело было Наталье Борисовне: вскоре по приезде она забеременела, а муж стал проявлять по отношению к ней свой тяжёлый, капризный характер: он всё время был в угнетённом состоянии и, как говорится, не в духе.

Сначала режим содержания ссыльных был очень строгим. Выходить можно было только в церковь, которую собственноручно срубил Александр Данилович Меншиков, да на поклон к начальству. В 1731 году у них родился сын Михаил, и Наталье Борисовне прибавилось забот о новорожденном ребёнке. Пришлось отбросить благородную гордость и задабривать берёзовского воеводу Бобровского и пристава майора Петрова, которые прониклись к ним жалостью и стали делать ссыльным послабления.

Князь Иван не гнушался обществом местных жителей. Он подружился с офицерами местного полка, с духовенством, с некоторыми из местных обывателей и потихоньку стал приобщаться к прежней разгульной жизни. В частности, он завёл дружбу с тобольским таможенным подьячим Тишиным, с поручиком Овцыным и в компании с ними и с другими из местных находил удовольствие пить горькую. Под пьяную лавочку Иван откровенничал, хвастаясь своей прежней жизнью и, не стесняясь выражений, характеризуя Анну Иоанновну. А Тишин все эти россказни наматывал себе на ус. Считая себя вполне подходящей парой для красавицы-княжны Екатерины, подьячий Тишин, напившись пьяным, стал приставать к ней и в грубой форме заявил, что он хочет, чтобы она стала его сожительницей. Екатерина пожаловалась поручику Овцыну, а тот, недолго думая, избил Тишина. Тишин затаил злобу и написал сибирскому губернатору донос, в котором подробно описал все пьяные высказывания Ивана Алексеевича, особенно относительно императрицы Анны Иоанновны. Получив донос, губернатор послал в Берёзов капитана Сибирского гарнизона Ушакова с секретным предписанием проверить донос Тишина. Местные офицеры и обыватели, перед которыми пьяный князь Иван раскрывал свою душу, подтвердили обоснованность тишинского доноса.

В 1738 году Иван Алексеевич Долгоруков, вместе с его братьями и друзьями Бобровским, Петровым, Овцыным и многими другими берёзовскими обывателями, был увезён из Берёзова в Тобольск. Для Натальи Борисовны это был тяжелейший удар. Через несколько дней у неё родился их второй сын, Дмитрий. Наталья Борисовна перенесла во время ареста её любимого мужа и тех, кто пострадал из-за него, такой стресс, что её сын Дмитрий все свои 31 год, которые он прожил (ум 1769), страдал неизлечимой болезнью — нервным расстройством, а вместе с ним страдала и его мать Наталья Борисовна.

Но Иван Алексеевич не знал о рождении младшего сына: даже во время следствия он содержался в ручных и ножных кандалах и был прикован к стене. Слабый духом, как большинство высокомерных людей, он самим фактом ареста настолько был и нравственно, и физически ошеломлён и опустошён, что, пребывая в тяжёлом стрессовом состоянии, находился в полной прострации и даже не понимал, где он и что с ним происходит. Как все подобные ему люди, встретив опасность, Иван Долгоруков полностью сник, сдался и стал каяться во всех своих грехах, даже в тех, о которых его и не спрашивали. Он сам рассказал в подробностях всю историю создания подложной духовной грамоты, кто её составил, кто был инициатором идеи и кто подписал эту подложную духовную, подделав подпись Петра II. Даже его палачи были потрясены этим его признанием, его глупостью, навлекшей смерть не только на него, но и на его близких родственников. Ведь его никто не спрашивал об этом, а сама духовная была уничтожена Долгоруковыми сразу же, как только стало понятно, что она не будет принята во внимание, то есть девять лет тому назад. И никаких улик нет.

Бывший фаворит Петра II был перевезён в Новгород и 8 ноября 1739 года был колесован на Скудельническом поле, в версте от Новгорода.

Наталья Борисовна, мучаясь неизвестностью, послала императрице Анне Иоанновне прошение, в котором в слёзных выражениях молила её помиловать князя Ивана Алексеевича, если он жив, а если нет, то разрешить ей постричься в монастырь. Она получила ответ, что мужа её уже нет в живых, а ей милостиво разрешено вернуться в имение Шереметевых Кусково, к брату, Петру Борисовичу.

По мистическому стечению обстоятельств, Наталья Борисовна с двумя малолетними детьми, Михаилом и Дмитрием, прибыла в Москву 17 октября 1740 года, в день смерти императрицы Анны Иоанновны.

Княгиня Наталья Борисовна Долгорукова изменила своё решение сразу же уйти в монастырь. На руках у неё были малолетние дети, и она не имела материнского права покинуть их. И она стала жить для детей. Когда старший сын, князь Михаил Иванович (1731–1794), стал совершеннолетним, она в 1742 году определила его в лейб-гвардии Семёновский полк. Он дослужился до чина гвардейского капитана, затем уволился из гвардии и перешёл на службу в гражданское ведомство. Наталья Борисовна подыскала ему знатную и хорошую невесту, он женился. В 1764 году у него родился сын, которого в честь деда-фаворита назвали Иваном.

Своей честностью, вниманием к людям князь Михаил Иванович снискал такое уважение, что был избран почётным опекуном Воспитательного дома в Москве.

Пристроив сына, Наталья Борисовна взяла с собой младшего, больного Дмитрия, и в 1758 году уехала в Киев, во Фроловский женский монастырь, где постриглась под именем Нектарии, а в 1767 году приняла схиму. В 1769 году её сын Дмитрий, на здоровье которого отразилась трагедия семьи Долгоруковых, скончался.

Трагическая судьба графини Шереметевой привлекла внимание нескольких поэтов и писателей. Рылеев ей посвятил одну из своих «Дум», слепой поэт Козлов, друг княгини Зинаиды Волконской, написал поэму, темой которой была жизнь и любовь графини Натальи Борисовны Шереметевой, в замужестве Долгоруковой; было опубликовано несколько русских романов, в том числе и в XX веке, которые были посвящены трагической истории жизни княгини Долгоруковой.

Находясь в монастыре, княгиня Долгорукова написала о всех своих злоключениях «Записки Н.Б.Д.», которые были изданы Сувориным. Они представляют собой искреннюю душевную исповедь инокини Нектарии, бесхитростный рассказ о времени правления Анны Иоанновны, о страшной жестокости императрицы и её фаворита Бирона, о любви бесстрашной, способной на всепрощение и жертвы.

«Записки» Натальи Борисовны Долгоруковой (Н.Б.Д.) получили общественное признание как одно из значительных произведений русской мемуарной литературы середины XVIII века, в котором отразилась судьба фаворита императора Петра II — князя Ивана Алексеевича Долгорукова.

Иван Павлович Кутайсов (1759–1834), турок по происхождению, родился, вероятно, в Бендерах, потому что маленьким мальчиком он был взят в плен при взятии Бендер и привезён ГЛ. Потёмкиным ко двору. Екатерина подарила маленького турчонка своему сыну Павлу.

Цесаревич Павел был почти на пять лет старше Ивана Кутайсова, а потому чувствовал себя его покровителем. Иван был смышлёным мальчонкой, хитрым и ловким, умевшим приспосабливаться к любым обстоятельствам и выпрашивать себе подарки и другие милости. Он быстро научился парикмахерскому делу, стал брадобреем цесаревича Павла и его камердинером Павел искренно привязался к своему камердинеру, прощал его небольшие шалости и постоянно его одаривал. Вскоре Кутайсов сделался просто необходимым Павлу, а тот со своей стороны стал ловко пользоваться этой привязанностью, заставляя цесаревича щедро осыпать его милостями.

Когда в ноябре 1796 года Павел стал императором, уже в начале декабря он перевёл Ивана из камердинеров на более высокую и перспективную придворную должность гардеробмейстера с чином V класса Табели о рангах. Но главным для Кутайсова было то, что весь двор почитал его теперь как императорского фаворита, а читатель уже догадывается, что по законам фаворитизма это стало доставлять ему дополнительные дивиденды в виде взяток и подношений. Ровно через два года, 6 декабря 1798 года, вышел императорский указ о пожаловании Ивана Кутайсова в егермейстеры (IV класс Табели о рангах) и награждении его орденом Св. Анны I степени. Этим, орденом, да еще самой высокой степени, награждали за геройство на полях сражений, а фаворит Кутайсов получил его просто так, за пребывание при дворе рядом с особой императора. Но бывшему брадобрею этого было мало, и он стал выклянчивать у своего благодетеля графский или княжеский титул. Павел не мог ему отказать, но, считая, что его фаворит вроде бы иностранного происхождения, 22 февраля 1799 года пожаловал ему титул барона Иван Кутайсов был недоволен, ему хотелось более высокого титула.