Граф был дружен с покойным Наследником Николаем Александровичем и после его преждевременной смерти стал другом Наследника Александра Александровича. С воцарением Александра III, граф был назначен Начальником Охраны Его Величества, а с августа 1881 года и министром Императорского Двора, каковую должность занимал в течение всего царствования Александра III. Государь любил графа. Императрица Мария Феодоровна рассказывала старшей дочери графа, графине Александре Илларионовне, что однажды она читала такую запись в дневнике своего августейшего супруга: "Сегодня был у меня дорогой Илларион Иванович. Каждый раз, когда я его вижу, у меня становится светлее на душе".
С годами дела Министерства Двора как бы уже не удовлетворяли графа. Его широкий государственный ум требовал большего размаха.
В тогдашнем Комитете министров голос министра Двора имел первейшее значение. На него равнялись. Он был как бы первый министр, дававший тон министрам, как знающий намерения и пожелания Государя.
Оставшись министром Двора и после воцарения Императора Николая II, граф просил об увольнении его после {52} Ходынской катастрофы, но Государь отклонил эту просьбу. Граф отпросился в деревню, где и жил до окончания расследования. Однако, и в это время, собираясь в путешествие по России и за границу, Государь просил графа сопровождать его.
Летом 1897 года граф был назначен членом Гос. Совета, а на его место был назначен его однополчанин барон Фредерикс.
На эту смену оказала влияние молодая Императрица, с которой граф не сходился по некоторым хозяйственным вопросам, связанным с расходами и, кроме того, говорили, что у Императрицы не могло не остаться по адресу графа некоторой горечи за неласковый прием ее в 1889 году, в чем, правильно или неправильно, но обвиняли позже и графа, и его супругу. И даже вспоминали это много позже, когда престарелая графиня так красиво и мужественно встала на защиту Императрицы зимою 1913 года против некоторой группы русской аристократии, о чем будет сказано в своем месте.
В 1905 году граф был назначен наместником на Кавказ. Он принес туда весь свой обширный житейский и государственный опыт и по всем своим личным качествам как нельзя больше подходил к новому посту. Это был поистине большой боярин, действительный вельможа, оставшийся на службе государевой, несмотря на свои несметные богатства. Знавши Государя Николая Александровича с колыбели, носивши его некогда, в буквальном смысле, на руках, старый граф перенес на молодого монарха всю любовь верноподданного с оттенком отеческой нежности человека много более старшего его по годам. Государь же питал к графу особое уважение и любовь, согретую теплыми детскими воспоминаниями; ведь Государь рос и играл с детьми графа. И это чувство не ослабевало к графу до самой его смерти. Смотреть край и войска, порученные этому замечательному человеку-вельможе и ехал теперь Государь Император.
В 1 ч. дня 24-го ноября Государь приехал в столицу области Кубанского Войска - Екатеринодар. Наказной атаман генерал Бабич, депутации, среди которых была даже {53} депутация от англичан, проживавших в Области и почетный караул казаков с юбилейным войсковым знаменем и хором музыки, встречали Государя. Все по-особому, не как везде.
Приняв встречи, пропустив казаков церемониальным маршем, Государь с атаманом в автомобиле медленно направился в собор. Масса народа стояла по пути. За автомобилем скакал взвод казаков. Около собора собрался Войсковой "Круг". Старые знамена и значки, бунчуки и перначи Запорожцев, грамоты, жалованные казачеству (Черноморскому и Линейцам) и даже мундир, пожалованный Императором Александром II - все эти реликвии были вынесены в Круг на встречу Державному Хозяину земли Русской. Государь был в Кубанской форме. А кругом теснилась несметная толпа женщин, детей-казачат и глубоких стариков. Понаехали со всей области. Все взрослое, молодое было на войне. После молебна в соборе, Государь посетил два госпиталя, Женский Мариинский институт и Сиротский приют.
Институтки встретили Государя гимном "Боже Царя храни", а затем лихо спели старую казачью песню:
"Засвистали казаченьки в поход сполуночи,
Заплакала Марусенька свои ясны очи..."
Как к месту, как по моменту подходила теперь эта песня и какой грустью отдались ее последние слова уходящего на войну казака:
"Не плачь, не плачь Марусенька, не плачь не журися,
Той за свово миленького Богу помолися..."
Юные красавицы проводили Государя с неподдельным горячим восторгом.
В 5 час. Государь отбыл из Екатеринодара. Путь лежал через Терскую область и Дагестан, в обход кавказского хребта, мимо Каспийского моря и через Баладжары на Тифлис. На следующий день мой сосед по купе, генерал Дубенский разбудил меня спозаранку, говоря, что грешно спать, когда настолько хорошо то, что мы проезжаем. И действительно, погода была дивная, весенняя. Справа виднелись кавказские горы, слева расстилались степи. Проезжали Терскую область. На каждой маленькой станции было полно народа, детворы. Все махали папахами, платками, шапками, кричали ура...
{54} Гуссейн Эфенди Гаибов, глухой старец 85 лет со слуховым аппаратом в руках, который он, в ожидании Государя, в волнении то и дело прикладывал к уху, встретил Государя во главе духовенства своего толка и сказал краткую речь. Это было при входе. Государь подал старцу руку и прошел в утопавшую в коврах мечеть. Древний муфтий был так растроган встречей с Государем, его лаской и вниманием, что поднял руку и, показывая ее окружающим, повторял: "Это ведь не шутка. Сам Государь подал руку. Это ведь не шутка".
Посещение Государем мечетей в узких восточных улицах, где едва проезжал автомобиль, произвело огромное впечатление на туземное население. Оно горячо обсуждалось простым народом.
Объехав храмы, Государь проехал во дворец. Его Величество прошел в комнату, где лежал больной Наместник и долго у него оставался. Во дворце разместились из свиты только: граф Бенкендорф, Воейков и граф Шереметьев (флигель-адъютант, зять Наместника). Всей свите во дворце места не хватало и на вопрос графа, кого в числе трех поместить там, Государь назвал именно этих лиц.