До этих пор карьера Горемыкина складывалась удачно. Однако 20 октября 1899 года, находясь в заграничной поездке по Англии и Франции, он неожиданно для себя и без всяких объяснений был уволен с должности министра внутренних дел. Император назначил Ивана Аоггиновича всего лишь членом Государственного совета с оставлением в должности сенатора. Ему было уже почти шестьдесят семь лет, и казалось, что карьера стареющего юриста клонится к закату.
Но судьбе было угодно распорядиться по-другому. Вследствие различных придворных интриг и борьбы противоположных групп, окружавших императора Николая II, Горемыкин все же сумел «взлететь» на чиновничий Олимп. Он стал премьер-министром и возглавил правительство Российской империи. До него юристы редко когда поднимались так высоко. По мнению современников, назначению Горемыкина способствовала рекомендация Д. Ф. Трепова, бывшего столичного генерал-губернатора, а затем дворцового коменданта, «полу-диктатора», как отзывались о нем некоторые приближенные к императору вельможи. Как писал С. Ю. Витте, Трепов рассчитывал, что Горемыкин на посту председателя Совета министров будет во всем слушаться его советов, и даже подготовил для него инструкцию, как вести себя в Государственной думе. Но его надежды не оправдались. 22 апреля 1906 года, перед самым открытием первой Государственной думы, кабинет премьер-министра С. Ю. Витте пал, и на место председателя Совета министров был поставлен Горемыкин, который одновременно оставался членом Государственного совета и сенатором. В правительстве произошли основательные перестановки, были заменены все министры (за исключением трех: военного, морского и торговли).
27 апреля 1906 года в Георгиевском тронном зале Зимнего дворца состоялось торжественное открытие Государственной думы и преобразованного Государственного совета. После торжественного молебна император произнес «тронную речь». Из Зимнего дворца депутаты направились в Таврический, где в четыре часа был отслужен еще один молебен, а в пять часов все заняли свои места в зале заседаний. Весь кабинет министров во главе с Горемыкиным поместился в ложе министров, а члены Государственного совета – в своей ложе. По поручению императора открыл Государственную думу статс-секретарь 3. В. Фриш. Председателем Думы избран был С. А. Муромцев.
Государственная дума сразу же заявила свои права «на верховную власть». После горячих прений она выработала так называемый адрес, в котором было указано, что спокойная и правильная работа Думы может происходить только при условии ответственности всех министров перед народными представителями и что необходимо «освободить Россию от действия чрезвычайных законов». Дума предлагала выработать законы о полном уравнении всех граждан независимо от национальности и пола, о равноправии крестьян и охране наемного труда, о всеобщем бесплатном обучении, справедливом распределении налогов, преобразовании местного управления и самоуправления на началах всеобщего избирательного права. Она высказалась за аграрную реформу и наделение крестьян землей за счет принудительного отчуждения земель частнособственнических, казенных и удельных, за отмену смертной казни и исключительных законов, за проведение полной политической амнистии.
Ответить на все эти запросы предстояло председателю Совета министров Горемыкину. 13 мая 1906 года ему пришлось выступить в первой Государственной думе со своей программой. Он заявил, что Совет министров, полагая в основании своей деятельности соблюдение строгой законности, готов оказать полное содействие разработке всех вопросов, поднятых Государственной думой. Тем не менее Горемыкин особо подчеркнул, что изменение избирательного закона находит сейчас преждевременным, а к удовлетворению насущных нужд сельского хозяйства, к вопросам о равноправии крестьян, начальном образовании, налоговой системе и преобразовании местного самоуправления «правительство отнесется с особым вниманием». Земельный вопрос на основаниях, предложенных Думой, правительство считает недопустимым. Что касается исключительных законов, то правительство считает себя обязанным ограждать спокойствие людей всеми способами. Относительно политической амнистии его кабинет находит, что «настоящее смутное время» не отвечает «благу помилования преступников, участвовавших в убийствах, грабежах и насилии».
В. И. Гурко, слушавший речь Горемыкина, писал: «Голос Горемыкина был слабый, и, хотя в зале господствовала полная тишина, его расслышать было трудно, а потому принятая предосторожность об одновременной раздаче членам Государственной думы печатных экземпляров речи Горемыкина оказалась весьма кстати. На одном лишь месте своей речи Горемыкин усилил свой голос, подняв даже при этом в виде угрозы указательный палец, а именно где говорилось о недопустимости принудительного отчуждения частновладельческих земель в целях дополнительного наделения крестьян землей».
Первая Государственная дума, выслушав подобную «декларацию» председателя Совета министров, выразила его кабинету недоверие. Противостояние закончилось роспуском Думы. Произошло это, как отмечали современники, по инициативе самого Горемыкина, который доложил императору, что с этой Думой правительство ничего сделать не в состоянии и что Дума будет «революционизировать страну». Очень скоро, 7 июля 1906 года, Николай II подписал указ о роспуске Государственной думы. Вслед за ее роспуском 8 июля последовала и отставка самого Горемыкина – его место занял уверенно набиравший силы министр внутренних дел П. А. Столыпин.
Однако Горемыкин все еще оставался важной политической фигурой. В 1905 году вышла в свет его новая книга «О торговле в кредит», а в 1907 году – «Аграрный вопрос». Иван Логгинович все еще был членом Государственного совета и сенатором, а в мае 1910 года даже пожалован в статс-секретари императора.
30 января 1914 года Горемыкин вторично призывается на высший государственный пост – председателя Совета министров, сменив В. Н. Коковцова. На этот раз в кресле председателя он продержался два года, хотя непримиримая конфронтация с Думой продолжалась. Его первое же выступление в Государственной думе ознаменовалось огромным скандалом. В Думу съехались все министры, чтобы послушать своего председателя. Но как только он появился на трибуне, со стороны левых поднялся такой невообразимый шум, что ничего не было слышно. В зале раздавались крики «долой!» и «вон!». Правые хотели заглушить протесты аплодисментами, но это им не удалось. Тогда председатель Государственной думы М. В. Родзянко вынужден был предложить Горемыкину покинуть трибуну «до водворения порядка». Поскольку депутаты и не думали униматься, Родзянко предложил лишить наиболее «крикливых» из них права участвовать в пятнадцати заседаниях. Кончилось тем, что самых несговорчивых вывели из зала при помощи приставов. Только после этого Горемыкин произнес свою речь.
В эту пору Горемыкин не мог найти общего языка даже со многими своими министрами. Особенно остро это проявилось во время Первой мировой войны на закрытом заседании Совета министров, где обсуждался вопрос о принятии императором функций Верховного главнокомандующего русской армии.
В январе 1916 года Горемыкина все-таки отправили в отставку. При увольнении он получил чин действительного тайного советника первого класса, что по Табели о рангах равнялось генерал-фельдмаршалу. За свою долгую службу И. А. Горемыкин был удостоен всех высших орденов Российского государства, включая ордена Святого Александра Невского и Святого Апостола Андрея Первозванного.
После Февральской революции 1917 года Горемыкин, как и многие царские сановники, был арестован Временным правительством и заключен в Петропавловскую крепость, но в мае 1917 года освобожден. Ему было разрешено выехать на Кавказ, и он поселился на даче близ Сочи.
Иван Аоггинович трагически погиб 11 декабря 1917 года – был убит при бандитском налете на дачу. Вместе с ним погибли его жена Александра Ивановна, урожденная Капгер, дочь Александра Ивановна и зять, дипломат Иван Александрович Овчинников. Другие дети Горемыкина, дочь Татьяна Ивановна и сын Михаил Иванович, эмигрировали.
