В начале XX в. положение С.Ю. Витте становится весьма шатким. Против него объединяются влиятельные придворные и правительственные силы, недовольные и самим сановником и многими аспектами его политической деятельности. Помимо возмущения курсом на ускоренную индустриальную модернизацию страны, ущемлявшим интересы крупных землевладельцев, министр финансов стал объектом критики и в связи с его неприятием внешнеполитического курса на Дальнем Востоке, того курса, который в конце концов завершился русско-японской войной. Как монархисту Витте была понятна и близка имперская экспансия России, но он всегда ратовал за экономическую экспансию, в то же время постоянно выступая против «демонстрации мускулов» перед лицом своих соседей. Министр финансов был уверен, что любой военный конфликт неизбежно приведет к нежелательным финансовым потерям и социальным потрясениям. Для программы же хозяйственного развития, тесно завязанной на иностранные займы и внешние денежные рынки, война может стать просто убийственной. Но его доводы и призывы к осторожности мало кого убеждали.  

В 1902—1903 гг. антивнттевские настроения объединили весьма влиятельные фигуры. Его врагом был муж сестры царя, великий князь Александр Михайлович, министр внутренних дел В.К. Плеве, контр-адмирал, управляющий Особого комитета Дальнего Востока A.M. Абаза, наместник на Дальнем Востоке адмирал Е.И. Алексеев, председатель Комитета министров И.Н. Дурново. В обществе хорошо знали и о нелюбви к министру финансов императрицы Александры Федоровны, возмущенной и оскорбленной поведением Витте во время тяжелой болезни Николая II осенью 1900 г ., когда сановник посмел обсуждать публично последствия смерти императора и воцарения младшего брата царя Михаила Александровича.

Натиску такой сильной партии стал уступать Николай II, его поддержка министра финансов начала ослабевать. Развязка наступила в августе 1903 г ., когда С.Ю. Витте был снят с должности министра и переведен на почетный, но почти декоративный пост главы Комитета министров. Однако это не было окончательным крушением служебной карьеры. В последующие несколько лет Сергей Юльевич сумел неоднократно заявить о себе и вознестись на вершины успеха и известности. В августе 1905 г . ему удается заключить в г. Портсмуте (США) мир с Японией, который лишь незначительно ущемлял русские интересы. За эту заслугу перед Россией ему высочайше был пожалован титул графа. Осенью 1905 г . Витте становится «крестным отцом» русских политических свобод — манифеста 17 октября. С середины октября 1905 до конца апреля 1906 г . он возглавляет объединенный Совет министров.

За несколько дней до открытия 29 апреля 1906 г . сессии Первой Государственной думы С.Ю. Витте ушел с поста главы Кабинета и хотя остался членом Государственного совета, но активной политической роли уже больше не играл. Опала невероятно уязвила его честолюбие, и он решил рассчитаться со своими многочисленными врагами и недоброжелателями. Орудием его мести стали ныне широко известные «Воспоминания», наполненные самовосхвалением, и клеветническими измышлениями в адрес многих лиц, в том числе и последнего монарха.

До последних дней своей жизни (умер граф в Петрограде в ночь на 25 февраля 1915 г ., немного не дожив до 66 лет) С.Ю. Витте не оставлял надежды на возвращение к активной политической деятельности. Будучи опытным царедворцем, не имея за собой поддержки никаких общественных групп или течений, но мастерски владея правилами закулисных ходов, он использовал различные приемы. В обществе циркулировали слухи о том, что для своего возвращения из политического небытия экс-премьер прибегал к протекции Григория Распутина. В этом сюжете до сих пор больше сомнительных утверждений (кочующих из книги в книгу), чем документальных свидетельств. Доподлинно известно мало. Сам отставной сановник общений с одиозным старцем не имел (один раз они лишь виделись в церкви), но жена, Матильда Ивановна, с ним встречалась и, как установила Чрезвычайная следственная комиссия Временного правительства в 1917 г ., по крайней мере дважды была в распутинской квартире на Гороховой улице. О чем на этих встречах графиня говорила с «отцом Григорием», неизвестно. Нет до сих пор и надежных подтверждений версии о том, что Григорий Распутин якобы ходатайствовал за графа перед царем. Если подобный факт имел место в действительности, то трудно предположить, что это делалось вопреки желаниям «его сиятельства».

Однако всем попыткам вернуться к власти мешала непреклонность императора, раз и навсегда решившего в 1906 г . никогда не прибегать к услугам этого человека. В письме матери 2 ноября 1906 г . Николай II заметил: «Сюда вернулся на днях гр. Витте. Гораздо умнее и удобнее было бы ему жить за границей, потому что сейчас же около него делается атмосфера всяких слухов, сплетен и инсинуаций... Нет, никогда, пока я жив, не поручу я этому человеку самого маленького дела». Еще ранее, в апреле, вскоре после отставки премьера, император заметил В.Н. Коковцову, что он «окончательно расстался с графом Витте» и с ним больше уже не встретится. По монаршей милости Сергей Юльевич был вознесен на сановные верхи и по царской же немилости был оттуда низвергнут!

Нежелание использовать графа на государственной службе нельзя объяснять каким-то капризом монарха, только его личным нерасположением. Император никогда не питал личных симпатий к этому амбициозному деятелю, но довольно долго считал необходимым в интересах дела использовать его навыки, опыт и организаторские дарования. Но время менялось, менялись условия политической деятельности, что требовало новых людей, иных приемов реализации государственных решений. Когда в 1905 г . началось общественное брожение, переросшее в анархию и хаос, когда возникла реальная угроза трону, то верховная власть не только поняла настоятельную необходимость реформ, но и ощутила острую потребность в умных, целеустремленных людях, искренне преданных и самому монарху и идее монархизма. К числу этих людей С.Ю. Витте царь уже не относил. Его постоянное лавирование, конформизм вели к беспринципности, что было чрезвычайно опасно в сложной ситуации.

Окончание XIX в. охарактеризовалось в России проведением крупнейшей финансовой реформы, качественно изменившей положение русской денежной единицы. Рубль стал одной из стабильнейших валют мира. Преобразования 1895—1897 гг. явились составной частью широкой программы экономических нововведений 90-х годов. Они ускорили индустриальную модернизацию России и в последующем помогли народнохозяйственному организму выдержать тотальные потрясения русско-японской войны и революции 1905— 1907 гг. Реформа отразила острую потребность государства преодолеть очевидную архаическую замкнутость, рыхлость и неэластичность многих основополагающих финансовых структур и в первую очередь самого рубля. Она способствовала интеграции России в систему мирового рынка.

Это был прорыв из прошлого в будущее, неразрывно связанный с именем министра финансов С.Ю. Витте. Однако результативность его реформаторских усилий во многом была следствием двух взаимосвязанных обстоятельств. Во-первых, огромной подготовительной работы его предшественников на посту главы финансового ведомства. Но, пожалуй, еще в большей степени успех невиданного в истории России начинания обеспечивала несомненная и однозначная поддержка, которую получали конкретные предложения и проекты Витте на самом верху иерархической пирамиды. Без покровительства же императора Николая II некоторые принципиальные предложения Витте не могли бы материализоваться. Сама идея укрепления рубля переходом на золотой паритет отвечала в первую очередь интересам промышленности: надежность валюты стимулировала инвестиции капиталов. Аграрному же сектору подобное преобразование не сулило в обозримом будущем никаких особых выгод и даже наоборот: стабилизация отечественной денежной единицы, повышение ее курса неизбежно должно было привести к удорожанию экспорта. Главными же продуктами российского вывоза исстари служили продукты сельского хозяйства, и намечаемая реформа ущемляла интересы крупных дворян-землевладельцев, давно «правивших бал» в имперских коридорах власти, оказывая существенное влияние на курс государственной политики.