Современники Голубцова оценивали его как человека «добродушного», «слабохарактерного», «осторожного», а также как «хилого, жёлтенького, опрятненького», встречающего посетителей «добродушной улыбкой» и обходящегося с ними «так ласково, как никто из должностных лиц в Петербурге» («ласковый министр»).

В воспоминаниях Г. Р. Державина Голубцов был назван «грабителем» (видимо, между ними существовали какие-то денежные отношения), указывал на непорядки в финансах в период министерства Голубцова.

Дмитрий Александрович Гурьев происходил из небогатого дворянского рода, известного с XV века. Будущий министр финансов получил домашнее образование и после этого так же, как его отец, служил в армии. В молодости несколько лет жил за границей, где получил «иностранную образованность», а по другим оценкам, совершенствовался в основном в сфере гастрономии. По словам Ф. Ф. Вигеля, Гурьеву «хотелось во что бы ни стало попасть в люди, и слепое счастие услышало мольбы его. Он случайно познакомился с одним молодым, женоподобным миллионером, графом Павлом Мартыновичем Скавронским, внуком родного брата Екатерины I, отправлявшимся за границу. Гурьев умел ему полюбиться, даже овладеть им и более трёх лет странствовал с ним по Европе… Получил он ‹…› сверх того от Скавронского три тысячи душ в знак памяти и верной дружбы». Гурьев пользовался также покровительством фаворита Екатерины II Г. А. Потёмкина после женитьбы графа Скавронского на племяннице Потёмкина. На карьеру Гурьева повлияла и женитьба на графине П. Н. Салтыковой, «тридцатилетней девке, уродливой и злой, на которой никто не хотел жениться». С 1800 года Гурьев примкнул к окружению будущего императора Александра I, в том числе был близок к М. М. Сперанскому, П. А. Строганову, В. П. Кочубею, Н. Н. Новосильцеву и А. А. Чарторыйскому. По словам Ф. Ф. Вигеля, «умел он как-то припутаться к партии Новосильцовых, Кочубеев, Чарторыйских и попал в товарищи министра финансов», «посредством родственных и других связей… водворился он в так называемом высшем кругу». После воцарения Александра Гурьев назначен управляющим императорским кабинетом, соответственно и карманными деньгами императора. В 1802 году свёл знакомство с министром финансов А. И. Васильевым, стал его приятелем, а потом и заместителем.

В последние годы жизни А. И. Васильев тяжело болел, поэтому Министерством финансов фактически руководил Гурьев. Известно, что он надеялся стать министром финансов сразу после А. И. Васильева (до назначения Ф. А. Голубцова, против которого он плёл интриги), но ему это не удалось. Благодаря значительной поддержке М. М. Сперанского, а также, вероятно, при содействии А. А. Аракчеева Гурьев был назначен министром финансов только в 1810 году, после того как «не проявившего себя на должности министра» Ф. А. Голубцова отправили в отставку. К этому времени Дмитрию Александровичу было уже почти 60 лет. Одновременно с назначением министром финансов Гурьев стал членом Государственного совета и директором Государственной комиссии погашения долгов.

Как полагал управляющий делами комитета министров, государственный секретарь, автор мемуаров М. А. Корф, вначале возглавить министерство предложили В. П. Кочубею, но тот отказался. По мнению графа Ф. П. Толстого, высказанному с иронией, Д. А. Гурьев, «сделался министром финансов за введение в счётные шнуровые книги Кабинета Его Величества, которого он был директором, различных цветов линеек – голубых, красных, синих, зелёных, розовых, малиновых. Насколько эти стольких красивых цветов линейки облегчают счетоводство шнуровых книг, знают бухгалтеры, но с наружного виду эти книги сделались гораздо красивее, а как у нас чрезвычайно высоко ценится наружность, то Гурьев по представлении этих книг был пожалован графом».

По словам писателя и публициста Р. И. Сементковского, «трудно себе даже представить, как этот бывший гвардейский офицер, обязанный своим служебным повышением исключительно матримониальным делам и умению угождать людям, – этот bon vivant, этот человек, прославившийся изобретением гурьевской каши, мог попасть в министры финансов в такое время, когда во главе управления стоял Сперанский, и ещё труднее понять, как он мог в течение тринадцати лет продержаться у власти. Кажется, ему это удалось только благодаря тому, что он щедро раздавал деньги тем, кто заручался влиянием при помощи разных интриг и козней». Другой современник отмечал, что Гурьев как министр не пользовался «ни малейшим уважением, зато по кухмистерской части он достиг неувядаемой славы изобретением великолепной гречневой каши на мозгах из говяжьих костей, о которой не только во всём Петербурге и Москве известно, но и в самых отдалённых краях России. А любящие покушать господа утверждают, что эта каша есть важнейшее изобретение нашего века». По воспоминаниям экономиста и публициста Н. И. Тургенева, «его дом был одним из первых в Петербурге; всякий день там собирались придворные, дипломаты, высшие чиновники. Его жена, которая всемерно поддерживала влияние мужа, была своего рода властью, не признавая которой можно было навлечь на себя опасности». О своей первой встрече с министром Тургенев вспоминал, что тот «читал – или делал вид, что читает, – номер “Минервы”… Я считал подобного рода чтение вполне естественным даже для русского министра. Теперь, вспоминая эпизоды тех времён, я склонен думать, что министр не столько читал “Минерву”, сколько желал показать мне, что в часы досуга читает подобные издания». Далее Н. И. Тургенев писал, что Гурьев, «как и многие другие министры, был окружён ловкачами, прожектёрами, которые переполнены новыми идеями и обладают большими возможностями».

Первые годы управления министерством (до отставки М. М. Сперанского) главную роль в финансовом ведомстве, видимо, играл сам Сперанский, а не Гурьев. Сложилось мнение, что все проекты Гурьева были созданы под влиянием более компетентных лиц. Публицист и историк Р. И. Сементковский пишет: «Пока Сперанский был во власти, он сам управлял финансами: ему нужен был не столько самостоятельный, сколько исполнительный деятель, а угождать Гурьев умел».

В 1810 году по инициативе М. М. Сперанского был принят финансовый план, разработанный небольшим кругом влиятельных лиц: Д. А. Гурьевым, Б. Б. Кампенгаузеном, В. П. Кочубеем, Н. С. Мордвиновым. В соответствии с планом предусматривалось сбалансирование государственных доходов и расходов с помощью прекращения выпуска ассигнаций и увеличения налогов. Реализация плана была сорвана Отечественной войной 1812 года и отставкой М. М. Сперанского. Отечественная война и заграничные военные походы ещё более ухудшили состояние российских финансов. В дальнейшем, несмотря на повышение налогов, дефицит бюджета только возрастал. Министр финансов в откровенно мрачных тонах писал А. А. Аракчееву: «Мы касаемся до столь трудной развязки финансовых оборотов, что нельзя без ужаса подумать о последних месяцах сего года и чем они кончатся».

После увольнения М. М. Сперанского между ним и Д. А. Гурьевым произошёл конфликт, но через некоторое время отношения были восстановлены. Именно Дмитрий Александрович настоял на назначении ему содержания, даже напоминал императору о полезности возвращения Сперанского к государственной деятельности, что было проявлением своего рода мужества. В переписке министр финансов часто интересовался мнением М. М. Сперанского в отношении финансовых проектов, реализуемых им в министерстве. «Вы один в состоянии дать направление и совокупить к единству действия правительственных частей, ежели бы были введены в круг прежнего вашего положения», – писал он опальному государственному деятелю.

Важным финансовым решением министра финансов после Отечественной войны было изъятие из обращения части ассигнаций для повышения их курса. Также была отменена откупная система обложения винной торговли и установлена казённая продажа вина, благодаря чему в первые годы после реформы резко возросли доходы государства. В период министерства Дмитрия Александровича был создан Государственный коммерческий банк, ставший достаточно автономным от верховной власти учреждением, разрабатывалась реформа введения пенсионной системы для государственных чиновников, по поручению Александра I создавались проекты будущей крестьянской реформы. Весь период министерства Гурьева происходила борьба между сторонниками протекционизма и свободной торговли.