За время работы в Министерстве финансов Гурьев дважды подавал прошение об отставке, ссылаясь на слабое здоровье, однако император не удовлетворил эти прошения. В 1823 году Гурьев оставил должность министра финансов: официально по собственной просьбе и по состоянию здоровья. Неофициально считается, что настоящей причиной было истощение государственных доходов, в том числе вызванное «тою угодливостью, которую проявлял Гурьев по отношению к разным влиятельным лицам». Поэт А. Е. Измайлов, служивший в Министерстве финансов, написал сатирическое стихотворение на отставку министра.

Раздражение среди современников вызывало и то, что Гурьев значительную часть средств, переданных правительством для оказания помощи голодающим в Белоруссии, потратил на покупку разорённого имения одного из дворян для своих нужд. При этом с голодающих продолжалось взыскание недоимок. По словам Б. Б. Кампенгаузена, самого желавшего стать министром финансов, «человек толстый, жирный и откормленный (то есть сам Гурьев) не может понимать нужд голодного». Недовольство императора вызывало желание Гурьева увеличить власть министра финансов. Также сказалось и общее разочарование Александра I в реформаторской деятельности, усиление консервативных тенденций. На отставку Гурьева могли повлиять разногласия с членами Государственного совета и особенно с Н. С. Мордвиновым – председателем Департамента государственной экономии, ухудшение отношений с А. А. Аракчеевым, другие обстоятельства.

Острым критиком финансовой деятельности Гурьева выступал новый министр финансов Е. Ф. Канкрин. Он писал: «Казначейство приближается к банкротству… доходы совсем не поступают, как предместник мой полагал». По словам графа А. И. Рибопьера, «не у многих государственных людей было столько врагов, как у Гурьева. Немало интриг ведено против него. Император Александр, однако, верил в его честность и познания и постоянно защищал его против врагов». Отставка Гурьева пришлась на Пасху 22 апреля 1823 года. Она произвела большой шум в Петербурге. «Христос воскрес, Гурьев исчез!» – поздравляли друг друга жители. После отставки и до смерти в 1825 году Дмитрий Александрович сохранил должность министра уделов и управляющего императорским кабинетом.

Гурьев – один из немногих министров финансов, которому посвящена специальная монография, автором её является Л. П. Марней. По её мнению, деятельность Гурьева была недооценена в историографии, так как он был одним из предшественников денежной реформы Е. Ф. Канкрина, подготовившим базу для её реализации.

В отношении личности Гурьева его современники писали, что он «никогда не был ни хорош, ни умён… вместе с тем чрезвычайно искателен и угодителен». В отношении финансовых вопросов «держался строгой тайны». Отмечали, что он «…обладал умом неповоротливым и ему трудно было удержать равновесие суждений». Гурьев «был недоступен для подчинённых… покровительствовал родственникам». Писатель и журналист Н. И. Греч называл Гурьева не иначе как ничтожество. М. А. Корф отмечал, что «Гурьев был человек без большого делового ума и ещё менее учёного образования; но имел много доброй воли и ещё более придворной тонкости». По словам мемуариста Ф. Ф. Вигеля, Гурьев «подведомственных ему чиновников… подавлял тяжестью ума своего; в свете же имел все задатки величайшего аристократа, хотя отец его едва ли не из податного состояния». Семейство Гурьева было «в обществе нестерпимо и нагло со всеми, кого не признавали своими, то есть (чин, титул и древность рода! в сторону) со всеми, коих богатство и кредит при дворе были незначительны». Ф. Ф. Вигель считал, что «Гурьевы какими-то финансовыми оборотами более чем щедротами монарха стяжали себе великое состояние и сделались вельможами, тон общества стал заметно грубеть; понятия о чести стали заметно изменяться и уступать место всемогуществу золота». Ф. Ф. Вигель также писал об алчности Гурьева, о том, что он был одним из первых, кто стал «у нас основателем явного поклонения золотому тельцу». После того как Дмитрий Александрович стал министром, его называли «горделивый граф», «почитавший себя первым министром» и имевший «дурацкую напыщенность». В воспоминаниях государственного деятеля того времени, писателя и публициста Ф. В. Ростопчина о Гурьеве говорится, что он был «человек умный, весьма любезный в тесном кружке, не имеющий другого образования, кроме уменья свободно объясняться по-французски, интриган и честолюбец в высшей степени, относит всё к самому себе; обременён делами, которыми занимается в полудремоте; столь же грузен телом, сколько тяжёл на работу; великий охотник до лакомых блюд и до новостей в административном мире; легко поддаётся на проекты; всем жертвует своему желанию удержаться в милости и увеличить своё состояние». Экономист, писатель-публицист К. А. Скальковский отмечал, что «в управлении финансами Гурьев держался строгой тайны, в своих планах отличался темнотою, притом был недоступен и тяжёл для подчинённых, покровительствовал родственникам, а его финансовые операции даже людям, не особенно расположенным к его врагам, но вникавшим в его дела, казались “волшебными” и “мало полезными в настоящем положении финансов”».

Вместе с тем другую оценку деятельности Гурьева оставил в мемуарах сотрудник министерства П. И. Голубев, принадлежавший к «небольшому кружку людей, которые чтили память графа Гурьева». По словам П. И. Голубева, министр Гурьев «со славой вышел из величайших финансовых затруднений», а всеобщая к нему ненависть была незаслуженной и вызвана тем, что министр «не слишком-то милостиво поступал с должниками казны», а «вельможи недолюбливали Дмитрия Александровича за чрезвычайную скупость в распоряжении государственными суммами». Мемуарист, издатель «Петербургского Еженедельника» О. А. Пржецлавский вспоминал, что Гурьев «вообще не был любим, в особенности за то, что интересы казны, в соответствии с интересами частных лиц, соблюдал слишком строго и в явный ущерб справедливости. Самые явные претензии к казне испытывали нескончаемые проволочки и оканчивались отказом».

По мнению Л. П. Марней, «Гурьев был деятелем своего времени, и, как всякому человеку, ему были свойственны как положительные, так и негативные черты, свои слабости, симпатии и антипатии. Однако в своей государственной деятельности он стремился в меру сил и способностей служить России… Сохранившиеся проекты, многие из которых так и остались на бумаге, позволяют говорить, что Д. А. Гурьев являлся достойным предшественником Е. Ф. Канкрина».

Помимо руководства финансами, Гурьев прославился как заядлый любитель гастрономии, на его изысканные обеды приходили высокопоставленные сановники. Дмитрий Александрович стал изобретателем известной гурьевской каши, рецепт которой сохранился до наших дней. Появлению гурьевской каши предшествовал обед министра в имении отставного майора, где на десерт была подана совершенно необычная на вид и вкус каша, приготовленная крепостным крестьянином.

Гурьев пожелал купить крепостного. Владелец повара «запросил ни более, ни менее как… меру золота (червонцев)» (мера – сосуд для измерения сыпучих тел объёмом около 26 литров). Гурьев, к удивлению владельца повара, согласился. Как отметил описавший это событие князь А. Л. Голицын: «…что обыкновенному смертному подчас кажется невозможным, для министра (особенно финансов) кажется пустяками… Что же касается до графа Гурьева, имя которого гремит нераздельно с кашей, то он уничтожил неимоверное количество ея…» Имя Гурьева также носили паштеты, котлеты и т. д. Гурьевской называли в XIX веке ещё и разведённую водой водку. Гурьевским также был назван императорский фарфоровый сервиз численностью несколько тысяч предметов. Помимо финансов, Александр I доверил Гурьеву управлять санкт-петербургским Императорским фарфоровым заводом. Кроме гастрономии и фарфора, Гурьев оставил о себе память и в архитектуре. В селе Богородское (современное село Богородское Рузского района Московской области) на его средства в стиле классицизма была построена каменная церковь, сохранившаяся до наших дней и открытая для богослужений.