Наиболее крупным делом, которым пришлось заниматься Шувалову в бытность его начальником Третьего отделения, была организация «процесса нечаевцев», названного так по имени С.Г. Нечаева, автора знаменитого «Катехизиса революционера». Появившись в Москве в сентябре 1869 г., Нечаев представился местной демократически настроенной молодежи как доверенный русского отдела «Всемирного революционного союза» (никогда не существовавшего в реальности) и, действуя от его имени, создал тайное общество «Народная расправа», в которое завербовал около 80 человек. Целью общества, якобы имевшего свои отделения повсеместно, была «народная мужицкая революция», которую глава «Народной расправы» наметил на 19 февраля 1870 г. Столкнувшись с тем, что студент И.И. Иванов, вступивший в тайное общество, отказался верить его россказням о «Всемирном революционном союзе» и пытался публично поставить их под сомнение, Нечаев обвинил его в предательстве и 21 ноября 1869 г. организовал его убийство, в которое втянул еще четверых членов «Народной расправы».

Обнаружив труп Иванова, полиция в ходе следствия вышла на след тайного общества. Когда начались аресты, Нечаев бежал за границу. Всего по делу «Народной расправы» было задержано в Москве и Петербурге около 300 предполагаемых членов общества и им сочувствующих, однако за отсутствием улик половина из них была сразу отпущена. Поскольку ложь и коварное убийство «во имя революции» были налицо, то правительство решило организовать открытый судебный процесс над обвиняемыми. Но дело стало разваливаться с нарастающей скоростью, и в соответствии с действующими законами прокуратура нашла основания для привлечения к судебной ответственности только 77 из 148 арестованных. На суде по этому громкому делу обвинение старалось представить подсудимых опасными государственными преступниками и опытными конспираторами, сплотившимися для ниспровержения существующего строя, тогда как адвокаты характеризовали их как молодых, наивных и горячих радикалов, чье членство в тайном обществе нельзя приравнивать к участию в политическом заговоре. Аргументы адвокатуры были признаны судьями более убедительными, вследствие чего только 34 человека были приговорены к различным срокам тюремного заключения, каторжных работ и ссылки. Крупномасштабного процесса, дискредитирующего в глазах общества революционную идею, на который рассчитывали император и шеф жандармов, не получилось. Негодующему на «необъективность» суда Шувалову пришлось утешиться тем, что почти всех оправданных по суду он в административном порядке отправил в ссылку. Он также приложил большие усилия для того, чтобы поймать за границей виновника всей этой истории и доставить его для суда на родину. Поскольку Нечаев был виновен в уголовном преступлении, то правительство Швейцарии, где он скрывался, арестовало его и выдало России. В 1873 г. он был судим в Москве и приговорен к 20 годам каторжных работ.

Однако, справившись с нечаевским кружком, Третье отделение оказалось совершенно неподготовленным к борьбе с массовым антиправительственным движением народников. Хотя «хождение в народ», как форму ведения революционной агитации, государственная безопасность и предусматривала заранее (еще 31 мая 1869 г. Шувалов циркулярно предписал местным властям брать под «усиленный надзор» студентов, отъезжающих в разные места на каникулы, поскольку они «намереваются распространять ложные понятия между фабричными рабочими и бывшими помещичьими крестьянами»), но она явно была захвачена врасплох масштабами начавшегося движения. Весной 1874 г. после окончания занятий тысячи студентов, скромно одетых и снабженных фальшивыми паспортами и прокламациями, отправились агитировать народ за социализм и свержение самодержавия. «Хождение в народ» захлестнуло страну, и жандармские власти первоначально растерялись перед лицом революционной пропаганды, одновременно развернутой более чем двумя сотнями подпольных кружков в 50 губерниях Российской империи. Лишь случайность помогла жандармерии сохранить лицо. 31 мая во время рейда в одной мастерской сапожника в Москве, оказавшейся достаточно неумело законспирированной явкой, жандармы арестовали нескольких народников, у которых при себе оказалась не только революционная литература, но и десятки адресов и шифров. Благодаря этому Третье отделение напало на след нелегальной типографии в Москве и многих тайных кружков, разбросанных по различным губерниям. Проведя широкомасштабную операцию, жандармы арестовали большое число народнических пропагандистов (различные источники оценивают количество арестованных от одной до восьми тысяч).

Однако этот крупный успех уже не смог спасти репутацию начальника Третьего отделения. Хотя надежды народников на всеобщую революцию не оправдались, их деятельность имела один важный побочный результат. Сам факт начала охватившей всю страну революционной агитации, в которой участвовали многие тысячи человек, наглядно показал тщетность восьмилетней диктатуры начальника Третьего отделения. К этому объективному обстоятельству примешивались еще и субъективные факторы. Очевидно, весьма близко к истине объяснение А.А. Киреева: «Шувалов действительно надоел государю постоянной своей опекой». Относительно последней капли, переполнившей монаршее терпение, Б.Н. Чичерин пишет: «Княжна Долгорукая... бывшая уже тогда в фаворе, сообщила государю все толки, ходившие тогда в обществе, о всемогуществе Шувалова, о том, что его зовут Петр IV. Государь... был очень щепетилен на счет своей власти и своего авторитета. Он не терпел, чтобы кто-нибудь его затмевал». Так или иначе, Александр II неожиданно для многих 22 июля 1874 г. уволил Шувалова с поста главного начальника Третьего отделения и шефа жандармов и назначил своего недавнего любимца послом в Лондон. По сути дела, для него это была почетная ссылка.

В отличие от А.Ф. Орлова, его предшественника на посту начальника Третьего отделения, дипломатическая деятельность Шувалова была далеко не столь успешной. Что, в частности, проявилось во время работы Берлинского конгресса летом 1878 г., на котором он возглавлял русскую делегацию в качестве второго уполномоченного (первым был престарелый канцлер А.М. Горчаков). Подписанный в итоге трактат лишил Россию почти всех преимуществ, достигнутых в победоносной войне с Турцией 1877–1878 гг. В октябре 1879 г. Шувалов был уволен от должности чрезвычайного и полномочного посла в Великобритании.

Подводя итог его политической карьеры, нельзя не согласиться с мнением, высказанном о бывшем начальнике Третьего отделения сенатором Е.М. Феоктистовым:

«Обладал он, кажется, умом блестящим, но поверхностным, не способным к серьезному мышлению; если о каждом государственном человеке следует судить по его делам, то Шувалов, сойдя с поприща, не оставил по себе ровно ничего, что могло бы быть поставлено ему в заслугу».

К 1880 г. в России вновь складывается революционная ситуация. С 1875 по 1879 г. в стране было зафиксировано 152 крестьянских выступления; 16 из них пришлось усмирять с помощью войск. География волнений постоянно расширялась: в 1878 г. они наблюдались в 14 губерниях, в 1880 г. ими были охвачены уже 34 губернии центра, юга и востока европейской части России. Одновременно нарастало рабочее движение: в 1875–1879 гг. происходят 165 выступлений пролетариата, причем больше половины их пришлось на последние два года. Венчала этот процесс революционная организация «Народная воля», возникшая в августе 1879 г. и объединившая в своих рядах около 500 членов. Народовольцы подготовили семь покушений на Александра II, и Третье отделение, несмотря на все свои усилия, так и не смогло пресечь революционный террор. Как уже говорилось, окончательно убедившийся в неэффективности ведомства, Александр II создает новую структуру государственной безопасности – Верховную распорядительную комиссию по охранению государственного порядка и общественного спокойствия.

Она была учреждена царским указом от 12 февраля 1880 г. для «положения предела беспрерывно повторяющимся в последнее время покушениям дерзких злоумышленников». В состав комиссии первоначально вошли 9 человек (генерал-майор свиты М.И. Батьянов, начальник штаба гвардии и Петербургского военного округа генерал-адъютант князь А.К. Имеретинский, управляющий делами Комитета министров М.С. Каханов, сенатор М.Е. Ковалевский, обер-прокурор Сената П.А. Макаров, правитель канцелярии МВД С.С. Перфильев, член Государственного совета К.П. Победоносцев, исполняющий обязанности шефа жандармов П.А. Черевин, сенатор И.И. Шамшин, с мая 1880 г. начальник Главного управления печати Н.С. Абаза), но поскольку она собиралась на свои заседания только три раза, то уже современники высказали достаточно обоснованное предположение, что эта структура представляла собой не более чем ширму, скрывающую фактически диктаторскую власть ее главного начальника графа М.Т. Лорис-Меликова. Ему были предоставлены все права петербургского градоначальника и ведение политического следствия в столице и Петербургском военном округе, а также верховный надзор за политическими расследованиями по всей стране. Все требования Лорис-Меликова по делам об охранении государственного порядка и общественной безопасности подлежали немедленному исполнению органами власти всех уровней, а распоряжения главного начальника Верховной распорядительной комиссии могли быть отменены только самим императором. Особым указом от 3 марта 1880 г. Александр II передал Лорис-Меликову управление Третьим отделением, прежде подчинявшимcя непосредственно императору, а 4 марта и Отдельным корпусом жандармов.