Когда поражение в войне стало очевидным, преданность старших офицеров Вермахта дала сильную трещину. Многие из них какое-то время благосклонно относились к действиям против режима, особенно если это касалось смещения самого фюрера, но не могли рассчитывать на поддержку общества, пока авантюры Гитлера продолжали приносить победу.

К середине 1944 года время созрело для действий. Была разработана учебная военная операция под кодовым названием «Валькирия», в соответствии с которой частям Вермахта надлежало занять Берлин для защиты города от гипотетического восстания находившихся в Германии насильно угнанных в Германию рабочих, беглых заключенных и прочих. Заговорщики были уверены, что в случае смещения Гитлера верные им войска под предлогом проведения этой военной операции смогут легко захватить Берлин и сместить нацистское правительство. Глава военной разведки — абвера, адмирал Вильгельм Канарис знал о заговоре, но сохранял о нем молчание. Убежденный национал-социалист, он не одобрял издержек режима. Хотя Канарис жил по соседству с Гейдрихом и часто общался с ним, последний жаждал занять пост Канариса, и поэтому эти две конкурирующие секретные службы — РСХА и абвер — испытывали друг к другу взаимное недоверие.

Основная задача заговорщиков заключалась в том, чтобы прорвать тесное кольцо личной охраны Гитлера. Был разработан план, в соответствии с которым офицер штаба армии должен был установить бомбу в ставке Гитлера в Растенбурге, чтобы ее взрывом уничтожить Гитлера. Доброволец нашелся в лице полковника графа Клауса Шенка фон Штауффенберга, аристократа, героя войны, потерявшего глаз, руку и два пальца на уцелевшей руке в военных действиях в Северной Африке. Он считался абсолютно преданным воинскому долгу солдатом и поэтому не внушал нацистам никаких подозрений.

Старшие офицеры генерального штаба в Берлине, включая генералов Ганса Остера, Людвига Бека и Фридриха Ольбрихта, согласились с планом заговора и получили поддержку со стороны других старших полевых командиров, дислоцировавшихся в оккупированной Европе, которым надлежало выступить против СС и покончить с секретными службами на местах. Генерал Фромм в Берлине о заговоре знал и обещал поддержку, но фактически был слишком напуган, чтобы дать заговорщикам какие-либо гарантии со своей стороны.

В заговор были вовлечены и некоторые из высших германских военачальников, включая двух фельдмаршалов — фон Витцлебена и фон Клюге, — а также большое количество старших генералов. Фельдмаршал Роммель о заговоре знал, но не принял в нем активного участия (17 июля он получил серьезное ранение, когда его автомобиль был обстрелян с бреющего полета самолетом союзников). Тем не менее, одного лишь знания о заговоре впоследствии оказалось достаточно для того, чтобы решить его судьбу.

20 июля 1944 года Штауффенберг по предписанию ставки прибыл в Растенбург для участия в военном совещании, на котором должен был выступать Гитлер. Он оставил портфель со спрятанной в нем бомбой под столом и вышел из помещения под предлогом срочного телефонного звонка. К несчастью, один из присутствовавших на совещании офицеров нечаянно передвинул портфель за массивную дубовую ножку стола. Бомба взорвалась в запланированное время, и Штауффенберг, услышав взрыв, поверил в то, что Гитлер мертв, и поспешил уехать. Он не знал, что прочный стол спас Гитлера от смерти. Несмотря на сильную контузию, фюрер остался практически невредимым.

Как оказалось, именно глупость заговорщиков сделала невозможной надежду вырвать власть над Германией из рук нацистов. Получив от Штауффенберга сигнал о том, что Гитлер мертв, они пренебрегли необходимостью захватить все средства связи, включая радиостанции. Берлинский гвардейский полк, поставленный под ружье по плану «Валькирия» и уверенный в том, что начался мятеж, отправился захватывать государственные здания, включая и кабинет министра пропаганды Йозефа Геббельса. Вследствие ошибки заговорщиков, не сумевших перерезать связь, Геббельсу удалось сделать прямой телефонный звонок самому Гитлеру. Когда полковник Ремер из элитной дивизии «Гроссдойчланд» («Великая Германия») прибыл для защиты здания, Геббельс усадил его за телефон для прямой связи с Гитлером, который сразу же повысил его в чине и приказал подавить мятеж.

Генерал Фромм, увидев, что заговору не суждено увенчаться успехом, предпочел спасти свою шкуру и приказал арестовать и немедленно казнить других заговорщиков после суда военного трибунала. Ольбрихт, Штауффенберг и некоторые другие были расстреляны на месте. Фромм тем самым надеялся устранить тех, кто мог бы свидетельствовать о том, что ему было известно о заговоре.

Гиммлер подозревал об истинных мотивах, двигавших Фроммом, и откомандировал целую группу офицеров РСХА, чтобы предотвратить дальнейшие казни.

В других местах действия заговорщиков оказались более успешны. В Париже 1200 сотрудников СС и гестапо были окружены и помещены в военную тюрьму Фресне. Но, тем не менее, и здесь заговорщики допустили оплошность и забыли о жизненно важной телефонной связи с Берлином, а РСХА скоро узнала о судьбе своих парижских коллег. Узнав о том, что Гитлер остался в живых, Клюге немедленно сделал поворот на 180 градусов и выдал своих товарищей-заговорщиков. Но это не послужило на пользу ему самому, потому что Гиммлеру была известна его истинная роль в заговоре. Хотя твердые доказательства его вины получить было не трудно, Гитлер не желал, чтобы Германия отправила под суд одного из своих главных военачальников — за измену. Гиммлер отправил сообщение бригаденфюреру СС Юргену Штроопу, чтобы тот занялся этим делом, и последний добросовестно застрелил фон Клюге, имитировав самоубийство.

Тем временем угроза военной силы убедила генерала фон Штюльпнагеля в Париже выпустить из тюрьмы пленных эсэсовцев и гестаповцев. Удивительно, но Штюльпнагель после этого сел за стол пить шампанское с шефом парижского гестапо, как будто ничего не произошло, оба явно были заинтересованы в том, чтобы не выносить сор из избы — Штюльпнагель потому, что был замешан в заговоре, а гестаповец — из смущения за то, что не разоблачил вовремя изменников, свивших свое заговорщическое гнездо в Париже.

Гиммлер был готов обрушить волну репрессий на подозреваемых в участии в заговоре с невиданной доселе силой, выкорчевав раз и навсегда всех тех, кто не был абсолютно предан Гитлеру. В результате последовавшей за этим чистки 16 генералов и два фельдмаршала попали в опалу. Волна арестов прокатилась по всей Германии, и любой, кто хоть что-то знал о подозреваемых, сам попадал под подозрение. Даже самого ничтожного отношения к заговору было для СД и гестапо достаточно для того, чтобы признать человека виновным. Была устроена серия показательных процессов, на которых главным обвинителем выступал судья Роланд Фрейслер. Приговор мог иметь только один вариант: шельмование, оскорбления, обвинительный вердикт и смерть. Но это не была почетная смерть солдата от залпа расстрельного взвода, чаще всего жертв в тюрьме Плетцензее подвешивали, снимая с мясных крюков, на тонкие пеньковые веревки, чтобы убедиться в медленном, агонизирующем удушении, которое снималось на кинопленку ради удовольствия Гитлера.

Была создана особая комиссия из четырехсот следователей гестапо с целью окончательной ликвидации последних заговорщиков. На весь рейх буквально был наброшен невод. Конечно же, РСХА воспользовалась этим подвернувшимся предлогом для сведения старых личных счетов. Повсеместно пышным цветом расцвело доносительство, поскольку все, кто был вовлечен в заговор, отчаянно пытались скрыть свою вину, донося на других. Глава СД Вальтер Шелленберг теперь воспользовался подвернувшейся возможностью выступить против адмирала Канариса и абвера. Появились свидетельства о том, что адмирал знал о готовящемся заговоре. Он был арестован и содержался — первоначально, по крайней мере, — под достаточно цивилизованным домашним арестом. Тем не менее, вскоре все изменилось — его бросили в подвалы зловещего гестапо, штаб-квартира которого располагалась на берлинской улице Принц-Альбрехтштрассе. Хотя Канариса и не подвергали физическим пыткам, он испытал тяжелейший психологический прессинг, прежде чем его бросили в концлагерь Флоссенбург, где за несколько дней до его освобождения войсками антигитлеровской коалиции он по приказу Гиммлера был казнен.