Последующие годы, вплоть до прихода к власти Гитлера, Канарис провел на кораблях флота или на береговых должностях. Есть сведения, что в 1923 году он познакомился с Гитлером, Гессом, Г. Штрассером и Шлейхером, по поручению последнего предпринял ряд поездок за рубеж с особо секретными поручениями, связанными с налаживанием в Испании, Финляндии, Голландии и Японии производства различных видов военной техники по германским образцам. Если бы Гитлер не пришел к власти, Канарис, занимавший в это время спокойный пост командира береговой базы, должен был бы выйти в отставку… Но, как оказалось, главное в его жизни было еще впереди.
Приход Канариса в Абвер совпал по времени с завершением первого, «полутайного» периода милитаризации Германии в годы нацистской диктатуры. Военная верхушка давно ждала наступления заветного дня. В начале 1933 гола Гитлер потребовал от генералитета приведения армии в течение восьми лет в состояние полной боеготовности к битве за «жизненное пространство». Однако проблема Верховного командования, стратегического руководства быстро растущим военным механизмом была практически не решена. Предметом напряженной, внешне малозаметной борьбы между несколькими группами генералов, адмиралов и высших офицеров был вопрос об организации аппарата Верховного командования, роли в нем министра обороны (военного министра), главы государства — Гитлера, командований сухопутной армией, военной авиацией и флотом.
Бломберг, военный министр и его ближайший помощник генерал Рейхенау пытались создать новый генеральный штаб вооруженных сил, который бы стоял над главными штабами видов вооруженных сил. Главнокомандующий армией генерал Фрич, а особенно генерал Бек, его помощник Манштейн отстаивали доминирующую роль армии. По их плану Генеральный штаб армии должен был исполнять функции главного штаба вооруженных сил, а главком армии стать главным советником Гитлера по военным вопросам. Геринг, а равно и Редер, относились отрицательно к планам армейских генералов. Они выступали за фактическую независимость руководимых ими видов вооруженных сил, обосновывая это тем, что будущая война якобы может быть выиграна не на земле, а в воздухе или на океанских просторах. Это самым непосредственным образом сказалось на развитии механизма военной разведки. Параллельно действовали органы «отраслевой» секретной службы, отсутствовали их координация и единый аппарат анализа, оценки и обобщения полученной информации.
Наиболее мощной разведывательной организацией до начала второй мировой войны оставался Абвер. Он несколько раз реорганизовывался, превратившись в целое Управление в аппарате Верховного командования. В его задачи входило обеспечение информацией о стратегических планах предполагаемых противников и состоянии их обороны. На Абвер была возложена также подготовка диверсий во враждебных государствах.
Центральный аппарат Абвера, располагавшийся до начала войны в том же старом здании на Тирпицуфер, разделялся на пять подотделов. Основными оперативными подразделениями были А-I, А-II и А-III, осуществлявшие руководство соответственно шпионажем, диверсиями и контрразведкой. Четвертый подотдел «Заграница» («Аусланд») — руководил службой военных атташе, а пятый «Центральный» выполнял вспомогательные задачи.
Одной из центральных фигур в Абвере был майор Генерального штаба Ганс Пикенброк, официальный заместитель Канариса, начальник А-I. Этот сын богатого бюргера родился в Эссене в 1893 году, в 1914 году добровольно вступил в имперскую армию и в 1915 году стал гусарским лейтенантом. Поражение в войне не привело к крушению его военной карьеры, хотя он и не принадлежал к офицерской элите — службе Генерального штаба, представители которой заняли лучшие места в веймарском рейхсвере. С Канарисом Пикенброк поддерживал доверительные отношения, но не был посвящен в особо тайные акции шефа. Работники центрального аппарата сами непосредственно не вели работу с агентами и знали их лишь по бумагам. Они координировали деятельность тех, кто этим реально занимался: оперативных филиалов (резидентур) в Германии и за ее пределами, а также поддерживали связи с другими органами секретной службы, получали и распределяли «заказы», пересылая полученные данные в аналитические подразделения генеральных штабов видов вооруженных сил. Отдел очень редко вмешивался в ход конкретных операций.
«А-I» делился на несколько специализированных секций, каждая из которых ведала сбором информации отдельно об армии, флоте, авиации, военной экономике (технике вооружения). Одна группа занималась шпионской техникой — фотоаппаратурой, портативными радиостанциями, симпатическими чернилами, разработкой и внедрением других средств и методов конспиративной связи между секретными агентами и их руководством. Особое внимание уделялось изготовлению подложных документов, которыми снабжались агенты. Этой работой ведал опытный специалист, некий Альберт Мюллер, по профессии химик, начавший свою деятельность еще при Николаи. Большинство сотрудников А-I были знатоками своего дела и принадлежали к категории «офицеров Е» — так называли тех, кто прибыл в Абвер из гражданской сферы, но в прошлом был кадровым офицером.
С ноября 1935 года диверсионно-саботажную службу Абвера возглавлял капитан Генерального штаба Гельмут Гроскурт. Его биография была типичной для той части немецкой буржуазной молодежи, которая была охвачена патриотическим угаром и брошена в окопы мировой войны. Ее участь в свое время блестяще описал Эрих Мария Ремарк в известном романе «На Западном фронте без перемен». После войны уцелевшие, преждевременно постаревшие юноши оказались часто по разные стороны баррикад в бурных политических событиях тех лет: одни стали членами тайных террористических ультраправых организаций, другие — коммунистами или социал-демократами. Гроскурт принадлежал к первой группе.
В феврале 1916 года 18-летний сын протестантского пастора из Вестфалии, даже не закончив курс гимназии, вступил добровольцем в 75-й пехотный полк, а в сентябре был уже ранен в тяжелых боях на Сомме. Находясь в отпуске после госпиталя, он сдает экзамены на аттестат зрелости, а затем возвращается на фронт. В сентябре 1917 года — второе ранение во Фландрии и британский плен, где его застает сообщение о производстве в чин лейтенанта.
Возвратившись в октябре 1919 года на родину, Гроскурт тотчас вступает в рейхсвер, устанавливает связь с террористами и заговорщиками, группировавшимся вокруг капитана Эрхардта. Затем он сближается с более умеренным «Стальным шлемом». В апреле 1920 года Гроскурт увольняется с военной службы, поступает в Гейдельбергский университет, где штудирует агрономию, а потом становится управляющим имением. По-видимому, увлечение мирной профессией оказалось временным. В 1924 году он возвращается на военную службу.
После окончания Военной академии в 1935 году Гроскурт направляется в Абвер. Несмотря на кратковременное пребывание в ведомстве Канариса — в конце 1938 года он был откомандирован на другое место службы — Гроскурт принадлежал к числу наиболее доверенных лиц в окружении шефа. Он вступил в группу оппозиционно настроенных к Гитлеру офицеров и играл значительную роль в разработке планов переворота еще в последние два года перед войной. Вероятно, если бы он не оказался на фронте и не попал в плен под Сталинградом в 1943 году, то принял бы активное участие в событиях 20 июля 1944 года и был казнен. Впрочем, он не надолго пережил участников заговора — Гроскурт умер в плену в России.
Преемником Гроскурта стал Эрвин Лахузен-Вивремон. Офицер австрийской службы, глава службы разведки Генерального штаба в Вене, он сотрудничал с Канарисом еще до аншлюса Австрии. Это и сыграло главную роль в решении назначить его руководителем диверсионного подразделения в Абвере.
Третьим, контрразведывательным направлением Абвера ведал в первые годы администрации Канариса майор Генерального штаба Рудольф Бамлер. Военная контрразведка в определенной степени занималась и политическим сыском в вооруженных силах и на предприятиях военной промышленности. Она самым тесным образом сотрудничала с гестапо — ведущим полицейским органом «третьего рейха», ведавшим контрразведкой и подавлением политических противников режима.
