В отличие от ВЧК ГПУ уже ближе к облику стандартной спецслужбы. В нем уже своя чекистская форма, знаки различия и четкая иерархия в его рядах, а в снабжении и финансировании сотрудники ГПУ с 1922 года приравнены к командному составу Красной армии. С 1923 года в только что созданном СССР председатель ГПУ в обязательном порядке входил в состав советского правительства – Совнаркома на правах отдельного наркома (министра) с теми же министерскими правами. На самом деле прав и полномочий у главы ГПУ было побольше, чем у иного наркома. Во всяком случае, Дзержинского, Менжинского и Ягоду в стране знают люди даже не самые подкованные в нашей истории, а вот кто в это время возглавлял Наркомат внутренних дел или Наркомат связи – ответить смогут уже явно не все из них.

Главными отделами в ГПУ стали три составляющие с 1922 года. Это Секретно-политическое управление под началом Менжинского (с уходом его на пост председателя ГПУ эту должность занял Агранов), Экономическое управление во главе с Канцнельсоном (позднее его сменил Прокофьев) и управление войск ГПУ под началом Воронцова. Отдельное и изолированное положение в ГПУ занимал Иностранный отдел (ИНО ГПУ) для внешней разведки, которым руководил до конца 20-х годов Трилиссер, а затем Артузов. До перехода на должность главы внешней разведки в ГПУ Артур Артузов руководил другим важнейшим отделом контрразведки – КРО ГПУ. Спецотдел по контролю за чистотой рядов в партии большевиков и по работе с оперативной техникой тоже занимал особое положение внутри ГПУ, им все 20 – 30-е годы, вплоть до своего ареста в 1937 году, руководил Глеб Бокий. Отделом охраны важнейших руководителей страны поначалу руководил создавший отдел охраны Ленина еще в ВЧК чекист Беленький, но в ГПУ его позднее сменил Шанин, а в начале 30-х годов – Паукер, одновременно бывший начальником Оперативного отдела. Юридическим отделом ГПУ руководил Фельдман, одновременно возглавлявший курсы подготовки кадров при ГПУ. Наконец, важным Особым отделом по военной контрразведке в рядах Красной армии руководил сам Генрих Ягода, а после его перехода в первые заместители председателя ГПУ в 1924 году на его место назначен Ольский. Транспортным отделом командовал поставленный на этот пост еще Дзержинским в ВЧК Благонравов. Почти все эти руководители ГПУ 20-х годов и члены коллегии ГПУ занимали высокие посты и в ВЧК времен 1918–1922 годов, и почти все они перебиты после 1936 года в Большой террор.

Чуть позднее, в 1929 году, в ГПУ прошла небольшая реорганизация, когда Ягода в роли первого заместителя председателя ГПУ окончательно укрепился в ранге неформального главы этой спецслужбы при уже больном Менжинском, а вторым заместителем назначен переведенный из руководителей Ленинградского ГПУ Станислав Мессинг. Другой заместитель Менжинского и одновременно начальник разведки ИНО ГПУ Трилиссер в это время из-за конфликта с Ягодой и вообще из-за своих непримиримых троцкистских высказываний покинул все чекистские посты и ушел на другую работу, именно вместо него переведен из Ленинграда Мессинг. Тогда же в ГПУ впервые создано отдельное управление исправительно-трудовых лагерей во главе с Эйхмансом, из которого позднее разрастется по стране страшными метастазами ГУЛАГ.

А в 1931 году после большого скандала в верхушке ГПУ вокруг дела царских офицеров в РККА (дело «Весна») и изгнания из рядов ГПУ ряда руководителей из видных дзержинцев эту спецслужбу вновь тряхнули перемены. Мессинг в числе главных бунтарей был убран из заместителей председателя, а в компании с Ягодой замами на Лубянке оказались Акулов и Балицкий. Но окончательно утвердившийся в качестве негласного шефа Лубянки Генрих Ягода вскоре «подвинул» обоих назначенцев власти, вытеснив Акулова из ГПУ вообще в прокуратуру, а Балицкого – на его прежнее место главы Украинского ГПУ. Взамен в заместителях оказались близкие к Ягоде чекисты Прокофьев и Агранов. После 1933 года «команда Ягоды» занимала в ГПУ все ключевые посты: Буланов – секретариат коллегии ГПУ, Гай – Особый отдел, Артузов – ИНО ГПУ, Молчанов – Секретно-политический отдел, Миронов – Экономический отдел, Бокий – Спецотдел, Кишкин – Транспортный отдел, Благонравов – Отдел шоссейных дорог, Берман – управление лагерей, Фриновский – войска ГПУ и пограничные войска, Паукер – Оперативный отдел и правительственную охрану. В таком составе ГПУ встретило переломный для него 1934 год, когда сначала умер Менжинский, а летом того же года ГПУ слито с ведомством внутренних дел в одну большую спецслужбу – Наркомат внутренних дел (НКВД) СССР.

Внутри единого НКВД в 1934–1940 годах непосредственно госбезопасностью и разведкой занималось его Главное управление госбезопасности (ГУГБ НКВД), куда в большей степени уместили за некоторыми исключениями бывшее ГПУ и чей начальник с 1934 года был первым заместителем наркома НКВД. Другие управления НКВД (Рабоче-крестьянской милиции, Пожарное, командования войсками НКВД, ГУЛАГ – управление лагерей и т. д.) занимались в этой спецслужбе своими прежними обязанностями, их сотрудников часто даже не именовали «чекистами», хотя формально все они теперь тоже работали в одной большой спецслужбе с чистыми чекистами из ГУГБ. Из прежнего ГПУ в новом едином НКВД в отдельное управление кроме ГУЛАГа выделили еще и Управление погранвойск и внутренней охраны (ГУПВО). Вся разведка, контрразведка, госбезопасность, Оперативный отдел и охрана первых лиц государства оставались отделами в ГУГБ НКВД. Важность этой части в НКВД была таковой, что нарком Ягода поначалу проигнорировал даже указание ЦК поставить во главе ГУГБ своего заместителя Агранова, сохраняя руководство ГУГБ за собой, пока его не одернули с верхов власти. Сам Ягода всего два года просидел на вожделенном посту наркома этого большого НКВД и походил в пошитом лично для него маршальском мундире генерального комиссара госбезопасности, в 1936 году он убран из НКВД, а в следующем году арестован и вместе со многими людьми из своей команды расстрелян. На его место наркома НКВД на Лубянку пришел Николай Ежов, а во главе ГУГБ оказался Фриновский, после короткого и страшного периода ежовщины отстреляли и их команду.

Двадцатые годы после окончания Гражданской войны и создания Советского Союза являются особым периодом жизни советских спецслужб. Это, в первую очередь, организационная перестройка спецслужбы из ЧК времен Гражданской и военного коммунизма в полноценный аппарат госбезопасности мощного государства. Это же отчасти касалось и смены приоритетов в работе, на смену массовым расстрелам и действиям в тылах белых армий шла долгая работа по прочесыванию политического поля в молодом СССР, по добиванию антибольшевистской оппозиции, за рубежом же – профессиональная работа разведки против антисоветской эмиграции и иностранных государств. Кроме того, весь этот период сейчас, с высоты прожитых страной лет, кажется для ГПУ во многом экспериментальным и подготовительным, когда чекисты понемногу и дозированными порциями пробовали все то, что в 30-х годах разовьется в большое дерево тотальных репрессий и закончится эпохой Большого террора.

При этом необходимость качественной перестройки работы и освоения новых методов понимали и сами ветераны чекистского фронта. В первую очередь речь шла о переходе на условия работы в мирное время, понимаемом Дзержинским со товарищи как столь же безжалостное подавление любого сопротивления советской власти, но при более четкой и отчасти более бюрократичной системе тотального контроля над обществом. В записке Дзержинского в Совнарком от 18 февраля 1922 года, как раз в дни создания ГПУ, говорилось: «В предположении, что вековая ненависть революционного пролетариата против поработителей поневоле выльется в целый ряд бессистемных кровавых эпизодов, причем возбужденные элементы народного гнева сметут не только врагов, но и друзей, я стремился провести систематизацию карательного аппарата».