10 июля 1934 г. был образован общесоюзный Народный комиссариат внутренних дел. ОГЛУ при СНК СССР было упразднено, а на базе его оперативно-чекистских отделов создано Главное управление государственной безопасности, вошедшее в состав НКВД СССР. В состав ГУ ГБ НКВД СССР вошло девять отделов, в том числе Особый отдел, штатная численность которого составляла 225 человек.
Согласно приказу НКВД СССР «Об организации органов НКВД на местах» от 13 июля 1934 г., Особые отделы и Особые отделения ОГПУ при соединениях и частях РККА и РККФ были переименованы соответственно в Особые отделы и Особые отделения Главного управления государственной безопасности НКВД, с непосредственным подчинением Особым отделам управлений государственной безопасности республиканских, краевых (областных) управлений НКВД.
Для руководства особыми отделами НКВД и выполнения задач, возложенных на Особые отделы по центральному аппарату Народного комиссариата обороны СССР, Народного комиссариата Военно-морского флота и Главного управления пограничных и внутренних войск НКВД СССР организовывался Особый отдел НКВД СССР армии и флота, входящий в состав Главного управления государственной безопасности НКВД СССР. В местах дислокации управлений военных округов, отдельных армий и флотов создавались особые отделы НКВД округов, отдельных армий и флотов, непосредственно подчиненные Особому отделу НКВД СССР. При армейских группах, корпусах, флотилиях, дивизиях и бригадах, укрепленных районах и крупных военных объектах (военные училища, склады и т. д.) создавались особые отделы (отделения, группы и уполномоченные) НКВД, подчинявшиеся во всех отношениях соответствующим особым отделам НКВД военного округа отдельной армии или флота.
С 25 декабря 1936 г. Особый отдел ГУГБ стал именоваться 5-м отделом ГУГБ НКВД СССР. 28 марта 1938 г. состоялось решение Политбюро ЦК ВКП(б) об очередной реорганизации НКВД и ликвидации ГУГБ — новая структура НКВД СССР была объявлена приказом НКВД СССР № 00362 от 9 июня 1938 г. В его состав вошли три управления: 1-е — Государственной безопасности, 2-е — Особых отделов, 3-е — Транспорта и связи[80].
Деятельность особых отделов флотов была регламентирована совместным приказом НКВМФ и НКВД СССР № 0056/007 от 17 января 1939 г., в котором были определены специальные задачи по борьбе с контрреволюцией, шпионажем, диверсией, вредительством и всякого рода антисоветскими проявлениями в Рабочекрестьянской Красной армии, Военно-морском флоте и пограничных и внутренних войсках НКВД.
Начальники особых отделов флотов, флотилий и соединений в них назначались народным комиссаром внутренних дел СССР по согласованию с народным комиссаром Военно-морского флота СССР. Назначение оперуполномоченных особых отделов при частях, на кораблях, в соединениях флота, флотилий, военноучебных заведениях и складах согласовывалось с военными советами флотов, командующими и военкомами флотилий. Назначение начальника Особого отдела НКВД СССР, начальников особых отделов флотов (флотилий) и начальников особых отделов соединений флота объявляется также приказом народного комиссара Военно-морского флота СССР.
Кроме того, Особый отдел НКВД СССР выполнял специальные задания народного комиссара обороны СССР и народного комиссара Военно-морского флота, а на местах — военных советов соответствующих округов, армий и флотов (командующих и военкомов флотилий).
Начальнику Особого отдела НКВД СССР предписывалось своевременно и исчерпывающе информировать Народный комиссариат Военно-морского флота СССР (наркома, его заместителей, а по отдельным вопросам по указанию народного комиссара Военно-морского флота — начальников центральных управлений Народного комиссариата Военно-морского флота) о всех недочетах в состоянии частей Рабоче-крестьянского Военно-морского флота и обо всех проявлениях вражеской работы, а также обо всех имеющихся компрометирующих материалах и сведениях на военнослужащих, особенно на начальствующий состав. На местах особые отделы флотов информируют соответствующие военные советы, особые отделения НКВД флотилий и соединений флота — командиров и комиссаров флотилий соответствующих соединений флота, а оперуполномоченные при отдельных частях, учреждениях и заведениях РКВМФ — соответствующих командиров и комиссаров этих частей. Начальники особых отделов и отделений флотилий, соединений флота входили в состав военно-политических совещаний и информировали эти совещания о недочетах в политико-моральном состоянии частей, их боевой подготовке и снабжении[81].
Система управления обеспечения государственной безопасности и поддержания правопорядка в Советском Союзе накануне Великой Отечественной войны представляла собой многоуровневую и многозвенную иерархическую структуру в виде Наркомата внутренних дел СССР. К началу 1941 г. НКВД СССР представлял собой многоотраслевой орган административного надзора, в структуру которого входили подразделения, занимавшиеся обеспечением государственной безопасности (разведка, контрразведывательная работа, в том числе в системе НКО и НКВМФ, борьба с антисоветской деятельностью, охрана высших должностных лиц государства, шифровальное дело, политический контроль), охраной общественного порядка (правоохранительная деятельность), пограничной, внутренней, пожарной охраной, организацией исполнения наказания (содержание тюрем, исправительно-трудовых лагерей, трудовых поселений) и трудового использования заключенных и спецпоселенцев (экономическая и научно-техническая деятельность). Громоздкость структуры НКВД СССР, разноплановость его функций создавали существенные проблемы управления государственной безопасностью.
Стремясь изменить ситуацию, в начале февраля 1941 г. было проведено реформирование системы управления государственной безопасности. Указом Президиума Верховного Совета СССР от 3 февраля НКВД СССР был разделен на Народный комиссариат внутренних дел (нарком — Л.П. Берия) и Народный комиссариат государственной безопасности (НКГБ, нарком — В.Н. Меркулов). Оба наркомата были союзно-республиканскими.
Согласно постановлению ЦК ВКП(б) и СНК СССР от 8 февраля 1941 г. Особые отделы ГУ ГБ НКВД СССР передавались в ведение Наркомата обороны и Наркомата военно-морского флота, в составе которых были образованы третьи управления НКО и НКВМФ, подчинявшиеся непосредственно соответствующим наркомам. В рамках реализации указанного постановления был издан совместный приказ НКВД СССР и НКГБ СССР от 12 февраля 1941 г., регламентировавший порядок передачи дел в контрразведывательные подразделения различных ведомств[82].
На вновь образованное Третье управление НКВМФ были возложены задачи по предупреждению и пресечению шпионажа, диверсий, вредительства, антисоветских проявлений на флоте. Начальником 3-го управления НКВМФ был назначен дивизионный комиссар А.И. Петров. Соответствующие преобразования были проведены и в особых отделах флотов и военных флотилий. Особый отдел Северного флота был преобразован в 3-й отдел штаба Северного флота, Особый отдел Тихоокеанского флота — в 3-й отдел штаба Тихоокеанского флота. Соответствующие реорганизации происходили и в структурах контрразведки Амурской, Дунайской, Каспийской и Пинской флотилий. Начальники третьих подразделений по флотам, флотилиям и ниже имели двойное подчинение: по линии командования и по всей вертикали 3-го управления НКВМФ.
Для координации деятельности разведок и контрразведок различных ведомств, борьбы с «антисоветским элементом», выработки общих методов работы, дачи установок и указаний по отдельным делам и запросам, затрагивающим интересы соответствующих органов НКГБ, НКО, НКВМФ и НКВД, разрешения возникающих разногласий, в Москве был образован Центральный совет по координации агентурно-оперативной и следственной работы органов НКГБ, Третьего отдела НКВД и Третьих управлений Наркомата обороны и Наркомата военно-морского флота, в состав которого вошли наркомы государственной безопасности и внутренних дел, начальники третьих Управлений НКО и НКВМФ. Аналогичные советы из представителей органов НКГБ, НКВД и третьих отделов НКО и НКВМФ создавались в военных округах[83].