В изложении Меркулова, история его поступления на службу в ЧК проста и обыденна. Его больше не устраивала работа в школе для слепых, и он обратился к своему большевистски настроенному товарищу по гимназии Бошинджагяну. Тот обещал поговорить с кем надо и свел Меркулова с Такуевым из грузинской ЧК. В сентябре 1921-го Меркулова приняли на должность помощника уполномоченного транспортного отдела, а вскоре перевели на должность уполномоченного экономического отдела ЧК Грузии.

Через несколько месяцев после поступления Меркулова на службу в грузинскую ЧК пришёл Берия и сразу же стал заместителем председателя. Разумеется, он не мог не обратить внимание на такого подчинённого, поскольку он был в некотором роде уникумом. Чекисты в те времена не могли похвастать образованием. Образованные люди в ЧК идти не желали либо их туда не брали из-за недоверия. Так что два-три класса церковно-приходской школы уже считалось практически высшим образованием. Законченное среднее – это уже кандидат наук. А уж Меркулов с золотой гимназической медалью и тремя курсами столичного университета по местным меркам был практически академиком.

Поэтому всего за четыре года Меркулов вырос от помощника уполномоченного до начальника Экономического отдела. Правда, этот отдел всегда считался откровенно второстепенным. Но дальнейший карьерный рост был не за горами. В 1927 году Берия становится главой ГПУ, а Меркулова переводит руководить уже более значимым отделом – информации и политического контроля.

И, наконец, в 1929 году Меркулов возглавляет ключевое подразделение – секретно-оперативную часть (в свое время пост её руководителя занимал и сам Берия).

В 1931 году Берию переводят из ЧК в ЦК. Он становится первым секретарём грузинской компартии, т. е. главой республики. И сразу же забирает с собой Меркулова, который становится его помощником. За семь последующих лет Меркулов сменил немало постов. В последний год перед отъездом в Москву он был руководителем промышленно-транспортного отдела ЦК КП Грузии.

Для Меркулова Берия был не только благосклонным начальником, но и спасителем. Без его заступничества он мог легко вылететь и из ВКП(б), и из ГПУ в ходе регулярных кампаний чисток партии и проверок учета партийных документов. Поэтому особенно тяжело Меркулов переживал свою ошибку, когда в 1928-м в отсутствие Берии, поддавшись уговорам сослуживцев, тоже, как все, подал критическое заявление о невозможности работы с Берией. Потом каялся. И Берия его простил. С этих пор Меркулов был безмерно благодарен и особенно предан Берии, испытывая постоянное чувство вины за тот промах.

В 1934-м Меркулов стал заведующим отделом советской торговли Закавказского крайкома ВКП(б), с 1936-го возглавил особый сектор, а с июля 1937-го – промышленно-транспортный отдел ЦК КП(б) Грузии. Его партийная работа завершилась так же, как и началась. В сентябре 1938-го по предложению Берии он перешел вслед за ним на работу в НКВД в Москву. Как позднее писал Меркулов, «признаюсь, мне было тогда по приезде в Москву страшно тяжело работать в НКВД СССР, чего я никак не ожидал, едучи в Москву. С одной стороны, у меня не оказалось поначалу достаточных оперативных навыков <…>, с другой стороны, новые чекистские «методы», применявшиеся тогда и не известные мне до того времени (я ведь уже 7 лет был на партработе), меня крайне угнетали». Но ничего, Меркулов сдюжил. Он вошел в ближайший круг Берии, хотя и отмечал ревниво, что в Москве Берия к нему охладел и ценит больше Богдана Кобулова. В знак приближенности и особого доверия своих ближайших соратников Берия наградил шутливыми кличками. Меркулова звал – Меркулич.

В 1938 году Берию перевели в Москву, поручив руководить Главным управлением госбезопасности и сделав заместителем наркома Ежова. Для борьбы с начальником Берии была нужна команда, и он выписал в Москву почти всё своё окружение. Позднее на допросах Меркулов утверждал, что, по его мнению, причиной его возвышения был тот факт, что он являлся единственным русским в окружении Берии. Тот предпочитал опираться на свой кавказский клан, но Кремлю не понравилось, что Берия окружил себя сплошь грузинами, и часть людей ему даже пришлось отослать назад. Таким образом, Меркулов был идеальной и гарантированно проходящей кандидатурой на роль первого заместителя.

Сам Меркулов нашёл в лице Берии могущественного защитника и заступника, который мог прикрыть его от любых нападок. В конце концов, он был дворянином, офицером и вдобавок роднёй живущего в Америке царского генерала. В любой момент его могли изгнать из партии, а в 30-е – и вовсе расстрелять. Не только карьера, но и жизнь Меркулова в значительной степени зависели от покровительства Берии.

Но и Берия нуждался в своём подчинённом. Меркулов был хорошо образован и умён. Когда Берия ушёл на партийную работу, ему часто приходилось выступать с речами. Нередко Меркулов брал на себя функции спичрайтера и писал или редактировал речи своего начальника.

В конце 1938 года Берия «съел» Ежова и сам стал наркомом внутренних дел. Меркулов переместился на должность первого заместителя. А в 1941 году он и сам становится наркомом. За несколько месяцев до войны НКВД было разделено на два наркомата: внутренних дел, который остался под контролем Берии, и государственной безопасности, который возглавил Меркулов.

Однако уже через месяц после начала войны наркоматы вновь были сведены вместе, а Меркулов переместился на должность первого заместителя. Только в 1943 году, после очередного разделения, он вернул должность наркома госбезопасности. НКВД теперь контролировал лагеря, внутренние и пограничные войска, а также милицию, а в ведении НКГБ были разведка и контрразведка.

В декабре 1938-го Меркулов возглавил Главное управление госбезопасности и стал 1-м заместителем наркома внутренних дел. Берия поручал ему самые важные дела и расследования. По его указанию Меркулов лично отвез тело насмерть забитого на допросе маршала Блюхера на кремацию. Именно на допросе у Меркулова 13 апреля 1939-го после пяти месяцев молчания «сознался» в участии в «ежовском заговоре» Ефим Евдокимов – человек с легендарным анархистско-эсеровским прошлым, поступивший в 1919-м на службу в ЧК. Отказавшись от этих признаний на суде, Евдокимов заявил, что не выдержал: «Меня сильно били по пяткам».

Нельзя сказать, что Меркулов хорошо подходил для новой должности. Оставаясь заместителем Берии, человеком в его тени, он нёс ответственность как исполнитель, а не как руководитель. Но теперь он самостоятельно возглавлял важнейшее ведомство, к чему не имел большой охоты. Так что отчасти он был подставным лицом, позволявшим Берии сохранять своё влияние сразу в двух наркоматах. В действительности львиную долю работы в НКГБ выполнял 1-й заместитель Меркулова Кобулов.

Кобулов входил в ближайшее окружение Берии и был одним из самых доверенных его людей. Фактически именно в руках Кобулова и было сосредоточено руководство ключевыми вопросами ведомства. Об этом говорят два факта. Во-первых, Кобулов обладал неслыханной привилегией – он был единственным из первых заместителей, который лично ходил на доклады к Сталину. Во-вторых, достаточно сравнить количество наград двух руководителей. У Меркулова был орден Ленина, орден Красного знамени, орден Кутузова 1-й степени и тувинский орден Республики. Не самый внушительный наградной список. Зато у его помощника Кобулова – три ордена Ленина, пять орденов Красного знамени, два ордена трудового Красного знамени, ордена Суворова, Кутузова и Отечественной войны 1-й степени.