В октябре 1923 года стал кандидатом в члены ВКП(б) и уже в ноябре 1923 года, при содействии Блюмкина, принят на работу особоуполномоченным Закордонной части ИНО ОГПУ, а вскоре переведен в резерв ОК (Отдел кадров) с прикомандированием к ИНО, в связи с направлением на закордонную работу. В декабре 1923 года вместе с Блюмкиным выехал в Палестину, где в течение двух лет действовал с нелегальных позиций – сначала в качестве помощника Блюмкина, а потом самостоятельно.
Находясь на Ближнем Востоке, Серебрянскому удалось надежно внедриться в подпольное сионистское движение, привлечь к сотрудничеству с ОГПУ большую группу иммигрантов – уроженцев России: А. Н. Ананьева (он же И. К. Кауфман), Ю. И. Волкова, Р. Л. Эске-Рачковского, Н. А. Захарова, А. Н. Турыжникова и ряд других. Они и составили костяк его боевой группы, известной позднее как «группа Яши».
В 1924 году к Серебрянскому присоединилась его жена Полина Натановна, которая, хотя официально и не работала в ИНО ОГПУ, постоянно сопровождала его в многочисленных зарубежных поездках.
В 1925–1928 годах нелегальный резидент ИНО ОГПУ в Бельгии и во Франции. В 1927 году приезжал в СССР, где успешно прошел партчистку и был принят в члены ВКП(б).
В марте 1929 года вернулся в Москву. С 1 апреля 1929 года назначен начальником 1-го отделения ИНО ОГПУ (нелегальная разведка), одновременно руководителем Особой группы («группа Яши») при председателе ОГПУ. Под этим названием действовало независимое от ИНО разведывательное подразделение, задачей которого являлось глубокое внедрение агентуры на объекты военно-стратегического характера на случай войны, а также проведение диверсионных и террористических операций.
Летом 1929 года было принято решение о похищении и вывозе в Москву председателя РОВС генерала А. П. Кутепова, активизировавшего диверсионно-террористическую деятельность на территории СССР.
1 января 1930 года Серебрянский был переведен в резерв ОГПУ и вскоре вместе с заместителем начальника КРО ОГПУ С. В. Пузицкимвыехал в Париж для руководства этой операцией.
В воскресенье 26 января 1930 года сотрудники опергруппы Серебрянского втолкнули Кутепова в стоявший рядом автомобиль, сделали инъекцию морфия и доставили на борт советского парохода, стоявшего в порту Марселя.
30 марта 1930 года за удачно проведенную операцию Серебрянский был награжден орденом Красного Знамени.
По завершении этой операции Серебрянский приступил к созданию автономной агентурной сети в различных странах для организации диверсий на случай войны.
20 июля 1930 года он был зачислен на особый учет ОГПУ. Работая за границей, лично завербовал 200 человек.
В 1931 году был арестован в Румынии, но вскоре освобожден и продолжил свою деятельность.
В 1932 году выезжал в США, а в 1934 году – в Париж.
В 1935 году по поручению Генриха Ягоды содействовал организации токсикологической лаборатории НКВД.
13 июля 1934 года утвержден руководителем Спецгруппы особого назначения (СГОН) при НКВД СССР.
В 1935–1936 годах находился в спецкомандировке в Китае и Японии.
После начала Гражданской войны в Испании советское правительство приняло решение о поставках в Мадрид оружия. Причем часть его нелегально закупалась в Европе. Занимались этим практически все резидентуры ИНО НКВД и ГРУ, в том числе и «группа Яши». Так, в сентябре 1936 года сотрудники Спецгруппы закупили у французской фирмы «Девуатин» 12 новых военных самолетов, которые доставили на приграничный с Испанией аэродром. Откуда их под предлогом летных испытаний благополучно перегнали в Барселону. За эту операцию в декабре 1936 года Серебрянский был награжден орденом Ленина.
В ноябре 1936 года нелегалам СГОН, которыми непосредственно руководил Б. М. Афанасьев, с помощью агента М. Зборовского(«Тюльпан»), внедренного в окружение сына Троцкого Льва Седова, удалось похитить часть архива Международного секретариата троцкистов. Несколько ящиков с бумагами было передано легальному резиденту ИНО в Париже Г. Н. Косенко (Кислову), а затем отправлено в Москву.
С декабря 1936 года – начальник Спецгруппы Секретариата НКВД СССР.
Одним из объектов разработки советской разведки в этот период был Лев Седов («Сынок»). В 1937 году по указанию отца он приступил к работе по организации 1-го съезда IV Интернационала, который должен был открыться летом 1938 года в Париже. В связи с этим Центр принял решение о похищении Седова. Проведение операции было поручено Серебрянскому.
План похищения «Сынка» был детально проработан. В подготовке операции участвовало 7 сотрудников Спецгруппы, в том числе и жена Серебрянского. Однако похищение Седова так и не состоялось – в феврале 1938 года он умер после операции по удалению аппендикса.
Летом 1938 года Серебрянский был отозван из Франции и 10 ноября 1938 года вместе с женой арестован в Москве прямо у трапа самолета. До 13 февраля 1939 года содержался под стражей без санкции прокурора. 21 февраля 1939 года был уволен из НКВД в связи с арестом.
В ходе следствияСеребрянского подвергали так называемым интенсивным методам допроса – избиениям. Он был принужден дать подложные показания. 25 января 1939 года был переведен в Лефортовскую тюрьму.
На допросе в 1954 году Серебрянский показал, что еще до суда, т. е. на предварительном следствии, он отказывался от показаний, в которых признавал себя виновным и оговаривал других.
В результате 4 октября 1940 года следователем СЧ (Следственная часть) ГУГБ НКВД лейтенантом ГБ Перепелицей было составлено следующее обвинительное заключение:
«ОБВИНИТЕЛЬНОЕ ЗАКЛЮЧЕНИЕ
10 ноября 1938 г. органами НКВД СССР был арестован подозреваемый в шпионской деятельности СЕРЕБРЯНСКИЙ Яков Исаакович.
Проведенным по делу следствием установлено, что СЕРЕБРЯНСКИЙ, в прошлом активный эсер, дважды арестовывался органами ОГПУ и при содействии разоблаченных врагов народа проник в органы советской разведки.
В 1924 г., будучи в Палестине, был завербован эмигрантом ПОКРОВСКИМ для шпионской деятельности в пользу Англии.
В 1927 г. СЕРЕБРЯНСКИЙ по заданию английской разведки перебросил из Палестины в СССР группу шпионов-террористов в лице ТУРЫЖНИКОВА, ВОЛКОВА, АНАНЬЕВА, ЗАХАРОВА и ЭСКЕ, которых впоследствии в лаборатории спецгруппы ГУГБ подготавливал к диверсионной и террористической деятельности на территории СССР. Через ТУРЫЖНИКОВА СЕРЕБРЯНСКИЙ передавал английской разведке шпионские сведения о политическом и экономическом положении Советского Союза.
В 1933 г. СЕРЕБРЯНСКИЙ был завербован разоблаченным врагом народа ЯГОДОЙ в антисоветскую заговорщическую организацию, существующую в органах НКВД.
По заданию ЯГОДЫ СЕРЕБРЯНСКИЙ установил шпионскую связь с французской разведкой, которую информировал о деятельности советской разведки за кордоном, добывал сильнодействующие яды для совершения террористического акта над руководителями партии и советского правительства.
В предъявленном обвинении виновным себя признал».
Практически такое же обвинительное заключение было предъявлено и его жене.
7 июля 1941 года Военная коллегия Верховного суда СССР приговорила Я. И. Серебрянского к высшей мере наказания с конфискацией имущества, а его жену – к 10 годам лагерей «за недоносительство о враждебной деятельности мужа».
Но приговор, вынесенный «Яше», не был приведен в исполнение. Уже началась Великая Отечественная война, и разведке катастрофически не хватало опытных сотрудников. В августе 1941 года благодаря ходатайству Павла Судоплатова и вмешательству Лаврентия Берии Серебрянский решением ПВС СССР от 9 сентября 1941 года был амнистирован, освобожден из заключения с прекращением уголовного дела и снятием судимости, восстановлен в органах и партии.
С 3 сентября 1941 года – руководитель группы во 2-м отделе, с 18 января 1942 года – нач. группы, нач. 3-го отделения 4-го Управления НКВД / НКГБ СССР.
С 6 ноября 1943 года – в особом резерве 4-го Управления НКГБ СССР на должности руководителя группы. В рядах 4-го Управления Я. И. Серебрянский прошел всю войну, лично участвуя во многих разведывательных операциях. Как пример можно назвать вербовку взятого в плен немецкого гросс-адмирала Эриха Редера [76].