В декабре 1921 г. Серебрянский был арестован ВЧК за принадлежность к партии эсеров, но освобожден из-под стражи. В 1922–1923 г.г. работал в системе треста «Москвотоп».

В октябре 1923 г. вступил в кандидаты в члены ВКП(б).

В ноябре 1923 г., при содействии Блюмкина, был принят на должность особоуполномоченного Закордонной части ИНО ОГПУ и вскоре направлен на работу за рубеж. Вместе с Я. Блюмкиным выехал в Палестину, где в течение 2 лет действовал нелегально сначала в качестве помощника Блюмкина, а потом самостоятельно.

Перед отъездом Серебрянского принял зам. председателя ОГПУ В.Р. Менжинский, напутствовавший его пожеланием делать за границей «все, что будет полезно для революции». На Ближнем Востоке ему удалось надежно внедриться в подпольное сионистское движение, привлечь к сотрудничеству с ОГПУ большую группу иммигрантов-уроженцев России: А. Н. Ананьева (И.К. Кауфман), Ю.И. Волкова, Р.Л. Эске-Рачковского, Н.А. Захарова, А.Н. Турыжникова и других. Они и составили костяк боевой группы, известной позднее как «группа Яши». В 1924 г. к группе присоединилась жена Серебрянского Полина Натановна, которая, хотя официально и не работала в ИНО ОГПУ, постоянно сопровождала его в зарубежных поездках.

В 1925–1928 г.г. Серебрянский — нелегальный резидент ИНО ОГПУ в Бельгии и во Франции. В 1927 г. приезжал в Советский Союз, где успешно прошел партчистку и был принят в члены ВКП(б).

В апреле 1929 г. назначен начальником 1-го отделения ИНО ОГПУ (нелегальная разведка), одновременно оставаясь руководителем Особой группы («группа Яши») при председателе ОГПУ. Под этим названием действовало независимое от ИНО разведывательное подразделение, задачей которого являлось глубокое внедрение агентуры на объекты военно-стратегического характера на случай войны, а также проведение диверсионных и террористических операций.

Летом 1929 г. было принято решение о захвате и вывозе в Москву председателя Российского общевоинского союза (РОВС) генерала А.П. Кутепова, активизировавшего диверсионно-террористические действия на территории СССР. Вместе с зам. начальника КРО ОГПУ С.В. Пузицким Серебрянский выехал в Париж для руководства этой операцией. 26 января 1930 г. сотрудники «группы Яши» втолкнули Кутепова в автомобиль, сделали инъекцию морфия и доставили на борт советского парохода, стоявшего в порту Марселя. 30 марта 1930 г. за успешно проведенную операцию Серебрянский был награжден орденом Красного Знамени.

По завершении операции Серебрянский приступил к созданию автономной агентурной сети в различных странах для ведения разведывательной работы на случай войны. Был зачислен на особый учет ОГПУ. За границей лично завербовал более 200 человек.

В 1931 г. был арестован в Румынии, но вскоре освобожден и продолжил нелегальную деятельность. В 1932 г. выезжал в США, в 1934 г. — в Париж. 13 июля 1934 г. был утвержден руководителем Спецгруппы особого назначения (СГОН) при НКВД СССР. В ноябре 1935 г. Серебрянскому было присвоено звание старшего майора госбезопасности.

В 1935–1936 г.г. находился в командировке в Китае и Японии. После начала национально-освободительной войны в Испании занимался закупкой (частично нелегально) и поставкой оружия для республиканцев. Так, в сентябре 1936 г. — сотрудники Спецгруппы закупили у французской фирмы «Девуатин» 12 военных самолетов, которые доставили на приграничный с Испанией аэродром, откуда их под предлогом летных испытаний перегнали в Барселону. За эту операцию Серебрянский был награжден орденом Ленина.

В ноябре 1936 г. нелегалам СГОН с помощью агента М. Зборовского («Тюльпан»), внедренного в окружение сына Троцкого Л.Л. Седова, удалось захватить часть архива Международного секретариата троцкистов. Несколько ящиков с документами были переданы легальному резиденту ИНО в Париже г. Н. Косенко (Кислову) и переправлены в Москву.

В 1937 г. Л.Л. Седов («Сынок») по указанию отца приступил к подготовке I съезда IV Интернационала, который должен был состояться летом 1938 г. в Париже. В связи с этим Центр принял решение о похищении Седова. Проведение операции было поручено группе Серебрянского. План похищения «Сынка» был детально проработан. В подготовке операции участвовало 7 сотрудников Спецгруппы, в т. ч. и жена Серебрянского. Однако похищение Седова не состоялось — в феврале 1938 г. он умер после операции по удалению аппендицита.

Летом 1938 г. Серебрянский был отозван из Франции, а 10 ноября вместе с женой арестован в Москве у трапа самолета на основании ордера, подписанного Л.П. Берии. До февраля 1939 г. содержался под стражей без санкции прокурора. В ходе следствия, которое вел будущий министр МГБ B.C. Абакумов, а на более поздней стадии следователи С.Р. Мильштейн и П.И. Гудимович, Серебрянского подвергали т. н. «интенсивным методам допроса». По данным следственного дела, впервые был вызван на допрос 13 ноября 1938 г. На протоколе допроса имеется резолюция Берия: «Тов. Абакумову! Хорошенько допросить!»

Именно после этого на допросе 16 ноября 1938 г., в котором участвовал сам Л.П. Берия, а также Б.З. Кобулов и B.C. Абакумов, Серебрянский был избит и принужден дать ложные показания. 25 января 1939 г. он был переведен в Лефортовскую тюрьму (на допросе в 1954 г. Серебрянский показал, что еще до суда, т. е. на предварительном следствии он отказался от показаний, в которых признавал себя виновным и оговорил других).

7 июля 1941 г. Военная коллегия Верховного суда СССР приговорила Серебрянского, обвиненного в шпионаже в пользу Англии и Франции, связях с «заговорщиками» из НКВД во главе с Ягодой и подготовке терактов против советских руководителей, к высшей мере наказания, а его жену — к 10 годам лагерей «за недоносительство о враждебной деятельности мужа». Но приговор не был приведен в исполнение. Шла Великая Отечественная война, и разведке катастрофически не хватало опытных сотрудников. В августе 1941 г. благодаря ходатайству П.А. Судоплатова и вмешательству Л. П. Берия Серебрянский решением Президиума Верховного Совета СССР был амнистирован, восстановлен в органах НКВД и партии.

С 3 сентября 1941 г. Серебрянский — руководитель группы во 2-м отделе, с 18 января 1942 г. — начальник группы, начальник 3-го отделения 4-го управления НКВД-НКГБ СССР. С ноября 1943 г. — в особом резерве 4-го управления НКГБ СССР на должности руководителя группы. Сотрудником этого управления Серебрянский состоял все военные годы, лично участвуя во многих разведывательных операциях, руководил разведывательно-диверсионной работой в Западной и Восточной Европе. В качестве примера можно назвать вербовку взятого в плен немецкого адмирала Эриха Редера.

В мае 1946 г. вышел на пенсию по состоянию здоровья. Просил уволить в отставку, однако Управление кадров МГБ формулировку не изменило.

В мае 1953 г. приглашен П. А. Судоплатовым на работу в центральный аппарат МВД на должность оперативного работника негласного штата 9-го (Разведывательно-диверсионного) отдела. С июня 1953 г. — сотрудник ВГУ МВД СССР.

В июле 1953 г. уволен из МВД в запас Министерства обороны. 8 октября 1953 г. арестован. В декабре 1954 г. было отменено решение об амнистии от августа 1941 г. В связи с тем, что по уголовному делу, возбужденному в 1953 г., достаточных доказательств вины Серебрянского как участника заговорщической деятельности Берия, добыто не было, а его осуждение в 1941 г. было признано Прокуратурой СССР обоснованным, дело 1941 г. было направлено в Верховный суд СССР с предложением заменить расстрел 25 годами лишения свободы. 30 марта 1956 г. Серебрянский скончался в Бутырской тюрьме на допросе у следователя Военной прокуратуры Цареградского.

В мае 1971 г. решением Военной коллегии Верховного суда СССР приговор от июля 1941 г. был отменен и дело прекращено. Посмертно реабилитирован. В апреле 1996 г. Указом Президента РФ был восстановлен в правах на изъятые при аресте государственные награды.

Награжден 2 орденами Ленина (1936, 1946), 2 орденами Красного Знамени (1930, 1945), медалями, 2 знаками «Почетный работник ВЧК-ГПУ», именным оружием.