1 декабря 1934 года в Смольном был убит С. М. Киров, и в стране развернулась кампания по искоренению врагов народа, работать в прокуратуре стало неизмеримо труднее. Усилилась всеобщая подозрительность, выслеживались и жестоко наказывались любые, даже мимолетные связи с троцкистами или зиновьевцами. В этот водоворот случайно попал и Волин, но уцелел. Летом 1935 года он вновь оказался в городе на Неве. В сентябре 1935 года А. А. Волин занял должность помощника прокурора Володарского района Ленинграда, а в июне 1936 года стал прокурором одного из центральных районов города – Смольнинского. Здесь располагались Ленинградский обком партии, Ленсовет, другие городские и областные организации.

Вспоминая свою работу в Ленинграде, Волин рассказывал: «В то время были в моде так называемые показательные процессы. Если правильно понимать их, то они проводились не для показухи, не для устрашения, а для воспитания и профилактики. Мы старались, чтобы судебные процессы доходили до сознания аудитории. К примеру, на одном из процессов дает показания несун, уличенный в хищении с завода сумки с набором специальных инструментов: „Я знаю, что это нехорошо, но у нас в цеху такая обстановка, что инструменты не учитываются. Вот и берешь. Берут и другие, но не все попадаются". – „Но ведь вы уже второй раз стоите здесь по такому же делу. Где же ваша рабочая совесть?" – „Совесть-то есть, гражданин прокурор, но, понимаете, принесешь с завода домой хоть болванку, и как-то легче на душе". На другом публичном процессе обвиняемый в крупном мошенничестве на вопрос судьи: „Скажите, подсудимый, что способствовало вам развить столь бурную деятельность?" – ответил:,Лестно сказать – знакомства и связи". Это вызвало у присутствующих бурную реакцию, свидетельствующую о том, что процесс был поучительным».

28 сентября 1937 года Прокурор РСФСР Н. М. Рычков направил ходатайство на имя Прокурора Союза ССР Вышинского с просьбой назначить Волина вторым заместителем Прокурора РСФСР. В этом письме, в традициях того времени, особо подчеркивалось, что Волин в других партиях не состоял, партвзысканиям не подвергался. Сведений о принадлежности его к оппозициям и антипартийным группировкам не имеется. После продолжительной проверки по линии органов госбезопасности Волин 1 января 1938 года был назначен заместителем прокурора республики.

Начинать свою работу в Прокуратуре РСФСР Волину пришлось в очень непростой обстановке. «Меня не коснулась роковая круговерть тех лет, – вспоминал он, – но я насмотрелся, как судьба играет человеком, когда исчезает то один, то другой партийный, советский или иной деятель. Иногда приходила в голову мысль: а надолго ли я прописан в Москве? Но прошло немного времени, и я уже вполне мог ощутить, что Москва живет двойной политической жизнью – одной, официальной, на виду, другой – скрытой, в кругу семьи или друзей. Неистовствовал глубоко ложный накал бдительности, порой переходящий в явный психоз, повсюду выискивались враги народа и их пособники, повсюду шла острая борьба с так называемым либерализмом и примиренчеством к врагам народа, вызывая обстановку, которой пользовались действительные враги народа, карьеристы, различного рода проходимцы да лица, сводившие личные счеты.

Подметные письма, клевета, ложные доносы стали распространенным оружием в избиении честных людей. Всякий доносчик, боровшийся с либерализмом и примиренчеством, считался надежным, бдительным человеком, а сомневающийся, а тем более защищающий считался подозрительным, если не прямым пособником врагов народа. Все это наводило на многих людей страх и неуверенность в завтрашнем дне, страх за жизнь мужей, отцов, братьев, сестер.

Заканчивался процесс Бухарина и других видных деятелей. Ошеломляли покаянные, униженные признания подсудимых, которые, как позже стало известно, были заранее согласованы в Кремле. Что творилось на Старой площади и на Лубянке, не знал никто, в том числе, как это ни удивит современников, прокурор республики и я, его заместитель.

Не обзаведясь еще новыми друзьями, я чувствовал себя в Москве одиноким, не с кем было поделиться сокровенным. В те дни многие старались показать себя истинными революционерами, но искренне отваживались говорить только вдвоем; третий мог оказаться доносчиком».

25 июля 1939 года Волин был назначен Прокурором РСФСР сроком на пять лет.

С первых же дней работы в должности прокурора республики А. А. Волин стал проявлять самостоятельность по наиболее принципиальным вопросам и при отстаивании своей точки зрения не боялся идти на конфликт даже с всесильным в то время заместителем Прокурора Союза ССР Г. К. Рогинским (он осуществлял надзор за органами НКВД).

Прокуратура республики в те годы непосредственно не вела расследования по так называемым контрреволюционным делам и не надзирала за этими делами (исключение составляла только статья 58–10 о контрреволюционной агитации). Что касается грубейших нарушений законности по таким делам, то, как отмечал Волин, прокуратура республики была вынуждена действовать в общей системе сложившегося тогда партийно-государственного режима. «Но в то же время не могу не отметить гражданского мужества многих прокуроров, пытавшихся противостоять творившемуся произволу, необоснованным репрессиям, стремившихся протестовать против незаконных и необоснованных обвинений, – писал он. – В некоторых, правда, надо признать крайне редких, случаях им удавалось отстоять свои позиции, не допустить незаконного и необоснованного привлечения к уголовной ответственности невиновных граждан. Немало таких прокуроров поплатились своей карьерой, а некоторые были необоснованно осуждены».

Вспоминая, А. А. Волин рассказывал, когда ему самому приходилось снимать нелепые обвинения в контрреволюционных преступлениях. Директор одного небольшого завода в Калуге, заканчивая доклад на торжественном собрании, посвященном годовщине Октябрьской революции, неожиданно для присутствующих произнес здравицу: «Да здравствует Троцкий!»

Его обвинили в антисоветской пропаганде и агитации и приговорили по статье 58–10 УК РСФСР к пяти годам лишения свободы. Проверив это дело в порядке надзора, Волин пришел к убеждению в невиновности директора, так как неосторожное выражение он произнес автоматически. Протест прокурора республики Верховный суд РСФСР удовлетворил.

А вот другие примеры. Командира Красной армии обвинили в покушении на террористический акт и осудили за то, что он, находясь на даче, занимался тренировочной стрельбой из пистолета по плакату на котором был изображен Сталин (донес об этом в органы его сосед). Волин и по этому делу направил протест, который Верховный суд РСФСР удовлетворил.

Некий бывший князь В., проживавший в коммунальной квартире, обратился в народный суд с иском о выселении соседки А. Суд в иске отказал. Тогда под диктовку князя его жена написала в Ленинградское областное управление милиции заявление о том, что А. является врагом народа и систематически ведет антисоветскую агитацию. Следствие было недолгим.

Соседку князя арестовали, и она была приговорена к пяти годам лишения свободы с поражением в правах на три года. Спецколлегия Верховного суда РСФСР, куда поступила жалоба осужденной, не нашла оснований к пересмотру приговора. Дело попало к А. А. Волину и впервые было тщательно изучено. Прокурор убедился в том, что следствие велось поверхностно и небрежно. По его протесту Верховный суд РСФСР отменил приговор и направил дело на дополнительное расследование. Впоследствии А. была освобождена из-под ареста, а бывший князь и его жена сами попали под суд за злостную клевету.

«Но такие протесты, – говорил Волин, – проходили с большим трудом. Очень давила на сознание судей сложившаяся судебная практика и общая обстановка в стране. Понятно, что этими примерами я отнюдь не хочу хоть как-то смягчить оценку той страшной трагедии, того произвола и беззакония, которые творились в стране в те годы. Они лишь свидетельствуют о том, что если была малейшая возможность спасти хоть одного человека от этого произвола, то добросовестные прокуроры и судьи использовали эту возможность».