Уже по этим изменениям можно судить о все увеличивающемся объеме дел, подлежащих пересмотру. В связи с этими законодательными актами Генеральный прокурор СССР издал целый ряд приказов и указаний, которыми был установлен порядок рассмотрения жалоб и заявлений от лиц, отбывающих наказание по решениям коллегии ОГПУ, троек НКВД—УНКВД и Особого совещания при НКВД—МГБ—МВД СССР. Руденко и его заместители направили на места и другие секретные указания и приказы, касающиеся пересмотра уголовных дел, возбужденных по 58-й статье. Лица, необоснованно привлеченные к уголовной ответственности, подлежали трудоустройству, пенсионному обеспечению; время пребывания в местах лишения свободы и в ссылке засчитывалось в трудовой стаж, им должны были предоставлять в первоочередном порядке жилую площадь и т. д. Закон об этих льготах имел обратную силу, то есть распространялся и на лиц, освобожденных до его принятия. Этот нормативный акт был постоянно в поле зрения органов прокуратуры, как, впрочем, и другие подобного рода законы. Снимались с учета некоторые категории спецпоселенцев, восстанавливались права немцев, калмыков, греков, болгар, армян, чеченцев, ингушей, карачаевцев и членов их семей.
Так начиналась первая волна реабилитации жертв политических репрессий, пока еще выборочная и осторожная, но с каждым годом все более набирающая силу.
Происходящие перемены работники органов прокуратуры воспринимали с глубоким и искренним удовлетворением. Их не надо было специально «натаскивать» или подгонять. Чувство «законности» было им все же присуще. Другое дело, что проявлять его во времена сталинщины могли далеко не все, ведь на это требовалось особое мужество. Но когда очистился «политический воздух», повеяло переменами, прокуроры стали, пожалуй, самыми активными сторонниками новых идей. И это всячески поддерживал и приветствовал Генеральный прокурор, часто подавая личный пример своим подчиненным. Вспоминая Романа Андреевича тех лет, многие современники отмечали, что они действительно увидели в нем прокурора — проводника прогрессивных идей. Прежде всего потому, что был он личностью незаурядной. Старший помощник Руденко, С. В. Тюрин, знавший его много лет, писал о нем: «Мудрый, неторопливый в решениях, он чрезвычайно тщательно, осмотрительно подходил к решению любой проблемы. По некоторым вопросам он не один раз откладывал принятие решений, пока не находил наиболее правильное. Порой могло показаться, что это идет от некоего консерватизма либо нерешительности. Так некоторые и воспринимали его осторожность. Но это глубоко ошибочное представление! В те времена умный и порядочный человек не мог иначе действовать на таком важном государственном посту. А от него действительно многое зависело... Он предпочитал лучше выждать, воздержаться до поры от скоропалительных решений, пока, как говорят, не улягутся страсти вокруг очередной сомнительной идеи или кампании. Это было глубоко осознанное поведение большого государственного человека, единственно верное в тех исторических условиях... Именно понимание государственной важности своих позиций заставляло его проявлять осмотрительность».
С особой тщательностью Руденко подходил к подготовляемым в аппарате приказам и указаниям. «По несколько раз возвращал он такие документы на доработку, каждое слово в них взвешивал, искал точные, безупречно выверенные в правовом отношении формулировки, — вспоминал Тюрин. — Случалось, что даже после подписания документов он еще и еще раз возвращался к ним, перечитывал и перепроверял свои сомнения».
Надо ли говорить, с какой взвешенностью подходил Генеральный прокурор ко всем вопросам, связанным с реабилитацией жертв политических репрессий, особенно когда наступил второй ее период, более массовый.
В начале января 1955 года он пригласил к себе только что назначенного заместителя главного военного прокурора Бориса Алексеевича Викторова и поручил ему формирование и руководство специальной группой военных прокуроров и следователей, которая должна незамедлительно заняться рассмотрением писем и заявлений с просьбами о реабилитации.
Б. А. Викторов вспоминал, что Руденко сказал ему тогда: «Следует добиться, чтобы мнение у народа о военной юстиции изменилось в лучшую сторону. Пока прокуратура больше преуспела в том, чтобы как можно удачнее прикрыть свое или чужое беззаконие, погасить жалобы. Не исключено, что придется ставить вопрос об отмене неправосудных приговоров... Для восстановления честного имени не может быть никаких сроков давности. Чтобы принимать обоснованные решения, придется производить заново всестороннее объективное расследование. В этом примут участие сотрудники КГБ. Его аппарат в основном обновился, пришли новые люди, честные и принципиальные».
При этом он подробно разъяснил Викторову самые неотложные задачи: сформировать группу, проинструктировать людей, наладить работу, сочетая ее со специальной подготовкой и учебой. Для того чтобы лучше уяснить себе, как производилось в те годы следствие, Руденко порекомендовал Викторову ознакомиться с делами бывшего наркома внутренних дел Ежова, его заместителя Фриновского, а также с делами Берии, Абакумова, Рюмина, где факты беззакония и произвола были обнажены до предела.
Викторову удалось быстро сформировать группу, в которую вошли в основном бывшие фронтовики, окончившие после войны Военно-юридическую академию, в частности, Б. С. Нарбут, А. Г. Торопкин.
При создании специальной группы речь шла о реабилитации не только лиц, осужденных по политическим процессам, проводившимся до войны, но и жертв так называемого «военного времени», то есть лиц, которые вследствие тех или иных «обстоятельств» попали в плен, хранили случайно оказавшиеся у них фашистские листовки и т. п. Руденко предупредил, что могут быть «попытки поставить под сомнение правильность осуждения действительных врагов Советской власти, активных пособников фашистов, карателей, допустить реабилитацию таких лиц ни в коем случае нельзя».
В первые же дни работы специальной группы возникло множество вопросов, с которыми Викторов обратился к Руденко. В частности, есть ли политическое решение о массовом пересмотре дел прошлых лет и т. п. Вот что, по словам Викторова, Роман Андреевич ответил: «Поведение ваших товарищей объяснимо, им нелегко сразу воспринять все то, что вы им сообщили. Просят сослаться на решение о пересмотре дел прошлых лет? Что же, так привыкли. Не верят на слово? В академии так учили. Всем нам придется столкнуться с тем, что оценки некоторых событий и их участников, казавшиеся неизменными, нужно будет пересмотреть. Сделать это надо во имя истины, справедливости и правды истории. А решение будет. Оно готовится».
Руденко лично занимался вопросами реабилитации. Он подписал сотни постановлений следственных органов, признававших обвинения тех или иных лиц необоснованными и недоказанными, и вносил их на рассмотрение Верховного суда СССР. Он принял многих бывших узников, членов их семей, лично знакомил людей со следственными делами, разъяснял им права. Словом, помогал чем только мог.
Среди первых реабилитированных были и расстрелянные бывшие руководители Прокуратуры СССР и Прокуратуры РСФСР и их близкие: первый прокурор Союза И. А. Акулов и его жена Н. И. Шапиро, бывшие прокуроры республики Н. В. Крыленко, В. А. Антонов-Овсеенко и его жена Софья Ивановна, Ф. Е. Нюрина, Н. М. Янсон и его жена Л. Ф. Петрулевич и другие.
Конечно, без политического решения реабилитация жертв репрессий не смогла бы принять столь массовый характер. В январе 1956 года Президиумом ЦК КПСС была образована комиссия по изучению материалов о политических репрессиях в стране в период 1935—1940 годов. Ее возглавил секретарь ЦК КПСС, академик П. Н. Поспелов. В нее вошли также секретарь ЦК КПСС А. В. Аристов, Председатель ВЦСПС Н. М. Шверник, заместитель председателя Комитета партийного контроля при ЦК КПСС П. Т. Комаров. Активное участие в работе комиссии принимал и Генеральный прокурор Союза. Выводы комиссии легли в основу секретного доклада «О культе личности и его последствиях», произнесенного первым секретарем ЦК КПСС Н. С. Хрущевым 25 февраля 1956 года, в последний день работы ХХ съезда КПСС. В докладе впервые было сказано о беззакониях и произволе, творимых органами внутренних дел и государственной безопасности не только с попустительства, но и по прямому указанию И. В. Сталина.