Рогинский в прокуратуре фактически был заместителем Крыленко. По свидетельству Крыленко, назначение Вышинского прокурором республики Рогинский воспринял «болезненно». «Он считал себя как бы обойденным, — вспоминал Николай Васильевич, — первое время отношения у них с Вышинским не налаживались, и я боялся, что они не сработаются». Однако все обошлось, и в апреле 1933 года Рогинский уже активно помогал Вышинскому в процессе английских инженеров. Вскоре они уже настолько «сработались», что когда в июле 1933 года Вышинский был назначен заместителем Прокурора Союза ССР, то он «потянул» за собой и Рогинского, причем, сделал это без согласия и ведома Крыленко. Последний объяснял это так: «Этот переход был вызван его явным недовольством мной, так как я колебался, выдвинуть ли его кандидатуру в прокуроры РСФСР». Крыленко пояснил, чем вызваны его колебания, дав такую характеристику Рогинскому: «Он был точным, исполнительным работником, хорошим администратором, очень нажимистым и резким (до грубости), но своего «я» политически ни во что не вносил, ни в область политических высказываний, ни в область теоретических дискуссий... Эта ограниченность его политического кругозора, его узость (а может быть, и заведомое скрывание и нежелание высказываться по острым вопросам) была причиной того, что я не выдвинул его кандидатуру в Прокуроры РСФСР».
С этого момента, вспоминал Крыленко, «началось резкое охлаждение наших личных отношений, вскоре перешедшее в очень натянутые, а в 1935 году — холодно-враждебные на почве вмешательства Прокуратуры Союза в управление личным составом прокуроров краев и областей, подчинявшихся одновременно и Прокуратуре Союза и Наркомюсту РСФСР».
В Прокуратуре Союза Рогинский занял должность старшего помощника прокурора, с «отнесением к его ведению отдела общего надзора за законностью» (приказ № 14 подписан Вышинским 31 августа 1933 года). В марте следующего года он в ранге старшего помощника стал уже заведующим сектором по делам промышленности, а 27 апреля 1935 года постановлением ЦИК СССР утвержден в должности второго заместителя прокурора Союза ССР. В эти годы Рогинский был легок на подъем и часто выезжал в командировки в различные местности Союза: Дальневосточный край, Закавказье, на Украину, в Свердловск, Ростов-на-Дону и другие. В качестве заместителя Прокурора Союза ССР он курировал первое время уголовно-судебный отдел и Главную военную прокуратуру. В марте 1936 года Вышинский поручил ему «систематический контроль и руководство работой» управлений и отделов по «вопросам улучшения качества предварительного расследования преступлений». Для проведения этой работы в его распоряжение был выделен ряд ответственных сотрудников аппарата, в том числе Строгович, Шейнин, Тадевосян.
После увольнения Ф. Е. Нюриной из прокуратуры республики Рогинский в августе 1937 года некоторое время исполнял обязанности прокурора РСФСР. Григорий Константинович являлся депутатом Верховного Совета РСФСР, был награжден орденом Ленина.
По свидетельству Э. Э. Левентона, бывшего работника прокуратур РСФСР и СССР, а впоследствии доцента Московского юридического института, Рогинский являлся «беспринципным, нечестным в отношении к людям человеком». Такую характеристику давал Рогинскому даже его двоюродный брат Марк Дубровский. Последний рассказывал, как Крыленко уговаривал Рогинского вступить в партию, а тот обсуждал — выгодно ли это для него. Дружил он лишь с «полезными» людьми и старался выдвигать по службе только тех, от кого ожидал личной выгоды.
Рогинский был непосредственно причастен к гибели многих людей, чьи обвинительные заключения он так бесстрастно утверждал. Среди них немало прокурорских работников, в том числе И. А. Акулов, Ф. Е. Нюрина, Н. В. Крыленко, когда-то облагодетельствовавший самого Рогинского. Направляя в суд дела в отношении бывших соратников, Рогинский, по воспоминаниям современников, не был твердо уверен и в собственной безопасности. Об этом свидетельствует такой факт. Во время приведения в исполнение приговора в отношении Акулова он присутствовал при казни вместе с заместителем наркома внутренних дел Фриновским. Акулов, обращаясь к Фриновскому, сказал: «Ведь вы же знаете, что я не виноват». Тогда Рогинский, который, по словам Шейнина, был «неспокоен за себя и делал все возможное, чтобы заручиться поддержкой и доверием со стороны работников НКВД», демонстрируя свою непримиримость к «врагу народа», стал осыпать бывшего прокурора Союза бранью. Впоследствии же в беседе с Шейниным он признавался, что далеко не убежден в действительной виновности Акулова, которого всегда считал «хорошим большевиком».
Основания опасаться за свою судьбу у Рогинского были веские. Вышинский мог «сдать» его органам НКВД в любое время, что он и сделал 25 мая 1939 года, направив лично начальнику Следственной части НКВД СССР Б. З. Кобулову строго секретное письмо. В нем сообщалось, что в уголовном деле бывших судебных и прокурорских работников Красноярского края, в частности, в показаниях Черепова, имеются данные о принадлежности Рогинского к контрреволюционной организации, существующей в органах прокуратуры. К письму были приложены подлинники протоколов допроса Черепова от 18 декабря 1938 года и 20 февраля 1939 года. Кобулов передал эти материалы для проверки своему помощнику Влодзимирскому.
До ухода Вышинского из Прокуратуры Рогинский продолжал выполнять свои обязанности. Дамоклов меч опустился на него только в августе 1939 года. Новый прокурор Союза Панкратьев 7 августа издал приказ, в котором «нашел» уважительную причину для увольнения Рогинского: «За преступное отношение к жалобам и заявлениям, поступающим в Прокуратуру Союза ССР, тов. Рогинского Григория Константиновича, несущего непосредственную ответственность за работу аппарата по жалобам и заявлениям, снять с работы заместителя прокурора Союза ССР».
На самом же деле причиной увольнения были не жалобы, которые тогда никого не интересовали, а некий мифический «заговор прокуроров», в котором будто бы участвовал и Рогинский. Кстати, сам он многих прокуроров отправил под суд именно по такому же подозрению.
Почти месяц после увольнения Рогинского не трогали. Он проживал в Москве, в доме, расположенном в Старопименовском переулке, вместе с женой Ириной Михайловной и 18-летним сыном Семеном.
5 сентября 1939 года Рогинский был арестован. Постановление на арест вынес помощник начальника следственной части НКВД СССР Голованов, завизировал его Кобулов, а утвердил нарком внутренних дел Берия. Санкцию на арест дал прокурор Союза Панкратьев (он и Берия сделали это только 7 сентября). В постановлении отмечалось, что «имеющимися материалами в НКВД Рогинский Г. К. достаточно изобличается как один из руководящих участников антисоветской правотроцкистской организации, существовавшей в органах прокуратуры». Далее приводились краткие выдержки из показаний бывших прокуроров: И. В. Малкина, М. Н. Еремина, Г. М. Леплевского и наркома юстиции Н. В. Крыленко.
В отличие от многих политических дел того времени, когда трагическая развязка наступала довольно скоро, дело Рогинского расследовалось почти два года. Первое время он держался очень стойко и категорически отрицал какую-либо причастность к антисоветским организациям. Судя по всему, на него было оказано жесточайшее психологическое давление, так как, согласно документам, имеющимся в деле, Рогинский стал проявлять в тюрьме «истерические реакции», которые выражались в плаксивости, боязни ложиться в кровать из-за того, что на него «падают стены и он проваливается в пропасть». В начале января 1940 года Рогинский был осмотрен врачами, которые констатировали, что он «душевной болезнью не страдает и обнаруживает ряд навязчивых ярких представлений неприятного характера, связанных со сложившейся для него ситуацией».
17 января 1940 года состоялась очная ставка Рогинского с одним из основных его «разоблачителей» бывшим прокурором Приморской области Любимовым-Гуревичем. По его словам Рогинский являлся активным участником антисоветской троцкистской организации. Григорий Константинович назвал эти показания «ложью и клеветой». Тем не менее в тот же день, устав от бесплодной борьбы, Рогинский написал письмо на имя Берии: «Настоящим заявляю, что прекращаю сопротивление следствию и стану на путь признания своей заговорщической работы против Советской власти. Подробные показания дам на следующих допросах. Я должен собраться с мыслями и вспомнить все подробности вражеской работы, как своей, так и своих сообщников».
