20 июня 1933 года ЦИК и СНК СССР приняли постановление « Об учреждении Прокуратуры Союза ССР». Его подписали председатель ЦИК М. Калинин, председатель СНК В. Молотов (Скрябин) и и. о. секретаря ЦИК А. Медведев. В постановлении отмечалось, что Прокуратура Союза ССР учреждается «в целях укрепления социалистической законности и должной охраны общественной собственности по Союзу ССР от покушений со стороны противообщественных элементов»

Создание Прокуратуры Союза ССР было крупным и исключительно своевременным шагом в деле дальнейшей централизации и независимости органов прокуратуры. В соответствии с принятым постановлением она осуществляла надзор за соответствием постановлений и распоряжений отдельных ведомств Союза, союзных республик и местных органов власти Конституции и постановлениям Правительства Союза ССР; наблюдение за правильным и единообразным применением законов судебными учреждениями союзных республик с правом истребования любого дела в любой стадии производства, опротестования приговоров и решений судов в вышестоящие судебные инстанции и приостановления их исполнения; возбуждение уголовного преследования и поддерживание обвинения во всех судебных инстанциях по территории Союза ССР; надзор на основе особого положения за законностью и правильностью действий ОГПУ, милиции, уголовного розыска и исправительно-трудовых учреждений; общее руководство деятельностью прокуратур союзных республик.

21 июня 1933 года постановлением ЦИК СССР первым прокурором Союза ССР был назначен известный государственный и политический деятель Иван Алексеевич Акулов. Его заместителем стал Андрей Януарьевич Вышинский.

Акулов узнал о своем назначении в санатории «Мухалатка» в Крыму, где он отдыхал с семьей. Вернуться в Москву он сумел только через несколько дней, поэтому первое время заниматься делами, связанными с организацией союзного прокурорского органа, пришлось Вышинскому. 23 июня он издал приказ № 1 по Прокуратуре Союза ССР следующего содержания: «Согласно постановления Центрального Исполнительного Комитета и Совета Народных Комиссаров от 20 июня 1933 года об учреждении Прокуратуры Союза ССР и на основании постановления ЦИК Союза ССР от 21 июня с. г. о назначении тов. Акулова Ивана Алексеевича прокурором Союза ССР и моего назначения заместителем Прокурора Союза ССР, я, ввиду нахождения тов. Акулова И. А. в очередном отпуске впредь до его возвращения вступил во вр[еменное] испол[нение] обязанностей прокурора СССР».

Так началась служба Вышинского в Прокуратуре Союза ССР, продолжавшаяся шесть лет. И. А. Акулов не был юристом и вообще не имел никакого высшего образования, опыт работы в органах правопорядка у него был незначительный — в 1931 году он являлся первым заместителем председателя ОГПУ. При таких обстоятельствах основная тяжесть по реорганизации прокурорского надзора легла на плечи Вышинского. В это время он работал исключительно много и неустанно: занимался комплектованием аппарата Союзной прокуратуры, готовил тексты многих приказов и указаний (некоторые из них подписывал сам), а также проекты постановлений ЦИК и СНК СССР, связанные с прокурорским надзором.

Прокуратура разместилась в старинном особняке, построенном еще в 1824 году и расположенном в глубине большого двора (некогда сада) по улице Большая Дмитровка, 15а (с 1937 года до начала 90-х годов улица носила название Пушкинская). В то далекое время, когда появился этот особняк, весь участок принадлежал 39 военному генерал-губернатору Москвы светлейшему князю Д. В. Голицыну. Его наследники продали весь участок московским купцам братьям Востряковым, которые надстроили третий этаж к основному зданию и соорудили еще несколько невысоких корпусов, предназначенных для сдачи внаем горожанам.

В 1905 году часть дома была арендована литературно-художественным кружком, основанным столичными писателями и театральными деятелями в 1899 году. Директорами правления кружка были поэт В. Брюсов, певец Л. Собинов, артист А. Сумбатов-Южин. С 1909 года здесь проходили знаменитые «среды» писателя Н. Телешова. В здании бывали поэты и писатели К. Бальмонт, А. Белый, И. Бунин, М. Горький, М. Волошин, В. Вересаев, А. Толстой, З. Гиппиус, Д. Мережковский, художники В. Серов, А. Васнецов, артисты М. Ермолова, А. Ленский, Г. Федотова и многие другие известные люди, в их числе ученые, юристы, врачи, политики. К этому времени основное здание было несколько перестроено, появился большой зал, где устраивались литературные чтения, дискуссии, художественные выставки. Бывали в доме и зарубежные знаменитости, здесь, например, чествовали писателя Эмиля Верхарна. Когда началась Первая мировая война, Литературно-художественный кружок прекратил свое существование, а многие помещения здания были отданы под лазарет для раненых.

После Октябрьской революции в особняке некоторое время размещался Пролеткульт. В 1919 году сюда переместился МК ВКП(б). Здесь работали известные революционеры секретари МК А. Ф. Мясников (Мясникян), Ф. А. Сергеев (Артем), размещались редакции газет «Рабочая Москва», «Вечерняя Москва», партийно-кооперативное издательство «Московский рабочий». 23 апреля 1920 года в большом зале прошел торжественный вечер в честь 50-летия В. И. Ленина. Под сводами этого дома звучал и голос В. Маяковского, читавшего партактиву свои поэмы «Владимир Ильич Ленин» и «Хорошо». Современный вид здание приобрело в 1926—1927 годах, когда оно было надстроено и заново оформлено.

17 декабря 1933 года ЦИК и СНК СССР утвердили Положение о Прокуратуре Союза ССР. Это был один из самых важных законодательных актов, уточнявших функции органов прокуратуры. Над ним Вышинский работал особенно упорно. Положение устанавливало, что прокурор Союза назначается ЦИК СССР, а его заместитель утверждается Президиумом ЦИК. Прокурор Союза был ответствен только перед Совнаркомом, ЦИК СССР и его Президиумом. Положение оставило основные задачи и функции Прокуратуры в том виде, в каком они провозглашались в постановлении об ее учреждении. Однако в нем конкретизировались некоторые принципиальные вопросы. Например, предусматривалось, что надзор за правильным и единообразным применением законов судебными учреждениями и следственными органами союзных республик осуществляется как прямо, так и через прокуроров союзных республик. Прокурор Союза получил право давать необходимые указания органам расследования. Уточнялось, что он возбуждает уголовное преследование и поддерживает обвинение по делам, подсудным Верховному суду СССР, непосредственно, а по делам, подсудным судебным органам союзных республик, — как непосредственно, так и через прокуроров союзных республик; надзор за законностью и правильностью деятельности ОГПУ осуществляет непосредственно. Для этих целей при прокуроре Союза состояла прокуратура по специальным делам, возглавляемая его старшим помощником. Военные и транспортные прокуратуры, входившие в систему Прокуратуры Союза, действовали на основании особых положений.

Положение устанавливало, что прокурор Союза ССР вправе был давать прокурорам союзных республик указания, касающиеся их деятельности, созывать совещания всех прокуроров для обсуждения важнейших вопросов, а также производить обследования и проверки деятельности прокуратур союзных республик и получать от них отчеты. С прокурорами автономных республик, краев, областей и районов он связывался, как правило, через прокуроров союзных республик, а в случаях, не терпящих отлагательства, непосредственно, но с уведомлением об этом прокуроров соответствующих республик. Указания и распоряжения прокурора Союза были обязательны для всех органов прокуратуры.

Прокуроры союзных республик назначались и отзывались прокурором Союза ССР по согласованию с ЦИК союзных республик, а краевые, областные прокуроры и прокуроры автономных республик — назначались и отзывались с согласия Прокурора Союза. Прокуроры по спецделам в союзных и автономных республиках, краях и областях, а также прокуроры по надзору за ОГПУ назначались и отзывались только прокурором Союза ССР.

Положение предусматривало, что Прокуратура Союза состоит из отделов, возглавляемых старшими помощниками или помощниками прокурора Союза. Число отделов и штаты устанавливались прокурором Союза по согласованию с Наркоматом рабоче-крестьянской инспекции.