В Прокуратуре Союза ССР сохранялись Главная военная прокуратура, Главная транспортная прокуратура (с выделением из нее водной прокуратуры), прокуратуры по спецделам, сектор надзора за местами лишения свободы и управление делами.
Новая структура Прокуратуры Союза ССР и нижестоящих прокуратур, как и следовало ожидать, оказалась недолговечной. Искусственное разделение прокуратуры по производственному принципу не дало желаемых результатов, и менее чем через три года (при Прокуроре Союза ССР А. Я. Вышинском) органы прокуратуры вновь перешли на работу по функциональному принципу, который с теми или иными изменениями сохранился и в наше время.
Неоценимую роль в деле дальнейшей централизации органов прокуратуры сыграло первое Всесоюзное совещание судебных и прокурорских работников. Оно открылось 23 апреля 1934 года в здании Прокуратуры Союза ССР. Доклад «Решения XVII партсъезда и задачи органов юстиции» сделал Прокурор Союза ССР И. А. Акулов. В своем полуторачасовом выступлении он остановился на всех наиболее актуальных вопросах практической деятельности прокуроров, судей и народных следователей, проанализировал задачи, стоящие перед органами юстиции на современном этапе, обратив особое внимание участников совещания на целом ряде «недочетов и извращений» и предложив конкретные меры по их устранению. Как писала тогда пресса, «докладчик говорил просто, без малейшей погони за вычурной красной фразой».
В руководстве работой прокуратуры на местах И. А. Акулов проявлял большую оперативность и требовал этого же от своих подчиненных. Он был противником «бумажного руководства», очень быстро подмечал самые больные вопросы, на которые всегда остро реагировал. В целях коллективной выработки наиболее важных решений, И. А. Акулов организовал в Прокуратуре СССР так называемое оперативное совещание, порядок работы которого определялся специальным приказом (прообраз будущей коллегии).
При И. А. Акулове Прокуратурой Союза ССР был учрежден собственный журнал «За социалистическую законность» (позднее стал называться «Социалистическая законность», а в настоящее время — «Законность»). Первый номер журнала был подписан в печать в конце января 1934 года. Ответственным редактором его стал Акулов.
1 декабря 1934 года в Смольном выстрелом из револьвера был убит член Президиума ЦИК СССР и Политбюро ЦК ВКП(б), секретарь Центрального и Ленинградского областного комитетов ВКП(б) Сергей Миронович Киров. Его убийцу Л. В. Николаева задержали на месте преступления.
Расследование этого дела — одна из самых темных страниц истории советской прокуратуры. Прокурор Союза ССР И. А. Акулов оказался в полной зависимости от работников НКВД, которые разрабатывали только ту версию убийства, которую выдвинул И. В. Сталин. Он не противодействовал незаконным методам ведения следствия и фактически потворствовал нарушителям законности. Формально Акулов, его заместитель Вышинский и следователь Шейнин также допрашивали обвиняемых, но допросы сводились лишь к оформлению предварительно «выбитых» показаний.
Трагические события, происшедшие 1 декабря 1934 года, фактически развязали руки властям для организации массовых репрессий по всей стране. Но чтобы не проводить их без оглядки на строгие рамки законности, нужно было срочно изменить сам закон. Уже в день убийства С. М. Кирова Сталин распорядился подготовить соответствующий документ. На следующий день было опубликовано постановление, принятое ЦИК СССР 1 декабря 1934 года, «О внесении изменений в уголовно-процессуальное законодательство», подписанное М. И. Калининым и А. С. Енукидзе (текст постановления собственноручно писал нарком внутренних дел Г. Г. Ягода, а редактировал И. В. Сталин). Новый закон был предельно кратким, жестоким и беспощадным. Он устанавливал, что по делам о террористических актах следствие должно заканчиваться в срок не более 10 дней, а обвинительное заключение — вручаться за сутки до рассмотрения дела в суде; эти дела слушались без участия сторон (то есть без прокурора и адвоката), по ним не допускались ни кассационное обжалование, ни подача ходатайства о помиловании. Приговор к высшей мере наказания приводился в исполнение немедленно. Другими словами, подсудимый полностью отдавался в руки судей, которые и решали его судьбу. Судьи же целиком зависели от властей. Ошибку (если даже она и была бы признана) исправить было уже невозможно.