Николай Михайлович Рычков родился 20 ноября 1897 года в поселке Белохолуницкого завода Слободского уезда Вятской губернии, в простой рабочей семье. Его отец, Михаил Рычков, сын крепостного крестьянина, с 13-летнего возраста познал тяжесть труда. Он работал в Вятской губернии, в Баку, в Омске и, наконец, освоив профессию литейщика, перебрался на Урал, где до самой смерти, последовавшей в мае 1917 года, трудился на Надеждинском заводе в Кабаковске. Мать Н. М. Рычкова, вышедшая из семьи плотника, всю жизнь хлопотала по хозяйству. «Семья была большая, здоровье у отца слабое, и материальная нужда всегда была спутницей нашей жизни», — вспоминал позднее Рычков.

Николай рано приобщился к труду — надо было помогать отцу. С 12 лет он служил мальчиком на побегушках на том же заводе, где работал отец. Затем пристрастился к токарному делу и, пробыв долгое время в учениках, стал квалифицированным токарем по металлу. На Надеждинском заводе Николай Рычков работал до Февральской революции.

С юности Николай постоянно тянулся к знаниям, однако учиться ему почти не довелось. Когда семья проживала в Баку, он был принят в Пушкинское начальное училище, где пробыл два с половиной года. Но учеба его скоро закончилась, так как отец, изгнанный с работы за участие в забастовке, вынужден был перебраться на Урал. Там Николая учиться не приняли под предлогом отсутствия мест в школе. На самом деле, как вспоминал Н. М. Рычков, требовалась «смазка», другими словами — взятка, но его отец свободными деньгами не располагал. Николай по мере сил и возможностей занимался самообразованием, много, но бессистемно читал, однако ни в какие учебные заведения так и не поступил.

Еще до Февральской революции Рычков близко познакомился с некоторыми революционерами, которые снабжали его нелегальной литературой. После свержения царя, в марте 1917 года, когда на Надеждинском заводе стали создаваться первые партийные группы, Н. М. Рычков вступил в члены РСДРП(б). Рекомендовали его в партию рабочие Василий Соболев и Семен Маков. Сразу же после Октябрьской революции 19-летний Николай Рычков поступил на службу в советские органы. Первое время он был ответственным секретарем, а затем заведующим отделом Надеждинского Совета рабочих и солдатских депутатов. В 1918 году уральские рабочие избрали его делегатом V Чрезвычайного съезда Советов. В июле 1918 года для защиты молодой Советской власти ему пришлось взять в руки оружие и стать красногвардейцем. Н. М. Рычкову довелось сражаться на Восточном фронте, на Ялуторовском направлении. В октябре 1918 года он оставил военную службу и уехал на Урал, где до апреля 1919 года служил в Белохолуницкой и Слободской уездных чрезвычайных комиссиях. Затем способному молодому чекисту доверили более ответственный пост — он становится секретарем и членом коллегии Вятской губчека. Через три месяца его перевели на такую же должность в Пермскую губернию. В апреле 1920 года решением ЦК партии Н. М. Рычков был откомандирован на работу в военно-судебные органы Красной Армии. С мая 1920 по октябрь 1921 года он занимал должность заместителя председателя Революционного трибунала войск ВОХР Восточно-Сибирского округа в Красноярске, а затем в течение года — в Ревтрибунале 5-й армии в Иркутске.

В мае 1922 года была учреждена советская прокуратура. Военные прокуратуры округов и фронтов стали формироваться в августе — октябре 1922 года. Прокурорами назначались, главным образом, члены военных трибуналов и политработники. Первым прокурором военной коллегии Верховного трибунала при ВЦИК (позднее он именовался уже Главным военным прокурором) стал Николай Иванович Татаринцев, 30-летний большевик, бывший во время гражданской войны комбригом, а затем председателем военного трибунала 5-й армии.

Одним из первых военных прокуроров становится и Николай Михайлович Рычков. В октябре 1922 года Н. И. Татаринцев, его бывший начальник по ревтрибуналу 5-й армии, выдвинул Н. М. Рычкова на должность военного прокурора Восточно-Сибирского военного округа, откуда тот в феврале 1923 года был переведен в Западно-Сибирский и Сибирский округа (в Омске и Новосибирске). Там Рычков прослужил до апреля 1927 года. К этому времени в Прокуратуре Верховного суда СССР был образован отдел военной прокуратуры, возглавляемый помощником Прокурора Верховного суда СССР по военной коллегии и военной прокуратуре (он же — Главный военный прокурор). Постановлением ЦИК и СНК СССР от 20 августа 1926 года было утверждено и Положение о военных трибуналах и военной прокуратуре.

В мае 1927 года Н. М. Рычкова переводят в Москву помощником прокурора в отдел военной прокуратуры Верховного суда СССР, который тогда возглавлял Петр Ильич Павловский. Служба в аппарате военной прокуратуры продолжалась три года. В январе 1931 года ЦК ВКП(б) выдвинул Николая Михайловича на очень ответственный пост — члена военной коллегии Верховного суда СССР. Здесь он прослужил шесть лет. Именно в эти годы начал со страшной силой раскручиваться маховик репрессий, беспощадно перемалывавший судьбы сотен тысяч людей. Свою кровавую лепту в борьбу со всякого рода «контрреволюционерами», «вредителями» и иными «врагами народа» внесла и военная коллегия Верховного суда СССР во главе с такой одиозной личностью, как В. В. Ульрих. Конечно, член военной коллегии Н. М. Рычков был также одним из тех, кто приводил в движение зловещий маховик.

В октябре 1933 года Н. М. Рычков, как и все другие члены партии, в соответствии с решением ЦК ВКП(б) проходил чистку в комиссии партийной ячейки Прокуратуры СССР и Верховного суда СССР. Председателем комиссии был Магидов, членами — Усанов и Папьян. Николай Михайлович подробно рассказал о себе и своей служебной деятельности, ответил на заданные ему вопросы.

Первым в прениях выступил заместитель председателя Верховного суда СССР М. И. Васильев-Южин. Он сказал: «Товарищ Рычков один из самых вдумчивых членов военной коллегии, но по судебным делам в отдельных случаях им допускались ошибки. Например, был случай, когда он приговорил к высшей мере наказания машиниста. Надзорная тройка заменила долгосрочным лишением свободы. В остальном товарищ Рычков крепкий большевик».

Выступивший вслед за ним председатель военной коллегии В. В. Ульрих назвал Рычкова одним из лучших членов коллегии. Он не согласился с оценкой Васильева-Южина о том, что осуждение машиниста к расстрелу — судебная ошибка, так как тот, по его словам, был виноват.

Разбиравший это дело в качестве члена надзорной тройки Овсянников, не посмел пойти против Ульриха и также сказал, что судебной ошибки не было, но «надо было смягчить приговор».

Комиссия постановила: «Рычкова Н. М. считать проверенным».

Служба в органах военной юстиции принесла Н. М. Рычкову ряд наград. В 1928 году Реввоенсоветом республики он был награжден именными серебряными часами, а в 1933 году — золотыми. 20 августа 1937 года «за образцовое выполнение задания правительства» удостоен высшей награды — ордена Ленина.

К этому времени Николай Михайлович был женат на дочери профессионального революционера, Ариадне Михайловне Морозовой. Его жена работала тогда врачом-педиатром в клинике МГУ (после войны она была сотрудником Московского городского отдела здравоохранения). У Н. М. Рычкова было четверо детей: сыновья Виктор, Юрий и Борис и дочь Наталья. 28 августа 1937 года приказом Прокурора Союза ССР Вышинского Николай Михайлович Рычков был назначен прокурором республики. Пробыл он на этом посту пять месяцев. Когда он пришел в прокуратуру республики, то обнаружил, что на ряде важнейших участков центрального аппарата «положение было катастрофическим», особенно в отделе жалоб. Там без всякого движения лежали (большей частью в мешках) почти 20 тысяч жалоб и заявлений граждан, по словам Рычкова, «вплоть до личных, интимного порядка, писем помощников прокурора». В то время, как отдел был завален жалобами, оперативные отделы их почти не рассматривали. Еще более удручающее положение сложилось в областных прокуратурах. Служебная дисциплина была низкой. Направленные на места из Прокуратуры РСФСР жалобы, даже взятые на контроль, не рассматривались месяцами. На запросы прокуратуры республики местные прокуроры, по существу, не реагировали. Н. М. Рычков стал вызывать к себе прокуроров областей для личных объяснений по поводу тех или иных жалоб. К январю 1938 года Николай Михайлович решительно перестроил всю работу по рассмотрению жалоб, вследствие чего в Прокуратуре РСФСР вместо 20 тысяч остались нерассмотренными всего 650 первичных и повторных заявлений.