Узнав о перевороте, Микоян поспешил в город. Но здесь его ждало еще одно горькое известие – большинство активных деятелей Бакинской коммуны было арестовано. Впрочем, и новая власть – так называемая «диктатура Центрокаспия» – продержалась в Баку лишь до середины сентября. Англичане не сумели приостановить турецкое наступление. Началась поспешная эвакуация. В день вторжения турецких войск в Баку Микоян руководил освобождением Степана Шаумяна и других большевиков из тюрьмы. С помощью командира небольшого отряда Т. Амирова все они успели занять место на пароходе «Туркмен», переполненном беженцами и солдатами. Корабль отплыл в Астрахань. Но ни группа дашнакских и английских офицеров, ни многие из солдат не хотели плыть в советскую Астрахань. Они сумели взбунтовать команду корабля и увести его в Красноводск, оккупированный англичанами. Эсеровские власти в этом городе арестовали всех большевиков. Портретов бакинских комиссаров тогда еще не было, документов тоже. Руководствуясь списком на тюремное довольствие, найденным у Корганова, исполнявшего роль старосты в бакинской тюрьме, эсеры отделили двадцать пять человек во главе со Степаном Шаумяном. Сюда же включили командира партизан Т. Амирова. Так образовалась знаменитая цифра «26». Все они были увезены из Красноводска якобы для суда в Ашхабад. Однако вагон с арестованными не дошел до Ашхабада. 20 сентября 1918 года на 207-й версте красноводской железной дороги все двадцать шесть арестованных были расстреляны. Здесь были и коммунисты, и левые эсеры, народные комиссары и личные телохранители Шаумяна. Один из погибших оказался беспартийным мелким служащим. Но все они вошли в историю как «26 бакинских комиссаров». Микояна не было ни в списках на довольствие, ни в списках арестованных, опубликованных бакинскими газетами. Остались в живых и видные деятели Бакинской коммуны С. Канделаки и Э. Гигоян. Ни в Баку, ни в Красноводской тюрьме долго никто не знал о гибели 26 бакинских комиссаров. Турки скоро покинули Азербайджан. Война закончилась победой Антанты. Мусаватистское правительство вступило в сговор с англичанами. Рабочие Баку объявили забастовку, требуя возвращения Шаумяна и его товарищей. Но в Баку вернулись в феврале 1919 года только Микоян, Канделаки и еще несколько большевиков. Лишь в сентябре 1920 года, уже после восстановления Советской власти в Баку, были перевезены и торжественно захоронены на одной из центральных площадей города останки расстрелянных бакинских комиссаров.

Вернувшись в Баку, Микоян возглавил подпольную большевистскую организацию. Осенью 1919 года он побывал в Москве с докладом о положении на Кавказе, познакомился с Лениным, Кировым, Орджоникидзе, Куйбышевым, Фрунзе, Сталиным, Стасовой, был избран во ВЦИК. Весной 1920 года Красная армия вступила в Баку, и здесь была провозглашена Советская власть. Но Микоян недолго оставался на Кавказе. Неожиданно его вызвали в Москву и направили с мандатом ЦК РКП(б) на работу в Нижегородский губком. Местные руководители встретили молодого кавказца с недоверием. Положение в городе и в губернии было критическим. Волновался измученный голодом и холодом 50-тысячный гарнизон, недовольство охватило не только крестьян, но и рабочих, месяцами не получавших зарплаты. Опытный пропагандист и агитатор, Микоян действовал не только умело, но и весьма решительно. Вскоре он был избран секретарем губкома и стал фактическим руководителем губернии, о которой знал еще недавно только по школьному учебнику географии. Он несколько раз встречался с Лениным, участвовал во всех съездах Советов и съездах партии. Весной 1922 года двадцатишестилетний Микоян был избран кандидатом в ЦК РКП(б).

В 1920—1921 годах Микоян попадает в «сферу влияния» Сталина и еще перед X съездом партии выполняет ряд его конфиденциальных поручений. Весной 1922 года по рекомендации Сталина Микоян был назначен секретарем Юго-Восточного бюро ЦК РКП(б). Вскоре он возглавил Северо-Кавказский краевой комитет РКП(б) с центром в Ростове-на-Дону. В этом крае проживало около 10 миллионов человек. Сюда входили территории казачьих областей – Кубанской, Терской и Войска Донского, Ставропольской и Черноморской губерний, а также семь национальных округов, в которых проживали люди самых различных национальностей.

Проблемы, которые приходилось решать молодому Микояну, были исключительно сложными. Северный Кавказ еще недавно служил ареной жестоких боев Гражданской войны, отдельные отряды казаков и горцев еще скрывались в горах Кавказа. И все же в условиях нэпа Северный Кавказ быстро оправлялся от разрухи и становился снова житницей страны. Микоян весьма решительно требовал сближения с крестьянством и казачеством. В станицах сохранялся казачий быт, одежда, поощрялись даже военные учения, джигитовка, спортивные упражнения. Под лозунгом «Сделать казачество опорой Советской власти» эти формирования включались в состав территориальных частей Красной армии. Крайком разрешил не только горцам, но и казакам носить холодное оружие; было сохранено станичное управление и общий станичный бюджет.

Во многих выступлениях Микоян призывал коммунистов не разрушать церквей и мечетей и не ссориться с крестьянами и казаками на почве религии. Хотя богатые крестьяне и крупные торговцы были лишены избирательных прав, Микоян требовал соблюдения предоставленных им в рамках нэпа экономических прав. Для прекращения партизанской борьбы в крае несколько раз объявлялась амнистия. Были приняты меры для развития курортов Минеральных Вод и на Черноморском побережье. Все это создало Микояну репутацию умелого и опытного администратора и партийного руководителя. Он сблизился со Сталиным и выступал неизменно на его стороне в борьбе с так называемой «новой оппозицией». Сталину нравились энергия Микояна, его кавказское происхождение и полная лояльность. Еще в 1922 году Сталин, ставший Генеральным секретарем ЦК партии, продолжал поручать Микояну некоторые деликатные миссии, связанные с внутрипартийной борьбой. На Пленуме ЦК ВКП(б) в июле 1926 года вместе с Орджоникидзе, Кировым, Андреевым и Кагановичем Микоян был избран кандидатом в члены Политбюро.

В августе 1926 года один из лидеров оппозиции Л. Б. Каменев был освобожден с поста наркома внешней и внутренней торговли. Новым народным комиссаром торговли неожиданно для многих был назначен тридцатилетний Микоян, который не стремился ни к переводу в Москву, ни к карьере хозяйственника. Сохранилась его телеграмма, посланная в ЦК и в Совнарком: «Категорически отказываюсь и заявляю, что такому решению не могу подчиниться… Я наркомторгом и вообще наркомом не гожусь и не могу взять на себя обязанностей сверх своих сил и способностей» (Цит. по: Микоян С. Политическое долголетие // Книжное обозрение. 1989. № 1.). Микоян все же был вынужден подчиниться партийной дисциплине. Самый молодой в составе Политбюро, он стал и самым молодым наркомом СССР.

Микоян работал в Наркомторге много и напряженно. Было время нэпа. Не прошло и пяти лет с тех пор, как Ленин назвал торговлю тем «главным звеном», за которое должна ухватиться партия большевиков, чтобы вытянуть всю сложную цепь социалистического строительства. Именно Ленин выдвинул тогда лозунг «Учиться торговать», столь неожиданный для многих большевиков, еще недавно снявших военную форму.

Положение в торговле в 1926—1927 годах было исключительно сложным из-за недостатка промышленных товаров и связанных с этим трудностей в хлебозаготовках. Микоян решительно выступал тогда за экономические средства разрешения кризиса и против каких-либо чрезвычайных мер в отношении единоличников и кулачества, предлагаемых оппозицией. На XV съезде ВКП(б) Микоян заявил, что из создавшегося кризиса нужно выйти «наиболее безболезненным образом». Он предложил получить нужный городу хлеб «путем переброски товаров из города в деревню, даже за счет временного (на несколько месяцев) оголения городских рынков, с тем чтобы добиться хлеба у крестьянства». «Если мы этого поворота не произведем, – предупредил Микоян, – то мы будем иметь чрезвычайные трудности, которые отзовутся на всем хозяйстве».