В 1960 году Алиев стал начальником Контрразведывательного отдела КГБ при СМ Азербайджанской ССР, а в 1964 году – заместителем председателя КГБ при СМ Азербайджанской ССР, которым был тогда С. К. Цвигун.
Позднее бывший первый заместитель председателя КГБ СССР, генерал армии Филипп Бобков вспоминал: «Алиева рекомендовал Цвигун. Он хорошо знал Алиева по Баку, где работал председателем КГБ, дружил с Брежневым. Кстати, Алиев попал на пост первого в Азербайджане по делу. Он действительно начал борьбу с коррупцией. По тому времени это был не такой уж простой ход».
К 1969 году в Азербайджане, при Вели Ахундове, сложилась ситуация, когда практически открыто продавались все должности и звания – академиков, секретарей райкомов, министров. Номенклатурные кланы фактически приватизировала азербайджанскую систему власти и экономику, что вынудило Москву снять Ахундова и поставить главой Азербайджана «сильную личность», бывшего руководителя азербайджанского КГБ, Гейдара Алиева.
В июле 1969 года пленум ЦК компартии Азербайджана избрал Алиева на должность первого секретаря ЦК Компартии Азербайджана в период советской кампании по борьбе с коррупцией. Гейдар Алиев добился некоторых успехов в борьбе против коррупции, достаточно большое количество людей были приговорено к тюремным срокам; в 1975 году пять председателей колхозов и директоров фабрик были приговорены к смертной казни за коррупцию в больших размерах. С его согласия КГБ и МВД Азербайджана арестовало в полном составе государственную торговую инспекцию Министерства торговли республики в количестве 24 человек. В течение первых пяти лет руководства республикой были сменены две трети министров, 8 из 10 членов бюро ЦК, 37 из 45 секретарей райкомов. По словам бывшего первого заместителя председателя КГБ ССР Ф. Д. Бобкова, на вопрос, заданный спустя три года после вступления в должность, «многое ли удалось сделать?», Алиев ответил: «Гарантировать могу только одно – в ЦК партии Азербайджана взяток не берут». Впоследствии, однако, коррупция достигла ещё более больших размеров, когда различные должности в административно-командной системе стали занимать земляки, или точнее, выходцы из Нахичевани. Писатель Чингиз Абдуллаев в статье «Час откровения» следующим образом описал сложившуюся при Алиеве ситуацию: «В условиях нашей республики местничество приобрело особенно откровенный и издевательский характер. В конце семидесятых правительственными дачами в Загульбе распоряжались несколько родственных кланов, поскольку почти все члены правительства и ответственные работники ЦК были родственниками друг друга. Сквозь такую круговую оборону было нелегко пробиться. В лучшем случае это удавалось сделать за счёт удачной женитьбы… Страшное в условиях Азербайджана «харалысан» – откуда ты родом? – разобщало нацию… Липко-грязное слово «взятка» мы заменили на «хормет» – «уважение» и начали уважать друг друга…»
Формирование правящей партийно-хозяйственной бюрократии последние двадцать лет шло под тщательным контролем Алиева Гейдара Алиевича, абсолютно полновластного «хозяина» партии – государства в этом уголке СССР. Должности секретарей партийных комитетов и председателей исполкомов, министров, зам. министров, начальников главков и ниже, как правило, продавались за взятки… Кроме взятки, роль играл и такой фактор, как кумовство и местничество. За тринадцать лет прямого руководства республикой Гейдар Алиев сумел разместить множество своих родичей и земляков на важнейшие посты – как в органах госуправления, так и сферах экономики, культуры и образования. Идеологический фактор при этом роли не играл, вернее, играл роль не фактор формальной коммунистической идеологии, а фактор реальной идеологии – идеологии преданности Г. Алиеву и согласия с существующими порядками. Так формировался основной костяк партийно-хозяйственной элиты.
В начале 80-х Гейдар Алиев закрыл юридическую школу республики, скорее всего, ради сдерживания роста элиты, основанной на коррупции. Во время своего управления советским Азербайджаном он не выполнял обязательство по модернизации социальных структур, но его усилия привели к значительному экономическому росту в Азербайджанской ССР. Евгений Примаков, со своей стороны, дал следующую оценку деятельности Алиева во главе Советского Азербайджана: «Под его руководством Азербайджан стал одной из самых процветающих советских республик. Бурно развивались экономика, промышленность, сельское хозяйство. Азербайджанский кинематограф стал очень известен». В одном из эксклюзивных интервью Гейдар Алиев вспоминал: «Та система тоже имела свои преимущества. Используя её возможности, я добивался развития Азербайджана. Ну, например, с 1970 года до 1980 года я в десять раз поднял производство винограда, с 200 тыс. тонн в год до 2 млн тонн. За счёт этого Азербайджан, конечно, обогатился. К сожалению, в переходный период после 1988–1989 годов многое из того, что мы создали, разрушили. Первый удар был нанесён, когда Горбачев начал антиалкогольную кампанию и стали вырубать плантации. Затем, став независимым государством, мы лишились той экономической интеграции, которая была в Советском Союзе».
Это стало возможным за счёт «умасливания» щедрыми подарками и богатыми приёмами Леонида Брежнева во время его трёх посещений Азербайджанской ССР. В одном из таких случаев Алиев подарил ему бриллиантовое кольцо с одним большим камнем в середине, – Брежнев, – окружённым 15 меньшими, символизирующими составляющие советские республики, стоимость которого составляла 226 000 рублей.
С приходом к власти Юрия Андропова, 24 ноября 1982 года Гейдар Алиев был назначен первым заместителем Председателя Совета Министров СССР. Сам Алиев об этом так рассказал в интервью газете «Новые Известия»: «У нас были близкие, даже дружеские отношения, и все же я сказал: «Юрий Владимирович, разрешите остаться в Баку. Андропов настоял, и я переехал, стал первым заместителем председателя Совета Министров СССР». На новом посту он курировал машиностроение, легкую промышленность и транспорт; в его ведении также находились культурная и образовательная сферы. Зампред оказался в ряду главных кураторов строительства Байкало-Амурской магистрали.
С 22 ноября 1982 по 21 октября 1987 годы – член Политбюро ЦК КПСС. В июне 1983 году Алиев возглавил государственную комиссию и организовал работы по ликвидации последствий катастрофы теплохода «Александр Суворов», который врезался в несудоходный восьмой пролёт моста через Волгу под Ульяновском, в результате чего погибли по разным оценкам от 176 до 600 человек. С 1984 года Алиев возглавлял комиссию по реформе советской школы. Позднее, 31 августа 1986 года, он возглавил правительственную комиссию, созданную для расследования катастрофы парохода «Адмирал Нахимов», затонувшего в Новороссийской бухте в результате столкновения с балкером «Пётр Васёв», жертвами которой стали 423 человека. В октябре того же года он занял пост председателя бюро Совета министров СССР по социальному развитию.
На заседании Политбюро 11 марта 1985 года, обсуждавшего вопрос об избрании нового генерального секретаря, Алиев высказался в поддержку Михаила Горбачёва. Однако с приходом к власти Горбачёва Гейдар Алиев попал в опалу. Помощник Горбачёва А. С. Черняев в своём дневнике за 9 октября 1987 года записал: «Потом напомнил о деле Алиева. Копаем, говорит, и дело вроде образуется почище рашидовского».
Алиев позднее рассказывал, что в кремлёвской больнице врачи внушали ему, что жить осталось недолго:
«Три месяца меня продержали на койке, потом ещё было полтора месяца реабилитации. Закончилось всё консилиумом, который взялся доказывать, будто я не могу продолжать работать в Совмине по состоянию здоровья. Я прямо спросил: „Чего вы добиваетесь?“ Но мне же не могли честно сказать, что поступило указание Горбачёва: любой ценой получить заявление Алиева о добровольной отставке. Поэтому меня уговаривали, запугивали. Однажды даже сказали, что жить мне лет пять, не больше».
