За участие в боях и проявленные при этом незаурядные храбрость и мужество молодой офицер получил свои первые награды: ордена Отечественной войны II степени (октябрь 1942 года), Отечественной войны I степени (июль 1943 года), Красной Звезды (декабрь 1943 года) и Красного Знамени (июль 1944 года). В сентябре 1944 года после тяжелого ранения, полученного при форсировании реки Нарев в Польше, А. Я. Сухарев был отправлен в тыл. В течение года он лечился в госпиталях городов Сумы и Харьков. В родные воронежские места он вернулся только в сентябре 1945 года. Там проживали его мать, брат и сестра. Отец погиб на фронте в 1942 году.

Несколько месяцев А. Я. Сухарев, числясь еще на военной службе, занимал должность начальника отдела Воронежского военного окружного управления связи. После демобилизации в июле 1946 года он устроился на строительный участок № 2 Вагоноремонтного завода имени Тельмана, где занимался воспитательной работой среди молодежи. В марте 1947 года его направили на комсомольскую работу. К этому времени А. Я. Сухарев был уже студентом Всесоюзного юридического заочного института.

В течение последующих одиннадцати лет Александр Яковлевич постепенно поднимался по ступеням комсомольской аппаратной иерархии: был заведующим отделом пионеров и вторым секретарем Железнодорожного райкома комсомола г. Воронежа, инструктором и заместителем заведующего отделом пропаганды и агитации Воронежского обкома ВЛКСМ. В сентябре 1950 года его переводят в Москву, в Центральный Комитет ВЛКСМ. Через два месяца после этого он окончил ВЮЗИ и получил диплом юриста. В аппарате Центрального Комитета комсомола Александр Яковлевич занимал должности инструктора, ответственного организатора, заведующего сектором, заместителя заведующего отделом комсомольских органов и, наконец, в апреле 1958 года, стал заведующим международным отделом ЦК ВЛКСМ. На этой должности он пробыл полтора года. А. Я. Сухарев принимал активное участие в подготовке всех крупнейших мероприятий, проводившихся под эгидой Центрального Комитета, в том числе VI (Москва, 1957 год) и VII (Вена, 1959 год) Всемирных фестивалей молодежи и студентов, за что получил несколько Почетных грамот ЦК ВЛКСМ. В 1956 году он был награжден орденом «Знак Почета» за участие в освоении целинных земель.

В декабре 1959 года А. Я. Сухарева выдвинули на еще более высокий пост — в аппарат Центрального Комитета КПСС. Здесь он работал более десяти лет, первое время занимая должность инструктора, а затем заместителя заведующего отделом административных и торгово-финансовых органов ЦК КПСС по РСФСР. В 1966 году он стал заведующим сектором отдела административных органов ЦК КПСС.

В сентябре 1970 года Александр Яковлевич переходит на работу в органы юстиции. Тогда только что было воссоздано Министерство юстиции СССР, ликвидированное еще в середине 1950-х годов по инициативе Н. С. Хрущева. Вместо него долгое время существовала безликая и фактически бесправная юридическая комиссия при Совете Министров СССР. Министерство юстиции СССР возглавил В. Теребилов, работавший до этого в Прокуратуре Союза ССР, а впоследствии — заместителем Председателя Верховного суда СССР. Постановлением Совета Министров СССР от 22 сентября 1970 года А. Я. Сухарев назначается первым заместителем министра и членом коллегии Министерства юстиции СССР. Одновременно с ним заместителями министра стали также председатель Московского городского суда Н. А. Осетров и начальник отдела общего надзора Прокуратуры Союза ССР А. А. Холявченко.

Александр Яковлевич, имевший к этому времени солидный партийный опыт, занимался в министерстве кадровой работой, организацией правовой пропаганды и установлением связей с партийными и советскими органами. Он возглавлял также Межведомственный координационный совет по правовой пропаганде при Министерстве юстиции СССР. При его содействии был основан популярнейший журнал «Человек и закон», членом редакции которого он был долгое время (тираж достигал 12 миллионов), появилась телевизионная передача с таким же названием (особенно популярной она была, когда ее вел известный писатель, доктор юридических наук, профессор А. А. Безуглов). Именно в те годы в школах и профтехучилищах стали в обязательном порядке изучать основы советского права. Активно шла также демократизация судопроизводства, повышалась культура судебных процессов, преодолевались остатки культа личности в правовой науке. Ко всем этим процессам Александр Яковлевич имел самое непосредственное отношение.

В системе министерства юстиции А. Я. Сухарев прослужил почти 18 лет. До 1984 года он был первым заместителем министра юстиции СССР, а затем — министром юстиции РСФСР. За это время он защитил диссертацию в Академии общественных наук и получил ученую степень кандидата юридических наук (1978 год). К его наградам прибавились новые. В 1967 и 1971 годах он награжден двумя орденами Трудового Красного Знамени, а затем удостоился орденов Октябрьской Революции (декабрь 1977 года), Дружбы народов (сентябрь 1983 года) и Отечественной войны 1-й степени (1985 год). В октябре 1973 года Президиум Верховного Совета РСФСР наградил его Почетной грамотой, а в апреле 1987 года присвоил почетное звание «Заслуженный юрист РСФСР». Он избирался также депутатом Верховного Совета РСФСР (1984 год).

В Министерстве юстиции СССР А. Я. Сухарев много внимания уделял развитию связей советских юристов со своими зарубежными коллегами. Он был избран членом правления Ассоциации советских юристов (в июне 1986 года стал ее президентом), способствовал вхождению ее в Международную ассоциацию юристов-демократов и был избран там первым вице-президентом. Сухарев часто возглавлял делегации юристов страны в зарубежных поездках, занимался подготовкой и проведением международных конференций юристов, выступал на них с докладами и сообщениями. За эти годы он посетил Испанию, Францию, Йемен (был организатором и председателем Общества советско-йеменской дружбы), США, Болгарию, Монголию, Швецию, Венесуэлу, Польшу, Чехословакию и другие страны.

А. Я. Сухарев всегда вел большую общественную работу. Он являлся сопрезидентом Всемирной ассоциации юристов против ядерного оружия («ИАЛАНА»), членом ученого совета Института государства и права Академии наук СССР, президиума Всесоюзного общества «Знание». Возглавлял общественный фонд «Выдающиеся полководцы и флотоводцы Великой Отечественной войны 1941–1945 годов».

В 1988 году, в самый разгар перестройки, Александр Яковлевич Сухарев был направлен на работу в Прокуратуру Союза ССР. Президиум Верховного Совета СССР своими указами от 26 февраля 1988 года назначает его первым заместителем Генерального прокурора СССР, утверждает членом коллегии Прокуратуры Союза ССР и присваивает чин государственного советника юстиции 1-го класса. Спустя ровно три месяца, 26 мая 1988 года постановлением Верховного Совета СССР, подписанным Председателем Президиума А. Громыко, А. Я. Сухарев назначается Генеральным Прокурором Союза ССР. В 1989 году он стал народным депутатом. Избирался делегатом XXVII съезда КПСС. В бурное перестроечное время А. Я. Сухарев смог продержаться в кресле Генерального прокурора СССР чуть более двух лет.

В те годы в стране предпринимались меры по преодолению так называемого «застойного периода», происходило раскрепощение экономической инициативы, расширение политической демократии, обогащение правового статуса личности. Именно на этом магистральном направлении совершенствовалось законодательство. Богаче и содержательнее становился и прокурорский надзор. На одном из заседаний коллегии Прокуратуры СССР А. Я. Сухарев говорил: «Вместо приверженности курсу «держать и не пущать» острие надзора фокусируется на предупреждении и пресечении командно-бюрократических препон, защиты прав и свобод человека, воплощение концепции «разрешено все, что не запрещено». И еще: «Нам предстоит заметно раздвинуть границы надзорной работы, настраиваясь на принцип: там, где действует закон, должен быть и надзор за законностью… Вырабатывая совершенную концепцию прокурорского надзора, мы должны четко представлять его юридическую природу. Прокуратура — не орган управления, а высшая контрольная власть за соблюдением законов».