Между тем, окончив семь классов средней школы, Кобзон поступил в горный техникум. После его окончания в 1956 году он был тут же призван в ряды Советской Армии (так называемый «целинный» набор). Все новобранцы этого набора работали на целинной страде в Кустанайской области Казахстана. Когда страда закончилась, всех отправили дослуживать в разные концы страны. Иосиф попал в Закавказский военный округ. Именно там он впервые обратил на себя внимание как солист (а петь он начал еще в школе) и был приглашен в окружной ансамбль песни и пляски.
Видимо, эта активная концертная деятельность в составе военного ансамбля и зародила в юноше мысль попробовать себя на поприще искусства. Поэтому, вернувшись домой в 1959 году, он заявил своим родителям, что собирается ехать в Москву поступать на артиста. Мать крайне негативно встретила это заявление сына. «Какой из тебя певец? — недовольно ворчала она. — Иди лучше работать по специальности. Там и деньги будешь нормальные получать, и на ноги встанешь». Точно так же рассуждали и братья Иосифа, которые считали его затею «выпендрежем», — мол, все нормальные люди вкалывают, а он хочет «сачка давить на сцене». Однако эти разговоры не смогли убедить Кобзона изменить свое решение. Чтобы заработать себе на дорогу денег, он устроился работать лаборантом. Вскоре нужная сумма была собрана и он отправился в Москву.
Как это ни удивительно, но, приехав в столицу и абсолютно никого в ней не зная, Кобзон с первого раза поступил сразу в три учебных заведения: училище при Московской консерватории, ГИТИС и Государственный музыкально-педагогический институт имени Гнесиных. После короткого раздумья он выбрал последний.
Занимаясь в оперной студии института под руководством профессора Георгия Борисовича Орентлихера, Кобзон пел Онегина, Фигаро, Елецкого, Валентина в «Фаусте». Учителя уже тогда прочили ему карьеру оперного певца. Но он внезапно увлекся легкой музыкой. И хотя ректор института Ю. В. Муромцев был категорически против того, чтобы его студенты увлекались эстрадой, справиться с Кобзоном он так и не сумел.
Впервые на большую эстраду Кобзон попал благодаря все той же своей неиссякаемой энергии и нахрапистости. Произошло это следующим образом. В 1959 году он подрабатывал в цирке — вместе с сокурсником пел в прологе и эпилоге. И однажды в цирк пришел один из популярнейших в те годы советских композиторов Аркадий Островский. Он принес свои новые произведения, которые должны были звучать в новой цирковой программе. Увидев его, Кобзон не растерялся и буквально стал преследовать его по пятам, умоляя: «Аркадий Ильич, я вас очень прошу, возьмите меня в свой концерт». Такой наглости от зеленого студента Островский, конечно, не ожидал. Только этим можно объяснить то, что он в конце концов не выдержал натиска и оставил певцу свой домашний телефон. О чем в последующем очень сильно пожалел. После этого не было дня, чтобы Кобзон не позвонил ему и не повторил своей слезной просьбы: «Возьмите меня в концерт». Дело дошло до того, что супруга композитора Матильда Ефимовна после каждого такого звонка вздрагивала и кричала своему мужу: «Аркаша, это опять твой студент-вокалист! Как он мне надоел, просто сил нет! Возьми трубку!» В конце концов, после нескольких дней такой осады, Островский сдался и, в очередной раз взяв трубку, сказал: «Я согласен. Найдите себе в партнеры тенора, и я попробую вас в своих авторских концертах».
Первое самостоятельное выступление Кобзона на профессиональной сцене состоялось в декабре 1959 года. Рассказывает наш герой: «Я взял Виктора Кохно, и мы начали петь дуэтом. А дальше посмотрели на нас — два молодых паренька, песню любят — и начали нас приглашать: Долуханян, Пахмутова, молодая совсем, Фрадкин… И стали мы выступать. Тогда еще не было возможности записать песню с эфира на магнитофон и разучить. Мы приходили к композиторам, и они с нами работали. Объясняли, что хотели бы в этой песне услышать, как услышать Колоссальная была школа. А материально это было никак — я получал три рубля за выступление. Когда начал получать пять рублей — считал, что хорошо живу. Потом эти же композиторы предлагали свои сочинения на радио и ТВ. Говорили, что исполнять их будем мы — отсюда наши первые «Огоньки», «С добрым утром» и все прочее».
В 1959 году Кобзон стал штатным солистом Всесоюзного радио, а через три года — «Москонцерта». Именно поэтому он бросил институт (его педагогом была Любовь Владимировна Котельникова, которая терпеливо готовила его к оперной сцене) и целиком посвятил себя сольной карьере. (Отмечу: в начале 70-х, когда Кобзону понадобится вступить в КПСС, он вновь поступит в Гнесинку и окончит ее с-отличием.) Бытует такая легенда, что когда в 60-е годы И. Кобзона впервые услышал Л. Утесов, он изрек: «Бог дал этому парню голос, но послал его очень далеко». Узнав об этом, певец не обиделся, а постарался доказать, что Господь к нему куда как благосклоннее, чем думал Утесов. Начав с песен А. Островского («Мальчишки, мальчишки», «Ты слышишь, Куба», «Возможно», «Песня остается с человеком»), он затем стал исполнять песни других советских композиторов, среди которых были и маститые. Как напишет позднее Н. Смирнова: «Кобзону явно не хватало эстрадного шарма. Это не искупали ни голос, ни достойная манера серьезного певца, с какой он держался на сцене. И тем не менее его сразу полюбили.
Каким-то необъяснимым способом он возвращал словам, которые звучали в его песнях, их изначальный смысл. Он научился делать событием даже то, что событием отнюдь не являлось. Он пел о том, что любовь может настигнуть человека везде, что она прекрасна, что «в любви ничего невозможного нет». И делал это как-то просто, без тени патетики, превращая давно известные и банальные истины в истины вечные, а потому возможные для повторения. Он стороной обходил патетику и выспренность. Но едва его успевали похвалить за это, как он пел вдруг выспренно, словно делая выпад против всех, кому неприятна патетика…»
Первая «проверка на прочность» у Кобзона произошла в 1964 году, когда он стал лауреатом Международного конкурса в Сопоте. Через два года после этого он стал лауреатом конкурса «Золотой Орфей» в Болгарии (победу ему принесла песня Ногинского и Бейлина «Роза была алой»). В том же году он получил звание заслуженного артиста Чечено-Ингушской АССР.
И. Кобзон рассказывает: «Я был знаком со многими известными людьми. Например, с Гагариным. Есть такая легенда, что на одном из кремлевских приемов Юра выплеснул бокал шампанского Брежневу в лицо. Но это ерунда. Юра был очень служивый человек. Он был очень общительным, очень веселым человеком. При полном отсутствии слуха любил петь. Дружил с Сергеем Павловым, в то время комсомольским лидером. У меня с Юрой испортились отношения в 1964 году. Хотя до этого я бывал у него в семье. А он, несмотря на то, что я жил в коммунальной квартире, позволял себе изумлять всех моих соседей, часто приезжая ко мне. И Гагарин, и Титов, и Валя Терешкова. Я с ними со всеми дружил. А с Юрой мы поссорились так.
Произошел неприятный такой случай, связанный с Евтушенко, который был тогда опальным после знаменитой выставки в Манеже и интервью французской газете. Евгений был запрещен. И вот однажды Евтушенко сказал мне, что пишет поэму «Братская ГЭС». И, зная мою дружбу с космонавтами, просил меня дать возможность пообщаться с ними непосредственно. Я обратился к Гагарину. Тот сказал: «Пусть». Женя очень нервный человек. И он, готовясь к выступлению, за кулисами ходил. Из зала заметили. И кто-то из представителей ЦК обратился к Гагарину: «Почему Евтушенко здесь? Он что, выступать будет?» — «Да, мы его пригласили». — «Не надо этого…» Гагарин передал за кулисы, чтобы я сообщил Евтушенко, что выступление нежелательно. Я ответил: «У меня язык не повернется». И тогда там какой-то майор подошел к поэту и сказал. Евтушенко был взбешен. Уехал. Я дождался конца этого вечера и, когда все перешли к столу, сказал Гагарину, что это не по-мужски. Что он как-никак свободен от конъюнктуры. Юра отрезал: «Если ты так недоволен, можешь к нам больше не приезжать». Отношения потом восстановились, но уже такой искренности не было. Хотя, безусловно, я, как и все, остро переживал его гибель…»