Иосиф (Яша) Хейфец родился 20 января 1901 года в Вильно. Первые уроки на скрипке получил в возрасте трех лет у своего отца, Рувима Хейфеца — выходца из города Пулавы (Польша), скрипача-самоучки, игравшего на свадьбах. С четырех лет начались занятия под руководством одного из лучших скрипачей и педагогов города И. Малкина, ученика Ауэра, преподававшего в Виленском музыкальном училище Русского музыкального общества. Дарование Хейфеца стремительно развивалось. Уже в 1906 году он впервые выступил на выставке «Искусство в жизни детей», а 7 декабря исполнил на вечере училища «Пасторальную фантазию» Зингеле и 12 декабря — «Арию с вариациями» Берио. В 1908 году он играл «Балладу и Полонез» Вьетана, и слушавший его Ауэр высоко оценил игру юного скрипача. В следующем году Яша исполнил в Ковно с оркестром концерт Мендельсона. В том же году он окончил музыкальное училище.

Большую помощь в обучении Хейфеца оказало виленское Еврейское общество. Оно же дало средства для переезда семьи в Петербург и поступления юноши в 1910 году в Петербургскую консерваторию в класс Ауэра.

Первый год Хейфец занимался с ассистентом Ауэра — И. Налбандяном, затем перешел в класс профессора. 17 апреля 1911 года состоялся дебют Хейфеца в Малом зале консерватории. Этот же концерт был сыгран в середине мая в Павловском вокзале.

Вскоре последовали концерты в Одессе, а также в Варшаве и Лодзи. В том же году вышла первая пластинка с записью игры десятилетнего артиста — «Пчелки» Шуберта и «Юморески» Дворжака.

Начало мировой славы Хейфеца положили семь концертов в Берлине, где он выступал с оркестром Берлинской филармонии под управлением В. Сафонова и А. Никиша. Еще восемь концертов состоялись в других городах Германии — Дрездене, Гамбурге, а также в Праге. Несмотря на то, что Хейфец играл на 3/4 скрипке, он поражал слушателей полным звучанием необычайной красоты и выразительности, блистательной виртуозностью и легкостью исполнения, энергией и безупречным вкусом. Критика уже тогда отмечала его серьезные достижения в области интерпретации. Лето 1912 года Яша провел вместе с Ауэром в местечке Лошвиц (близ Дрездена), где исполнил вместе с Зейделем Двойной концерт Баха. Немецкая критика назвала Хейфеца «Ангелом скрипки». 4 ноября в Грюнвальде игра молодого музыканта была запечатлена на фонографических валиках (хранятся в Пушкинском Доме в Петербурге). В том же году состоялось его выступление в Варшаве на Выставке художников. В 1913 году — в Москве, Вильно, Лейпциге и Вене. 21 января следующего года он впервые играл в Петербурге концерт Глазунова под управлением автора.

Эти годы вся семья Хейфецов (у них были еще две дочери, одна из которых занималась на фортепиано в Петербургской консерватории) жила на гонорары Яши. Ауэр поощрял выступления мальчика, считая, что они ему не повредят, ибо он уже был, по его мнению, сформировавшимся артистом. В Германии семью застало начало Первой мировой войны. Юному скрипачу предложили дать концерты в пользу раненых немецких солдат, но тот отказался. Тогда члены семьи Хейфецов были объявлены пленными и лишь через четыре месяца им удалось вернуться домой.

В 1915 году Хейфиц неоднократно выступал в Петрограде. Он был уже признанный виртуоз, поражавший совершенством игры, безукоризненностью стиля. Лето 1916 года Хейфец провел вместе с Ауэром в Норвегии. Американский импресарио, покоренный его игрой, подписал с юным скрипачом контракт на выступления в следующем году в США.

В 1917 году Хейфец давал концерты в Петрограде и Саратове. Последний раз он играл в Петрограде на Концерте-митинге эсеров, где выступал А. Керенский. Путь в Америку из-за войны пролегал через Сибирь. 8 июля семья Хейфецов (кроме дочерей) отплыла на пароходе из Владивостока в Японию, а оттуда в Америку.

27 октября Хейфец с невероятным успехом дебютировал в Карнеги-холл. Критика отмечала, что «большая аудитория включала всех профессиональных скрипачей, находящихся в радиусе 200 миль», что искусство Хейфеца «переходит границы возможного», что это — «светящееся пророчество», что Хейфец — «настоящий гений», «концентрация высших скрипичных и музыкальных качеств», что его игра — «проникновенная красота».

Действительно, главное качество, которое характеризует Хейфеца, — совершенство во всем. Совершенен был его неповторимый звук, необыкновенна была беглость самых трудных пассажей, проникновенна кантилена, захватывающая даже самые черствые сердца, удивительна взрывчатость кульминаций. Словом, это был «Паганини XX века». Хейфиц стал «идолом американской публики» и за год дал только в Нью-Йорке более тридцати концертов. Его искусство было запечатлено на десяти пластинках. В следующем году появилось еще девять записей. Все они запечатлели игру на скрипке Тонони, на которой Хейфец играл с тринадцати лет.

На одном из первых концертов к нему подошел один человек и предложил Яше играть на принадлежащей этому человеку скрипке Страдивари, и Хейфец с готовностью согласился. Через два года Хейфец выкупил скрипку у того человека, не пожелавшего назвать свое имя, за хорошую цену. Со временем он купил себе еще одного Страдивари, а перед войной дополнил свой скрипичный парк еще и скрипкой Гварнери. Эти три скрипки и служили Хейфецу до конца его карьеры, хотя периодически он играл и на других скрипках. Например, в акустической лаборатории Гарвардского университета он издавал длинные однотонные звуки на всех трех скрипках и на многих других инструментах, например, на скрипке, купленной в магазине за 5 долларов. Ученые не нашли различия в звучаниях тонов и обертонов.

Яша быстро американизировался, говорил без акцента, водил шикарный спортивный автомобиль, играл в теннис и пинг-понг, а вскоре обзавелся и моторной лодкой.

Вообще этот период жизни был похож на запоздалое детство — нормальное детство у него было отнято вундеркинд-ской карьерой.

Это не могло не отразиться на самодисциплине скрипача, на качестве исполнения.

Он пишет в автобиографии: «Пришло время, когда отсутствие дисциплины в практике настигло меня. В 1921 году после одного из концертов в Нью-Йорке музыкальный критик из „Нью-Йорк таймса“ У. Дж. Гендерсон поместил критическую рецензию. Он написал, что я уронил себя во мнении публики и в его мнении и что я должен следить за собой, что недостаточно играть пьесу — нужно думать о ней. Что у меня есть долг по отношению к себе и к музыке, который никогда не будет оплачен. Я знал, что этот человек желает мне добра: описанное было для меня чувствительным ударом, ибо это была правда. Я начал серьезно практиковаться, я изменил своей юношеской экстравагантности. Я буду всегда благодарен Гендерсону. Он выбил из меня дурь и наставил меня на истинный путь.

Критики могут временами делать полезные вещи. Он умер несколько лет назад, и я буду всегда сожалеть, что не встретился с ним». По-видимому, нужно быть незаурядной личностью, чтобы воспринять такой урок и так написать о нем.

В 1925 году Хейфец принял американское гражданство, а в 1929 году Хейфец женился на известной американской кинозвезде Флоренс Apта (до этого бывшей замужем за выдающимся американским кинорежиссер ром Кингом Видором). В следующем году у них родилась дочь Жозефа (ставшая впоследствии пианисткой и композитором, занималась в Париже у Д. Мийо), а в 1932 году — сын Роберт.

В конце 1930-х годов скрипач утверждал, что уже четыре раза совершил кругосветное путешествие, а по протяженности маршрутов дважды добрался до Луны. В 1920 году он впервые выступил в Лондоне, в следующем году совершил большое турне по Австралии. В 1922, 1924, 1925 годах снова давал концерты в Англии, в 1923 году состоялось его длительное турне по Востоку. В 1926 году прошли его гастроли по странам Южной Америки и Ближнего Востока. Он играл с лучшими оркестрами мира и получал наивысшие гонорары среди исполнителей. В 1933 году состоялась премьера Второго скрипичного концерта М. Кастельнуово-Тедеско «Пророк», посвященного Хейфецу. Оркестром Нью-Йоркской филармонии дирижировал А. Тосканини, высоко ценивший талант скрипача.