Будущий живописец родился 18 (30) августа 1860 года на западной окраине России в местечке у железнодорожной станции Кибарты (неподалеку от пограничного пункта Вержболово) в интеллигентной еврейской семье. Его дед был раввином. Отец художника также учился в раввинском училище, но, вероятно, на волне просветительских и ассимиляционных стремлений, типичных для населения тех мест в «эпоху реформ» (вторая половина 1850-х — начало 1860-х годов), отказался от пути религиозного служения. Став учителем иностранных языков, он давал уроки в частных домах, а также работал переводчиком, кассиром и контролером на железнодорожных станциях.

Несмотря на скудость средств (кроме Исаака, в семье были еще две дочери и сын), в доме Левитанов царила благоприятная для духовного развития детей атмосфера. Отец сам обучал их, а в конце 1860-х годов перевез семью в Москву, чтобы дать детям возможность выйти в люди. После переезда семья Левитанов жила бедно, перебиваясь грошовой платой за уроки французского языка, которые давал отец. Тем не менее родители чутко отнеслись к увлечению сыновей искусством и не возражали, когда в 1870 году старший сын Авель (Адольф), а затем, в 1873 году, и Исаак решили поступить в Московское училище живописи, ваяния и зодчества.

Годы обучения в училище стали для Исаака временем тяжелых испытаний. Впоследствии он писал: «Не надо очень розово представлять себе перспективу изучения живописи. …Сколько усилий, трудов, горя, пока выбился на дорогу». В 1875 году умерла мать, два года спустя — отец, и детям пришлось вести почти нищенский образ жизни. И все-таки уже в годы учения Исаак не только усвоил уроки учителей, но и сказал новое слово в русском искусстве. Его склонность к изображению природы проявилась уже вскоре после поступления в училище, и, по некоторым сведениям, Алексей Саврасов, руководитель пейзажной мастерской, буквально «выпросил» его у своего друга Василия Перова, у которого Исаак учился в натурном классе. Заметив незаурядные способности, искренность и поэтичность натуры бедствующего ученика, преподаватели стремились облегчить его положение. Левитану, пожалуй, чаще других учащихся выдавали, пусть скудные, денежные пособия, краски и другие художественные принадлежности, а на четвертом году обучения рекомендовали для получения стипендии генерал-губернатора Москвы князя Долгорукова. Но средств все равно не хватало.

Товарищ Левитана по училищу, Михаил Нестеров вспоминал, что «на редкость красивый, изящный мальчик-еврей», похожий на нищих детей-итальянцев, «с алым цветком в кудрявых волосах», «сильно нуждался, про него ходило в школе много полуфантастических рассказов… Сказывали, что он не имел иногда и ночлега. Бывали случаи, когда Исаак Левитан после вечерних классов незаметно исчезал, прятался в верхнем этаже огромного старого дома Юшкова, где когда-то, при Александре I, собирались масоны, а позднее этот дом смущал московских обывателей „страшными привидениями“. Вот здесь-то юный Левитан, выждав последний обход училища солдатом Землянкиным, прозванным „Нечистая сила“, оставался один коротать ночь в тепле, оставался долгий зимний вечер и долгую ночь с тем, чтобы утром, натощак, начать день мечтами о нежно любимой природе».

Особая любовь к природе и чуткость к ее состояниям были присущи будущему пейзажисту изначально. Родственники вспоминали, как он с ранних лет любил бродить по полям и лесам, подолгу созерцать «какой-нибудь закат», а когда наступала весна, «совершенно преображался и суетился, волновался, его тянуло за город».

Но многое в его духовном облике определила и среда, в которой он формировался как художник. Аполлинарий Васнецов имел основания утверждать, что Левитан — «продукт Москвы, воспитан Москвою», говоря, конечно, не о влиянии на художника современной ему «белокаменной» — большого фабрично-купеческого города, где наряду с древним благочестием было немало уродств и жестокости, а о душе, традициях московской культуры.

Здесь, в Москве, в конце XVIII столетия особенно по сердцу пришлись призывы Николая Карамзина и его круга к «сорадованию и сопечалованию», «сочувствованию» с природой как качествам «наиболее приличным человеческой натуре», широко развивалась культура пейзажных садов и парков. В Москве в конце 1840-х годов появились знаменитые записки о природе Сергея Аксакова, который призывал «чувствовать полную, не оскорбленную людьми жизнь природы», слышать «ее голос, заглушенный суетней, хлопотней… и всею пошлостию».

Стремление к «врачующей» близости с природой жило в XIX веке и в московской литературе, поэзии, музыке (лучший пример — Времена года Чайковского), даже в драматургии (вспомним Снегурочку Островского с ее заклятием «стужи чувств» солнечным теплом, радостью весеннего обновления жизни). Присуще было «сочувствие» с природой и московским живописцам, начиная с москвича по рождению Алексея Венецианова, который, по словам одного из критиков, первым в России «подсмотрел природу на месте …учился в поле, размышлял на гумне, …замечал изменения света в разные часы дня, в различную пору года, при различной погоде». Чувство связи души и судьбы человека с родной природой стало характерным качеством московской школы живописи и в 1860-1870-е годы, когда ее лицо во многом определяли учителя Левитана — Перов и Саврасов.

Василий Григорьевич Перов, с начала 1870-х годов фактически возглавлявший училище и оказывавший на воспитанников большое влияние (по словам Нестерова, в училище «все дышало Перовым»), прославился как жанрист-обличитель и один из лучших русских портретистов. Но в его творчестве жило и лирическое пейзажное начало. В фонах перовских работ выразителями драматических судеб и переживаний стали пейзажные мотивы: сельское кладбище, зимняя поземка, «скучная осень с неприветливыми до тоски дождями, холодными, как дыхание смерти, ветрами», «дороги русские, бесконечные, как терпение людское» (слова из рассказов, которые также писал художник). Были у Перова и картины, на которых он с симпатией запечатлел людей, способных почувствовать себя, по его словам, «частью восторга и блаженства земного», находящих отраду на таинственной лесной опушке (Птицелов, 1870), среди скромных красок осенних полей (Охотники на привале, 1871), бережно прикасающихся к луговым травам (Ботаник, 1874), на фоне синего неба, с глазами, устремленными ввысь (Голубятник, 1874).

Обращались к пейзажу и «живущим в природе» персонажам и преподававшие в 1870-е годы в училище передвижники Владимир Маковский и Илларион Прянишников, не раз писавшие «охотничьи» картины. Но, конечно, главную роль в развитии московского пейзажа того времени с 1850-х годов играл Алексей Кондратьевич Саврасов.

В пору, когда его учеником стал Левитан, творчество Саврасова достигло зенита, были написаны Грачи прилетели (1871), Проселок (1873), прекрасные волжские работы. В 1870-е годы в русской живописи видное место занимали и пейзажи других мастеров: импульсивного Федора Васильева, «лесного богатыря» Ивана Шишкина, «художника света» Архипа Куинджи и многих других. Но именно скромные полотна Саврасова обладали уникальным качеством: выражением сокровенного прикосновения души художника к «поющим силам природы» (Борис Асафьев). Впоследствии Левитан в своем единственном выступлении в печати — некрологе Саврасова (1897) — назвал учителя «одним из самых глубоких русских живописцев», умевшим «отыскать и в самом простом и обыкновенном те интимные, глубоко трогательные, часто печальные черты, которые так сильно чувствуются в нашем родном пейзаже и так неотразимо действуют на душу… Посмотрите на лучшие из его картин, …какая простота! Но за этой простотой вы чувствуете мягкую, хорошую душу художника, которому все это дорого и близко его сердцу».