Наряду с еврейским религиозным образованием, дети получали и светское образование. Иосиф с отличием заканчивает в Ростове-на-Дону городское училище и планирует продолжить учебу в реальном училище, однако сталкивается с запретами и ограничениями, обильно вводимыми русскими властями для своих еврейских граждан. Успешно выдержав приемные экзамены в реальное училище, он принят в него не был — пресловутая "процентная норма", ограничивающая число евреев тремя-пятью процентами от общего числа учащихся, закрывала евреям путь к получению образования. Одним из немногих учебных заведений, куда принимали евреев, была фельдшерская школа в Харькове, которую Иосиф Трумпельдор окончил в 1900 году, и начал работать в амбулатории при Еврейской больнице.

В юности Иосиф, как и вся демократическая русская молодежь того времени, был увлечен идеями толстовства. "Великий писатель земли русской" Лев Толстой проповедовал среди своих многочисленных последователей идеи жизни на земле, крестьянская коммуна рассматривалась им как идеал общественных отношений. На молодого Иосифа Трумпельдора огромное впечатление произвело знакомство с толстовцами, создавшими свои общины неподалеку от Ростова-на-Дону, в Новочеркасске и в станице Старочеркасской. Среди них можно отметить Василия Часовникова и Александру Гриневу, находившихся в личной переписке со Львом Толстым и активно пропагандировавших его идеи. Возможно, именно общение с ними привело Трумпельдора к толстовству, под их влиянием он уже в четырнадцать лет стал убежденным вегетарианцем и оставался им на протяжении всей жизни, отказался от курения и употребления спиртного, сделал для себя нормой физическое и духовное закаливание, ограничил себя в развлечениях и предметах роскоши.

Почти шестимиллионное российское еврейство пребывало в отчаянном положении — запертое в огромное гетто, носившее название "черты оседлости", в стране, где антисемитизм был государственной политикой царских властей, где многотомное русское "Законодательство о евреях" непрерывно пополнялось новыми законами и законодательными актами, лишавшими российских евреев элементарных гражданских прав — у евреев не было перспектив. Суть политики царского правительства в отношении евреев нашла отражение в известном заявлении обер-прокурора Синода К.П.Победоносцева: "Одна треть их вымрет, еще одна уедет из России, а остатки бесследно растворятся в среде окружающего населения".

Еврейская молодежь, лишенная будущего в России, искала путей выхода из тупика. Одни шли в революционные организации, считая, что спасением угнетаемого еврейского народа станет революция, которая разрушит антисемитские ограничения царских властей и принесет свободу и равноправие всем гражданам России, в том числе и евреям. Для других путеводной звездой становились идеи сионизма, декларировавшего, что только в своем государстве, воссозданном на исторической Родине — на Земле Израиля — еврейский народ обретет подлинную свободу и независимость как равный среди равных в семье народов.

Сионизм — национально-освободительное движение еврейского народа за возрождение национального государства на исторической Родине в Палестине, на рубеже XIX-XX веков решительно завоевывал сердца молодых российских евреев.

Идеи об исходе российского еврейства на свою историческую Родину родились в кружках еврейской интеллигенции после погромов 1881 года, ставших своего рода переломным рубежом для еврейского общества — до той поры многие искренне верили, что образование и освоение русской культуры позволят ассимилированным русским евреям войти в русское общество и постепенно получить гражданское равноправие. Погромы показали тщетность таких надежд.

Первым осознал новую реальность казалось бы полностью ассимилированный еврей военный врач Лев Пинскер, награжденный орденами за участие в обороне Севастополя во время Крымской войны. В 1882 году Пинскер опубликовал свою брошюру "Автоэмансипация". В ней Пинскер подчеркивал бедственное состояние еврейских масс и их униженное, ненормальное положение в странах рассеяния как всюду чуждой этнической группы, не поддающейся ассимиляции и не имеющей своей родины. Единственным решением этой проблемы Пинскер считал автоэмансипацию, то есть приобретение еврейским народом собственной территории на своей исторической Родине — в Палестине.

Уже в 1884 году сторонники Пинскера, называвшие себя "Ховевей Цион" (в переводе с иврита -"возлюбившие Сион") провели съезд в городе Катовице, на котором была сформулирована идея палестинофильского движения как возвращения евреев к сельскохозяйственному труду и создания в Палестине еврейской сельскохозяйственной базы.

Вдохновленные идеями палестинофильства, первые группы энтузиастов — российских студентов и гимназистов, объединились в организацию "БИЛУ". Это слово представляет собой аббревиатуру из начальных букв слов библейского стиха, что в переводе на русский означает: "Дом Иакова! Вставайте и пойдем!" (Исайя. 2: 5). Билуйцы отправились в Палестину, находившуюся тогда под турецким правлением, с целью создания там еврейских сельскохозяйственных поселений.

Российские палестинофилы предлагали практическое решение еврейского вопроса путем переселения в Палестину. Для осуществления этой цели требовалось создать для рассеянного по всему свету еврейского народа национальное политическое руководство, которое поведет народ к собственному независимому государству.

Первым идею создания национального политического руководства, способного реализовать надежды народа о своем государстве, провозгласил в своей книге "Еврейское государство", вышедшей в феврале 1896 года, австрийский журналист Теодор Герцль. Так возник политический сионизм.

Герцль считал возможным осуществить идеи сионизма мирными путями при поддержке цивилизованного мира. Будущее еврейское государство виделось ему как идеальная страна, построенная на общечеловеческих основах, гуманистических и социальных. Он мечтал о новом облике еврея — гордом и благородном.

Идеи Теодора Герцля о национальном возрождении немедленно получили широчайшую популярность во всех концах еврейского мира. Уже в августе 1897 года в Базеле под председательством Герцля состоялся Первый Сионистский конгресс, в котором приняли участие сотни делегатов со всех концов еврейского мира. Активнейшую роль на конгрессе играли российские сионисты, среди них был московский инженер Менахем Усышкин, которому предстояло сыграть важную роль в формировании сионистских убеждений Иосифа Трумпельдора.

После окончания конгресса Герцль записал в дневник: "В Базеле я основал еврейское государство".

Решения Сионистского конгресса горячо обсуждались во всех концах еврейского мира. Не был исключением и далекий провинциальный Ростов-на-Дону, где книгой "Еврейское государство" зачитывался юный Трумпельдор.

Толстовские рассуждения о крестьянской общине неожиданно пересеклись с идеями сионизма о возрождении еврейского государства. Юный Трумпельдор, как и многие молодые русские евреи, был увлечен идеей-мечтой о стране, где будут царить равноправие и свобода.

Для юного Иосифа Трумпельдора не существовало конфликта между воспитанным в семье русским патриотизмом и надеждами на возрождение Еврейского государства, ведь одной из основ этики иудаизма является требование абсолютной преданности стране и государю, подданными которого являются евреи.

Сыну старого русского солдата армейская служба не была в тягость, а воспринималась как исполнение священного долга по защите, хоть и несправедливого к своим еврейским гражданам, русского Отечества.

В 1902 году Иосиф Трумпельдор был призван в армию на действительную службу. Отец напутствовал его словами, что на поле брани, также как и в личной жизни, он не посрамит ни отцовского имени, ни имени еврейства, ни имени русской армии.