В декабре 1913 года Трумпельдор вернулся в Страну Израиля. Он остановился в приморском городе Яффо, где планировал продолжить свою учебу. Однако вести о гибели в схватке с арабами его друга Моше Барского, молодого сиониста из Дгании, и убийствах евреев в соседних поселениях Кинерет и Седжера вновь заставили его взяться за оружие. Трумпельдор возвращается в Дганию, где берет на себя охрану еврейского поселения.

Турецкая жандармерия, в ведении которой находилась охрана правопорядка на территории Палестины, не препятствовала нападениям арабских банд на евреев, однако стремилась жестоко подавить еврейские охранные формирования. В таких условиях еврейским бойцам приходилось проявлять чудеса изворотливости, чтобы не только защитить свои поселения от нападений арабов, но и не вступить в прямой конфликт с турецкими властями. Всадник на коне, с маузером в руке, объезжающий еврейские поселения, поля и фермы, всегда готовый отразить вместе со своими товарищами нападение арабов - таким запомнили Трумпельдора его современники.

Начавшаяся в августе 1914 года Первая Мировая война разрушила все планы еврейского освоения Святой Земли. Османская империя, под чьим управлением находилась тогда Земля Израиля, объявила о своем присоединении к блоку Центральных держав в составе Германии и Австро-Венгрии, противостоявшему союзу Великобритании, Франции и России. Официально Османская империя вступила в войну 30 октября 1914 года, начав ее обстрелом черноморских портов России.

Для еврейского населения Страны Израиля, большинство которого были российскими гражданами, наступили трудные времена — с началом войны они неожиданно превратились в граждан враждебного Османской империи государства, с которым турки находились в состоянии войны. Ситуация обострилась после назначения наместником Палестины турецкого генерала Джамаль-паши, известного своей крайней жестокостью по отношению к национальным меньшинствам, населявшим Турцию. В декабре 1914 года в Яффе турецкие власти арестовали 700 евреев - иностранных подданных и депортировали их в Египет. Этот акт турецких властей спровоцировал массовый исход евреев — граждан враждебных Турции стран, продолжавшийся весь 1915 год. Страну тогда покинуло более 11 тысяч евреев, оказавшихся в лагерях беженцев в Египте, находившемся под властью союзной России Великобритании. В самой Палестине турки запретили всякую сионистскую деятельность и прибегли к жестоким репрессиям против еврейского населения.

Впрочем, как альтернативу турецкие власти стали предлагать еврейским поселенцам отказаться от российского гражданства и вступить в турецкую армию. Часть их приняла предложение турок и была мобилизована в армию. Среди них был и Моше Черток, в будущем — первый министр иностранных дел Израиля, ставший офицером турецкой армии.

Для Иосифа Трумпельдора, как русского офицера и гражданина, так же как и для многих еврейских поселенцев, такое предложение было абсолютно неприемлемым. Он отказался от сотрудничества с турецкими властями и оказался среди тысяч еврейских поселенцев, осевших в лагерях беженцев в египетском городе Александрия. Трумпельдор и его единомышленники полагали, что в итоге Мировой войны Османская империя может уйти в прошлое, что сразу откроет перспективы для создания Еврейского государства в Стране Израиля. Евреи должны были прийти к ожидаемой победе не как пассивные наблюдатели сражений Мировой войны, а как активные ее участники, чтобы впоследствии на равных с державами-победительницами решать вопросы будущего мироустройства.

"Народы обретают свободу на поле боя. Без "Еврейских батальонов" сионизм невозможен", — говорил Владимир-Зеев Жаботинский, сионистский лидер и друг Иосифа Трумпельдора. Этим двум людям предстояло сыграть решающую роль в создании еврейских национальных воинских формирований — первой еврейской армии после повстанческой армии Бар Кохбы, сражавшейся за два тысячелетия до этого с легионами Римской империи.

Оказавшись в декабре 1914 года в Александрии, Трумпельдор сразу наладил контакты с высланными еврейскими поселенцами, среди которых было много его друзей по охранным формированиям "а-Шомер" (Страж). Им было ясно, что бессмысленное сидение в лагере беженцев не отвечает интересам сионизма.

Положение Иосифа выгодно отличалось от других беженцев, запертых в бараки лагеря "Мафруз". Сразу по приезду в Александрию его нашел тамошний русский консул Петров, сообщивший ему, что как русский офицер Трумпельдор может получать положенную ему пенсию ежемесячно в консульстве.

Через русского консула на Трумпельдора вышел Владимир-Зеев Жаботинский, оказавшийся в Александрии в качестве корреспондента газеты "Русские Ведомости". Жаботинский первым предложил руководству Всемирной Сионистской организации подумать об организации еврейского воинского формирования в составе британских войск, действовавших на Ближнем Востоке.

Вскоре состоялась встреча Жаботинского и Трумпельдора. Иосиф немедленно поддержал инициативу своего нового единомышленника. Эта встреча положила начало сотрудничеству этих двух замечательных людей и лидеров. Так зародилась идея Еврейского Легиона.

На собрании высланных еврейских поселенцев в бараке лагеря "Мафруз" было принято историческое решение о создании еврейского полка, которому предстояло сражаться за освобождение Земли Израиля от турецкого владычества.

Теперь предстояло заручиться поддержкой британского командования, под начало которого должен был встать еврейский полк.

С этой целью еврейская делегация, в составе которой были Трумпельдор и Жаботинский, 5 марта 1915 года встретилась с командующим британскими войсками в Египте генералом Максвеллом. Здесь их ждало полное разочарование — британский генерал, уважительно глянув на Георгиевские кресты Трумпельдора, тем не менее отказался принять еврейскую воинскую часть в вверенные ему войска. Генерал объяснил это тем, что на службу Его Величеству могут быть приняты только британские подданные.

Как альтернативу Максвелл предложил сформировать из еврейских добровольцев военно-транспортную часть, которую предполагалось использовать на фронте против Турции. Такое предложение британцев было неожиданным и вызвало сомнения у членов еврейской делегации. Только Трумпельдор решительно поддержал идею еврейского военно-транспортного отряда: "Окопы или транспорт — большого различия тут нет. И те, и те — солдаты, и без тех и без других нельзя обойтись; да и опасность часто одна и та же".

На возражение, что тем самым откладывается освобождение Страны Израиля, Иосиф ответил: "И это не так существенно, рассуждая по-солдатски. Чтобы освободить Палестину, надо разбить турок. А где их бить, с юга или с севера, это уж технический вопрос. Каждый фронт ведет к Сиону".

Не откладывая дела в долгий ящик, Трумпельдор вместе с британским полковником Джоном Генри Паттерсоном приступил к формированию еврейского военно-транспортного отряда, получившего название Сионского транспортного корпуса. Уже в конце марта главный раввин Александрии Рафаэль Делла Пергола принял присягу у 650 еврейских добровольцев, записавшихся в Сионский корпус. Над солдатским строем реяло знамя Сионского корпуса с шестиконечной Звездой Давида, такие же эмблемы украшали солдатские мундиры.

Полковник Джон Генри Паттерсон, ирландец, профессиональный военный, глубоко понимавший цели еврейского национально-освободительного движении, был назначен командиром Сионского корпуса. Впоследствии полковник Паттерсон опубликовал книгу "С сионистами в Галлиполи", где дал высокую оценку мужеству еврейских солдат. Трумпельдор, получивший к тому времени звание капитана британской армии, стал его заместителем.

После пятнадцати дней интенсивной боевой подготовки в британском военном лагере Сионский корпус в составе 650 еврейских бойцов отплыл на кораблях из Александрии. На набережной при огромном стечении народа состоялись торжественные проводы. Корабли с военнослужащими Сионского корпуса взяли курс на греческий остров Лемнос. Там корпус был включен в состав ударной войсковой группы, которая готовилась к вторжению на полуостров Галлиполи.