Постепенно почти все члены ЦК, избранные в 1917 г., покинули Петроград. На их места кооптировали сначала секретаря Мерказа Р.Рубинштейна (он же был секретарем раввина Айзенштадта), а также А.3ейдемана, который вскоре уехал на юг России с целью пробраться в Палестину. Затем в ЦК был введен работник Палестинского отдела Арье-Лейб Слицан, а также Н.Шахнович, Борис Кауфман и Иехошуа-Арье (Лейб) Гуревич, который впоследствии стал центральной фигурой еврейской жизни Ленинграда 20-х.
Желая консолидировать силы и укрепить дух активистов, уставших от явных и завуалированных притеснений властей, 20 апреля 1920 г. сионисты созвали Всероссийскую конференцию (съезд) своей организации в Москве. Однако на третий день конференция была разогнана, а ее участники арестованы. После этого Сионистская организация была фактически объявлена вне закона. Секретный циркуляр от 1 июля 1920 г., разосланный руководством ВЧК в ее губернские отделения, разъяснял, что почти вся еврейская интеллигенция России проникнута сионистскими идеями и что это чревато потерей советской властью большого числа необходимых ей специалистов: врачей, инженеров, архитекторов и пр. В борьбе с сионизмом ВЧК предлагала не выходить за рамки следующих мер: а) наблюдать и регистрировать; б) отказывать в помещениях для собраний, а в случаях тайных собраний арестовывать на сутки их участников; в) перехватывать партийную переписку; г) не выдавать проездных билетов по мандатам сионистских организаций; д) под разными предлогами отнимать у них помещения. При этом власти, опасаясь обвинений в антисемитизме, пока избегали официального запрещения сионизма. После ареста участников Московской конференции руководство сионистской организацией переместилось в Москву, где образовалось нелегальное Центральное Бюро во главе с Элиэзером Чериковером. В его работе участвовали оставшиеся члены Петроградского ЦК.
Трудность нелегальной работы для СО состояла в том, что ее лидеры, представители среднего класса и интеллигентских кругов, были мало привычны к работе в подполье. В отличие от социалистов, у них почти не было опыта царских тюрем и ссылок. Поэтому неудивительно, что большинство признанных лидеров сионистского движения Петрограда эмигрировало из России, отказавшись от продолжения борьбы. Их место постепенно занимала молодежь, готовая к тяготам нелегального существования при советском режиме.
ЦК Сионистской народной фракции Цейре Цион (Молодежь Сиона, далее — ЦЦ), которая являлась умеренной социалистической фракцией Сионистской организации, находился в Петрограде до мая 1918 г. Умеренность ЦЦ выражалась в том, что ее члены считали практическую работу по освоению Палестины своим насущным делом, а образование там социалистического общества — задачей будущего. Еще на 7-м съезде сионистов России цейреционовцам была обеспечена автономия в партии. На основе компромиссной программы, принятой тогда же, на 2-м Петроградском съезде Цейре Цион, фракция быстро росла и превратилась в сущности в отдельную партию. Ее ЦК в Петрограде управлял сотнями отделений, насчитывавшими до 50 тыс. членов. На московской конференции в мае 1918 г. ЦЦ обязала своих членов организовывать самооборону и высказалась за федеративную структуру СО. В 1919 г. центр активности фракции переместился в Киев, где политическая обстановка и близость к массам обещали более плодотворную работу.
Большое влияние в Петрограде имел Хехавер (Товарищ) — внепартийный союз сионистского студенчества. Основанный в 1912 г. российскими студентами в Западной Европе, в России он был на нелегальном положении до Февральской революции. Председателем и признанным лидером Хехавера до 1917 г. являлся Аврахам Идельсон (Илон) (не путать с редактором Рассвета), основатель ячейки организации в Политехническом институте. Хехавер видел свою задачу в подготовке интеллигенции к участию в сионистском движении на основе признания Базельской программы. В его деятельности упор делался на духовное развитие членов посредством проведения семинаров, самообразования, изучения иврита, еврейской истории, палестиноведения. В столице заседал ЦК Хехавера, и с 1915 г. по январь 1918 г. выходил его печатный орган Еврейский студент.
В апреле 1917 г. в Петрограде в торжественной обстановке состоялся 6-й, на этот раз легальный, съезд организации. Весной 1918 г., когда город оказался по существу отрезанным от страны, было основано Временное Организационное бюро Хехавера в Мо-скве для текущего руководства отделениями. К осени 1918 г. активность Бюро в Москве снизилась, поэтому к началу 1919 г. руководство вернулось к Петроградскому центру. На Всероссийской конференции в сентябре 1919 г. ЦК был снова переведен в Москву. 24 ноября 1919 г. по инициативе ЦК СО Хехавер организовал в Петрограде студенческий митинг, на котором выступили члены ЦК. Весной 1920 г. большинство членов ЦК Хехавера были арестованы вместе с участниками Сионистской конференции, в результате чего работа в Москве и Петрограде временно заглохла. Одновременно с Хехавером в Петрограде существовала Корпорация студентов-сионистов «Гедера», основанная в 1918 г., которая имела гораздо меньше влияния, чем Хехавер, и конфликтовала с ним.
Именно в Петрограде развернулась работа Иосифа Трумпельдора по преобразованию зародившегося в недрах Цейре Цион молодежного движения Хехалуц (Пионер) в ударный трудовой отряд для освоения Палестины. Еще в декабре 1917 г. на съезде сионистов-воинов Западного фронта особое внимание было уделено вопросу о Хехалуце. Съезд постановил, чтобы после окончания войны из евреев-воинов были образованы отряды для отправки в Эрец-Исраэль. В марте 1918 г. состоялось учредительное собрание Петроградского Хехалуца. В издательстве «Кадима» вышла брошюра Трумпельдора, содержавшая проект устава организации.
Трумпельдор, в отличие от многих других, не надеялся на то, что большевики скоро потеряют власть. Поэтому уже осенью 1918 г. он предпринял попытку легализации Хехалуца Северной коммуны. Однако Московский районный исполком Петрограда, куда обратились халуцим, отказался регистрировать их организацию, как «узко националистическую». Не помогла и апелляция в юридический отдел Совета, где отказ объяснили тем, что Хехалуц увлекает трудящихся в Палестину, в то время как они нужны РСФСР.
Трумпельдор был против того, чтобы Хехалуц стал придатком Сионистской организации, которую он считал буржуазной партией. Не хотел он зависимости даже от Цейре Цион, к которой в тот момент принадлежали многие халуцим. Однако на первом, организационном этапе движение не могло обойтись без поддержки упомянутых организаций. В июне 1918 г. на совещании представителей СО, Цейре Цион и петроградского Хехалуца образовалось Временное Оргбюро Хехалуца для руководства из Москвы организационной работой по всей стране и подготовки Всероссийской конференции. Вскоре стало ясно, что передача руководства в Москву была преждевременной. Инициатива, в том числе работа по организации новых отделений, все равно оставалась за Петроградом. Несмотря на неоднократные призывы Петроградского комитета и вмешательство лично Трумпельдора, подготовка конференции застопорилась. Тогда Петроградский комитет воссоздал Оргбюро в Петрограде из членов местного отделения. Новый состав Бюро немедленно объявил созыв Всероссийской конференции Хехалуца.
К лету 1918 г. в Петрограде возникла первая халуцианская огородная артель. Трумпельдор отказался от возможности получить в распоряжение артели, через ОРТ, собственный участок земли. Вместо этого он предпочел наемный труд халуцим, как более соответствовавший их предполагаемому будущему в Эрец-Исраэль. Отряд из 20 халуцим нанялся в кооперативное общество «Балтийский работник» выращивать картофель на окраине города в Полюстрово. Постепенно халуцим осваивали специфику крестьянского труда, жили коммуной в съемном доме, по вечерам учили иврит, слушали лекции о Палестине, отдыхали по субботам. Однако изначальная неприспособленность членов коммуны к тяжелой физической работе и голодная петроградская жизнь создавали напряженность и конфликты в коллективе, который удерживался от распада только железной волей его организатора. Об этом свидетельствуют воспоминания одного из коммунаров:
