Соратники Фишмана по партии социалистов-революционеров несколько раз готовили покушения на Коновницына и Каульбарса, однако охранке удавалось их предотвратить. Тогда имевший репутацию серьезного боевика Фишман взял ликвидацию лидера черносотенцев на себя. Но в разгар подготовки этой акции он тоже был внезапно арестован. Правда, улик в отношении него (на то он и был опытным конспиратором) оказалось недостаточно, на суде его оправдали. После освобождения Фишман предпочел отправиться в Москву, где его избрали в состав Московского комитета партии эсеров. Но тут как раз во время партконференции нагрянула полиция, и в итоге Яков снова оказался в тюрьме - на сей раз уже всерьез и надолго. В 1908 году за принадлежность к террористической организации его отправили на поселение в Туруханский край. Советскому человеку, воспитывавшемуся если и не на «Кратком курсе истории ВКП(б)», так на знаменитой песне Юза Алешковского, нет надобности пояснять, что это такое.
В этих гиблых местах побывали не только Фишман и Сосо Джугашвили, но и многие другие революционеры, включая Якова Свердлова и лидера анархистов Льва Черного. Поздней осенью 1908 года здесь вспыхнул бунт ссыльных. Путь повстанцев, разоруживших и убивших нескольких стражников, сперва лежал на Туруханск, который они, захватив полицейское управление и пополнив силы за счет освобожденных политических и уголовников, содержавшихся в местной тюрьме, удерживали в течение нескольких дней. По дороге, в местечке Тунгуска бунтари останавливались на отдых в домике в селении Осиновка, где жил ссыльно-поселенец Фишман. Пытаясь двигаться в сторону Беренгова моря для побега в Америку, бунтари были настигнуты погоней в Хатанге. Часть из них была убита в бою, остальные приговорены к повешению и к вечной каторге. Хотя Фишман и не присоединился к затеянной ими авантюре, но по обвинению в содействии бунтарям его арестовали и этапировали в Енисейск, где он провел год под следствием в тюрьме.
В общей сложности в предреволюционное время Яков Моисеевич провел в заключении и в ссылке пять с половиной лет. Однако в июле 1911 года ему удалось удачно бежать - сначала в Китай, а затем, после длительного морского путешествия, в Италию. Здесь он поступил в Неаполитанский университет, подав в качестве удостоверяющего его личность документа… тюремное свидетельство. (Об этом вспоминал не кто иной, как общавшийся с Фишманом в Италии широко известный сталинский зодчий Борис Иофан, возводивший Дом на набережной.) Интересно, что спустя пару лет тот же маршрут проделал и младший брат Якова Вениамин. Отбыв четыре года каторги, он также сумел сбежать из ссылки в Киренском уезде Иркутской губернии и добраться до Италии. Очутившись в «вечном городе», он поступил на математический факультет Римского университета.
В 1915 году Яков Фишман окончил химфак университета в Неаполе со степенью доктора естественных наук и сразу же поступил в Высшую магистерскую школу. Параллельно он в течение трех лет работал ассистентом в Неаполитанской политехнической школе по кафедре промышленной химии и товароведения, специализируясь по взрывчатым и отравляющим веществам. Окончив Высшую школу в апреле 1917 года со степенью магистра химии, Фишман вернулся в революционную Россию. Второе пришествие в столицу уже не одесского мальчика, но закаленного в туруханских льдах и оттаявшего в благословенной Италии мужа, привело его на политический Олимп. Конечно, в Петрограде тогда хватало «олимпийцев» и без него, но Яков Моисеевич не растворился бесследно среди них. Однажды на него даже обратил внимание сотрудничавший в эсеровских газетах Михаил Пришвин, записавший в дневнике: «8 сентября. На Бассейной в подвале клуб „Земля и Воля“. Потолок низенький, а стены в красном. Мария Спиридонова сговаривается с шайкой рабочих и солдат - „левых социалистов-революционеров-интернационалистов“… Особенно в глаза лезет какой-то Фишман, самодовольная морда, гордая своей плюшевой шляпой».
Спустя короткое время наш герой стал депутатом Петросовета и членом Петроградского комитета ПСР. Являясь одним из лидеров левого крыла эсеровской партии, Фишман активно сотрудничал с большевиками и в октябре был введен в состав Петроградского военно-революционного комитета (ВРК). После свержения Временного правительства и перехода власти к большевистско-левоэсеровской коалиции, в декабре 17-го его назначают заместителем председателя Петроградского комитета ПЛСР и одновременно заместителем председателя Комитета по борьбе с пьянством и погромами, который возглавил старый большевик Владимир Бонч-Бруевич. Был среди балтийских братишек тогда в ходу популярный лозунг: «Допьем Романовские остатки!». Причем главным Робин-гудом в отношении продолжавшего действовать сухого закона, беспощадно громившим винные склады и безвозмездно раздававшим все до последней бутылки любому страждущему, был не кто иной, как старший брат матроса Железняка. Тогда хитрый лис Бонч-Бруевич поручил Фишману на пару с идейным анархистом Анатолием Железняковым разогнать погромщиков, что им и удалось. Но это было лишь началом бурной, со своими взлетами и падениями, карьеры Якова Моисеевича.
Во время начавшегося наступления немцев в феврале 1918 года он входил в состав двух экстренно созданных органов - Всероссийского чрезвычайного штаба и бюро Комитета революционной обороны Петрограда. Его избирают членом революционного парламента - ВЦИК, а по партийной линии - уполномоченным ЦК левых эсеров. После ратификации Брестского мира и ухода левоэсеровских наркомов из ленинского Совнаркома, Фишман в составе южной делегации ЦК отправился на Украину для того, чтобы склонить местные Советы к продолжению войны с Германией. Совершив связанный с массой опасностей тур по маршруту Харьков - Екатеринослав - Таганрог - Ростов-на-Дону - Екатеринодар (в дни наступления Корнилова) - Москва, он вынес из этой поездки много впечатлений и разнообразных связей.
После возвращения в новую столицу, каковой теперь стала Москва, Фишман возглавил боевую дружину ЦК левых эсеров. К этому времени из-за ратификации Брестского мира у партии, к которой он принадлежал, резко обострились отношения с вчерашними союзниками - большевиками. Как вспоминал один из руководителей ПЛСР Владимир Карелин, в апреле 1918 года, «во время II съезда партии состоялось закрытое заседание, в котором был поставлен вопрос о терроре в международном масштабе. Было решено направить террор против виднейших представителей обеих враждовавших между собою империалистических коалиций, а именно: против Вильсона, Ллойд Джорджа, Клемансо и Вильгельма II. Это решение не осталось на словах. В Англию и Германию были посланы члены партии для организации покушения; им было поручено войти в сношения с соответствующими партийными группами этих стран. Встретив со стороны последних возражения, ЦК отказался от своего намерения… Они вошли в сношения с К. Либкнехтом и Ф. Мерингом. И тот, и другой высказались против покушения на Вильгельма, указывая, что оно может быть неправильно понято. В нем могут увидеть национальную месть побежденного русского народа победителю. Зато именно спартаковцы подали мысль об организации покушения на Мирбаха и Эйхгорна». Граф Вильгельм фон Мирбах являлся послом Германии в Москве, а фельдмаршал Герман фон Эйхгорн - командующим группой армий «Киев». Оба они стали мишенью террористов в июле 1918 года.
Участвовавший в съезде Фишман принял деятельное участие в подготовке покушения на Мирбаха. Он поселился на нелегальной даче левых эсеров на подмосковной станции Ухтомская. На ней находился склад оружия и формировались террористические группы для отправки в оккупированные австро-германскими войсками Украину, Белоруссию и Прибалтику. На этой даче магистр химии и изготовил ручные бомбы, которыми был затем убит посол. Этот теракт эсеры приурочили к V Всероссийскому съезду Советов, открывшемуся в Большом театре в Москве 4 июля. Одним из двух секретарей партийной фракции на съезде, кстати, был Фишман. Первоначально боевики планировали осуществить убийство Мирбаха прямо в дипломатической ложе Большого театра, но потом отказались от этого плана.