Отправившуюся в Рим советскую экономическую делегацию, возглавляемую старым большевиком Вацлавом Воровским, белоэмигрантские острословы тут же окрестили «воровской». Яков Фишман был включен в состав делегации в качестве заведующего экспортом. На самом деле он ехал на Апеннины как сотрудник Разведупра РККА под прикрытием торгово-дипломатической должности. С момента создания полпредства в Италии Фишман занял пост военного атташе. Его брат Вениамин, ставший к этому времени преподавателем Высшей артиллерийской школы в Москве, также просился на работу в Италию. Однако Секретный отдел ВЧК высказался против этого, поскольку «Вен» (партийный псевдоним младшего Фишмана) формально оставался еще левым эсером.

В Риме Яков Фишман поселился на улице Диоклетиановых Терм. Согласно воспоминаниям советского дипломата-невозвращенца Александра Нагловского, «в короткий срок через своих агентов он скупил многие секретные документы. Правда, при помощи итальянских коммунистов в тогдашней Италии это не представляло большого труда. Все эти документы дипломатической вализой уходили в Берлин, и работа Фишмана шла чрезвычайно гладко до тех пор пока не наткнулась на некоторые непредвиденности».

По свидетельству Нагловского, Фишман купил образцы автоматического ружья и новых итальянских пулеметов по 10 тысяч лир за штуку. Воровский пребывал от сделки в восторге. «Но если было легко отправить документы, то с доставкой в Москву моделей пулеметов Воровскому и Фишману приходилось чесать затылок. Наконец Воровский выдумал такой план. Для доставки этих моделей Воровский купил у «Фиата» два аэроплана «Капрони», и из Турина (где расположена фабрика «Фиат») эти «Капрони» должны были лететь в Москву. Пилотировать за большие деньги согласились четыре видных итальянских летчика из бывшей эскадрильи д?Аннунцио, два из них, Гарронэ и Стратта, особенно прославились во время войны. Летчики, кроме прочего, ставили условием, чтобы Воровский застраховал их жизни и в случае гибели выплатил страховку женам. Предусмотрительность не лишняя, Воровский их застраховал. Модели погружены. «Капрони» ждут отлета. И в ноябре 1921 года четыре летчика, на двух аппаратах вылетели из Турина.

Гарронэ и Стратта опытные летчики. За перелет Воровский мог быть спокоен. Но таковы уж бывают «апельсиновые корки». Возле Гориции по необъяснимой причине аппарат Гарронэ и Стратта начал вдруг снижаться, а при посадке, задев крылом за угол дома, рухнул на землю. Оба летчика убиты на месте, аэроплан разбит.

Увидев катастрофу с первым «Капрони», второй аппарат решил тоже снизиться. Может быть, два других летчика, снизившись, попытались бы скрыть модели пулеметов? Неизвестно. Но и их снижение произошло неудачно. При посадке в открытом поле их аппарат оторвал нижний фюзеляж.

К месту катастрофы двух аппаратов сбежались жители. Приехали жандармы. В разбитом аппарате Гарронэ и Стратта жандармы нашли модели пулеметов. Летчики второго аппарата были немедленно арестованы. Шпионаж Фишмана - Воровского раскрыт. Но полпредство, разумеется, категорически отказалось признать какое бы то ни было участие в похищении моделей, свалив все на разбившихся Гарронэ и Стратта. Над арестованными летчиками второго аппарата был назначен суд. Воровский нанял им адвоката Ферри. Суд приговорил летчиков к продолжительному тюремному заключению. А дело кое-как при помощи официальных и неофициальных ходов удалось замять«.

Возможно, вследствие этого провала личность Фишмана вызвала подозрения у Центральной контрольной комиссии партии в Москве. В архивном фонде Дзержинского сохранилась характеристика, которую 3 июля 1922 года шефу ГПУ пришлось направить в ЦКК: «Тов. ФИШМАНА знаю с октябр. дней 17 г. Будучи левым эсером, принимал активное участие в октябрьские дни. После июльского восстания перешел на нелегальное положение. Затем был арестован. Был выпущен и, наконец, изъявил желание вступить в Р.К.П. и был принят. Полагаю, что переход у него искренний. Личных качеств его не знаю».

Вскоре после фашистского похода на Рим Яков Фишман был переведен на работу в Германию, где продолжал занимать аналогичный пост военного атташе. В фонде секретариата наркома обороны СССР сохранился ряд его донесений из Берлина с грифом «совершенно секретно», адресованных Михаилу Фрунзе. Например, в письме от 10 марта 1925 года он сообщал: «… по приглашению директоров „Юнкерса“ посетил Дессау. Осмотрел авиационный и мотостроительный отделы, а также фабрики, производящие калориферы, ванны и пр. Общее впечатление у меня от организации работы в предприятии - хорошее. Все же поражает некоторая, я сказал бы, кустарность, которой я не ожидал встретить в сердце Германии в настоящее время. Отдельные процессы недостаточно механизированы. Это относится к мотостроительному отделу, который далеко уступает в этом смысле хотя бы итальянским мотостроительным заводам». Из донесений Фишмана выясняется факт его контактов в связи с изучением химического оружия с крупнейшим российским химиком-органиком, академиком Владимиром Ипатьевым. В письме от 14 мая он уведомлял Фрунзе: «Профессор Ипатьев и Гальперин сообщили мне об образовании специальной азотной комиссии при ВСНХ и об отпуске необходимых для организации дела сумм… В Германии, благодаря помощи наших друзей (это факт), удалось сломить упорство азотного магната Каро, который уже составил для нас проект по ЦИАНАМИДУ КАЛЬЦИЯ, ОКИСЛЕНИЮ И КОНЦЕНТРАЦИИ. Он мне его еще не передал, т. к. в последнюю минуту задурил и захотел получить снова подтверждение от З., так как по его сведениям, мы ведем теперь переговоры о поставках нам военного снаряжения Францией и пр.; в этом последнем случае Каро, как порядочный немец (между прочим, еврей), отказывается наотрез помогать нам ставить азотную промышленность. Я, конечно, заверил его в полной абсурдности всех этих сведений, но дело все-таки задержалось… Из Италии я привез исчерпывающий материал и предложение обеих фирм: Казале и Фаузере. Т. Гинзбург передал мне Ваше распоряжение о том, чтобы я сопровождал профессора Ипатьева в его предполагаемой поездке во Францию и в Италию. Думаю, что в конце мая удастся выехать во Францию…»

Просматривая донесения Фишмана из Берлина, можно заметить его неизменный интерес к химическому производству. Не случайно, вернувшись из Германии в Россию в августе 1925 года, он получил назначение на пост начальника Военно-химического управления Красной армии. События на фронтах Первой мировой показали, что в разряд наиболее уязвимых средств поражения стали входить боевые отравляющие вещества. Вполне логично, что в ходе реорганизации РККА, начавшейся в середине 20-х годов, особое внимание было уделено созданию специальных химических войск, испытанию и производству современного химического оружия, а также разработке средств защиты от него. В этом процессе реорганизации Фишман играл важную роль.

С марта 1928 года он, сохраняя свою должность, параллельно возглавил Институт химической обороны. В личном партийном деле Фишмана сохранилось несколько характеристик, сделанных его непосредственными начальниками. В одной из них, выданной 18 ноября 1926 года говорилось: «Энергичный, влюбленный до фанатизма в химическое дело. Много успел сделать за год работы в Химическом управлении. Дело, бывшее еще год назад в беспризорном состоянии, теперь двинуто широко вперед…» 11 июня 1928 года начальник снабжения РККА Федор Дыбенко охарактеризовал его в таких словах: «Наряду с энергией и трудоспособностью много фантазии. Решителен, самостоятелен в работе, иногда слишком много берет на себя ответственности. Выдержанный и устойчивый партиец…»

В 1932 году Фишман прошел переаттестацию и получил вторичное назначение на должность начальника Военно-химического управления РККА. К этому времени он опубликовал несколько научных и учебных трудов. Первые из его книг («Газовая война» и «Химическое оружие») вышли в Москве в 1924 году, когда их автор еще находился в Германии. Впоследствии вышли другие работы: «Воздушно-химическая оборона тыла» (1928), «Военно-химическое дело» (1929), «Военно-химическое дело в современной войне» (1930). Помимо основной служебной деятельности, Фишман с конца 20-х годов возглавлял секцию военно-химической обороны союзного Осовиахима (Общества содействия обороне, авиации и химическому строительству), активно пропагандируя накопленные за границей знания для подготовки широких кругов населения к тотальной войне.