Преемник Артузова на посту начальника КРО Ян Каликстович Ольский, несмотря на свою молодость (29 лет), был уже известным чекистом.

Ян Куликовский родился 22 декабря 1898 года в местечке Бутримовичи Шальчининкского уезда Виленской губернии в семье обедневшего шляхтича, врача. Старший брат Яна — Леон Куликовский (р. 1883) был известным политическим деятелем Польской республики, депутатом Сейма от Польской социалистической партии (ППС), затем от Трудовой партии, умер в 1936 году.

В январе 1911–1917 гг. учился в гимназии в Вильно, а затем в Петрограде. В 1917 году вступил в петроградский Союз социал-демократической польской молодежи, был членом редакционной коллегии печатного органа союза — газеты «Свободный голос». Впоследствии он писал в автобиографии: «В 1915–1916 годах… с группой товарищей — Корейво, Юхневич, Клыс и другие (сейчас все члены ВКП(б)) создали нелегальный кружок польской молодежи, который был после преобразован в Союз польской социалистической молодежи… и связан с социал-демократией Польши и Литвы (Лещинским-Ленским, Берковичем, Циховским и др.). В 1917 г., после Февральской революции, почти весь союз вступил в группу социал-демократов Польши и Литвы».

В июне того же года по рекомендации Дзержинского и Уншлихта Куликовский был выбран секретарем петроградской группы Социал-демократии Королевства Польского и Литвы (СДКПиЛ). В дни Октябрьской революции он участвовал в захвате почты и центрального телеграфа.

После победы революции с января по ноябрь 1918 г. Ян Куликовский возглавлял подотдел пропаганды, печати и издательств в Польском Комиссариате при Петроградском совете. В мае того же года Ян принял участие во II Конференции групп СДКПиЛ в России, которая прошла в Петрограде. Вскоре по мобилизации Петроградского комитета РКП(б) вступил в ряды Красной Армии, но уже в ноябре 1918 г., после Ноябрьской революции в Германии и начала ухода немецких оккупационных войск, был направлен на подпольную работу в Литву, под псевдонимом Ольский, ставшим его фамилией.

В декабре 1918 г. Ян Ольский вошел в состав Виленского комитета КПЛиБ. После взятия города Красной Армией, с января по апрель 1919 г. работал секретарем Президиума Виленского совета рабочих депутатов, а также секретарем Виленского комитета партии. После взятия Вильно поляками он переходит на военную работу. 17 апреля 1919 г. становится начальником почтово-телеграфного отдела Литовско-Белорусской армии, с мая по август того же года был уполномоченным Совета Труда и Обороны Литовско-Белорусской ССР.

В августе 1919 г. по рекомендации Уншлихта Ольский, проводивший ранее ревизию Минской губЧК, сам становится чекистом. Он писал в автобиографии: «…С августа 1919 г. работаю в органах ВЧК-ОГПУ. Был начальником особого отдела 16-й Армии, в 1920 г. назначен особоуполномоченным особого отдела Западного фронта… При формировании 1-й Польской Красной Армии мне была поручена организация ее особого отдела, а после я вновь назначен в 16-ю Армию». Можно добавить, что Ольский был также начальником оперативной части Особого отдела 16-й армии, начальником информационного отделения и уполномоченным ОО Западного фронта. В 16-й армии Ольский вновь возглавил Особый отдел. Также во время войны с Польшей в 1920 г. Ольский был членом Польского бюро РКП(б) в Смоленске и заместителем начальника Особого отдела при комендатуре Вильно Филиппа Медведя. Тогда же он был утвержден заместителем того же Медведя во «Всепольской ЧК», которую советские чекисты планировали создать после занятия Варшавы (до которой войска Западного фронта не дошли 70 км). Ольский должен был также возглавить Особый отдел Всепольской ЧК. Другими кандидатами на руководящие посты в новой ЧК планировались заместитель начальника ОО 3-й армии Иосиф Опанский, особоуполномоченный ВЧК на Западном фронте (затем председатель ЧК Белорусской ССР) Александр Роттенберг, особоуполномоченные ОО Западного фронта Роман Пилляр, Владимир Горев, Вильгельм Курц, Станислав Полицкевич, председатель Витебской губЧК Сергей Шварц, начальник оперотдела ЧК Белоруссии Корф. Чекист Михаил Шрейдер, рассказавший об этом эпизоде, оставил воспоминания об Ольском как о исключительно справедливом руководителе. Этот польский дворянин был непримирим к любым проявлениям национализма. Узнав о проступке сотрудника ЧК — поляка, оскорбившего своего сослуживца-еврея, Ольский вызвал своего соплеменника и, убедившись в правильности сведений, приказал выгнать его из ЧК и исключить из партии. Еще один штрих к портрету Ольского, сохраненный Шрейдером, подметившим его манеру речи: говорившего «скороговоркой, быстро-быстро, нанизывая слово за словом (он всегда так говорил)» — вспоминал через 50 лет прошедший тюрьму, лагерь и фронт Шрейдер своего погибшего начальника и старшего товарища.

Возглавляя ОО 16-й армии, Ольский руководил раскрытием шпионской деятельности руководителя польской миссии связи при штабе 16-й армии (дело было в период мирных переговоров между РСФСР и Польшей) майора Равич-Мысловского и подхорунжего Езерского, имевших связь с существовавшей еще с 1918 г. польской шпионской организацией в Могилеве. По словам историка А.А. Здановича, «в той или иной степени на Равича работали 58 человек, среди которых были отдельные командиры и солдаты, железнодорожники, служащие органов снабжения армии и даже… несколько сотрудников особых отделов — поляков по национальности. Один из предателей вознамерился передать «дипломатам» шифр особого отделения первой дивизии, другой даже обратился с письмом к польским военным представителям с изложением перечня услуг, которые бы мог оказать в обмен на содействие после бегства в Польшу. Медлить было нельзя. Полностью раскрыв шпионскую деятельность Равича и имея в руках неопровержимые улики, особый отдел армии в начале января 1921 г. приступил к ликвидации разросшегося филиала польской разведки.

Итог пребывания Равича и Езерского в Могилеве был печальным: все завербованные ими агенты провалились, а сами они по возвращении в Польшу преданы военно-полевому суду как не обеспечившие выполнение важных заданий Генерального штаба. За операцией в Могилеве последовало раскрытие крупной шпионской организации в Витебске».

В июне 1921 г. Ольский был назначен председателем ЧК БССР, действовавшей в то время на правах губ. ЧК и подчинявшейся Полпредству ВЧК на Западном фронте, находящееся в Смоленске. Это совпало с развитием бандитизма в республике. После приезда в Минск комиссии во главе с зампредом ВЧК И.С. Уншлихтом и главкомом РККА С.С. Каменевым был создан Реввоенсовет Минского района, с чрезвычайными полномочиями по борьбе с бандитизмом. В его состав вошли командующий 16-й армии Иероним Уборевич, нарком по военным и внутренним делам Иосиф Адамович и председатель Белорусской ЧК Ян Ольский.

Белорусские чекисты разгромили в Шумянском уезде группу савинковского «Западного областного комитета».

16 декабря 1921 г., выступая на III Всебелорусском съезде Советов, председатель республиканской ЧК Ян Ольский заявил, что «бандитизм к данному моменту полностью ликвидирован».

С 1922 года после реорганизации ВЧК Ольский возглавил ГПУ при Президиуме ЦИК БССР. В 1923 г. Реввоенсовет РСФСР наградил Ольского орденом Красного Знамени. А.А. Зданович приводит характеристику комиссии по аттестации сотрудников ГПУ (1922): «Работоспособный, с широкой инициативой, безусловно, честный, усовершенствованно знакомый со всеми отраслями чекистской работы… Имеет колоссальные заслуги в области разработок разных контрреволюционных и шпионских организаций, известных ВЧК. Вполне соответствует своему назначению и, несмотря на молодость (родился в 1898 г.), способен занимать более высший пост».

В начале 1923 г. по предложению заместителя председателя ГПУ Уншлихта Ольского переводят на работу в Москву. С февраля 1923 г. он — начальник 3-го отделения (контрразведывательная работа против Польши, Румынии и балканских стран), помощник начальника контрразведывательного отдела ОГПУ, с июля 1923 г. по совместительству начальник отдела погранохраны ОГПУ. Одновременно с октября 1923 г. главный инспектор Главной инспекции войск ОГПУ и начальник Высшей пограничной школы. С декабря 1925 г. одновременно заместитель начальника Особого отдела ОГПУ (с мая 1927 г. — первый помощник начальника ОО, фактически руководил им ввиду загруженности начальника отдела Г. Г. Ягоды) и КРО ОГПУ.