Он был награжден двумя знаками «Почетный работник ВЧК-ОГПУ» (эта ведомственная награда, впоследствии именовавшаяся «Заслуженный работник НКВД» и «Почетный сотрудник КГБ», в чекистской среде известна под названием «Почетный чекист»), а к десятилетию ВЧК-ОГПУ Коллегия ОГПУ наградила его почетным боевым оружием с надписью «За беспощадную борьбу с контрреволюцией». Ольский во многом отличался от некоторых руководителей ОГПУ. По словам А.А.Здановича, «известны многочисленные факты, когда он жестко реагировал на нарушения законов со стороны работников ОГПУ. Даже судя по его кратким заметкам на полях документов и записок, адресованных Главному военному прокурору, можно судить, как далеко умел смотреть чекист, как стремился уберечь своих коллег и подчиненных от пренебрежения нормами закона при ведении следствия. Несмотря на крайнюю загруженность работой, он нашел время и совместно с работниками ГВП подготовил циркуляр, в котором категорически требовал от всех начальников особых отделов обеспечить соблюдение законности, устранить трения с военной прокуратурой».
В ноябре 1927 г. Ольский, как уже говорилось, возглавил КРО, оставаясь помощником начальника Особого отдела ОГПУ. Тогда же был создан единый секретариат обоих отделов. 26 октября 1929 г. Ольский был назначен начальником Особого отдела ОГПУ по совместительству с должностью начальника Контрразведывательного отдела (в ноябре он был назначен первым помощником начальника СОУ ОГПУ). Его помощниками (в 1927 г. в структуре центрального аппарата ОГПУ были упразднены должности заместителей) оставались Стырне и Пузицкий. Начальниками отделений были А. Формайстер (1-е — посольства), Роллер (2-е — англо-франко-итальянское), К. Науиокайтис (3-е — польское, затем- контрабанда, граница, таможня), В. Кияковский (4-е — Прибалтика и Скандинавия), И. Тубала (5-е — дальневосточные страны), Н.И. Демиденко (6-е — белая эмиграция), С. Гендин (7-е — Польша), выходец из Венгрии М.А. Розенфельд (8-е — немецкое, вместо перешедшего в ИНО О. Штейнбрюка).
Осенью 1930 года система контрразведки подверглась реорганизации. Приказом ОГПУ от 10 сентября 1930 г. для объединения борьбы с контршпионажем и «белогвардейско-кулацкой и повстанческой контрреволюцией», в т. ч. и в Красной Армии в состав Особого отдела были включены ранее упраздненные Контрразведывательный и Восточный отделы. 15 сентября была утверждена новая структура и штаты Особого отдела. Начальником был назначен Я.К. Ольский, его заместителем — Л.Б. (З.М.) Залин, переведенный с должности полномочного представителя ОГПУ по Западной области; помощниками начальника — С.В. Пузицкий (через месяц он был назначен заместителем Ольского), Н.Г. Николаев-Журид, бывший начальник КРО полномочного представительства ОГПУ по Северо-Кавказскому краю, В.А. Стырне, Т.М. Дьяков, бывший начальник Восточного отдела ОГПУ и Л.А. Иванов, бывший начальник Особой инспекции при Коллегии ОГПУ.
Структура Особого отдела была перестроена, вместо отделений были образованы отделы: 1-й отдел — контрразведка против разведок спецслужб западных стран, наблюдение за иностранными представительствами и колониями на территории СССР (начальник — В.А. Стырне); 2-й отдел — борьба с антисоветской деятельностью белогвардейских, крестьянских, молодежных групп и организаций и бандитизмом (Н.Г. Николаев-Журид); 3-й отдел — борьба с националистическими движениями и организациями, контррразведка против разведывательной деятельности со стороны государств Востока, наблюдение за представительствами и колониями этих стран на территории СССР (Т.М. Дьяков); 4-й отдел — оперативное обслуживание армии, флота, оборонного строительства и военно-учебных заведений (Л.А. Иванов). В марте 1931 г. отделы вновь были переименованы в отделения.
В июле 1931 г. решением Политбюро ЦК Ольский был снят с должности за выступление вместе с другими руководителями ОГПУ против Г.Г. Ягоды. В коллективном заявлении в ЦК ВКП (б) участвовали второй зампред ОГПУ и начальник ИНО С.А. Мессинг, начальник СОУ Е.Г. Евдокимов, начальник Административно-организационного управления (АОУ), Главного управления пограничной охраны и войск (ГУПОиВ) и Главной инспекции по милиции и уголовному розыску при ОГПУ И.А. Воронцов, полпред ОГПУ по Московской области Л.Н. Вельский. Они выступили против первого зампреда Ягоды (в частности, они обвиняли его в фабрикации следственных дел на командиров Красной Армии — бывших офицеров царской армии).
Это дело под наименованием «Весна» было начато руководителями ГПУ Украины В.А. Балицким и И.М. Леплевским с санкции высшего руководства партии (опасавшегося заговора и вооруженного мятежа бывших офицеров в случае интервенции) при поддержке Ягоды. В числе арестованных (около 10 тыс. чел. оказались известные военные специалисты бывшие генералы А.И. Верховский (военный министр Временного правительства), С.Г. Лукирский, А.А. Свечин, А.Е. Снесарев, полковник Н.Е. Какурин и многие другие. По словам А.А. Здановича, «Ольский и его непосредственный начальник Евдокимов резко выступили против арестов, проводимых по делу «Весна». Они допросили многих содержащихся под стражей военных, изучили большое количество документов и утвердились в своих предположениях: дело «Весна» — «липа».
Ягода был очень встревожен таким поворотом событий, тем более что ему стало известно о намерении Ольского, Евдокимова и еще ряда крупных чекистов опротестовать не только дело «Весна», но и некоторые другие и довести до руководства страны, что ОГПУ сворачивает на путь чрезмерных репрессий».
Конфликт завершился поражением противников Ягоды. Его поддержал председатель ОГПУ В.Р. Менжинский, а затем и Сталин. Хотя сам Генрих Григорьевич в итоге переместился с поста первого заместителя на должность второго зампреда (первым замом стал Иван Алексеевич Акулов, старый партийный работник, в ЧК ранее не служивший, а третьим зампредом руководитель украинского ГПУ Всеволод Аполлонович Балицкий). Противники Ягоды пострадали гораздо серьезнее. По постановлению ЦК были уволены из ОГПУ Мессинг, Ольский, Воронцов и Вельский, Евдокимов переведен из Центра (сперва в Ленинград, затем в Среднюю Азию) за, как говорилось в постановлении Политбюро ЦК ВКП(б) от 6 августа, «совершенно нетерпимую групповую борьбу против руководства ОГПУ», распространение «совершенно несоответствующих действительности разлагающих слухов о том, что дело о вредительстве в военном ведомстве является "дутым делом"», расшатывание «железной дисциплины среди работников ОГПУ».
Ольский же с 1931 г. руководил Главным управлением столовых, кафе и ресторанов Наркомснаба-Наркомвнуторга СССР, с 1936 г. — член Совета при наркоме внутренней торговли СССР. На VII съезде Советов (март 1935 г.) избирался членом ЦИК СССР.
Был также членом Московского комитета ВКП(б) и Моссовета.
В сентябре 1935 г. член Политбюро и секретарь ЦК партии, нарком путей сообщения СССР Л.М. Каганович просил И. В. Сталина согласия на переход Я.К. Ольского в НКПС начальником отдела пассажирских перевозок. Сталин ответил ему в письме: «Ольский ведет большую и серьезную работу по народному питанию. Перевод его в НКПС означал бы серьезный урон для Нарпита… Я решительно против снятия Ольского с Нарпита». Тем не менее с конца 1936 г. в центральной печати развернулась кампания критики Ольского и возглавляемого им Главного управления.
В 1936 г. начались первые аресты чекистов польского происхождения. Историк органов госбезопасности полковник В.Н. Хаустов освещает историю вопроса:
«Первым звеном в цепи разоблачений польских «шпионов», внедрившихся в органы государственной безопасности, стало дело Маковского — заместителя начальника Особого отдела Управления НКВД Омской области, а до этого — резидента советской разведки, работавшего в Польше. Как и большинство других сотрудников-поляков, Ю.И. Маковский был принят на службу в органы по распоряжению Ф.Э. Дзержинского. Надо сказать, что значительную часть сотрудников контрразведывательного отдела ГУГБ НКВД СССР, работавших по польской линии, составляли поляки (Сосновский И.И., Баранский К.С. и другие), некоторые из которых в прошлом были кадровыми сотрудниками спецслужб Польши. Маковского арестовали в феврале 1936 г. На конспиративной квартире за рубежом в его сейфе оказалось гораздо больше денег, чем он указал, и, кроме того, там хранились письма от его сестры, жившей в Польше. В этих письмах, относящихся к 1926 г., среди знакомых упоминались видные государственные чиновники польского государства. Все это дало основания для подозрений.
