Очень скоро Скалдин становится заметной фигурой в культурной жизни города: он работает в Наркомпросе, Пролеткульте, заведует художественным подотделом Губполитпросвета, возглавляет сразу три музея, в том числе знаменитый Радищевский (ныне всемирно известный Саратовский художественный музей). Затем сфера его служебных обязанностей распространяется и на все зрелищные учреждения: театры, кинотеатры, филармонию, цирк. Будучи членом Правления Саратовского Общества Истории, Археологии, Этнографии, он не только выступает с научными докладами и публичными лекциями, но и организует ряд экспедиций по обследованию и собиранию предметов местного искусства, в основном - культовых, пишет большую работу по церковному зодчеству Саратовской губернии (изъята при аресте).
С той же страстностью, с которой до этого он отдавался делу Союза Деятелей Искусств, Скалдин занимается культурой Саратовского края, и надо отдать должное, весьма успешно. Фонды музеев пополняются. Приход Скалдина к управлению театрами, совпавший с началом НЭПа, вывел их из прогара. Всего за полгода театры выплатили долги и стали доходными. Популярность Скалдина росла. Вот тогда-то, на её взлёте, началась грубая и настойчивая пропагандистская кампания. Развязана она была режиссёром театра им. Карла Маркса и деятелями из газеты "Известия Саратовского Совета", имена которых не заслуживают упоминания. С открытия сезона 1922 года из номера в номер газета ведёт откровенную травлю Скалдина. Кампания имела ярко выраженную идеологическую направленность, что и не скрывалось. Мишенью стала репертуарная ориентация театров. Одна из статей, опубликованных в "Известиях", была красноречиво озаглавлена "Скалдиновщина". Вот как она начиналась: "Кто это лезет под ноги? Кто мешает идти? Чья наглость, преступный цинизм ползёт грязным ручьём вокруг нас? Кто и как умаляет удар бодрых, творческих сил? Мы сейчас это покажем". И далее речь шла о пьесах, "разящих потом разврата и пошлости", о "слезоточиво-чеховской хляби" на сцене. Статья кончалась требованием: "Революционных сценариев!" и выводом: "С нею ("скалдиновщиной") надо кончить. Окончательно, бесповоротно". Через несколько дней Скалдина арестовали, на него было заведено уголовное дело инкриминировалось сокрытие музейных ценностей, обвиняемому грозила высшая мера. В процессе следствия, которое тянулось четыре месяца, выяснилось, что ценности готовились к передаче в центральные музеи, на них составлены акты и списки. Высшая мера не натягивалась, да и всё дело смотрелось как дутое. Интеллигенция города на суде и в печати выражала своё возмущение процессом и сочувствие к подсудимому. Однако приговор был суров: за превышение власти - три года строгой изоляции.
Жена Скалдина бросилась в Петроград к старым друзьям. На этот раз выручил Луначарский. Благодаря его личному вмешательству через восемь месяцев Скалдин был тихо освобождён и сразу же вернулся в Петроград.
Подводя итог саратовскому пятилетию в жизни Скалдина, приходится с горечью констатировать: опять в силу сложившихся исторических причин всё, что он делал с полной самоотдачей по культурному, теперь уже советскому, строительству, обернулось против него.
В Саратове Скалдин писал, писал и во время кратких наездов в эти годы в Петроград, живя с братом в маленьком деревянном домике на Плуталовой улице, описанной Зенкевичем в романе "Мужицкий сфинкс". Так, между Петроградом и Саратовом родилась книга новелл "Вечера у Мастера Ха" (другой вариант названия - "Вечера у Мастера Христофора"), объявленная к изданию. Но книга не появилась. Вероятно, её выходу помешал арест. В архиве литературоведа Павла Николаевича Медведева сохранился автограф одной главы - "Рассказ о Господине Просто". Это сложная, экспериментальная проза, напоминающая нам будущие литературные манеры - обэриутскую, мовизм.
Современный исследователь русской литературы, работающий в США, Вадим Крейд отметил "определённое сходство" романа о Никодиме с "Мастером и Маргаритой" Булгакова и предположил знакомство Булгакова с этим произведением. Ещё вероятней знание Булгаковым фрагментов из второй не вышедшей прозаической книги. Ведь в "Рассказе..." Скалдина действуют: нечистая сила - неизвестный Господин, "стукающий каблуком", говорящий кот и Мастер. Булгаков мог слышать "Рассказ..." в авторском чтении. В 20-е начале 30-х годов, когда литература неофициальной направленности уходила в кружковые, устные формы, Скалдин охотно и часто читал свои вещи в московских и ленинградских литературных домах. Об этом упоминают: его жена - Елизавета Константиновна, литераторы Анастасия Чеботаревская, Юрий Верховский, Лев Гумилевский, Михаил Гершензон, художник Остроумова-Лебедова.
Петроград 1923 года встретил Скалдина неприветливо - больше года он не может найти никакой работы. Безысходность вынуждает стать агентом книготорговли. С конца 1924 по 1927 год Скалдин активно работает в этом качестве, имея договоры с сорока издательствами, поставляет книги в Сибирь, на юг, Дальний Восток. Надо полагать, именно в этих дальних поездках была собрана коллекция исторических документов, которая позднее в составе личного фонда Скалдина оказалась в Литературном музее (ныне в РГАЛИ).
Что было написано в эти годы, мы точно не знаем. Сохранились упоминания произведений, читанных в дружеских кружках: романы "Земля Канаана" ("посвящённый изображению возможной революции на острове Ява", опять аналогия с Булгаковым - "Багровый остров"), "Смерть Григория Распутина", "Деревенская жизнь", "Женихи", рассказы - "Рассыпанное ожерелье", "Зоологический лев", стихи. В печати появлялись лишь детские книжки: "Чего было много" (1929), "За рулём" (1930), "Колдун и учёный" (1931) - занимательное, научно-популярное повествование для школьников об изобретении и совершенствовании красок, столь увлекательное, что спокойно выдержит и современное переиздание. Написанные тогда же детские произведения "Музей "Чижа"" и "Нитка, иголка и пуговица" не увидели свет. Работа Скалдина для двухтомного "Путеводителя по Ленинграду" (1933), вышедшего уже после вторичного ареста автора, обозначена в оглавлении инициалами - А. С.
