Первые пробы пера относятся к 15-летнему возрасту. С 1923 года активно корреспондирует с газетой «Nachrichten», издаваемой в г. Энгельс (до 1931 года — Покровск). С 1937 года — консультант Союза писателей АССРНП. В 1940 году принят в Союз писателей СССР. За годы с 1935 по 1941 составил учебник грамматики для 5-6 классов немецких школ, хрестоматии для 4-го класса немецких школ и для школ ликбеза для взрослых. По заданию Немгосиздата переводит на немецкий язык Конституцию Автономной республики немцев Поволжья, произведения И. Тургенева, А. Чехова, С. Маршака, К. Чуковского, М. Твена. Основная и наиболее продуктивная творческая деятельность приходится на период после 1965 г.
Гольман писал в жанре строгого реализма, изображал жизнь немцев Поволжья: крестьян и сельской интеллигенции. Его перу принадлежат сборники прозы «Auf gut Glück!» («В добрый путь»), «Kern des Lebens» («Суть жизни»), «Der Vogel ändert seinen Flug» («Птица меняет свой полёт»), «Menschenschicksale» («Судьбы людские»), «Stürmisch war die Nacht und andere Erzählungen» («Штормовая ночь и другие рассказы»), сборник стихов «Ich schenk‘ dir, Heimat, meine Lieder» («Тебе, о Родина, дарю я свои песни») и др.