Еще в 1834 году, в ряду обвинений против «утрированного филантропа» было выставлено Капцевичем и обвинение в том, что он постоянно утруждает начальство «неосновательными» просьбами за «развращенных» арестантов. Оно было повторено с особою силою и в 1839 году. Оправдываясь, Гааз в горячих выражениях указывает на всеобщее равнодушное отношение к нуждам ссыльных, на торопливость, с которою для каждой партии составляется статейный список, на нежелание выслушивать их просьбы, чтобы не изменять и не переделывать этого списка, ограждая тем конвойных от ожидания и писарей от излишнего труда. «Когда партия отправляется и не получившие справедливости арестанты смотрят на меня с некоторым как бы видом презрения, то я думаю, — восклицает он, — что ангел господень ведет свой статейный список и в нем записаны— начальство сих несчастных и я»… Сознание невозможности продолжать освидетельствование, не давая ему покоя, без сомнения, побуждало его к ряду личных просьб и протестов. Следов их не сохранилось, но уцелели его письменные обращения, в которых чувствуется глубоко убежденный и страдающий человек. «Учреждение тюремного комитета, — пишет он генерал-губернатору, — обращается как бы в фантом и обязанность, порученная вашему сиятельству как бы в качестве душеприказчика основателя общества, остается без последствий; до последней степени оскорбительно видеть, сколь много старания прилагается держать букву закона, когда хотят отказать в справедливости!». «Сегодня, — пишет он 29 декабря 1839 г. гражданскому губернатору Олсуфьеву, — исполнилось десять лет со дня открытия в Москве тюремного комитета; мне хочется сей день, который бы следовало праздновать высокоторжественным образом, провести в глубоком трауре. Это самый печальный день, который имел я во все время существования комитета, видя нарушение достигнутого десятилетними трудами облегчения вверенных нам людей. Ваше превосходительство сами можете постигнуть, какие должны быть мои чувства, когда даже в вас не могу еще заметить сострадания к несправедливым поступкам, кои я претерпеваю отовсюду от того единственно, что я старался всем сердцем и всеми способами о соблюдении тех правил, которые должны были быть соблюдаемы касательно сих людей».

Не дождавшись немедленного восстановления своих прав, Гааз не сложил, однако, оружия. Он считался директором тюремного комитета и крепко держался за это звание. Оно давало ему возможность ездить в пересыльную тюрьму и на этап, видеть «своих» арестантов, просить за них и заступаться, несмотря на то, что директор Розенштраух, командированный комитетом, погрозил ему однажды даже тем, что если он будет продолжать «нарушать порядок», то будет «удален силою». «Несмотря на унижение, коим я подвержен, несмотря на обхождение со мною, лишающее меня уважения даже моих подчиненных, и, чувствуя, что я остался один без всякой приятельской связи или подкрепления, — пишет он в марте 1840 года комитету, — я тем не менее считаю, что покуда я состою членом комитета, уполномоченным по этому званию волею Государя посещать все тюрьмы Москвы, — мне никто не может воспретить отправляться в пересыльный замок в момент отсылки арестантов, и я продолжаю и буду продолжать там бывать всякий раз, как и прежде»… Долго ли продолжалось это тягостное для него положение; определить в точности не представляется возможным, но уже с 1842 года в журналах комитета начинают встречаться заявления самого Гааза о содействии, тем или другим нуждам арестантов, оставленных им в больнице пересыльного замка, а известия конца сороковых и начала пятидесятых годов, несмотря на суровое генерал-губернаторство Закревского, рисуют его энергически распоряжающимся в любимой сфере. Очевидно, что противники его, видя упорство старика, устали и — махнули на него рукой. Притом за этим его упорством чувствовалась великая, покоряющая нравственная сила, пред которою бледнели и теряли значение такие важные беспорядки и затруднения, как необходимость переписывать кондуитные списки или изменять расчет кормовых денег… Быть может, некоторым его противникам из-за серой массы «развращенных арестантов», с упованием и благодарностью смотревших на оскорбляемого, но настойчивого чудака, — стал видеться тот ангел господень, на которого он с такою уверенностью ссылался и у которого был «свой статейный список»…

Но, как бы то ни было, поездки на Воробьевы горы и на Рогожский полуэтап продолжались до самой смерти Гааза. «Я встречал иногда в некоторых домах Москвы доктора Гааза, — писал нам в 1893 году покойный Е. А. Матисен (старейший член Петербургской судебной палаты), — он энергическою своею осанкою напоминал Лютера; я застал его в 1850 году при человеколюбивой деятельности его в качестве врача при пересыльном арестантском замке на Воробьевых горах. В одно воскресенье поехал я туда для присутствования при тяжком зрелище отправления этих несчастных в Сибирь; в числе их была одна женщина — присужденная к каторжным работам; она уже поставлена была в общий строй, для шествия пешком, когда приехал гражданский губернатор; на просьбу этой арестантки дозволить ей сесть на одну из телег, всегда сопровождающих конвой и назначенных для детей и слабосильных, он в резких выражениях отказал; тогда приблизился к ней доктор Гааз и, удостоверившись в крайнем истощении ее, обратился к губернатору с заявлением, что он не может дозволить отправления ее пешком; губернатор возражал и упрекал его в излишнем добродушии к преступнице, но Гааз настаивал и, отозвавшись, что за больных отвечает он, приказал принять эту женщину на телегу; губернатор хотел отменить это распоряжение, но Гааз горячо сказал, что он не имеет на это права и что он тотчас донесет об этом генерал-губернатору Закревскому; тогда только губернатор уступил, и женщина отправлена была в телеге. В тот же день я был очевидцем, как одного каторжника заковали и так неумело, что нога его оказалась в крови и он от боли не мог встать — тогда Гааз велел его расковать, приняв на себя ответственность за возможный побег. Возвратившись в Москву, я поехал к Рогожской заставе, чрез которую проходил конвой арестантов, и здесь опять встретил доктора Гааза, желавшего удостовериться, не отменены ли его приказания относительно слабосильных арестантов, и вновь подошедшего с. ободрением и теплыми словами к женщине, сидевшей на телеге и освобожденной им от пешего хождения по этапам».

Воспоминания людей, помнящих Гааза и служивших с ним, дают возможность представить довольно живо его воскресные приезды на Воробьевы горы. Он являлся к обедне и внимательно слушал проповедь, которая, вследствие его просьбы, уваженной митрополитом Филаретом, всегда неизбежно говорилась в этот день для арестантов. Затем он обходил камеры арестантов, задавая те вопросы, в праве предложить которые видел себе — как он писал князю Голицыну — награду. Арестанты ждали его посещения, как праздника, любили его «как бога», верили в него и даже сложили про него поговорку: «У Гааза — нет отказа». Самые тяжкие и закоренелые преступники относились к нему с чрезвычайным почтением. Он входил всегда один в камеры «опасных» арестантов — с клеймами на лице, наказанных плетьми и приговоренных в рудники без срока, — оставался там подолгу наедине с ними — и не было ни одного случая, чтобы мало-мальски грубое слово вырвалось у ожесточенного и «пропащего» человека против «Федора Петровича». Вопрос о том: не имеет кто какой-нибудь нужды? — вызывал всегда множество заявлений, часто неосновательных, и просьб, удовлетворение которых было иногда невозможно. Гааз все выслушивал терпеливо и благодушно. На его исполненном спокойствия и доброты лице не было и тени неудовольствия на подчас вздорные или даже вымышленные претензии. Он понимал, в глубоком сострадании своем к слабой душе человеческой, что узник и сам часто знает, как нелепа его просьба или несправедлива жалоба, но ему надо дать высказаться, выговориться, надо дать почувствовать, что между ним — отверженцем общества — и внешним, свободным миром есть все-таки связь и что этот мир преклоняет ухо, чтобы выслушать его… Терпеливое внимание, без оттенка докуки или раздражения, два-три слова сожаления о том, что нельзя помочь, или разъяснение, что для помощи нет повода, — и узник успокоен, ободрен, утешен. Всякий, кто имел дело с арестантами и относился к ним не с надменной чиновничьей высоты, знает, что это так…