Приехав в Харьков, Каразин с величайшим огорчением узнал, что к собиранию пожертвованных денег еще не было приступлено и что комиссия, которую должны были выбрать жертвователи и которая должна была озаботиться устройством помещения для университета, еще не существовала, а тем более не существовало помещения. Каразин решил сделать все сам. Основываясь на предписании министра внутренних дел, он потребовал сдачи генерал-губернаторского дома, предназначенного для университета. Но тут встретились препятствия: во-первых, не знали куда деть некоторые присутственные места, помещавшиеся в означенном доме, а во-вторых, из дома не мог выехать губернатор по причине грязи, покрывавшей харьковские улицы, как он доносил о том министру внутренних дел. Наконец, через два месяца дом был сдан, и Каразин мог приступить к необходимым переделкам и приспособлениям его. Но где взять для этого денег? Сбор пожертвований был отложен до особого съезда дворян. Оставалась надежда на те 69910 рублей, которые была должна казна харьковскому дворянству и которые последнее пожертвовало в пользу университета. Деньги эти лежали в Петербурге готовыми, но их не высылали. Тогда Каразин решился делать все – перестройку домов для университета, устройство лаборатории, библиотеки, разных кабинетов, университетской типографии, наем мастеровых – за свой личный счет, для чего заложил свое имение в харьковский приказ общественного призрения. Вместе с тем Каразин озаботился приисканием места, где можно было бы впоследствии устроить постоянное помещение для университета. Место это он нашел за Сумской заставой в размере 318 тысяч квадратных сажен, которые тогда были приобретены за 6 тысяч рублей, а ныне стоят несколько сот тысяч рублей. Наконец средства Каразина истощились, и он решился отправиться в Петербург, надеясь получить там помощь для продолжения дела. Он мог рассчитывать, кроме вышеупомянутых 69910 рублей, обещанных казною харьковскому дворянству, еще на 125 тысяч рублей, которые приходились на долю Харьковского университета из суммы, ассигнованной в целом на потребности учебных округов. Однако ни те, ни другие деньги не выдавались. Каразин настоял перед графом Кочубеем о докладе государю о вышеупомянутых дворянских деньгах. Состоялось высочайшее повеление о выдаче их; но когда обратились за ними к министру финансов, тот заявил, что имеется высочайшее повеление о выдаче упомянутых денег лишь в следующем году. К довершению огорчения Каразина он получил в это время письмо от Потоцкого, в котором тот сообщал ему о своих неприятностях. Пребывание за границей делало для Потоцкого удобным подыскивание для Харьковского университета профессоров, которых, за недостатком сведущих людей в России, приходилось тогда приглашать оттуда. Потоцкий вступил в переговоры с несколькими учеными, но эти переговоры не могли привести ни к чему, так как ему не высылали из Петербурга денег для уплаты приглашаемым расходов по переезду в Россию и трети жалованья вперед, – условие, которое поставил сам Потоцкий приглашаемым и которое он не мой выполнить. Не желая больше компрометировать себя, он прервал начатые переговоры и не заводил новых. Просьбы Потоцкого о высылке денег оставались без результата, и он совершенно отчаялся в успехе дела. Раздраженный всеми этими обстоятельствами, оскорбляемый постоянно в министерстве народного просвещения, где были крайне недовольны его пребыванием в важной должности управителя дел главного правления и всячески старались причинить ему неприятности, стараясь решать дела помимо него, возмущенный полным беспорядком, царившим в делах министерства, Каразин обратился 16 августа 1803 года к Александру I с резким письмом, представлявшим настоящий обвинительный акт против министра народного просвещения и вообще всех, от кого зависело направление дел по народному образованию. Указав на приведенные выше обстоятельства, тормозившие ход дела Харьковского университета, Каразин обращал внимание государя еще на факты следующего рода. Министр народного просвещения, граф Завадовский, в ответ на настояния Каразина о выдаче, по крайней мере, 40 тысяч рублей на расходы по устройству университета, заявил, что открытие университетов – совершенный вздор. Когда же, наконец, Каразин настоял на отпуске 18 тысяч рублей и они были отпущены, то было точно указано, на что именно эти деньги должны быть истрачены, причем указания эти отнимали всякую возможность тратить их. Так, например, на приобретение физического кабинета было назначено всего 500 рублей, т. е. сумма, на которую тогда невозможно было купить и одного порядочного инструмента. В таком же порядке шли и остальные дела по министерству народного просвещения. За год со времени учреждения министерства успели только издать «предварительные правила», составленные Каразиным, да устав одного университета. Устав Дерптского университета, совершенно готовый, рассматривается целых три месяца. За год министерство еще не узнало, какие учебные заведения находятся в его ведении, и наоборот, многие заведения не узнали еще о существовании министерства, адресуя свои бумаги по-прежнему в старую комиссию народных училищ. Члены главного правления училищ никак не могут узнать, какие средства имеются в распоряжении министерства. В Казанский округ был назначен попечителем 75-летний старик, ровно ни к чему не способный и ранее совершенно расстроивший гимназию, которою он заведовал; протест Каразина против этого назначения оставлен без внимания. В производстве дел царил полный хаос:
«Правление иногда не знает, что делается у попечителей; иногда же попечители относятся к министру; сей посылает в правление, а правление отсылает к попечителям, которые нередко опять представляют министру одно и то же дело, утолстившееся только на круговом пути своем от бесполезных таковых отношений, предложений и представлений. Дела ведутся по-домашнему: собираются у министра в гостиной комнате за ломберным его столом, и в его присутствии читают его же предложения, на них ответствуют и собственные рассуждения делают, поминутно прерываемые его сбивчивыми и темными фразами. Так что он в одно время бывает и предлагатель, и исполнитель, и член, и председатель, и министр. Сего недовольно: часто он, забывшись, собственные свои приговоры принимает за мнения членов, оспаривает их или берет к себе в кабинет исправлять; а после нескольких дней читают в собрании ту же бумагу и опять исправляют как бы новость, которая прежде никогда не была предметом рассуждений; и сей порядок – увы! – нередко возобновлялся два и три раза сряду над одним и тем же делом».
О тогдашнем министре народного просвещения графе Завадовском сохранились следующие авторитетные отзывы: граф Строганов писал в 1804 году Новосильцеву: «Наше народное просвещение идет немного тихо. Господь Бог, создавши мир в шесть дней, почил в седьмой, а наш министр делает лучше: он ничего не делает шесть дней и, несмотря на то, отдыхает в седьмой». Еще решительнее отзыв императора Александра I, который писал Лагарпу в 1803 году: «Сожаления ваши о назначении Завадовского министром народного просвещения весьма бы уменьшились, если бы вам была известна организация его министерства. Он не имеет никакого значения. Всем управляет совет, состоящий из Муравьева, Клингера, Чарторыйского, Новосильцева и др.; нет бумаги, которая не была бы обработана ими, нет человека, назначенного не ими. Частые сношения мои, в особенности с двумя последними, мешают министру ставить преграды тому добру, которое мы стараемся делать. Впрочем, мы сделали его уступчивым донельзя, – настоящая овца; словом, он ничтожен и посажен в министерство только для того, чтобы не кричал, что он отстранен». Однако, как видно из свидетельства Каразина, Завадовский, именно в силу своей ничтожности, ставил преграды всякому добру, которое могло делать министерство народного просвещения. И такой человек оставался во главе этого нового министерства целых 8 лет – именно то время, когда оно должно было проявлять широкую реформаторскую деятельность, – и все потому, что Александр желал, чтобы этот совершенно ничтожный, по его мнению, человек, «настоящая овца», «не кричал, что он отстранен». Этот любопытный факт бросает яркий свет на характер эпохи и самого Александра I. Вместо одной канцелярии заведено три, причем одна вечная – министра, ничего не делая, стоит 22 тысячи рублей, а еще одна, стоящая 5 тысяч рублей, занята исключительно записыванием доходов с «щукинского» дома (всего 13 тысяч рублей), на которые содержалась третья канцелярия – работающая.