В «Истории моего побега» Казанова рассказывает, как он начинал этим наслаждаться, что показал себя целому городу, став разговором целого города. Он посетил каждого инквизитора, каждый приглашал его к столу, чтобы услышать истории его побега и его дуэли в Польше. Он посетил патрициев, которые его особенно поддерживали: Дандоло, Гримальди, Дзагури, Моросини. Возвращение на родину доставило ему несколько счастливейших часов… Но далее каждый ожидал, что службу ему даст Венеция. Девять лет подряд он утруждался напрасно. Тогда он сказал себе: «Либо я не создан для Венеции, либо Венеция не для меня. Придется провести новую схватку, заново покинуть родину, как покидают приятный дом, где есть злой сосед.»

В 1776 году Казанова становится специальным тайным агентом суда инквизиции, который оплачивается в зависимости от важности своих сообщений. А с 1780 года в пятьдесят пять лет он становится платным шпионом той самой инквизиции, которая когда-то приказала заточить его под Свинцовые Крыши. Он служит инквизиции за пятнадцать дукатов в месяц. Его задачей было доносить инквизиции о проступках против религии и добрых нравов. Он жаловался официально, чаще всего тайно, на частоту разводов, на упражнения пальцев молодых людей в темных ложах театров, на обнаженные модели художественных школ. Он доносил на своих друзей, которые читали Вольтера или Руссо, Шаррона, Пиррона или Баффо, Ламеттри или Гельвеция. Он подписывал шпионские сообщения «Антонио Пратолини».

В конце января 1781 года он теряет и эту службу. И Казанова пишет униженное письмо государственным инквизиторам из-за пары дукатов, суммы, которую он когда-то давал нищему или слуге. Он пишет: «Полный смущения, скорби и раскаянья, я сознаю, что абсолютно недостоин составлять своей продажной рукой письмо Вашему превосходительству, и сознаю, что при всех обстоятельствах я упустил свой долг, но все же я, Джакомо Казанова, взываю на коленях к милости моих князей, я умоляю из сострадания и милости предоставить мне то, в чем не может отказать справедливость и превосходство. Я умоляю о княжеской щедрости, что придет мне на помощь, чтобы я мог существовать и крепко посвятить себя в будущем службе, в которую я введен. По этой почтительнейшей просьбе мудрость Вашего превосходительства может судить, каково расположение моего духа и каковы мои намерения.» Благодаря этому письму он получил еще одно месячное содержание.

В Венеции он также нашел одну постоянную подругу, Франческу Бусчини, маленькую портниху, считавшую Казанову великим человеком, у которого есть сердце, дух и мужество.

В Венеции в 1775-1778 годах Казанова опубликовал перевод «Илиады» рифмованными восьмистрочными стансами, но только три тома, которые кончаются смертью Патрокла. Первый том посвящен генуэзскому маркизу Карло Спиноле, у которого Казанова короткое время был секретарем; второй — графу Тилне; третий — Стратико; в архиве Дукса сохранилась рукопись четвертого тома. Этот архив был позже переведен в замок Хиршберг. Кроме того там находятся переводы отдельных песен «Илиады» на венецианском диалекте. В 1779 году Казанова новый памфлет против Вольтера: «Scrutino del libro Eloges de M. de Voltair par differents auteurs», Венеция, 1789. («Избранное из книг похвалы Вольтеру различных авторов»). В 1780 году появляются «Opuscoli Miscellanei» и театральный журнал «Le Messeger de Thalie» («Вестник Талии»), в 1782 году «Di Anedotti Viniziani» («Венецианские анекдоты») и памфлет «Ne amori ne donne ovvero la Stalla repulita». В нем Казанова нападает на Карло Гримани и других патрициев. В споре и диспуте между неким Карлетти и Казановой Гримани признает Казанову неправым и велит молчать. Памфлет чрезвычайно остр. После него Казанова может покинуть Венецию. Он излечился от своей тоски по родине.

«Мне пятьдесят восемь лет, я больше не могу путешествовать пешком, а теперь идет зима, и как только я подумаю начать снова мою жизнь авантюриста, то смеюсь, посмотрев в зеркало.»

В январе 1783 года он едет в Вену. Он был беден и вызывал подозрение. У него была слава политического эмигранта и мошенника. Он бродяжничал по Австрии, Голландии, Парижу. Всплыли старые большие прожекты: он хотел основать газету, построить канал между Байоной и Нарбонном, устроить путешествие на Мадагаскар, он интересовался братьями Монгольфье. В Париже он пробыл два месяца. В Вене он стал секретарем венецианского посла Фоскарини. Он снова ходил на балы, на праздники, в хорошее общество. В шестьдесят лет он танцевал как юноша и хотел жениться на молодой девушке. Но тут Фоскарини умер. Казанова в бедности сидел в Теплице, когда о нем узнал молодой и очень богатый граф Вальдштайн, племянник князя Шарля де Линя. Оба знали Казанову по Парижу. Вальдштайн сочувствовал Казанове и предложил ему пост библиотекаря в своем богемском замке Дукс (Духов), с тысячей гульденов в год, коляской и обслуживанием.

Благодаря ему старый авантюрист получил сострадание и удовольствия; должно быть молодой граф был его породы, фривольный и двусмысленный, кавалер и игрок, грубый и изящный, полный бравурности и безумства. Граф Ламберг с полным правом поздравил Казанову письмом в марте 1784 года с таким меценатом — такому графу подходил такой библиотекарь. Мать Вальдштайна сердилась, что в тридцать лет ее сын все еще не был серьезным человеком. Лоренцо да Понте, друг, земляк и критик Казановы, сообщает ему в марте 1793 года: «Граф Вальдштайн ведет в Лондоне весьма темное существование: плохо живет, плохо одевается, плохо обслуживается; всегда в пивных, всегда в борделях, всегда в кофейнях, с бездельниками, с ленивцами, с … Но не забудем другое: у него сердце ангела, превосходный характер, но нрав еще бешенее, чем наш.» (Архив Дукса)

Библиотека Дукса составляла сорок тысяч томов. Замок был роскошен. Старый шестидесятилетний итальянец, оставивший позади дюжину жизней, дореволюционный революционер, шагавший по жизни в менуэте, суперромантик с канувшими в бездну (и мнимыми) придворными манерами, с отблеском всей высшей аристократии Европы, из всей Европы высланный, с колоссальным словоизвержением, с гротескной для невежд начитанностью, цитировавший Горация и Ариосто, королей и Вольтера, не подходил к немецко-богемским душам гайдуков и характерам камердинеров. Его претензии не подходили к его должности, его должность не подходила ему. Он был похож на заколдованное существо из сказки, но того воскресшего героя, который раз в неделю, в месяц, в год становится принцем, но выглядит чудовищем. Колдовство начиналось, когда Вальдштайн был в замке, тогда для пиров, охоты, салонных разговоров в замок собирались князья, графы, музыканты, литераторы, иностранцы. Тогда старый авантюрист блистал, почти шести футов ростом, костистый итальянец с широкими жестами, длинной шпагой, поддельными украшениями, элегантными манерами Тальми, навсегда пропавшей в мире любезностью и французской придворной речью, в одеждах с истлевшей элегантностью, с умом, лучащимся, как и у большинства гостей, с остроумием, равным остроумию лучших гостей, например, дяди Вальдштайна, блистательного князя Шарля де Линя, который принадлежал к умнейшим людям и писателям этого остроумного столетия.

С персоналом замка Вальдштайна Казанова был в состоянии перманентной войны, ведущейся на нервах и шедшей весьма пошло, как только и могут эти насекомые души.

Среди графского обслуживающего персонала неопределенная должность Казановы ставила его посередине между слугами и господами. И слуги, и господа рассматривали его как равного. Он жаловался богу и миру на домоправителя Лезера, управляющего Фельткирхнера, врача О'Рейли, курьера Видерхольта, прачку Каролину, на кучера и камердинера, на служанок и графов. Мать Вальдштайна писала ему: «Я сожалею, монсиньор, что Вы вынуждены жить с таким сбродом, в таком плохом обществе, но мой сын не забыл, чем он Вам обязан, и я уверена, что он даст Вам то удовлетворение, лишь стоит Вам его потребовать.»

Казанова писал: Дукс для многих мог бы быть раем, но не для него. Однако, то что стало в конечном счете экстазом его старости, было независимым от его жилища. «Когда я не сплю, я мечтаю, а когда устаю от мечтаний, я черню бумагу, читаю и отвергаю большую часть того, что набросало мое перо.»