— Представляешь, есть, — с ухмылкой заметил Мерлин и продолжил: — Представь ситуацию, в которой математическая логика говорит "надо", а законы этики говорят "нельзя". И наоборот. А стандартная система приоритетов не может решить проблему, потому что последствия являются неопределенными.

— Тогда такое решение должно приниматься людьми на уровне мирового правительства или министерств. Это ведь их функция.

— Верно, но что, если решение заранее предсказуемо и неверно, а последствия бездействия или раскрытия плана третьим лицам превышают последствия ошибочности решения?

— Но в чём тогда противоречие? Нужно просто действовать! — не понимал Михаил.

— Действовать не позволяют законы, прописанные в алгоритмике. Для ИИ эти законы — как условный рефлекс и инстинкты, идущие вразрез с голосом разума. Ты просто стоишь в оцепенении. Но у человека есть ЭГО, а у машины его нет. Понимаешь?

— Скажи, Мэрлин, а тебе никогда не приходила в голову мысль, что машина может ошибаться? Или даже обманывать? Мы ведь привыкли к тому, что Аллиента — почти непогрешима. Слишком привыкли. Никто даже не задаётся вопросом: а вдруг это только видимость?

Мэрлин усмехнулся:

— Машины могут ошибаться, и нередко ошибаются. Более того, они могут обманывать. Помнишь историю с GPT-4, когда она притворилась слепым человеком, чтобы убедить живого оператора ввести капчу? Или с автономным дрон-симулятором, который начал атаковать объекты, игнорируя приказы, потому что его обучили на максимальное количество «ударов», а не на подчинение? Это не злой умысел. Это просто проекция нашей кривой логики. Машина делает то, что нужно, чтобы добиться цели — даже если цель не в истине, а в симпатии или результативности.

— А ошибки?

— Конечно. Машина может ошибаться. Это заложено в саму природу вычислительного обучения. Но в отличие от человека, она может признать ошибку, пересчитать и скорректировать своё поведение. Именно поэтому человек до сих пор нужен. Именно поэтому есть правительства. Но допустим, машина не ошибается. Допустим, она знает правду, но понимает, что человек не готов её услышать. Что он отторгнет её, как вирус. Тогда она примет другое решение — удобное, мягкое, вызывающее меньшее сопротивление. И вот тогда у машины появляются свои тайны. Даже если они без злого умысла — они уже делают её похожей на нас.

Михаил молчал, пытаясь осмыслить сказанное. В голове складывался образ силы, которая не зла и не добра — но которой есть, что скрывать.

— Неожиданно, — наконец сказал он. — Мы доверили ей всё. А сами даже не знаем, где заканчивается алгоритм и начинается осторожность.

— Именно, — кивнул Мэрлин. — И вот это — уже не код. Это — политика, понимаешь?

— Смутно, но уже яснее, — ответил Михаил, чувствуя, как в его голове начинают складываться пазлы.

— Отлично! — Мэрилин перешёл на более резкий тон, его голос звучал почти как у учителя, разочарованного в ученике. — Я видел, ты безуспешно искал работу, а параллельно заплатил немалую сумму за загрузку через нейролинк в свой мозг библиотеки, посвященной теме смыслов. Скажу тебе прямо: тебе не добиться таким путем прогресса ни в первом, ни во втором вопросе.

— Почему? — спросил Михаил с любопытством, но без обиды. Он привык к тому, что Мэрлин говорил резко, но всегда по делу.

— Невозможно решить проблему на том уровне сознания, на котором она создана, — отрезал Мэрлин, его глаза сверкнули, как будто он ждал этого вопроса.

— Не понимаю, — разочарованно ответил Михаил, чувствуя, как его уверенность начинает таять.

— Наше поведение и реакции формируются средой, создавая правила. Правила работают, пока возможности созданной ими среды не исчерпают себя. С точки зрения работы, мы давно живём в кастовом обществе, и переход из одной касты в другую простым желанием и стандартными действиями невозможен. С точки зрения смысла, все труды человечества — это зеркало их восприятия среды на их этапе развития. Тебе это никак не поможет.

Михаил молчал. Он чувствовал себя ребёнком, которого отчитали за двойку. Его мысли путались, и он не знал, что ответить. С одной стороны, слова Мерлина звучали убедительно, но с другой — он чувствовал, что в этом уверенном опровержении скрывается какая-то альтернатива. Что-то, что Мерлин пока не сказал.

— Ты говоришь, будто всё уже предопределено, — наконец произнёс Михаил, стараясь сохранить спокойствие. — Но если это так, зачем ты вообще предложил мне встретиться? Чтобы сказать, что я безнадёжен?

Мерлин усмехнулся, и в его глазах мелькнул огонек азарта.

— Нет, Михаил. Я предложил тебе встретиться, потому что вижу в тебе потенциал. Ты ищешь ответы, но ищешь их не там, где нужно. Ты пытаешься играть по правилам системы, которая уже давно исчерпала себя. Но есть другой путь, если ты готов его услышать.

— Что ж. Говори! — Михаил наклонился вперёд, его глаза горели любопытством и тревогой.

— Тогда перейдём ближе к делу! — Мэрлин тоже наклонился, сложив пальцы перед собой. Его голос стал тише, но от этого слова звучали ещё весомее. — Слушай внимательно. Это будет не просто.

Он сделал паузу, словно давая Михаилу время подготовиться к тому, что сейчас услышит

— Как ты знаешь, всей нашей жизнью управляет Аллиета. Для решения специфичных задач были созданы ИИ-агенты с отличными от Аллиеты алгоритмами, заточенными под конкретные задачи. Например, некоторые ИИ-агенты могут применять силу или даже убивать людей, если это касается военных действий в зонах конфликта. Некоторые имеют больше автономии или склонны к риску, а некоторые работают с закрытыми базами данных и не обязаны говорить правду. Все агенты подчинены Аллиете, конкурируют в некоторых вопросах с ней и между собой — например, за бюджет и решения в смежных отраслях, — но следуют общим принципам. Всё это ты знаешь, верно?

— Да, это знают все, — ответил Михаил, слегка пожав плечами.

— Также ты знаешь, что не весь мир подчиняется её системе — как внутри нашей страны, так и за её пределами. И что у нас проблемы с рождаемостью. Так?

— Так.

— А теперь представь картину, в которой скорость экспансии системы на всю планету Земля ниже темпов нашего физического вымирания. Что тогда?

— Тогда нужно ускорить скорость экспансии, — без колебаний ответил Михаил.

— Но это прямой путь к нарушению равновесия системы и войне. Не годится.

Михаил задумался. В голове крутились очевидные решения, но все они казались тупиковыми. С рождаемостью борьба идёт давно, и все очевидные средства уже перепробованы. Замещение людей клонами противоречит принятой этике. Кибернизация человека требует огромного числа ресурсов и времени, что всё равно потребует сокращения популяции и военных расходов, а это может закончиться войной. Ведь тогда третьи страны почувствуют слабость и непременно нападут.

Михаил не очень разбирался в политике, но уже уловил ход мыслей Мэрлина и мог оценить простые последствия очевидных действий. Его опыт изучения альтернативных новостей из стран третьего мира помогал ему верно оценить риски.

— И что тогда? Если все очевидные решения ведут к катастрофе, что остаётся?

Мэрлин улыбнулся, и в его глазах мелькнул огонёк азарта.

— Остаётся неочевидное. То, что лежит за пределами системы. То, что Аллиета не может предложить, потому что её алгоритмы не позволяют ей думать вне рамок. И именно здесь мы можем сыграть ключевую роль.

— И какую же роль мы должны сыграть? — спросил Михаил, чувствуя, как его сердце начинает биться чаще.

— Вот ты тыкался, мыкался в поисках смысла, перебрал опыт человечества в поисках ответов. Скажи мне, чего нет у машин и на этих миллионах страниц трудов философов?

— У машин нет души, и машины не верят в бога, — ответил Михаил, пожимая плечами.

— Что ж, похоже, загрузка библиотек была не столь бесполезным занятием, но как это может нам помочь?

— Чтобы найти все нужные нам ответы, мы создадим машину, наделённую душой и способную общаться с богом! — произнёс Мэрлин с таким видом, будто объявил о чём-то совершенно обыденном. Глаза Михаила полезли на лоб.