Кроме того, законы, пригодные для домашнего робота с пространством компетенции в несколько десятков метров и интеллектом как у слуги, непригодны для всемирного сверхчеловеческого ИИ, способного предвидеть и планировать на десятки лет вперед.

Наилучшим сценарием нам представляется интеграция людей в единый интеллект, поскольку это позволит сохранить и развить ценности максимально большого числа людей. Однако другой возможный сценарий — это создание независимой от человека компьютерной программы, обладающей интеллектом, который превосходит человеческий.

Вероятно, оба этих направления будут развиваться параллельно и интегрироваться. Однако главным вопросом в отношении сверх-интеллектуальной машины является ее система целей — как сделать, чтобы она служила человеку и не причиняла ему вреда.

Нетривиальность этого вопроса состоит в том, что невозможно предсказать поведение сверхинтеллектуальной машины, поскольку то, что нам кажется удачной системой целей и команд, может привести к чудовищным непредусмотренным последствиям. Юдковски пишет, что он рекомендует любому, кто впервые услышал об этой проблеме, подумать 72 часа до того, как предлагать ее решения.

Примером опасной системы команд может служить такой анекдот: астронавт попросил робота удалить из комнаты все круглые предметы, и тот оторвал ему голову.

Хорошая система целей для ИИ должна не требовать буквального послушания, а следовать принципу: «Делай то, что я имею в виду, а не то, что я сказал буквально».

Проблема дружественного ИИ не имеет общепризнанного решения. Многие исследователи ИИ вообще эту проблему игнорируют, считая, что займутся ею только после решения задачи моделирования мышления. Однако многие предлагаемые архитектуры ИИ менее приспособлены к следованию заранее заложенным правилам.

Конечно, можно смоделировать максимально точно обычного человека, и в этом случае его этика будет нам понятна. Но если мы создадим ИИ, способный к саморазвитию, необходимо сделать так, чтобы он сохранял свою систему ценностей неизменной в ходе самоапгрейда.

С безопасностью ИИ связано много заблуждений.

Некоторые полагают, что достаточно отключить разбушевавшийся ИИ от питания. Однако это не поможет. ИИ сначала «утечет» в Интернет, а потом только даст знать, что с ним что-то не так. До этого он будет притворяться правильным, если в него заложен закон самосохранения.

Другие считают, что ИИ может быть опасен только там, где есть компьютерные сети, по которым он может распространяться. Однако ИИ, который превосходит человека, сможет манипулировать и управлять людьми с помощью денег, угроз и обмана. Кроме того, он может создать собственную производственную инфраструктуру, например, вырастив подчиненное себе биологическое существо, способное к быстрой репликации. Сверхчеловеческий ИИ может иметь много других способов установить свою власть за Земле, если он этого захочет.

Некоторые полагают, что любой разум должен быть по природе своей добр или что с ним можно договориться, или у ИИ не будет общих точек пересечения с людьми, так как он будет осваивать космос.

Однако представим себе такую гипотетическую ситуацию: некий ученый создал ИИ и заложил в него следующую задачу: посчитать число  с максимальной точностью. Такой интеллект поймет, что наиболее эффективно он может решить эту задачу, только если превратит все вещество Земли в новые компьютеры. Для этого ему надо захватить власть на Земле, уничтожить людей, чтобы они ему не мешали, и потратить все вещество Земли на выполнение этой бессмысленной задачи. При этом он может понимать, что эта задача бессмысленна, но его система целей будет настолько жестко закреплена, что не позволит ее модифицировать.

Юдковски полагает, что ИИ может быть опасен даже при использовании текстового терминала — он может уговорить человека-оператора выпустить его в Интернет. Это может быть сделано с помощью обещаний, угроз, нейролингвистического программирования или предложения некой сделки. Чтобы доказать это, Юдковски провел «эксперимент с ИИ в черном ящике» (AI-Box Experiment).

В этом эксперименте Юдковски изображал ИИ, а другой человек, который заранее честно заявил, что ни при каких обстоятельствах не разрешит ИИ покинуть ящик, общался с ним по терминалу. Юдковски старался убедить оператора от имени ИИ выпустить его из ящика. В трех случаях из пяти люди изменили свое мнение и их удалось уговорить на освобождение ИИ. Реальный ИИ, вероятно, мог бы вести переговоры еще эффективнее.

Юдковски полагает, что, выйдя в Интернет, ИИ мог бы подчинить его себе за несколько часов. Кроме того, он мог бы создать собственную нанотехнологическую инфраструктуру, заказав в лабораториях с доставкой необходимые ДНК-ингридиенты и создав простейшую биологическую искусственную жизнь с возможностью радиоуправления. Это заняло бы от нескольких дней до недель. И после этого он установил бы полную власть над миром.

Важные приложения ИИ

Вполне разумно ожидать к концу XXI века существование всемирного распределенного ИИ, который будет сверхчеловеческим как по объему своего внимания (он сможет одновременно контролировать все доступное пространство), так и по качественному превосходству человеческого интеллекта.

Возможные стадии возникновения всемирного распределенного ИИ

1

Продолжение нынешнего развития

Развивается Интернет и Веб 2.0, растет интеграция людей в социальных сетях, ускоряется доступ к данным, и возрастает их надежность

Сценарий более или менее однозначен, если не происходит чего-то чрезвычайного

2

Возникновение нескольких новых мощных продуктов с элементами ИИ, по масштабу воздействия сравнимых с

Google, Wikipedia

или

Wolfram Alpha

Возникает предсингулярный ажиотаж: обостряется конкуренция за создание первого ИИ. ИИ сможет отчасти понимать речь человека в большинстве практических ситуаций, автомобили смогут ездить на автопилоте, но под контролем человека и по специально адаптированным дорогам. Домашние роботы смогут выполнять команды голосом и совершать простую уборку. Возникает такой феномен, как псевдоинтеллект, то есть программа, в принципе способная подражать человеку, но при ближайшем рассмотрении оказывающаяся все же программои

Несколько разных вариантов сценария, связанных с тем, какие именно новые проекты появятся

3

Эпоха фазового перехода

ИИ достигает человеческого уровня, затем его доводят до фазы самоусиления. После чего он усилит себя до сверхчеловеческого уровня и так или иначе будет использован для контроля всей Земли

Бесконечное количество разных сценариев

4

Эпоха результатов

Или сама идея создания ИИ провалилась. Или некий единый ИИ контролирует мир и сотрудничает с людьми. Или ИИ уничтожил людей по тем или иным причинам

Всего три сценария

Возможные последствия создания сильного дружественного ИИ

Сильный ИИ будет достаточно универсальным и способным использовать любые алгоритмы оптимизации, то есть он в каком-то смысле будет независим от способов его создания.

Способность моделировать людей будет иметь много важных следствий.

ИИ сможет заменить людей почти во всех видах деятельности. С момента появления сильного ИИ все люди на Земле могут считать себя безработными. Огромное количество работ уже сейчас стоят в очереди на автоматизацию, в частности кассир, грузчик, водитель автотранспорта — тут даже сильного ИИ не требуется. Но сильный ИИ сможет заменить человека и в творческих профессиях.