В конечном счёте, ИИ может сделать кажущийся резким скачок в интеллектуальности только по причине антропоморфизма, то есть человеческой склонности думать о «деревенском идиоте» и Эйнштейне как о крайних границах интеллектуальной шкалы, а не как о почти неразличимых точках на шкале умов-вообще.

Любой объект, более немой, чем немой человек, может показаться нам просто немым. Можно представить «стрелку ИИ», медленно ползущую по шкале интеллекта, проходящую уровни мыши и шимпанзе, и при этом ИИ остаётся всё ещё немым, потому что ИИ не может свободно говорить или писать научные статьи, и затем стрелка ИИ пересекает тонкую грань между ультра-идиотом и Эйнштейном в течение месяца или такого же малого периода. Я не думаю, что этот сценарий убедителен, в основном, потому что я не ожидаю, что кривая рекурсивного самоулучшения будет ползти линейно. Но я не буду первым, кто укажет, что ИИ – это движущаяся цель. Как только веха достигнута, она перестаёт быть ИИ. Это может только вдохновлять промедление.

Давайте допустим, для продолжения дискуссии, что, исходя из всего, что мы знаем (и это кажется мне реально возможным), ИИ обладает способностью совершить внезапный, резкий, огромный скачок в интеллектуальности. Что из этого следует? Первое и главное: из этого следует, что реакция, которую я часто слышал: «Нам не следует заботиться о Дружественном ИИ, потому что у нас ещё нет самого ИИ» - неверна или просто самоубийственна. Мы не можем полагаться на то, что у нас будут заранее предупреждающие сигналы до того, как ИИ будет создан; прошлые технологические революции обычно не телеграфировали о себе людям, жившим в том время, что бы потом ни говорилось. Математика и техника Дружественного ИИ не появится из ниоткуда, когда она будет нужна; требуются годы, чтобы установить твёрдые основания. И мы должны разрешить проблему Дружественного ИИ до того, как универсальный ИИ появится, а не после; мне даже не следует говорить об этом. Будут трудности с Дружественным ИИ, потому что поле исследований ИИ само по себе имеет мало согласия и высокую энтропию. Но это не значит, что мы не должны беспокоиться о Дружественном ИИ. Это означает, что будут трудности. Эти два утверждения, к сожалению, даже отдалённо не эквивалентны.

Возможность резкого скачка в интеллектуальности также требует высоких стандартов для техники Дружественного ИИ. Техника не может полагаться на способность программиста наблюдать ИИ против его воли, переписывать ИИ против его воли, угрожать превосходящей военной силой, ни на то, что программисты смогут контролировать «кнопку вознаграждения», которую умный ИИ отберёт у программистов, и так далее. В действительности, никто не должен исходить из этих предположений. Необходимой защитой является ИИ, который не хочет вам повредить. Без этого ни одна дополнительная защита не является безопасной. Ни одна система не является безопасной, если она ищет способы разрушить свою безопасность. Если ИИ повредит человечеству в любом смысле, вы должны были сделать что-то неправильно на очень глубоком уровне, искривив свои основные посылки. Например, вы делаете дробовик, направляете его на свою ступню и спускаете крючок. Вы осознанно приводите в движение некую когнитивную динамику, которая, при некоторых обстоятельствах, будет стремиться вам повредить. Это – неправильное поведение для данной динамики; напишите вместо этого код, который делает что-то другое.

Примерно по тем же причинам, программисты Дружественного ИИ должны предполагать, что ИИ будет иметь полный доступ к своему исходному коду. Если ИИ захочет модифицировать себя, чтобы больше не быть Дружественным, то Дружественность уже потерпела неудачу в этот момент, когда ИИ создал такое намерение. Любое решение, которое полагается на то, что ИИ не будет способен модифицировать сам себя, будет разрушено тем или иным способом, и будет разрушено даже в том случае, если ИИ решит никогда себя не модифицировать. Я не говорю, что это должна быть единственная предосторожность, но главной и незаменимой предосторожностью будет то, что вы создадите ИИ, который не захочет вредить человечеству.

Чтобы избежать ошибочности рассуждений в духе Гигансткой Ватрушки, мы должны сказать, что способность улучшать себя не означает выбора делать это. Успешное воплощение техники Дружественного ИИ может создать ИИ, который обладает потенциалом расти более быстро, но выбирающий вместо этого расти медленнее и по более управляемой кривой.

Даже в этом случае, после того, как ИИ пройдёт критический порог рекурсивного самоулучшения, вы окажетесь действующими в гораздо более опасном режиме. Если Дружественность потерпит неудачу, ИИ может решить направиться с полной скоростью в сторону самоулучшения – метафорически говоря, он станет мгновенно критичным.

Я склонен предполагать потенциально произвольно большие прыжки в интеллектуальности, потому что это (а) консервативное предположение; (б) это отвергает предложения построить ИИ без реального понимания его; и (с) большие скачки потенциала кажутся мне наиболее вероятными в реальном мире. Если я обнаружу некую область знаний, в которой консервативной точкой зрения по поводу перспектив управления рисками предполагается медленное улучшение ИИ, тогда я потребую, чтобы этот план не стал катастрофическим, если ИИ замедлится на около-человеческой стадии на годы или дольше. Это не та область, относительно которой бы мне хотелось предлагать узкие интервалы уверенности.

Люди склонны думать о больших компьютерах как о ключевом факторе ИИ. Это, мягко говоря, очень сомнительное утверждение. Не-футурологи, обсуждая ИИ, говорят обычно о прогрессе компьютерного оборудования, потому что его легко измерить – в отличие от понимания интеллекта. Не потому что здесь нет прогресса, а потому что этот прогресс не может быть выражен в аккуратных графиках компьютерных презентаций. Трудно сообщать об улучшениях в понимании, и поэтому об этом меньше сообщают. Вместо того, чтобы думать о «минимальном» уровне оборудования, которое «необходимо» для ИИ, задумаемся лучше о минимальном уровне понимания исследователя, который уменьшается по мере улучшения оборудования. Чем лучше компьютерное оборудование, тем меньше понимания вам нужно, чтобы построить ИИ. Крайним случаем является естественный отбор, который использовал удивительные количества грубой компьютерной силы, чтобы создать человеческий интеллект, не используя никакого понимания, только неслучайное сохранение случайных мутаций.

Увеличивающаяся компьютерная мощность делает изготовление ИИ проще, но нет очевидных причин, по которым увеличивающая компьютерная мощь поможет сделать ИИ Дружественным. Возрастающая сила компьютеров делает более простым применение грубой силы, а также совмещение плохо понятных, но работающих техник. Закон Мура устойчиво снижает барьер, который предохраняет нас от построения ИИ без глубокого понимания мышления.

Приемлемо провалиться в попытках создания как ИИ, так и Дружественного ИИ. Приемлемо достичь успеха и в ИИ, и в Дружественном ИИ. Что неприемлемо – это создать ИИ и провалиться в создании Дружественного ИИ. Закон Мура делает именно последнее гораздо проще. «Проще», но, слава богу, не просто. Я сомневаюсь, что ИИ будет прост, когда его, наконец, построят – просто потому что есть группы людей, которые приложат огромные усилия, чтобы построить ИИ, и одна из них достигнет успеха, когда ИИ, наконец, станет возможным достичь посредством колоссальных усилий.

Закон Мура является посредником между Дружественным ИИ и другими технологиями, что добавляет часто пропускаемый глобальный риск к другим технологиям. Мы можем представить себе, что молекулярная нанотехнология развивается силами мягкого многонационального правительственного консорциума, и им удалось успешно избежать опасностей физического уровня нанотехнологий. Они непосредственно не допустили случайное распространение репликатора, и с гораздо большими трудностями разместили глобальную защиту на местах против враждебных репликаторов; они ограничили доступ к базовому уровню нанотехнологии, в то же время распространяя настраиваемые наноблоки и так далее. (См. Phoenix и Treder, в книге «Риски глобальной катастрофы».) Но, тем не менее, нанокомпьютеры становятся широко распространены, потому что предпринятые ограничения обходятся, или потому что никаких ограничений не введено. И затем кто-то добивается грубой силой ИИ, который не Дружественен, и дело закончено. Этот сценарий является особенно беспокоящим, потому что невероятно мощные нанокомпьютеры будут среди первых, простейших и кажущихся безопаснейшими применений нанотехнологии.