Если слово «интеллектуальность» ассоциируется с Эйнштейном, а не с людьми вообще, то может показаться осмысленным заявление, что интеллектуальность не имеет отношения к ружьям, как если бы ружья росли на деревьях. Может показаться осмысленным заявление о том, что интеллектуальность не имеет ничего общего с деньгами, как если бы мыши использовали деньги. Человеческие существа начинали, не обладая большими активами зубов, когтей, вооружений, или каких-либо других преимуществ, которые были ежедневной валютой для других видов. Если вы взгляните на людей с точки зрения остальной экосферы, не было никакого намёка на то, что мягкие розовые твари в конце концов закроют себя в бронированные танки. Мы создали поле битвы, на котором мы победили львов и волков. Мы не сражались с ними посредством когтей и зубов; у нас было собственное представление о том, что действительно важно. Такова сила творчества.

Винж (Vinge, 1993) уместно замечает, что будущее, в котором существуют умы, превосходящие человеческие, отличается качественно. ИИ – это не удивительный блестящий дорогой гаджет, рекламируемый в свежайших выпусках технических журналов. ИИ не принадлежит к тому же графику, который показывает прогресс в медицине, производстве и энергетике. ИИ – это не то, что вы можете небрежно добавить в люмпен-футуристический сценарий будущего с небоскрёбами и летающими машинами и нанотехнологическими красными кровяными клетками, которые позволяют вам задержать дыхание на 8 часов. Достаточно высокие небоскрёбы не могут начать проектировать сами себя. Люди достигли господства на Земле не из-за того, что задерживали дыхание дольше, чем другие виды.

Катастрофический сценарий, произрастающий из недооценки силы интеллекта, заключается в том, что некто создаст кнопку, не достаточно заботясь о том, что эта кнопка делает, потому что он не думает, что эта кнопка достаточно сильна, чтобы повредить ему. Или, поскольку недооценка силы интеллекта ведёт к пропорциональной недооценке силы Искусственного Интеллекта, то (в настоящая время микроскопическая) группа озабоченных исследователей и поставщиков грантов и отдельных филантропов, занимающихся рисками существованию, не будет уделять достаточно внимания ИИ.

Или в общих исследованиях по ИИ не будут уделять достаточного внимания рискам сильного ИИ, и в силу этого хорошие инструменты и твёрдые установления для Дружественности окажутся недоступными, когда возникнет возможность создавать мощные интеллекты.

И также следует заметить – поскольку это тоже влияет на глобальные риски – что ИИ может быть мощным решением для других глобальных рисков, и по ошибке мы можем игнорировать нашу лучшую надежду на выживание. Утверждение о недооценке потенциального воздействия ИИ симметрично относительно потенциально хороших и потенциально плохих воздействий. Именно поэтому название этой статьи – «Искусственный интеллект как позитивный и негативный фактор глобального риска», а не «Глобальные риски Искусственного интеллекта». Перспектива ИИ влияет на глобальные риски более сложным образом; если бы ИИ был чистой помехой, ситуация была бы проще.

Есть один вид ошибочности, часто встречающийся в дискуссиях об ИИ, особенно об ИИ со сверхчеловеческими способностями. Кто-нибудь говорит: «Когда технологии продвинутся достаточно далеко, мы будем способны создавать интеллекты, далеко превосходящие человеческие. Очевидно, что размер ватрушки, который вы можете испечь, зависит от вашего интеллекта. Суперинтеллект может создавать гигантские ватрушки – ватрушки, размером с города – боже мой, будущее будет полно гигантских ватрушек!» Вопрос в том, захочет ли суперинтеллект создавать огромные ватрушки. Видение образа ведёт прямо от возможности к реализации, без осознавания необходимого промежуточного элемента – мотива. Следующие цепочки рассуждений, рассматриваемые в изоляции без подтверждающего доказательства, все являются примером Ошибочных рассуждений в духе Гигантской Ватрушки:

- Достаточно сильный ИИ может преодолеть любое человеческое сопротивление и истребить человечество. (И ИИ решит сделать это.) Поэтому мы не должны строить ИИ.

- Достаточно сильный ИИ может создать новые медицинские технологии, способные спасти миллионы человеческих жизней. (И он решит сделать это.) Поэтому мы должны создать ИИ.

- Когда компьютеры станут достаточно дёшевы, огромное большинство работ будет выполняться ИИ более легко, чем людьми. Достаточно сильный ИИ даже будет лучше нас в математике, конструировании, музыке, искусстве и во всех других работах, которые нам кажутся важными (И ИИ решит выполнять эти работы.) Таким образом, после изобретения ИИ, людям будет больше нечего делать, и мы будем голодать или смотреть телевизор.

4.1. Процессы оптимизации.

Вышеприведенный разбор ошибочных рассуждений в духе Гигантской Ватрушки имеет органически присущий ему антропоморфизм – а именно, идею о том, что мотивы разделимы; то есть подразумеваемое предположение о том, что, говоря о «способностях» и «мотивах», мы разрываем связность реальности. Это удобный срез, но антропоморфический.

Для того, чтобы рассмотреть проблему с более общей точки зрения, я ввёл концепцию процесса оптимизации, то есть процесса, который попадает в маленькие мишени в большом пространстве поиска, чтобы порождать согласованные эффекты в реальном мире.

Процесс оптимизации направляет будущее в определённые регионы возможного. Например, когда я посещаю удалённый город, мой друг из местных вызывается отвезти меня в аэропорт. Я не знаю окрестностей. Когда мой друг выезжает на перекрёсток, я не могу предсказать его повороты, ни в последовательности, ни по отдельности. Но я могу предсказать результат непредсказуемых действий моего друга: мы прибудем в аэропорт. Даже если дом моего друга находится в другом месте города, так что моему другу придётся совершить совершенно другую последовательность поворотов, я могу с той же степенью уверенности предсказать, куда мы, в конце концов, прибудем. Не странная ли эта ситуация, научно говоря? Я могу предсказать результат процесса, будучи неспособным предсказать ни один из его промежуточных этапов. Я буду называть область, в которую процесс оптимизации направляет будущее, целью оптимизации.

Рассмотрим автомобиль, например, Тойоту Кароллу. Из всех возможных комбинаций атомов, которые её составляют, только бесконечно малая часть будет работающим автомобилем. Если вы будете собирать атомы в случайном порядке, много-много возрастов Вселенной пройдёт, пока вам удастся собрать автомобиль. Малая доля пространства проектов описывает автомобили, которые мы могли бы признать как более быстрые, более эффективные и более безопасные, чем Королла. Таким образом, Королла не является оптимальной с точки зрения целей своего конструктора. Но Королла является, однако, оптимизированной, поскольку конструктор должен был попасть в сравнительно бесконечно малую область в пространстве возможных конструкций, только чтобы создать работающий автомобиль, не говоря уже о машине качества Короллы. Вы не можете построить даже эффективную тележку, распиливая доски случайно и сколачивая их по результатам броска монеты. Чтобы достичь такой малой цели в пространстве конфигураций, необходим мощный оптимизационный процесс.

Понятие о «процессе оптимизации» является предсказательно полезным, поскольку легче понять цель процесса оптимизации, чем его пошаговую динамику. Обсуждение Короллы выше неявно предполагает, что конструктор Короллы пытался создать «автомобиль», средство транспорта. Это предположение следует сделать явным, но оно не ошибочно и оно очень полезно для понимания Короллы.

4.2. Наведение на цель.

Есть соблазн спросить, что ИИ будет хотеть, забывая о том, что пространство умов-вообще гораздо больше, чем малая точка, соответствующая человеческим умам. Следует сопротивляться соблазну распространить количественные ограничения на все возможные умы. Рассказчики историй накручивают сказки об отдалённой и экзотичной земле, называемой Будущее, говоря, каким будущее должно быть. Они делают предсказания. Они говорят: «ИИ нападёт на людей с помощью армий марширующих роботов» или «ИИ изобретёт лекарство от рака». Они не предлагают сложных отношений между изначальными условиями и результатами – так они могли бы потерять аудиторию. Но мы нуждаемся в понимании соотношений, чтобы управлять будущим, направляя его в область, приятную человечеству. Если не рулить, мы рискуем попасть туда, куда нас занесёт.