Так, Стюарт Рассел, профессор Калифорнийского университета в Беркли и автор самого популярного и авторитетного учебника по ИИ, настоятельно предостерегает от экзистенциального риска, сопряженного с ОИИ. Он даже основал Центр совместимого с человеком искусственного интеллекта, чтобы заниматься проблемой контроля^[428]. В инженерной среде об экзистенциальных опасностях предупреждает Шейн Легг (старший исследователь DeepMind), который также участвует в развитии исследований контроля^[429]. Подобные заявления делали и многие другие ведущие деятели сферы с первых дней ИИ до настоящего момента^[430].

На самом деле мнения разнятся не столь сильно, как кажется на первый взгляд. Основные аргументы тех, кто склонен занижать риски, таковы: 1) скорее всего, способности ИИ смогут сравниться с человеческими или превзойти их не раньше чем через несколько десятилетий; 2) попытка незамедлительно ввести регулирование в сфере исследований ИИ станет огромной ошибкой. Ни один из этих доводов не оспаривается теми, кто советует проявлять осторожность: они согласны, что до появления ОИИ пройдут не годы, а десятки лет, и обычно рекомендуют исследовать возможности контроля над ИИ, а не вводить регулирование в отрасли. Получается, что их мнения расходятся не столько по вопросу о том, возможно ли появление ОИИ и может ли ОИИ действительно представлять угрозу человечеству, сколько по вопросу о том, стоит ли сегодня беспокоиться о потенциальной экзистенциальной угрозе, которая, возможно, возникнет лишь через несколько десятилетий. На мой взгляд, стоит.

Одной из фундаментальных причин очевидного несовпадения мнений выступает разница в представлении о том, что такое оправданный консерватизм. Хорошей иллюстрацией здесь служит гораздо более ранний случай спекулятивного риска, когда Лео Силард и Энрико Ферми впервые обсуждали возможность создания атомной бомбы: “Ферми полагал, что, следуя консервативным путем, необходимо вовсе отмести такую вероятность, я же считал, что, следуя консервативным путем, стоит признать, что такое действительно может произойти, и принять все меры предосторожности”^[431]. В 2015 году я наблюдал такую же динамику на важнейшей конференции о будущем ИИ, состоявшейся в Пуэрто-Рико. Все признавали, что неопределенность и несогласие по вопросу о времени появления ОИИ требуют “консервативной оценки” прогресса, но половина присутствующих понимала под этим термином досадно медленный научный прогресс, а другая половина – досадно быстрое увеличение риска. Я полагаю, что существующая напряженность в дискуссии о том, воспринимать ли всерьез риски, сопряженные с ИИ, во многом объясняется именно несовпадением во взглядах относительно того, что значит делать взвешенные консервативные предположения о будущем прогрессе в сфере ИИ.

Эта конференция в Пуэрто-Рико стала переломным моментом, обозначив обеспокоенность участников экзистенциальным риском, сопряженным с ИИ. Было достигнуто согласие по существу вопроса, и многие участники подписали открытое письмо о необходимости приступить к серьезной работе, чтобы сделать ИИ надежным и полезным^[432]. Через два года более крупная конференция состоялась в Асиломаре – там, где в 1975 году прошла знаменитая конференция по генетике, на которой биологи собрались, чтобы заблаговременно разработать принципы регулирования будущих возможностей генной инженерии. Собравшись в Асиломаре в 2017 году, исследователи ИИ приняли Асиломарские принципы разработки искусственного интеллекта, чтобы направлять добросовестное долгосрочное развитие отрасли. В их число вошли и принципы, связанные именно с экзистенциальным риском:

Предостережение о возможностях. В отсутствие консенсуса нам следует избегать сильных допущений относительно высших пределов будущих возможностей ИИ.

Важность. Продвинутый ИИ может повлечь за собой коренное изменение в истории жизни на Земле, поэтому его необходимо разрабатывать и контролировать с соизмеримой осторожностью, привлекая соответствующие ресурсы.

Риски. Риски, сопряженные с ИИ-системами, особенно катастрофические и экзистенциальные, должны предусматриваться заранее и сдерживаться путем приложения усилий, соизмеримых с их ожидаемыми последствиями^[433].

Пожалуй, лучшее представление о том, что думают люди, работающие в сфере ИИ, позволяет составить опрос 2016 года, в котором приняли участие ведущие исследователи. Их спросили не только о том, может ли появиться ОИИ и когда именно, но и о рисках: 70 % исследователей согласились с общим доводом Стюарта Рассела о том, почему продвинутый ИИ может представлять риск^[434]; 48 % отметили, что обществу следует больше внимания уделять исследованиям безопасности в сфере ИИ (лишь 12 % сочли, что этому следует уделять меньше внимания). Половина респондентов оценила вероятность “чрезвычайно плохого (например, вымирание человечества)” долгосрочного воздействия ИИ не менее чем в 5 %^[435]. На мой взгляд, последнее особенно важно: много ли других областей, ведущие исследователи в которых полагают, что с вероятностью один к двадцати конечная цель их работы чрезвычайно плохо повлияет на человечество?

Разумеется, это не доказывает, что риски реальны. Но это дает нам понять, что многие исследователи ИИ всерьез полагают, что ОИИ может появиться в течение 50 лет и что это может обернуться экзистенциальной катастрофой. Многое пока неясно, и сохраняется огромный разброс мнений, но эту позицию никак нельзя считать маргинальной.

Один любопытный аргумент в пользу скептического отношения к риску, сопряженному с ИИ, становится сильнее, а не слабее, по мере того как наличие рисков признает все большее число исследователей. Если исследователи понимают, что разработка ИИ чрезвычайно опасна, зачем им вообще ею заниматься? Не станут же они, зная о последствиях, создавать то, что их уничтожит^[436].

Если бы все мы были поистине мудры, бескорыстны и действовали сообща, этот аргумент и правда работал бы. Но в реальном мире люди склонны разрабатывать технологии при первой возможности и разбираться с последствиями позже. Одна из причин этого – разница в наших установках: если даже небольшая доля исследователей не верит в риски (или хочет, чтобы в новом мире у руля стояли машины), именно они сделают решающие шаги. Здесь снова дает о себе знать проклятие односторонности (о котором мы говорили на с. 164). Другая причина – мотивы: даже если бы некоторые исследователи полагали, что риск составляет целых 10 %, они, возможно, все равно пошли бы на него, если бы решили, что цель оправдывает средства. Это может быть рационально с точки зрения их личных интересов, но ужасно для всего мира.

В некоторых подобных случаях в дело может вмешаться государство, которое решит проблемы координации и мотивации в общественных интересах. Однако такие же проблемы координации и мотивации возникают между странами, и нет простых механизмов их решения. Если бы одна страна решила действовать медленно и осторожно, у нее, вероятно, возникли бы опасения, что награда достанется другим. Заключать конвенции в этой сфере чрезвычайно тяжело, поскольку проверять, выполняются ли их положения, еще сложнее, чем в случае с биологическим оружием^[437].

Переживем ли мы развитие ИИ, не растеряв свой потенциал, вероятно, зависит от того, успеем ли мы научиться настраивать и контролировать ИИ-системы, прежде чем создадим достаточно мощный интеллект, который будет представлять для нас угрозу. К счастью, исследователи уже работают над множеством важных вопросов, включая повышение безопасности, надежности и объяснимости ИИ. Но по-прежнему лишь малое число людей изучает возможности калибровки ИИ в соответствии с человеческими ценностями. Это новая сфера, в которой предстоит пройти очень долгий путь, если мы хотим обеспечить свою безопасность.

Несмотря на то, что системы, которые существуют сегодня и могут появиться в обозримом будущем, не представляют риска для человечества в целом, нам нельзя терять времени. Отчасти потому, что прогресс может случиться внезапно: благодаря непредсказуемым научным прорывам или стремительному масштабированию первых интеллектуальных систем (например, при их запуске на тысячекратно большем количестве оборудования или в случае, если мы позволим им совершенствовать собственный интеллект)^[438]. А отчасти потому, что на должную подготовку к такому эпохальному изменению в человеческих делах может уйти больше пары десятилетий. Или, как сказал один из основателей DeepMind Демис Хассабис,