Возможно, найдется способ решить перечисленные проблемы, или найти новые подходы к контролю над ИИ, чтобы снять сразу много вопросов, или переключиться на новые парадигмы создания ОИИ, в рамках которых этих проблем не возникает. Я, безусловно, надеюсь на это и внимательно слежу за прогрессом в этой сфере. Но прогресс пока невелик, и остается немало серьезных нерешенных проблем. При сохранении текущей парадигмы достаточно интеллектуальные агенты в итоге приобретут инструментальные цели, чтобы обмануть и пересилить нас. И если их интеллект будет в значительной степени превосходить наш собственный, не стоит ожидать, что человечество сумеет победить в этой борьбе и сохранить контроль над своим будущим.
Каким образом ИИ-система могла бы захватить власть? Распространено серьезное заблуждение (подпитываемое Голливудом и прессой), что в таком деле не обойтись без роботов. В конце концов, как иначе ИИ сможет действовать в физическом мире? В отсутствие роботизированных манипуляторов система может производить лишь слова, изображения и звуки. Но достаточно немного поразмыслить, чтобы понять, что именно это и нужно для захвата власти. Самыми опасными в истории людьми были вовсе не самые сильные. Гитлер, Сталин и Чингисхан установили абсолютный контроль над огромными территориями, словами убеждая миллионы других людей добиваться побед в необходимых физических столкновениях. Если ИИ-система сможет соблазнять или принуждать людей выполнять физическую работу, роботы ей вовсе не понадобятся[422].
Нельзя сказать, как именно система может захватить контроль. В самых реалистичных сценариях, вероятно, будут фигурировать неочевидные и нехарактерные для человека действия, которые нам не под силу ни предсказать, ни в полной мере осознать. И эти действия могут быть направлены на слабые места нашей цивилизации, которых мы пока не замечаем. Полезно, однако, обратиться к наглядному примеру, чтобы увидеть, где проходит нижняя граница возможного.
Сначала ИИ-система может получить доступ к интернету и спрятать тысячи своих резервных копий в незащищенных компьютерных системах по всему миру, чтобы в случае отказа оригинала эти копии готовы были продолжить работу. Уже к этому моменту уничтожить ИИ станет практически невозможно: только подумайте, какие возникнут политические препятствия, если попытаться очистить все имеющиеся в мире жесткие диски, где могут храниться резервные копии[423].
Затем она сформирует огромный “ботнет” из миллионов незащищенных систем, подключенных к интернету. Это позволит ей значительно повысить свою вычислительную мощность и создать платформу для расширения контроля. Далее она может получить доступ к финансовым ресурсам (взломав банковские аккаунты на этих компьютерах) и человеческим ресурсам (используя шантаж и пропаганду для воздействия на восприимчивых людей или просто оплачивая их услуги украденными деньгами). Таким образом система станет столь же влиятельной, как хорошо обеспеченное преступное подполье, но уничтожить ее будет гораздо сложнее. Ни один из перечисленных шагов не предполагает ничего непостижимого: хакерам и преступникам с интеллектом человеческого уровня уже удавалось провернуть такое, всего лишь используя интернет[424].
Наконец, системе нужно будет получить еще больше власти. Здесь мы уходим в сферу предположений, но правдоподобных вариантов развития событий немало: она может захватить большинство компьютеров в мире и создать миллионы или миллиарды своих взаимодействующих копий; использовать украденную вычислительную мощность, чтобы повысить уровень собственного интеллекта и оставить человека далеко позади; применить свои интеллектуальные способности для разработки новых технологий вооружения и экономических технологий; манипулировать лидерами ведущих мировых держав (шантажируя их или суля им больше власти в будущем); а также заставить подконтрольных ей людей применять оружия массового уничтожения, чтобы покалечить все остальное человечество.
Разумеется, ни одна из существующих ИИ-систем не способна на такое. Но мы пытаемся понять, существуют ли правдоподобные сценарии, в которых контроль захватывает высокоинтеллектуальная система ОИИ. И похоже, что да, существуют. В истории уже были случаи, когда люди, обладающие интеллектом человеческого уровня (Гитлер, Сталин, Чингисхан), сосредотачивали в своих руках не только власть отдельного человека, но и значительную часть мировой власти, поскольку без этого они не могли достичь своих целей[425]. Человечество за время своего существования превратилось из немногочисленного вида, в котором было менее миллиона особей, в вид, способный самостоятельно определять собственное будущее. Нам следует полагать, что такое может произойти и с новыми сущностями, гораздо более интеллектуальными, чем мы сами, особенно если они, по сути, бессмертны, поскольку имеют резервные копии и обладают способностью производить новые копии, пуская на это захваченные деньги и компьютеры.
Такой сценарий необязательно сопряжен с вымиранием человечества. И все же он вполне может обернуться экзистенциальной катастрофой. В этом случае человечество навсегда потеряет контроль над своим будущим. Наше будущее будет зависеть от того, как небольшое число людей настроило компьютерную систему, захватившую контроль. При удачном раскладе это может привести к хорошему или приемлемому исходу, но с той же вероятностью мы окажемся в глубоко порочном или дистопическом будущем, которое уже никогда не сможем изменить[426].
Я рассмотрел сценарий, в котором ИИ-система захватывает контроль над будущим, поскольку считаю, что таков самый правдоподобный экзистенциальный риск, сопряженный с ИИ. Но есть и другие угрозы, и эксперты расходятся во мнениях относительно того, какая из них представляет наибольший экзистенциальный риск. Например, существует риск постепенного вступления в будущее, контролируемое ИИ, где ИИ-системам передается все больший контроль и где будущее человечества все сильнее оптимизируется с оглядкой на нечеловеческие ценности. Есть и риски, сопряженные с намеренным злоупотреблением чрезвычайно мощными системами ИИ.
Даже если эти доводы о наличии риска совсем неверны в деталях, нам следует внимательно следить за разработкой ОИИ, поскольку в ходе нее могут возникнуть и другие, непредвиденные риски. Переход к миру, где люди перестанут быть самыми разумными существами на планете, вполне может привести к величайшему в истории изменению положения человечества во Вселенной. Не стоит удивляться, если события в процессе этого перехода определят наше долгосрочное будущее, изменив его либо в лучшую, либо в худшую сторону.
Изменить наше долгосрочное будущее в лучшую сторону ИИ мог бы, например, обеспечив нам защиту от других экзистенциальных рисков, с которыми мы сталкиваемся. Так, ИИ мог бы дать нам возможность найти способ справиться с основными рисками или выявить новые риски, которые в ином случае стали бы для нас неожиданностью. Кроме того, ИИ мог бы помочь нам сделать наше долгосрочное будущее более светлым, чем если бы ИИ не существовало вовсе. Поэтому мысль о том, что разработка ИИ может представлять экзистенциальный риск, – это не аргумент в пользу отказа от ИИ, а предупреждение, что следует действовать осторожно.
Рассуждения об экзистенциальном риске, сопряженном с ИИ, несомненно, имеют спекулятивный характер. И все же спекулятивные рассуждения о серьезном риске могут быть важнее основательных дискуссий о маловероятном риске, таком как риск столкновения с астероидом. Сейчас очень важно найти способ оценить, в какой степени эти рассуждения спекулятивны, и для начала узнать, что думают об этом риске специалисты, работающие в соответствующей области.
Некоторые исследователи ИИ, такие как профессор Орен Этциони, не стесняясь в выражениях, называют его “в высшей степени маргинальным” и утверждают, что, хотя светила вроде Стивена Хокинга, Илона Маска и Билла Гейтса и проявляют огромную озабоченность по этому поводу, людей, работающих с ИИ, ничего не пугает[427]. Если это действительно так, это дает вескую причину сомневаться в наличии риска. Но достаточно поверхностного взгляда на высказывания ведущих деятелей в сфере ИИ, чтобы понять, что на самом деле ситуация обстоит иначе.
