М. Ф.: Если все произойдет скоро, это станет еще и политической проблемой.

И. Б.: Поэтому нужно быстро реагировать!

М. Ф.: Совершенно справедливо. А чем еще, кроме влияния на экономику, может грозить ИИ?

И. Б.: Лично я активно выступал против роботов-убийц.

М. Ф.: Я слышал, что вы подписали письмо корейскому университету, который, по слухам, собирался заниматься их разработкой.

И. Б.: Да, и это помогло. Корейский институт передовых технологий (KAIST) сообщил, что они не будут разрабатывать автономные военные системы.

Отдельно я хотел бы коснуться такого важного вопроса, как включение людей в цикл управления. ИИ, который существует сейчас и может появиться в обозримом будущем, не понимает и не чувствует нормы морали. Разумеется, критерии добра и зла в разных культурах могут отличаться, тем не менее для людей они крайне важны.

Это касается не только роботов-убийц, но и роботов вообще. Представьте себе работу судьи. Для решения таких сложных моральных вопросов нужно понимать человеческую психологию и иметь моральные ценности. Нельзя передавать право принятия судьбоносных решений бездушной машине. Нужны социальные нормы или законы, гарантирующие, что в обозримом будущем компьютеры не получат таких полномочий.

М. Ф.: Здесь я мог бы с вами поспорить. Ваш взгляд на людей и их суждения крайне идеалистический.

И. Б.: Возможно. Но лично я предпочту, чтобы меня судил несовершенный человек, а не машина, не понимающая, что она творит.

М. Ф.: Но представьте себе автономного робота-охранника, который начинает стрелять только в ответ, когда в него попадает пуля. Человеку это недоступно, и потенциально именно такое поведение может спасти другие жизни. Теоретически, если запрограммировать такого робота правильно, он будет избавлен от расовых предрассудков. И в результате он получит преимущество перед человеком. Вы согласны?

И. Б.: Допускаю, что когда-нибудь такое станет возможным. Но вопрос в понимании машиной контекста задачи. Об этом компьютеры не имеют ни малейшего представления.

М. Ф.: Какие еще угрозы может нести ИИ?

И. Б.: Пока это практически не обсуждается, но после происшествий в Facebook и в Cambridge Analytica проблема может выйти на первый план. Она касается рекламы. Применение ИИ с целью воздействия на людей несет опасность для демократии и морально недопустимо. Общество должно позаботиться о предотвращении подобных явлений.

Например, в Канаде запрещена реклама, направленная на детей. Считается, что манипулировать уязвимыми умами аморально. Разумеется, уязвимы не только дети, иначе реклама бы просто не работала.

Во-вторых, реклама негативно влияет на состояние рынка, потому что за счет нее крупные компании мешают своим малоизвестным конкурентам. Современные технологии на базе ИИ позволяют еще точнее доносить посыл до целевой аудитории. Страшно то, что так людей можно заставить ухудшать собственную жизнь. Я имею в виду, например, политическую рекламу. С инструментами, которые позволяют влиять на людей, следует быть очень осторожными.

М. Ф.: Как вы можете прокомментировать предупреждения Илона Маска и Стивена Хокинга о смертельной угрозе, которую несет суперинтеллект, и о рекурсивном улучшении? Стоит ли об этом беспокоиться в данный момент?

И. Б.: Лично меня эти вопросы не волнуют. Исходя из текущего состояния дел, эти сценарии попросту нереалистичны. Они не совместимы с тем путем, по которому сейчас создается ИИ. Через несколько десятилетий все может измениться, но в настоящий момент – это научная фантастика. По крайней мере, с моей точки зрения. Более того, эти страхи отвлекают от насущных проблем, над которыми мы могли бы работать.

Кроме роботов-убийц и политической рекламы, существует, к примеру, проблема системной предвзятости в данных, ведущая к усилению дискриминации. Правительство и бизнес могут повлиять на это. Поэтому вместо обсуждения рисков, которые могут появиться в долгосрочной перспективе, нужно уделять внимание актуальным угрозам.

М. Ф.: А что вы думаете о работе в этой сфере, которую проводит Китай и другие страны? Например, вы упоминали об ограничениях на автономное оружие, но проблема в том, что некоторые страны могут игнорировать соглашение. Есть ли в данном случае повод для беспокойства?

И. Б.: Как ученый я не считаю это проблемой. Чем больше исследователей во всем мире работает над какой-то темой, тем лучше. Если Китай много инвестирует в исследования в сфере ИИ, это прекрасно; в конце концов, пользоваться результатами мы будем вместе. Хотя меня и пугают мысли о том, что китайское правительство может использовать технологию в военных целях. Системы, умеющие распознавать лица и следить за людьми, позволяют за считаные годы построить общество «Большого Брата». Технически это вполне осуществимо и представляет большую опасность для демократии. Это то, о чем мы должны беспокоиться. Подобное возможно при автократии.

Что же касается гонки вооружений, не нужно смешивать роботов-убийц и применение ИИ в военных целях. Я не считаю, что следует полностью запретить ИИ в армии. Если ИИ будет использован для создания оружия, уничтожающего роботов-убийц, это хорошо. Аморально создание таких роботов, а не применение ИИ военными. Ведь работать можно и над оборонительным оружием.

М. Ф.: То есть вы считаете, что нужен свод правил работы над автономным оружием?

И. Б.: Свод правил требуется везде. По крайней мере, в областях, где применение ИИ будет влиять на общество. Нужно разработать правильные социальные механизмы, которые смогут гарантировать, что ИИ не будет использован во вред.

М. Ф.: И вы думаете, правительство в состоянии заняться этим вопросом?

И. Б.: Доверять решение этого вопроса компаниям точно не следует, потому что их в основном заботит увеличение прибыли. Конечно, они будут пытаться сохранить популярность у пользователей и клиентов, но их действия не совсем прозрачны.

Я думаю, что основную роль тут должно сыграть правительство, точнее даже международное сообщество.

М. Ф.: Считаете ли вы, что выгоды от ИИ в целом перевешивают связанные с ним риски?

И. Б.: Выгоды смогут перевесить риски, если мы будем действовать мудро. Именно поэтому так важно принимать правильные решения. И не хочется, закрыв глаза, мчаться вперед; нужно видеть все подстерегающие нас опасности.

М. Ф.: Где, по вашему мнению, все это должно обсуждаться? В аналитических центрах и университетах? Или требуется политическая дискуссия как на национальном, так и на международном уровне?

И. Б.: Нужна именно политическая дискуссия. В частности, на встрече Большой семерки, куда меня пригласили, был поставлен вопрос: «Какой путь развития ИИ может оказать положительное влияние на экономику и позволит сохранить доверие людей?» Потому что общество обеспокоено. И устранить это беспокойство поможет только открытая дискуссия, в которой смогут участвовать все желающие. Потому что ИИ и связанные с ним проблемы должны быть понятны любому человеку.

Профессор электротехники и computer science. директор Center for Intelligent Systems при Калифорнийском университете в Беркли

Стюарт Рассел известен как один из ведущих разработчиков ИИ. Является соавтором учебника по ИИ «Искусственный интеллект. Современный подход»[9], который в настоящее время используется более чем в 1300 колледжах и университетах в 118 странах. Получил степень бакалавра физики в Уодхэм-колледже Оксфордского университета и докторскую степень в области computer science в Стэнфорде. Занимался исследованиями на различные темы, связанные с ИИ, такие как машинное обучение, представление знаний и компьютерное зрение. Имеет многочисленные награды, в том числе Международной объединенной конференции по ИИ (IJCAI). Является членом Американской ассоциации содействия развитию науки, Ассоциации по продвижению ИИ (AAAI) и Ассоциации вычислительной техники (ACM).