Исследователи и разработчики в области узкого искусственного интеллекта долгое время игнорировали выбросы в погоне за созданием успешных (на выставках) демоверсий и из-за стремления доказать правильность очередной концепции. Но именно способность справляться с открытыми системами, опираясь на общий интеллект, а не «грубую силу» (даже в цифровом смысле), эффективную исключительно в закрытых системах, является ключом к продвижению вперед всей обсуждаемой области.
Наша книга рассказывает о том, что нужно сделать для достижения этой амбициозной цели.
Не будет преувеличением сказать, что от ее достижения во многом зависит наше будущее. Сам по себе искусственный интеллект обладает огромным потенциалом в решении самых серьезных проблем, стоящих перед человечеством, включая медицинские, экологические, энергетические и ресурсные. Но чем больше мощности мы вкладываем в системы искусственного интеллекта, тем более важным становится правильное использование этой мощи, чтобы на машины и компьютеры можно было рассчитывать всерьез. А это означает переосмысление всей парадигмы.
Мы ввели в название этой книги слово «перезагрузка», потому что считаем, что нынешний подход не направлен на то, чтобы привести нас к безопасным, умным или надежным системам искусственного интеллекта. Близорукая одержимость узкими формами ИИ с целью урвать лакомые куски успеха, легко доступные благодаря большим данным, увела науку и бизнес слишком далеко от более долгосрочной и гораздо более сложной проблемы, которую должна была бы решить разработка искусственного интеллекта в нашем стремлении к реальному прогрессу: как наделить машины более глубоким пониманием мира. Без этого мы никогда не доберемся до машинного разума, действительно заслуживающего доверия. Пользуясь техническим жаргоном, мы можем застрять в точке локального максимума. Это, конечно, лучше, чем не делать совсем ничего, но абсолютно недостаточно, чтобы привести нас туда, куда мы хотим попасть.
На данный момент существует огромный разрыв – настоящая пропасть – между нашими амбициями и реальностью искусственного интеллекта. Эта пропасть возникла вследствие нерешенности трех конкретных проблем, с каждой из которых необходимо честно разобраться.
Первую из них мы называем легковерием, в основе которого лежит тот факт, что мы, люди, не научились по-настоящему различать людей и машины, и это позволяет легко нас одурачивать. Мы приписываем интеллект компьютерам, потому что мы сами развивались и жили среди людей, которые во многом основывают свои действия на абстракциях, таких как идеи, убеждения и желания. Поведение машин часто внешне схоже с поведением людей, поэтому мы быстро приписываем машинам один и тот же тип базовых механизмов, даже если у машин они отсутствуют. Мы не можем не думать о машинах в когнитивных терминах («Мой компьютер думает, что я удалил свой файл»), независимо от того, насколько просты правила, которым машины следуют на самом деле. Но выводы, которые оправдывают себя применительно к людям, могут быть совершенно неверными в приложении к программам искусственного интеллекта. В знак уважения к основному принципу социальной психологии мы называем это фундаментальной ошибкой оценки подлинности.
Один из первых случаев проявления этой ошибки произошел в середине 1960-х годов, когда чат-бот по имени Элиза убедил некоторых людей, что он действительно понимает вещи, которые они ему рассказывают. На самом деле Элиза, в сущности, просто подбирала ключевые слова, повторяла последнее, что было ей сказано человеком, а в тупиковой ситуации прибегала к стандартным разговорным уловкам типа «Расскажите мне о своем детстве». Если бы вы упомянули свою мать, она спросила бы вас о вашей семье, хотя и не имела представления о том, что такое семья на самом деле или почему это важно для людей. Это был всего лишь набор трюков, а не демонстрация подлинного интеллекта.
Несмотря на то что Элиза совершенно не понимала людей, многие пользователи были одурачены диалогами с ней. Некоторые часами печатали фразы на клавиатуре, разговаривая таким образом с Элизой, но неправильно истолковывая приемы чат-бота, принимая, по сути, речь попугая за полезные, душевные советы или сочувствие. Вот что на это сказал создатель Элизы Джозеф Вайзенбаум:
Люди, которые очень хорошо знали, что они разговаривают с машиной, вскоре забыли этот факт, точно так же как любители театра отбрасывают на время свое неверие и забывают, что действие, свидетелями которого они являются, не имеет права называться реальным. Собеседники Элизы часто требовали разрешения на частную беседу с системой и после разговора настаивали, несмотря на все мои объяснения, на том, что машина действительно их понимает.
В иных случаях ошибка оценки подлинности может оказаться в прямом смысле слова фатальной. В 2016 году один владелец автоматизированной машины Tesla настолько доверился кажущейся безопасности автопилотного режима, что (по рассказам) полностью погрузился в просмотр фильмов о Гарри Поттере, предоставив машине все делать самой. Все шло хорошо – пока в какой-то момент не стало плохо. Проехав безаварийно сотни или даже тысячи миль, машина столкнулась (во всех смыслах этого слова) с неожиданным препятствием: шоссе пересекала белая фура, а Tesla понеслась прямо под прицеп, убив владельца автомобиля на месте. (Похоже, машина несколько раз предупреждала водителя, что ему следует взять управление на себя, но тот, по-видимому, был слишком расслаблен, чтобы быстро отреагировать.) Мораль этой истории ясна: то, что какое-то устройство может показаться «умным» на мгновение или два (да пусть и полгода), вовсе не означает, что это действительно так или что оно может справиться со всеми обстоятельствами, в которых человек отреагировал бы адекватно.
Вторую проблему мы называем иллюзией быстрого прогресса: ошибочно принимать прогресс в искусственном интеллекте, связанный с решением легких проблем, за прогресс, связанный с решением по-настоящему сложных проблем. Так, например, произошло с системой IBM Watson: ее прогресс в игре Jeopardy! казался очень многообещающим, но на самом деле система оказалась куда дальше от понимания человеческого языка, чем это предполагали разработчики.
Вполне возможно, что и программа AlphaGo компании DeepMind пойдет по тому же пути. Игра го, как и шахматы, – это идеализированная информационная игра, где оба игрока могут в любой момент видеть всю доску и рассчитывать последствия ходов методом перебора. В большинстве случаев из реальной жизни никто ничего не знает с полной уверенностью; наши данные часто бывают неполными или искаженными. Даже в самых простых случаях существует много неопределенности. Когда мы решаем, идти ли к врачу пешком или поехать на метро (поскольку день пасмурный), мы не знаем точно, сколько времени потребуется для того, чтобы дождаться поезда метро, застрянет ли поезд по дороге, набьемся ли мы в вагон как сельди в бочке или мы промокнем под дождем на улице, не решившись на ехать на метро, и как доктор будет реагировать на наше опоздание. Мы всегда работаем с той информацией, какая у нас есть. Играя в го сама с собой миллионы раз, система DeepMind AlphaGo никогда не имела дела с неопределенностью, ей попросту неизвестно, что такое нехватка информации или ее неполнота и противоречивость, не говоря уже о сложностях человеческого взаимодействия.
Существует еще один параметр, по которому интеллектуальные игры наподобие го сильно отличаются от реального мира, и это опять имеет отношение к данным. Даже сложные игры (если правила их достаточно строги) могут быть смоделированы практически идеально, поэтому системы искусственного интеллекта, которые в них играют, могут без труда собрать огромные объемы данных, требующихся им для обучения. Так, в случае с го машина может симулировать игру с людьми, просто играя сама против себя; даже если системе потребуются терабайты данных, она сама же их и создаст. Программисты могут таким образом получить абсолютно чистые данные моделирования практически без затрат. Напротив, в реальном мире идеально чистых данных не существует, невозможно их и смоделировать (поскольку правила игры постоянно меняются) и тем более затруднительно собрать многие гигабайты релевантных данных методом проб и ошибок. В действительности на апробацию разных стратегий у нас имеется всего несколько попыток. Мы не в состоянии, например, повторить посещение врача 10 миллионов раз, постепенно корректируя параметры решений перед каждым визитом, чтобы кардинально улучшить наше поведение в плане выбора транспорта. Если программисты хотят обучить робота для помощи пожилым людям (скажем, чтобы он помогал уложить немощных людей в постель), каждый бит данных будет стоить реальных денег и реального человеческого времени; здесь нет возможности собрать все требуемые данные с помощью симуляционных игр. Даже манекены для краш-тестов не могут стать заменой реальным людям. Нужно собирать данные о настоящих пожилых людях с разными особенностями старческих движений, о разных видах кроватей, разных видах пижам, разных типах домов, и здесь нельзя допускать ошибок, ведь уронить человека даже на расстоянии нескольких сантиметров от кровати было бы катастрофой. В данном случае на карту поставлены реальные жизни[6]. Как IBM обнаруживала не один, а уже целых два раза (сначала в шахматах, а затем в Jeopardy!), успех в задачах из закрытого мира совершенно не гарантирует успеха в мире открытом.
