У здоровых людей все эти свойства образуют единый комплекс. Но у искусственного интеллекта они в принципе могут существовать по отдельности. Следовательно, нам нужно уточнить вопрос. Какие особенности, которые мы ассоциируем с сознанием у людей (если таковые вообще существуют), станут необходимым дополнением к интеллекту человеческого уровня? Каждый из вышеперечисленных признаков (а перечень этот, конечно, не исчерпывающий) заслуживает отдельного пространного описания. Так что позвольте остановиться всего на двух из них, а именно: на осознании мира и на способности испытывать страдание. Я уверен, что способность сознавать окружающий мир – это действительно необходимое свойство интеллекта человеческого уровня.

Определенно, ничто не может обладать мышлением, сравнимым с нашим, если у него нет языка, – а главное назначение человеческого языка состоит в том, чтобы говорить о мире. В этом смысле интеллект тесно связан с тем, что философы называют интенциональностью. Кроме того, язык – социальный феномен, и основное его назначение в группе людей состоит в том, чтобы говорить о вещах, которые все они могут воспринимать сейчас (например: этот инструмент или тот кусок дерева), или воспринимали ранее (виденный вчера кусок дерева), или в принципе способны воспринять (кусок дерева, который мы, возможно, увидим завтра). Короче, язык основан на осознании мира. Для обладающего телом существа или робота оно будет проявляться через взаимодействия с окружением (обход препятствий, подбор предметов и т. д.). Но мы могли бы расширить понятие, включив в него распределенный, лишенный физического тела искусственный интеллект, оснащенный сенсорами.

Чтобы с уверенностью называться одним из вариантов самосознания, такой вид осознания мира, вероятно, также должен сопровождаться очевидной целеустремленностью и некоторой когнитивной интеграцией. Потому, скорее всего, три перечисленных свойства окажутся единым целым даже у ИИ. Но давайте на мгновение отвлечемся от этого вопроса и вернемся к способности испытывать страдание или радость. В отличие от осознания мира, нет очевидных причин полагать, что искусственный интеллект человеческого уровня должен обладать этим качеством, даже при том, что у людей он тесно связан с самосознанием. Легко представить машину, которая, не испытывая чувств или эмоций, выполняет любые интеллектуальные задачи. У нее не будет самосознания, которое имеет решающее значение, когда речь идет о предоставлении прав. Как отмечал Иеремия Бентам, если мы размышляем над проблемой норм обращения с животными, вопрос состоит не в том, могут ли они мыслить, а в том, могут ли они страдать.

Нет такого предположения, что «простая» машина никогда не сможет испытывать страдания или радость, – но в данном вопросе кое-что связано с биологией. Идея, скорее, заключается в том, что способность страдать или радоваться может быть отделена от психологических особенностей, взаимосвязанных в человеческом сознании. Давайте внимательнее рассмотрим это условное разделение. Я уже говорил, что осознание мира может идти рука об руку с явной целеустремленностью. У животных осознание мира, того, что он способен дать во благо или во вред (в терминах Джеймса Джерома Гибсона), служит удовлетворению их потребностей. Животное демонстрирует понимание того, что хищник удаляется от него или же что потенциальная жертва приближается. В контексте целей и потребностей поведение животного целесообразно. Если ему что-то помешает, если цели его окажутся недостигнутыми, а потребности – неудовлетворенными, это будет основанием для того, чтобы испытывать страдания.

А что насчет искусственного интеллекта, сравнимого с человеческим? Не возникнет ли у такого ИИ комплексного набора целей? Не получится ли при некотором стечении обстоятельств, что попытки достичь этих целей каждый раз будут оказываться неудачными? Уместно ли в таком случае сказать, что ИИ испытывает страдания, даже если учесть, что особенности строения делают его невосприимчивым к боли или неприятным физическим ощущениям, известным людям?

И вот тут наше воображение и интуиция отказываются идти дальше. Подозреваю, что ответа на этот вопрос мы не найдем, пока не окажемся лицом к лицу с реальным явлением. Только тогда, когда сложный искусственный интеллект станет привычной частью жизни, наша языковая игра окажется приспособленной к подобным чужеродным для нас сущностям. И не исключено, что тогда уже окажется слишком поздно решать, стоило ли вообще производить эти сущности на свет. К добру или к худу, они уже будут здесь.

По меткому выражению Томаса Гоббса, рассуждение есть не что иное, как исчисление, и это одна из величайших идей во всей истории человечества. Представление о том, что разумность может достигаться в результате физического процесса вычисления, было высказано в XX веке в работах Алана Тьюринга (который утверждал, что простейшие машины могут выполнять любые вычислимые функции) и реализовано в моделях Дональда Хебба, Уоррена Мак-Каллока и Уолтера Питтса и их последователей, продемонстрировавших, что сети упрощенных нейронов добиваются сопоставимых с человеческими результатов. Познавательные способности мозга можно описать количественно. Грубо говоря (и пусть нас за это критикуют), убеждения – вид информации, мышление – вид вычисления, а мотивация – вид обратной связи и контроля.

Это концепция великолепна, и вот почему. Во-первых, она дополняет естественнонаучное понимание Вселенной, изгоняя из машины оккультистских духов, призраков и душу. Как Дарвин дал возможность вдумчивому наблюдателю за миром природы обходиться без креационизма, так Тьюринг и другие позволили наблюдающему за миром мышления избавиться от спиритуализма.

Во-вторых, вычислительная теория разума открывает двери для искусственного интеллекта, то есть для машин, которые мыслят. Рукотворное вычислительное устройство может, в принципе, заменить человеческий разум и превзойти его в силе. Из этого вовсе не следует, что такое непременно произойдет на практике, поскольку в обозримой перспективе вряд ли возникнет надежная технологическая база и экономическая потребность для того, чтобы осуществить нечто подобное. Как изобретение автомобиля не было попыткой создать точную копию лошади, так и разработка окупающихся систем искусственного интеллекта не означает создание чего-то подобного Homo sapiens. Устройству, которое создано, чтобы управлять автомобилем или прогнозировать развитие эпидемии, не обязательно уметь привлекать полового партнера или избегать несвежего мяса.

Тем не менее предпринимаемые в последнее время крошечные шаги к более разумным машинам вновь пробудили у многих страх того, что знание нас погубит. Мое личное мнение таково: боязнь того, что машины могут вдруг обезуметь, есть не что иное, как напрасная трата эмоциональных сил – такой сценарий ближе к «проблеме 2000 года», чем к Манхэттенскому проекту.

Прежде всего, у нас достаточно времени для того, чтобы все предусмотреть. От искусственного интеллекта, сравнимого с человеческим, нас все еще отделяют от 15 до 25 лет, а многие из недавних широко разрекламированных прорывов в этой области на деле оказались довольно поверхностными. В прошлом «эксперты» со смехом отвергали возможность быстрого технического прогресса – а он взял да и случился. «Эксперты» также вещали (местами даже с паникой в голосе) о неминуемых научно-технических достижениях, которые так и не произошли: об автомобилях с атомными двигателями, о подводных городах, о колониях на Марсе, о «проектируемых» детях и о хранилищах с зомби, обеспечивающими людей запасными органами.

Кроме того, странно было бы думать, что робототехники не станут заботиться о мерах безопасности, улучшая системы искусственного интеллекта. Для этого не понадобятся занудные «законы робототехники» или какая-нибудь новая моральная философия, достаточно будет здравого смысла – того же, которым люди руководствовались, разрабатывая кухонные комбайны, циркулярные пилы, обогреватели и автомобили. Бояться того, что системы ИИ станут чрезвычайно искусными в выполнении своей конкретной задачи (например, в распределении энергии) и в результате станут самовольно пренебрегать другими задачами (например, безопасностью людей), – значит предполагать, что мы будем создавать машины быстрее, чем разрабатывать соответствующие меры безопасности. В действительности же прогресс в области искусственного интеллекта, несмотря на всю шумиху вокруг него, довольно скромен, и пройдет еще много времени, прежде чем будут достигнуты сколько-нибудь значительные успехи, причем на каждом из предстоящих этапов работы люди будут держать отвертки наготове.