Станет ли машина, обладающая искусственным интеллектом, намеренно отключать системы безопасности? А зачем это ей? Антиутопии об ИИ проецируют мещанскую психологию альфа-самца на представление об интеллекте. Авторы таких книг предполагают, что нечеловечески умные роботы однажды решат свергнуть своих хозяев или захватить мир. Но разумность – это способность использовать новые оригинальные методы для достижения цели, сами же цели лежат за пределами собственно разума. Быть умным и желать чего-либо – не одно и то же. Да, история знает немало деспотов с манией величия и серийных убийц-психопатов, но они появились на свет в результате естественного отбора, сформировавшего тестостерон-сенситивные нервные цепи у отдельного вида приматов, так что стремление доминировать – вовсе не обязательный признак разумных систем. Что характерно, многие из известных технопророков даже не задумываются о том, что искусственный интеллект может естественным образом развиваться по женскому типу, то есть будет вполне в состоянии справляться с решением своих задач, не испытывая желания истреблять невиновных или властвовать над цивилизацией.

Нам легко представить злодея, который создает армию роботов и выпускает их в мир как оружие массового уничтожения. Но сценарии таких катастроф легко разыграть лишь в воображении, на самом же деле для их реализации потребуется длинная цепочка событий, вероятность каждого из которых довольно невелика. Сперва должен появиться злобный гений, обладающий одновременно жаждой бессмысленного массового убийства и гениальностью в области технических инноваций. Ему потребуется собрать команду сообщников и руководить ими, при этом обеспечивая секретность и лояльность подчиненных, а также заботиться об их компетентности. В течение всей операции нужно будет избежать множества опасностей: раскрытия заговора, предательства, внедрения сотрудников правоохранительных органов, совершения ошибок и неудачного стечения обстоятельств. То есть в теории такое может случиться, но эту проблему вряд ли стоит считать насущной.

Если отвлечься от катастрофических научно-фантастических сюжетов, то перспективы у продвинутого искусственного интеллекта самые радужные, причем не только в том, что касается его практического применения, – например, беспилотные автомобили – это безопасность, экономия рабочего времени и экологичность, – но и в философском плане. Вычислительная теория разума никак не объясняет существование самосознания в значении личной субъектности. Однако она прекрасно справляется с объяснением существования субъектности в значении воспринимаемой и сознаваемой информации. Есть мнение, что субъектность присуща любой достаточно сложной кибернетической системе. Раньше я думал, что эта гипотеза (во всех своих разновидностях) совершенно непроверяема. Но представьте себе разумного робота, запрограммированного следить за собственными системами и задавать научные вопросы. Если бы он без подсказки извне задался вопросом о том, откуда берутся его субъективные переживания, то я бы отнесся к этой идее всерьез.

Потенциал продвинутого искусственного интеллекта и опасения по поводу негативных сторон его развития становятся все более актуальными – и небезосновательно. Многие из нас задумываются над вопросами из области ИИ, например, отрасли синтетических биотехнологий уже сейчас необходимы основные принципы «инновационной ответственности»; другие считают наиболее обсуждаемые сценарии излишне футуристичными и недостойными особого внимания.

Но расхождение во взглядах в основном идет по временной шкале: различаются оценки скорости движения, а не его направления. Мало кто сомневается, что машины будут все больше и больше превосходить нас в плане способностей, характерных именно для людей, или же смогут усиливать их посредством кибернетических технологий. Наиболее осторожные из нас предполагают, что такие трансформации займут века, а не десятилетия. Как бы там ни было, временны́е рамки технологического прорыва – лишь мгновение по сравнению с тем, сколько длится приведший к появлению человечества естественный отбор, и (что более важно) они составляют меньше одной миллионной от необъятных просторов ожидающего нас будущего. Потому-то в долгосрочной эволюционной перспективе люди и все, о чем они когда-либо думали, станут всего лишь примитивной переходной формой, предшествовавшей более глубокому мышлению новой машиноориентированной культуры, простирающейся в отдаленное будущее и далеко за пределы Земли.

Сейчас мы наблюдаем ранние этапы этого перехода. Нетрудно представить себе гиперкомпьютер, достигающий возможностей оракула и способный предложить тем, кто его контролирует, господство на международном финансовом рынке, – а ведь это только количественный, а не качественный шаг вперед относительно того, что делают сегодня «квантовые» хедж-фонды. Сенсорные технологии все еще отстают от человеческих возможностей. Но как только робот научится наблюдать за своим окружением и интерпретировать получаемые данные так же искусно, как мы, он, несомненно, будет восприниматься как разумное существо, а с чем-то (или с кем-то) подобным мы вполне могли бы поладить – в некотором смысле, – как мы ладим с другими людьми. Для пренебрежительного отношения к машинам в таком случае было бы не больше оснований, чем для подобного отношения к людям.

Более высокая производительность может дать роботам преимущество перед нами. Но останутся ли они покорными нам или же проявят норов? А что если гиперкомпьютер обзаведется собственным разумом? Если он проникнет в интернет, в частности в интернет вещей, он получит власть над остальным миром. А если у него появятся цели, совершенно противоположные желаниям человека, он может увидеть в людях помеху. Есть и более оптимистичный сценарий: люди превзойдут биологию и сольются с компьютерами, быть может, отдавая свои личности для создания общего сознания, – выражаясь старомодным языком спиритуалистов, они «перейдут в мир иной».

Горизонты технологических прогнозов редко простираются в будущее дальше нескольких веков – некоторые предсказывают качественные изменения в пределах десятилетий. Но у Земли есть еще миллиарды лет, а будущее Вселенной еще дольше (возможно, это вечность). Что насчет длительной постчеловеческой эпохи?

У органического мозга есть химические и метаболические пределы, ограничивающие его размер и вычислительную мощность. Быть может, мы уже вплотную подошли к этим пределам. Но основанные на кремнии (а тем более квантовые) компьютеры ничем подобным не стеснены. Для них потенциал развития может оказаться столь же впечатляющим, как эволюция от одноклеточных организмов до человеческих существ.

Значит, любые объемы и любая интенсивность мышления – какое бы его определение мы ни взяли – в случае с органическим мозгом человеческого типа будут ниже, чем в случае с искусственным интеллектом. Кроме того, биосфера Земли, где органическая жизнь эволюционировала на основе симбиоза, не будет ограничением для продвинутого ИИ. В действительности наша среда обитания далека от оптимальной. В межпланетном и межзвездном пространстве для роботизированных фабрикантов откроется величайший простор для строительства, а небиологические «мозги» будут думать над идеями, настолько превосходящими наши фантазии, насколько теория струн превосходит мыслительные процессы мыши.

Абстрактное мышление биологического мозга стало основанием для появления культуры и науки во всей их полноте. Но эта деятельность, охватывающая самое большее несколько десятков тысячелетий, станет предтечей более мощных интеллектов неорганической, постчеловеческой эпохи. Кроме того, эволюция в иных мирах, обращающихся вокруг звезд, которые старше нашего Солнца, могла иметь фору перед земной. Если так, то пришельцы, вероятно, давно прошли стадию органического развития.