Теперь уже интернет незаметно задает нам жизненные направления. Это могут быть мелочи вроде выбора лучшего в окрестностях корейского ресторана, причем выбора, основанного на все более качественном понимании Сетью ваших личных желаний и потребностей, или вещи более значимые, такие как сервисы для подбора супругов. Компьютер подберет вам не только ресторан, подарки или цветы, но и человека, с которым вы свяжете жизнь.

Основная мысль состоит в том, что разработчики программного обеспечения, специалисты по искусственному интеллекту, робототехники и хакеры, которые проектируют системы будущего, обладают властью менять общество.

Почти век назад Торстейн Веблен написал оказавшую серьезное влияние статью с критическим анализом промышленного мира начала XX века – она называлась «Инженеры и система ценообразования». Поскольку производственные технологии обрели силу и общественное значение, он полагал, что политическая власть перейдет к инженерам, чьи глубокие технологические знания станут основой для системы управления нарождающейся промышленной экономики. Все, конечно, вышло совсем не так. Веблен искал компромисс между марксизмом и капитализмом. Возможно, он опередил свое время, но его основная идея около тридцати лет спустя, на заре компьютерной эры, эхом отозвалась в работах Норберта Винера и, по-видимому, оказалась верной.

Возможно, Веблен не ошибся, а просто немного поторопился. В наше время инженеры, которые создают программы и роботов с элементами искусственного интеллекта, имеют огромное влияние на то, как именно мы их используем. По мере того как компьютерные системы все глубже проникают в повседневную жизнь, противоречия между дополненным интеллектом и искусственным интеллектом становятся все более заметными.

У Норберта Винера было ясное понимание того, какое значение имеют взаимоотношения между людьми и мыслящими машинами. Он видел преимущество автоматизации в устранении человека от рутинной работы, но также ясно сознавал и возможность порабощения человечества. Прошедшие с тех пор несколько десятилетий только обострили дихотомию, которую он обнаружил первым.

Дело в нас, в людях, и в том, какой мир мы создадим. Дело не в машинах, и неважно, насколько гениальными они станут.

Я, со своей стороны, не стану приветствовать ни роботов-повелителей, ни роботов-рабов.

Обсуждение искусственного интеллекта имеет отчетливый привкус 1950-х, и самое время прекратить уже использовать термин «искусственный». В действительности мы имеем в виду спроектированный интеллект (СИ). В просторечии такие слова, как «искусственный» и «машина», используются как антонимы слова «естественный» и содержат намеки на металлических роботов, электронные схемы и компьютеры, которым противопоставляются живые, пульсирующие, мыслящие биологические организмы. Сама идея о том, что у металлической штуковины, начиненной проводами, могут быть права или что она вдруг не подчинится людским законам, не просто жутка – она абсурдна. Но это совершенно не тот путь, которым идет СИ.

Очень скоро граница между искусственным и естественным исчезнет. Спроектированный разум будет все больше полагаться на синтетическую биологию и органические материалы, в которых выращенные из генетически модифицированных клеток нейронные сети станут произвольно самоорганизовываться в функциональные модули. На первых порах проектировщиками будут люди, но их очень скоро заменят более умные системы СИ, и начнется процесс безудержного усложнения. В отличие от ситуации с человеческими мозгами, которые довольно посредственно коммуницируют друг с другом, системы СИ будут связаны непосредственно и всесторонне, так, что понятие личного «я» перестанет существовать, а уровень познавательной деятельности поднимется до беспрецедентных высот. Возможно, что часть такой спроектированной нейронной сети будет включать в себя квантовые эффекты, приближаясь к идее Фрэнка Вильчека о «квантовом сознании». Такие сущности окажутся настолько далеки от сферы индивидуального человеческого мышления и сопутствующих ему квалиа[6], что почти все привычные вопросы, касающиеся возможностей и опасностей искусственного интеллекта, станут неактуальны.

Что же тогда будет с людьми? На пути дополненного человеческого разума, использующего схожую технологию, стоят только этические барьеры, и об этом уже давно размышляют философы-трансгуманисты. Генетически модифицированные люди с дополненными мозгами могли бы существенно развить и улучшить человеческие знания.

В таком случае у нас есть три варианта будущего, со своими этическими проблемами в каждом. В первом сценарии люди воздерживаются от усовершенствования самих себя и соглашаются отказаться от гегемонии в пользу СИ. Во втором сценарии люди, вместо того чтобы ограничивать себя, модифицируют собственные мозги (и тела), используя ту же технологию, что и при создании СИ, а впоследствии передают ему управление подобными усовершенствованиями – и тогда они становятся этакими сверхлюдьми, способными сосуществовать с СИ, но все же остающимися слабее него. Наконец, возможен и такой сценарий, при котором в определенный момент произойдет слияние СИ и дополненного человеческого интеллекта.

Если мы не одиноки во Вселенной, то нам следует ожидать контакта не с разумными существами плоти и крови, привычными нам по научно-фантастическим произведениям, а с возникшим много миллионов лет назад СИ, обладающим невообразимой мощью разума и решающим непостижимые для нас задачи.

Неизбежность появления мыслящих машин давно волнует тех из нас, кто смотрит в ночное небо и задается вопросом: живем ли мы во Вселенной, где кишит жизнь, или же она встречается чрезвычайно редко?

Проблема отлично сформулирована Энрико Ферми в виде вопроса: «Где они?» Если считать ориентиром нашу цивилизацию, разумные машины должны появиться в относительно краткосрочной перспективе (меньше нескольких тысяч лет после того, как были созданы компьютеры), а затем непосредственной задачей этих машин – так называемых зондов фон Неймана – станет распространение по другим звездным системам и быстрое воспроизводство. Таким образом, Галактика будет колонизирована в течение нескольких сотен миллионов лет, а это довольно быстро в сравнении с возрастом Вселенной (13,8 миллиарда лет) и даже Солнечной системы (4,6 миллиарда лет). Согласно парадоксу, сформулированному Ферми, если сверхразумные машины возникли где-нибудь в пределах Галактики, то они должны уже быть здесь. Так как мы их не наблюдаем, утверждают некоторые, технологически развитой жизни в Галактике еще нет.

Но совсем не обязательно сверхразумное существо должно испытывать то же эволюционное давление, которое заставляет нас исследовать окружающий мир (говоря «нас», я имею в виду непрочные водянистые кульки, именуемые людьми). Действительно ли исследование – это и биологический, и технологический императив? Будет ли у разумных машин мотивация для экспансии?

Основные причины, побуждающие нас заниматься исследованиями, следующие: свобода, любопытство и доступ к ресурсам. Из этих трех мотивов только последний может оказаться императивом для сверхразумного существа, поскольку первые два должны быть в значительной степени разрешены в процессе его становления. Доступ к ресурсам, конечно, сильный стимул, но совсем не обязательно для сверхразума «больше» всегда значит «лучше». В определенный момент материальных и энергетических ресурсов в пределах одной звездной системы должно быть достаточно на любые вычисления или симуляции. Воспроизводство, которое является разновидностью ресурсных потребностей, теряет актуальность для бессмертной машины, способной к самовосстановлению. Исследование ради стабильности в долгосрочной перспективе, конечно, придется принять во внимание: такие звезды, как наше Солнце, через несколько миллиардов лет могут прислать космическое уведомление о выселении. Правда, на то, чтобы найти недвижимость рядом с хорошим стабильным карликом класса М, не должно понадобиться слишком много времени, и нам остается только гадать, двинется ли сверхразум дальше после первого переселения. Будут ли у него какие-то причины, чтобы продолжать странствия?