С другой стороны, компьютерные сети, чьё ошибочное поведение может запустить некий опасный процесс, уже существуют. В первую очередь сейчас речь идёт о системах, контролирующих ядерные вооружения. Однако, когда появятся био и нано принтеры, ситуация станет гораздо опаснее. Также ситуация станет опаснее, когда повсеместно будут распространены компьютерно управляемые роботы, вроде домашних слуг или игрушек, а также автоматизированные реальные армии.

Рост населения Земли потребует всё более сложной самоподдерживающееся системы. Можно расположить по возрастающей системы, всё более зависимые от постоянного управления: деревня – город – небоскрёб – самолёт – космическая станция. Очевидно, что всё большая часть цивилизации перемещается вверх по этой шкале.

Компьютерные системы опасны в смысле глобальных катастроф тем, что могут быть средой, в которой может происходить неограниченная саморепликация (вируса), и тем, что они имеют доступ в любую точку мира. Кроме того, компьютеры подвержены не только вирусам, но и неочевидным ошибкам в алгоритмах и в программных реализациях их. Наконец в них возможен такой процесс, как спонтанный переход в сверхсложной системе, описываемый синергетикой.

Время возникновения ИИ

Существуют оценки, которые показывают, что компьютеры обретут силу, необходимую для ИИ, в 2020-2030 годы. Это примерно соответствует оценкам, даваемым для времени возникновения опасных биотехнологий. Однако здесь есть гораздо больший элемент неопределённости – если поступательный прогресс в биотехнологии очевиден, и каждый его этап можно отслеживать по научным публикациям, соответственно, измеряя степень риска, то возникновение ИИ связано не столько с накоплением неких количественных характеристик, сколько, возможно, с неким качественным скачком. Поскольку мы не знаем, когда будет этот скачок, и будет ли вообще, это влияет на кривую погодовой плотности вероятности возникновения ИИ, сильно размазывая её. Тем не менее, в той мере, в какой ИИ зависит от накопления идей и доступа к ресурсам, эта кривая будет также носить экспоненциальный характер.

Моя оценка, согласующаяся с мнением Винджа, Бострома и других предсказателей ИИ, состоит в том, что сильный универсальный ИИ будет создан в некий момент времени между настоящим моментом и 2040 годом, причём, скорее всего, в период между 2020 и 2030 годами. Эта оценка основана на экстраполяции существующих тенденций роста производительности суперкомпьютеров. Она также подтверждается тенденциями в технологиях сканирования человеческого мозга, которые тоже дадут ИИ, если не получится сделать его основе теоретического моделирования.

Однако за счёт большей неопределённости с ИИ, чем с биотехнологиями, вероятность создания его в ближайшее время, ближайшие 10 лет, выше, чем вероятность создания биопринтера. С некоторой вероятностью он может возникнуть даже завтра. Помешать возникновению ИИ могут:

• Системы контроля (но в свою очередь, вряд ли будут эффективны без ИИ)

• Отскок прогресса назад

• Теоретические трудности на этом пути.

Выводы: риск, который несёт в себе развитие технологий ИИ, крайне велик и систематически недооценивается. Это область гораздо более непредсказуема, чем даже биотехнологии. Вместе с тем ИИ является, возможно, нашей наилучшей защитой от прочих опасностей. Время возможного созревания сильного ИИ подобно времени возможного созревания сильного и доступного биологического оружия – примерно 10 лет с настоящего момента, и эти процессы относительно не зависят друг от друга. Возможно, им предстоит столкнуться.

Для начала приведу несколько ярких фактов с переднего края науки, поскольку иногда мы не осознаём то, насколько далеко мы продвинулись. 9-ый номер за 2007г. журнала «В мире науки» сообщает о создании молекулярного конструктора, который позволяет всего из нескольких стандартных блоков конструировать «наноскопические структуры практически любой формы» . В декабре 2007 опубликована 400-страничная «Дорожная карта развития нанотехнологий», над которой трудились десятки учёных под покровительством небезызвестного DARPA. До появления первых нанороботов (названных в ней «Atomically precise productive nanosystems» – наносистемы, позволяющие осуществлять производство с атомарной точностью) в соответствии с этой картой осталось от 10 до 25 лет .

Основной опасностью в отношении нанотехнологий считается распространение нанотехнологической «серой слизи», то есть микроскопических саморазмножающихся роботов. Основные её признаки таковы:

1. Миниатюрность

2. Способность к саморазмножению

3. Способность к самостоятельному распространению по всей Земле.

4. Способность незаметно и эффективно уничтожать крупноразмерную технику и живые организмы

5. Анонимность

6. Дешевизна

7. Автономность от человека (солдата).

Серая слизь и основанное на ней нанотехнологическое оружие является высшим выражением этих принципов, объединяющих их все вместе. Однако вовсе не обязательно объединять все до единого эти принципы, чтобы получить опасное и эффективное оружие – достаточно реализовать некоторые. Разные комбинации этих принципов дают разные виды роботехнического оружия. Рассмотрим вначале опасных роботов.

Робот-распылитель

Основная проблема с биологическими и химическими ядами – это трудности их анонимного эффективного распыления. Эту задачу мог бы решить миниатюрный робот размером с птицу (например, авиамодель). Множество таких роботов могло бы быстро и незаметно «опылить» огромную территорию.

Самовоспроизводящийся робот.

Хотя считается, что для эффективного самовоспроизводства нужны молекулярные нанотехнологии, возможно, что это не так. Тогда вполне макроразмерный робот мог бы размножаться, используя природные энергию и материалы. Этот процесс может быть двухступенчатым и использовать робота-матку и роботов-воинов, которых она производит, но которые её обслуживают. Создание саморазмножающихся роботов привлекательно тем, что позволяет быстро и дёшево создать огромную армию или развернуть масштабное производство, особенно в космосе, куда дорого отправлять готовые изделия. Риск состоит в утрате контроля над такой способной к саморазмножению системой. Важно подчеркнуть, что речь идёт не о сильном универсальном искусственном интеллекте, а о вышедшей из-под контроля системе с ограниченными интеллектом, неспособным к самосовершенствованию. Большие размеры и неинтеллектуальность делают её более уязвимой, а уменьшение размеров, повышение скорости воспроизводства и повышение интеллектуальности – более опасной. Классический пример такой угрозы в биологическом царстве – саранча. Возможно, что такой робот будет содержать биологические элементы, так как они помогут быстрее усваивать вещества из окружающей среды.

Стая микророботов

Такие микророботы могли бы производиться как оружие на огромных фабриках, вроде современных заводов по производству чипов, и даже с применением тех же технологий – литография теоретически позволяет делать подвижные части, например, небольшие маятники. При весе в несколько миллиграмм такие микророботы свободно могли бы летать в атмосфере. Каждый такой робот мог бы содержать достаточно яда, чтобы убить человека или замкнуть контакт в электротехническом устройстве. Чтобы атаковать всех людей на Земле потребовалось только несколько десятков тонн таких роботов. Однако если они будут производиться по технологиям и ценам современных чипов, такое количество будет стоить миллиарды долларов.

Армии крупных боевых роботов, выходящие из-под контроля.

Хотя армия США определённо нацелена на полную автоматизацию и замену людей роботами, до этой цели ещё не менее десяти лет, а вероятно, и значительно более. Как мы уже говорили, теоретически некая роботизированная армия может получить неверный приказ, и начать атаковать всё живое, став при этом недоступной для отмены команд. Чтобы стать реальной угрозой, это должна быть всемирная, распределённая по всей Земле огромная армия, не имеющая конкурентов.