Глобальные риски и проблема темпа

Глобальные риски являются игрой на опережение. Каждое новое технологическое свершение создаёт новые глобальные риски и уменьшает прежние. Освоение космоса уменьшило риск случайного столкновения с астероидом, но создало возможность организовать его нарочно. Распространение нанороботов уменьшит угрозы от генетически модифицированных организмов, но создаст ещё более опасное оружие. Искусственный интеллект решит проблемы контроля над другими опасными технологиями, но создаст такую систему контроля, любой сбой в работе которой может быть смертельно опасен. Развитие биотехнологий даст нам в руки возможность победить все бывшие прежде болезни – и создать новые.

В зависимости от того, какие технологии возникнут раньше или позже, возможны разные развилки на пути цивилизации. Кроме того, важно, будут ли новые технологии успевать решать задачи, созданные на предыдущих этапах развития, в первую очередь – проблемы исчерпанности тех ресурсов, которые были истощены в ходе развития предыдущих технологий, а также устранения рисков, созданных прошлыми технологиями.

Раньше с человечеством происходило всё множество возможных ситуаций на неком этапе его исторического развития, например, всё множество взаимодействий большого государства с кочевниками. Теперь мы оказываемся в ситуации появления реальной исторической альтернативы – если будет что-то одно, то чего-то другого совсем не будет. Или будет создан мощный, контролирующий всё ИИ, или всё съест серая слизь. Или мы станем космической цивилизацией, или вернёмся в каменный век.

Глобальный риск возникает в силу скорости создающего его процесса. С медленным процессом распространения чего-то можно успеть справиться, приготовить правильные бомбоубежища, вырастить вакцину. Следовательно, отличить настоящий глобальный риск можно по темпу его развития (Солженицын: революция определяется темпом .) Темп этот будет в случае глобального риска ошеломительным, потому что люди не могут успеть понять, что происходит и правильно приготовиться. Однако для разных классов событий ошеломляющими будут разные скорости. Чем невероятнее событие, тем меньшая его скорость будет ошеломляющей. СССР казался чем-то настолько вечным и незыблемым, что даже растянутый на многие годы крах казался ошеломляющим. Системный кризис, в котором точка максимальной катастрофичности постоянно сдвигается (как пожар, перекидываясь с одного объекта на другой), обладает гораздо большим ошеломляющим потенциалом.

При этом под «ошеломлением» следует понимать способность событий создавать неправильное о себе впечатление, возможно, в форме шока будущего – и соответственно вызывать неправильную на них реакцию, ещё более их усиливающую. Конечно, некоторые сразу поймут суть происходящего, но ошеломление означает распад единой картинки происходящего в обществе, особенно у властей. Поэтому произойдёт ослепление и голоса «Кассандр» не будут услышаны – или будут понятны неверно. Более быстрые процессы будут вытеснять более медленные, но не всегда внимание будет успевать на них переключиться.

Сравнительная сила разных опасных технологий

Далее, мы можем составить таблицу «силы» технологий, в которой каждая следующая даёт больший темп угроз и затмевает угрозы, создаваемые на предыдущем этапе. Временной фактор указывает здесь на длительность возможного процесса вымирания (а не время до созревания технологии).

1. Исчерпание ресурсов – десятилетия или столетия.

2. Масштабная ядерная война с применением кобальтовых бомб – с учётом медленного последующего вымирание – годы и десятилетия.

3. Биотехнологии – годы или десятки лет.

4. Нанороботы – от нескольких дней до нескольких лет.

5. Искусственный интеллект – от часов до нескольких лет

6. Взрыв на ускорителе – со скоростью света.

Соответственно, сценарии глобальной катастрофы будут с гораздо больше вероятность переходить с первых позиций этой таблицы на последние, иначе говоря, если в середине процесса исчерпания ресурсов вдруг начнётся многофакторная биологическая война, то процесс исчерпания ресурсов будет настолько медленным по сравнению с ней, что его можно не принимать во внимание. При этом наличие каждой более продвинутой технологии будет позволять минимизировать последствия катастрофы от более слабой. Например, развитые биотехнологии помогут добывать ресурсы и очистить мир от радиоактивного заражения. Нанороботы смогут защитить от любых биологических опасностей.

Последовательность возникновения различных технологий во времени

Приведённый выше список «силы» технологий в целом похож на ожидаемую временн;ю последовательность возникновения технологий в реальности, поскольку мы можем ожидать, что по ходу прогресса будут возникать всё более сильные технологии, но на самом деле не обязательно соответствует ей.

Последовательность возникновения различных технологий во времени является важнейшим фактором в определении того, какое нас ждёт будущее. Хотя благодаря NBIC-конвергенции успехи в одной технологии переходят на другие, для нас моментом созревания технологии является тот момент, когда с помощью неё становится возможным создать глобальный риск. И даже небольшое опережение здесь может играть решающее значение. Вообще, любая технология позволяет создавать щит и меч. По времени, щит обычно отстает, хотя, в конечном счёте, может оказаться сильнее меча. Подробнее о щитах мы поговорим далее. Кроме того, более сильная технология создаёт щит от более слабой.

Обычно ожидают следующую последовательность созревания технологий: био – нано – ИИ. Сильный искусственный интеллект является своеобразным «джокером», который может возникнуть и завтра, и через десять лет, и через 50 или вообще никогда. Биотехнологии развиваются достаточно поступательно в соответствии со своим «законом Мура», и мы в целом можем предсказать, когда они созреют до той точки, где можно будет производить каких угодно вирусов где угодно и как угодно дёшево. Это точно будет возможно через 10-30 лет, если некая катастрофа не прервёт развитие этих технологий. Опасный физический эксперимент может произойти почти мгновенно и независимо от других технологий – пока имеется высокий уровень технологий вообще. Приход к власти мощного ИИ значительно сократит вероятность такого события (но даже ИИ может ставить некие эксперименты).

Нанотехнологии находятся в значительно более зачаточной форме, чем биотехнологии и даже технологии ИИ. Первые опасные эксперименты с биотехнологиями были ещё в 1970-е годы (раковая кишечная палочка), а до ближайших опасных нанотехнологических экспериментов – ещё 10 лет как минимум, если не произойдёт какого-то технологического прорыва. То есть нанотехнологии отстают от биотехнологий почти на 50 лет. Внезапный прорыв может произойти или со стороны ИИ – он придумает как легко и быстро создать нанотехнологии или со стороны биотехнологий – или на пути создания синтетических организмов.

Сопоставление факторов риска разных технологий

Для каждой сверхтехнологии можно ввести фактор опасности Y=a*b, который отражает как вероятность возникновения этой технологии (a), так и вероятность её злонамеренного применения (b).

Например, ядерные технологии уже существуют (a=1), но контроль над их значительным применениям (полномасштабной войной или сверхбомбой) достаточно высок, поэтому вторая величина произведения мала. Для биотехнологий высока как вероятность их развития, так и вероятность их злонамеренного применения. Для ИИ эти величины нам неизвестны. Для нанотехнологий тоже неизвестна ни вероятность их создания (однако не видно принципиальных трудностей), а вероятность их злонамеренного применения аналогична вероятности для биологического оружия.

Кроме того, можно добавить фактор скорости развития технологии, который показывает, насколько она близка по времени. Линейное умножение здесь не вполне корректно, так как не учитывает тот факт, что опоздавшая технология полностью отменяется другими, а также нелинейный характер прогресса каждой технологии (как минимум экспонента). Чем дальше от нас технология, тем она безопаснее, так как больше шанс, что мы найдём способ безопасным образом управлять прогрессом и применением его плодов.