Отдельным вопросом является то, когда именно такие ошибки могут случиться. Одни из этих ошибок происходят в процессе дискуссий в «мирное время», когда общество решает, к каким именно рискам ему стоит готовиться. Другие в полной мере проявляются в аварийных ситуациях, когда люди вынуждены быстро оценить их опасность и принять решения. Грубо говоря, принято разделять все ошибки на ошибки «конструктора» и «пилота». Ошибки «конструктора» совершаются большими группами людей в течение многих лет, тогда как ошибки пилота совершаются одним или малой группой людей в течение секунд или минут. Это может быть, вообще говоря, неверно относительно глобальных катастроф, в случае, если ситуация начнёт развиваться настолько быстро, что проектирование и управление будут развиваться фактически в одном темпе.

Есть также вероятность, что некоторые описания ошибок, которые я здесь привожу, могут оказаться объектами моего неверного понимания – то есть тоже быть ошибочными. И нет ни малейших сомнений, что этот список не полон. Поэтому данный список следует использовать скорее как стартовую площадку для критического анализа любых рассуждений о глобальных рисках, но не как инструмент для постановки окончательного диагноза.

Опасная иллюзия состоит в том, что ошибки в рассуждениях о глобальных рисках или невелики, или легко обнаружимы и устранимы. Корни этой иллюзии в следующем рассуждении: «Раз самолёты летают, несмотря на все возможные ошибки, и вообще жизнь на Земле продолжается, то значение этих ошибок невелико». Это аналогия неверна. Самолёты летают потому, что в ходе их эволюции, конструирования и испытаний разбились тысячи машин. И за каждой этой аварией стояли чьи-то ошибки, которые каждый раз учитывались и в целом не повторялись. У нас нет тысячи планет, которые мы можем разбить, чтобы понять, как нам правильно обращаться с взрывоопасной комбинацией био, нано, ядерных и ИИ технологий. Мы не можем использовать и тот факт, что Земля ещё цела для каких-либо выводов о будущем (см. мою статью «Природные катастрофы и антропный принцип»), потому что нельзя делать статистических выводов по одному случаю. И, конечно, особенно потому, что будущие технологии принципиально изменят жизнь на Земле. Итак, мы лишены привычного способа устранения ошибок – проверки. И, тем не менее, именно сейчас нам важнее всего в истории человечества не ошибиться.

Возможно, что есть ряд когнитивных искажений и логических парадоксов, которые проявляются только в рассуждениях о глобальных рисках, и которые нами пока не обнаружены, но полностью меняют всю весь ход рассуждений. Точно также я не хочу сказать, что все исследователи допускают все перечисленные здесь ошибки. Наоборот, большинство этих ошибок, вероятно, самоочевидны большинству исследователей – или вообще не кажутся ошибками. Однако есть шанс, что какие-то ошибки пропущены.

Под термином «когнитивные искажения» я имею в виду здесь не только нарушения логики, но и любые интеллектуальные конструкции, которые могут оказать влияние на конечные выводы и увеличить риск глобальной катастрофы. Некоторые приведённые ошибки могут не приводить в текущих обстоятельствах к каким-либо последствиям, тем не менее, полезно их иметь в виду.

Возможные виды ошибок и когнитивных искажений разделены на следующие группы:

1. Ошибки, возможные только относительно глобальных рисков в силу их специфики.

2. Ошибки, возможные относительно оценки любых рисков, применительно к глобальным рискам.

3. Факторы, оказывающие влияние на принятие неверных решений, мгогущие проявиться в ситуациях глобального риска.

4. Общелогические ошибки, могущие проявиться в рассуждениях о глобальных рисках.

5. Специфические ошибки, возникающие в дискуссиях об опасности неконтролируемого развития искусственного интеллекта (а также специфические ошибки в рассуждениях о нано-, био- и других прорывных и опасных технологиях – в том числе в ядерных технологии и астрономии.)

1. Путаница относительно глобальных катастроф и просто очень больших катастроф

Есть тенденция путать глобальные катастрофы, ведущие к вымиранию человечества (обозначаемые в англоязычной литературе термином «existential risks») и любые другие колоссальные катастрофы, которые могут принести огромный ущёрб, отбросить цивилизацию далеко назад и истребить значительную часть человечества. Критерием глобальных катастроф является необратимость. В русском языке пока нет устоявшегося краткого термина для катастроф, ведущих к вымиранию человечества. (Моисеев называл их цивилизационными рисками или катастрофами.) Я называю их глобальными катастрофами. Есть ещё термин-калька – экзистенциальные риски. (Подробнее про определение глобальных катастроф и их специфику см. статью Ника Бострома «Угрозы существованию. Анализ сценариев человеческого вымирания и подобных опасностей» .) Разница между этими двумя видами катастроф – не в количестве погибших людей и испытанных ими страданий, а будущем планеты после них. Если уцелеет хоть одно племя в 100 человек, то через несколько тысяч лет на Земле опять будут государства, города и самолёты, и погибшая цивилизация будет в каком-то смысле воскрешена по древним текстам. (От древних греков остался, по некоторым оценкам, только 1 Гб информации, а влияние их на культуру оказалось огромным.)

Примером такой разницы может служить катастрофа, в которой вымирает всё человечество, и катастрофа, в котором оно вымирает всё, кроме нескольких человек, которые затем воссоздают человеческую популяцию, как ветхозаветный Ной. С точки зрения отдельного человека нет никакой зримой разницы между двумя этими катастрофами. И в том и в другом случае он погибнет почти наверняка, и всё, что для него ценно, также погибнет. Однако для человечества как целого это разница равнозначна разнице между смертью и очень тяжёлой болезнью. И эта разница также состоит в том, что болезнь может быть долгой и мучительной, и потом закончится выздоровлением, а смерть может быть лёгкой, мгновенной, но обязательно необратимой.

2. Недооценка неочевидных рисков

Глобальные риски делятся на очевидные и неочевидные. Неочевидные риски в некотором смысле гораздо опаснее, потому что неизвестен их объём, их вероятность, и в связи с ними ничего не предпринимается. Некоторые неочевидные риски известны только узкому кругу специалистов, которые высказывают диаметрально противоположные мнения в оценке их реальности и вероятности. Эти мнения могут выглядеть для стороннего наблюдателя в равной мере обоснованными, что заставляет его выбирать между мнениями экспертов, или исходя из своих личных предпочтений, или «бросая монетку». Однако неочевидные риски несут вполне реальную угрозу и до того, как научное сообщество окончательно определится с их параметрами. Это заставляет уделять внимание тем областям знаний, в отношении которых есть ещё много вопросов.

По мере роста наших знаний о природе и могущества техники, постоянно росло число известных нам причин возможного человеческого вымирания. Более того, этот рост ускоряется. Поэтому вполне разумно ожидать, что есть важнейшие риски, о которых мы ничего не знаем. И хуже из них те риски, о которых мы физически не можем ничего узнать, пока они не случатся.

Кроме того, очевидные риски гораздо удобнее анализировать. Есть огромный объём данных по демографии, военному потенциалу и запасам сырья, которые можно анализировать детально и подробно. Объём этого анализа может заслонять тот факт, что есть другие риски, о которых нам очень мало известно, и которые не годятся для анализа в численной форме, но которые тоже смертельно опасны (например, проблемы с неправильно запрограммированным ИИ).

Нетрудно заметить, что в момент развития аварийной ситуации, например, в авиации, самые страшные последствия имеет именно непонимание пилотами того, что происходит (особенно ошибки в оценке высоты и степени опасности процесса). Наоборот, когда такое понимание имеется, самолёт удаётся спасти часто в совершенно невероятных условиях. И хотя для нас апостериори причины катастрофы очевидны, для самих пилотов они были в тот момент совершено неочевидны.