100. Проблемы отбора экспертов

Поскольку по каждому отдельному вопросу мы вынуждены полагаться на мнение наиболее компетентных людей в этой области, нам нужен эффективный способ отбора таких людей – или их книг. Методики отбора экспертов обычно таковы: во-первых, имеют значение их регалии – индекс цитирования, научные звания, должности и т. д. Во-вторых, можно полагать на число сбывшихся прогнозов для того, чтобы определить вероятность их правоты. Третий способ состоит в том, чтобы не доверять никому, и перепроверять самому все чужие выкладки. Наконец, можно отбирать людей по тому, насколько они разделяют ваши убеждения – верят ли они в Сингулярность, Пик Хубберта, либеральную модель экономики и т.д. – очевидно, что в этом случае мы не узнаем ничего нового, кроме того, что и так подразумевалось нашим отбором. Очевидно, что все способы отбора экспертов содержат свои подводные камни. Например, в отношении глобальных катастроф не может быть сбывшихся прогнозов.

101. Вина и ответственность как факторы предотвращения рисков

Нашему уму свойственно пытаться определить того, кто именно виноват в той или иной катастрофе. Вина опирается на концепции свободы воли, вменяемости и последующего наказания. Однако в случае глобальной катастрофы она утрачивает всякий смысл, так как не будет ни расследования, ни наказания, ни пользы от этого наказания, ни страха наказания. С другой стороны, концентрация на поиске виноватых отвлекает от видения целостной картинки катастрофы. Фактически, мы думаем, что если мы определим виноватых и заменим их на более эффективных исполнителей, то следующий раз катастрофы не будет, а всем разгильдяям будет хороший урок и дисциплина на производстве повысится. Очевидно, однако, что наказание виноватых бесполезно, когда речь идёт о глобальных катастрофах. Возможно, имело бы смысл «судить победителей» - то есть людей, которые допустили некий глобальный риск, даже если катастрофы в результате не произошло. При этом важно повышать ответственность людей за сохранение мира, в котором они живут.

102. Недооценка сил инерции как фактора устойчивости систем

Помимо общих соображений о сложности и механизмах обратной связи, делающих систему устойчивой, можно использовать формулу Готта (см. главу непрямые способы оценки рисков) для оценки будущего времени существования системы, исходя из прошлого времени её существования. Она позволяет математически выразить тот факт, что если, например, автобуса не было около часа, то маловероятно, что он придёт в ближайшую минуту. То есть прошлое время существования системы создаёт, так сказать, «временную инерцию». Когда оказывается, что некая система более устойчива, чем нам казалось, исходя из наших теорий, мы начинаем сомневаться в наших теориях, которые могут быть по сути правильными, но ошибаться в датировке событий. Таким образом, недооценка устойчивости ведёт к недооценке рисков.

103. Мировоззрение

Очевидно, что все дискуссии о рисках глобальной катастрофы происходят на платформе определённого научного, культурного и исторического мировоззрения, которое для нас настолько очевидно, что кажется прозрачным. Однако возможно, что представитель другой культуры и религии будет рассуждать принципиально по-другому.

104. Борьба за научный приоритет

Например, в отношении глобального потепления есть несколько разных терминов, выдвинутых разными авторами с целью закрепить свой приоритет на эту концепцию: «планетарная катастрофа» у Ал. Гора, «парниковая катастрофа» у Карнаухова, «runaway global warming» в другой зарубежной литературе. Далее, важно отметить те трудности, которые испытывает наука с удостоверением уникальных событий, которые имели конечное число наблюдателей (в духе решения французской академии наук о том, что камни с неба падать не могут.)

1. Путаница между вероятностью, как мерой изменчивости объекта, и степенью уверенности, как мерой информации об объекте

Первое относится к вероятностному процессу, например, радиоактивному распаду, а второе к неизвестному процессу – например, угадыванию карты. Однако глобальные риски относятся к процессам, где мы вынуждены высказывать вероятностные суждения о процессах, которые одновременно и вероятностные, и неизвестные. Здесь мы начинаем говорить о степени уверенности в той или иной вероятности. В этом случае вероятность и степень уверенности перемножаются.

2. Подмена анализа возможностей анализом целей

Например, рассуждения вроде «террористы никогда не захотят применять бактериологическое оружие, потому что оно нанесёт удар и по тем, чьи интересы они защищают». Структура целей может быть очень сложна или просто содержать в себе ошибки.

3. Неверное употребление индуктивной логики следующего вида: раз нечто очень давно не происходило, то это не будет происходить ещё очень долго

Это высказывание работает только в том случае, если мы однократно нечто наблюдали в случайный момент времени и вероятность в таком случае описывается формулой Готта. Она даёт шанс завершения для произвольного события в 50 процентов в промежуток от 1/3T до 3T, где T – возраст объекта в момент его случайного обнаружения. Однако если мы очень долго наблюдаем некий процесс, то он очевидным образом, приближается к своему концу. Например, если мы возьмём случайного человека, то он, скорее всего, будет среднего возраста. Однако если взять случайного человека и потом очень долго наблюдать, то мы однозначно получим глубокого старика, который может умереть в любой момент. (Подробнее см. мою статью «Природные катастрофы и антропный принцип».)

4. Мышление, обусловленное желанием нечто доказать – то, что по-английски называется «Wishful thinking»

В зависимости от того, что человек хочет доказать, он будет подбирать те или иные аргументы, часто неосознанно. Другое название для этой модели – «рационализация», то есть подбор псевдо рациональных аргументов под некое исходно иррациональное утверждение.

5. Логическая ошибка, возникающая при с попытках доказать, что нужно делать, исходя только из описания фактов

Если в первой и второй посылке умозаключения содержатся только факты, то и в выводе могут быть только факты. Любое рассуждение о целях должно опираться на некие представления о ценностях, заданных аксиоматически. Однако это означает произвольность таких целей, и их понимание может различаться у разных исследователей глобальных рисков, что может вести к разным определениям катастрофы и представлениям о том, что будет из неё выходом. Кроме того, любая система аксиом позволяет формулировать недоказуемые высказывания (как показы Гёдель в теореме о неполноте), и в отношении долженствований в этом легко убедиться: почти любая система базовых ценностей легко позволяет создавать внутри себя противоречия, что является основным содержанием многих литературных произведений, где герой должен сделать выбор между, допустим, любовью к семье и к родине (то, что ещё называется экзистенциальный выбор). Неизвестно, возможна ли вообще непротиворечивая система ценностей, как она будет выглядеть, и будет ли применима на практике. Однако работа над непротиворечивой системой ценностей важна, так как её нужно будет вложить в будущие машины, обладающие искусственным интеллектом.

6. Ошибки, связанные с подменой анализа рисков анализом коммерческих мотивов тех, кто о них говорит

Можно рассуждать следующим образом: если человек исследует риски бесплатно, то он безработный и маргинал, если он хочет получать за это деньги, то он паразитирует на общественных страхах, если это его прямые должностные обязанности, то доверять ему нельзя, потому что он агент государства и запудривает мозги населению. Отсюда видно, что прямой связи между деньгами и анализом рисков нет, хотя в некоторых случаях она возможна. Объяснение через упрощение называется «редукционизмом» и позволяет объяснить всё, что угодно.