7. Использование так называемого «авторитетного знания»

«Авторитетное знание» было основным источником достоверных сведений в Средние века, когда истину искали в трудах Аристотеля; потом изобрели эмпирический метод. Ссылки на мнения великих людей не должны служить достаточным основанием, чтобы признать нечто безопасным. Только регулярно повторяемые вычисления могут указывать на это.

8. Неправильное применение идеи о том, что теория должна считаться истинной, только если она доказана

Если рассматривать научный метод, как способ получения наиболее достоверных знаний, то эта методология верна. Однако с точки зрения обеспечения безопасности необходим противоположный подход: некое предположение должно считаться опасным до тех пор, пока оно не опровергнуто. Например, новая модель самолёта считается опасной, до тех пор пока не будет доказано, путём теоретических выкладок и испытательных полётов во всех режимах, что она безопасна; тот же принцип лежит в основе клинического тестирования новых лекарств. Неясно так же, как применять принцип фальсифицируемости в отношении теорий о тех или иных глобальных катастрофах.

9. Восприятие новой информации через призму старой

В процессе восприятия человек только часть информации берёт из внешнего мира, а остальное достраивает на основании своей памяти, ожиданий и ассоциаций. Увы, то же самое верно и для текстов, в том числе и по глобальным рискам. Читая рецензии разных людей на один и тот же текст, не трудно убедиться, что они восприняли его совершенно по-разному. Вряд ли это связано с тем, что одни люди были принципиально умнее других – скорее, с тем, что они применяли разные фильтры восприятия. Более того, если человек начал придерживаться некой точки зрения, то он подписывается на те издания и выбирает те статьи, которые её подтверждают. Таким образом, у него создаётся иллюзия, что статистика по данным, подтверждающим его точку зрения, растёт. Это ещё более укрепляет и его фильтр, и его уверенность в этих данных.

10. Ошибка в выборе нейтральной позиции

Каждый человек со временем понимает, что он не вполне объективен, и его точка зрения имеет некоторую тенденциозность. Чтобы компенсировать это отклонение, он может выбрать некий нейтральный источник информации. Ошибка состоит в том, что люди, придерживающиеся противоположных взглядов, выберут разные нейтральные точки, каждая из которых будет ближе к позиции того, кто её выбрал. Похожую ошибку мы описывали выше, когда приводили результаты опытов, в которых испытуемые были предупреждены о возможной ошибке и делали на неё поправку – и, тем не менее, всё равно недооценивали. Вероятно, поправку надо было давать не только к основному параметру, но и к самой поправке.

11. Уверенность как источник ошибок

Чем больше человек сомневается в своей точке зрения, тем чаще он меняет её под влиянием новых фактов, и тем больше шансов, что он попадёт к более достоверному знанию. Если же человек слишком уверен в своём мнении, ему трудно его изменить. Если же он слишком изменчив, то он не приближается к истине, а ходит по кругу.

12. Употребление полностью ошибочной логики

Увы, возможна ситуация, когда человек в своих рассуждениях совершает ошибки «в каждой строчке». В этом случае он не мог бы найти свои ошибки, даже если бы хотел. Это может быть или одна повторяющаяся систематическая ошибка, или такая плотность разных ошибок, которая делает невозможным безошибочное рассуждение. Даже я сейчас не знаю наверняка, не делаю ли я каких-либо систематических логических ошибок в настоящий момент. Это может происходить чаще, чем мы думаем – анализ научных текстов показал, что обычно люди пользуются сокращёнными умозаключениями и приёмами эвристики – и не осознают этого.

13. Различие между преднаукой и псевдонаукой

В тот момент, когда гипотеза находится в процессе формулирования, она ещё не обросла всем научным аппаратом и является, скорее, продуктом мозгового штурма на некую тему, возможно, осуществляемого коллективно путём обмена мнениями в печатных изданиях. И в этот момент она является преднаукой – однако она нацелена на то, чтобы стать частью науки, то есть пройти соответствующий отбор и быть принятой или отвергнутой. Псевдонаука может имитировать все атрибуты научности – звания, ссылки, математический аппарат, – тем не менее, её цель – не поиск достоверного знания, а видимость достоверности. Все высказывания о глобальных рисках являются гипотезами, которые мы почти никогда не сможем проверить. Однако мы не должны отбрасывать их на ранних фазах созревания. Иначе говоря, фаза мозгового штурма и фаза критического отсева не должны смешиваться – хотя обе должны присутствовать.

14. Ошибка, связанная с неправильным определением статуса «универсалий»

Проблема универсалий была основной в средневековой философии, и состояла она в вопросе, что на самом деле реально существует. Существуют ли, например, птицы вообще, или существуют только отдельные экземпляры птиц, а все виды, рода и семейства птиц – не более чем условная выдумка человеческого разума? Одним из возможных ответов является то, что объективно существует наша способность различать птиц и не-птиц. Более того, каждая птица тоже обладает этим качеством, и в силу этого универсалии существуют объективно. В рассуждения о рисках неясность по поводу универсалий вкрадывается следующим образом: свойства одного объекта переносятся на некий класс, как если бы этот класс был объектом. Тогда возникают рассуждения вроде «Америка хочет…» или «русским свойственно…», тогда как за этими понятиями стоит не единый объект, а множество, точное определение которого зависит от самого наблюдателя. Любые дискуссии о политике отравлены такого рода сдвигом. Рассуждая об искусственном интеллекте легко совершить такую ошибку, так как не понятно, идёт ли речь об одном устройстве или о классе объектов.

15. Утверждения о возможности чего-то и невозможности неравносильны

Утверждение о невозможности гораздо сильнее, ибо относится ко всему множеству потенциальных объектов, а для истинности утверждения о возможности достаточно одного объекта. Поэтому утверждения о невозможности чего-либо являются ложными гораздо чаще. Предполагая какое-то событие или стечение обстоятельств невозможным, мы наносим ущерб нашей безопасности. В определённых обстоятельствах возможно всё. При этом любые дискуссии о будущих катастрофах – это всегда дискуссии о возможностях.

16. Очевидности как источник ошибок

Правильное умозаключение всегда опирается на две посылки, два истинных суждения. Однако анализ текстов показывает, что люди очень редко употребляют полную форму умозаключений, а вместо этого употребляют сокращённую, где явно называется только одна посылка, а другая подразумевается по умолчанию. Умалчиваются обычно очевидности – суждения, кажущиеся настолько истинными и несомненными, что нет нужды их озвучивать. Более того, часто они настолько очевидны, что не осознаются. Понятно, что такое положение дел является причиной многочисленных ошибок, потому что очевидность – не обязательно истинность, и то, что очевидно одному, не очевидно другому.

17. Недооценка собственной ошибочности

Я ничего не могу знать на 100 процентов, потому что надёжность моего мозга не равна 100 процентам. Я могу проверить свою надёжность, решив серию логических задач средний сложности, и затем посчитав количество ошибок. Однако обычно этого не делается, и собственная ошибочность оценивается интуитивно, то есть в сторону занижения.

18. Ошибка, связанная с представлением о том, что каждое событие имеет одну причину

В действительности:

а) есть совершенно случайные события.

б) каждое событие имеет много причин (стакан упал, потому что его поставили с краю, потому что он сделан из стекла, потому что сила тяготения велика, потому что пол твёрдый, потому что кошка непослушная, потому что это рано или поздно должно было случиться).

в) каждая причина имеет свою причину, в результате чего мы имеем расходящееся в прошлое древо причин. Человеческий ум неспособен целиком это древо причин охватить и вынужден упрощать. Но понятие «причина» необходимо в обществе, потому что связано с виной, наказанием и свободой воли. То есть здесь под «причинной» имеется в виду принятие свободным вменяемым человеком решения о совершении преступления. Нет нужды говорить о том, сколько здесь неочевидных моментов. (Основной вопрос: Кто виноват?)