С другой стороны, на падение нравов жаловались ещё сами древние римляне, и до сих пор этот процесс не помешал развитию производственных сил общества. Корень ошибки здесь может быть в конфликте поколений, а именно в том, что опытные и старые оценивают молодых и задиристых, не внося возрастную поправку и забывая, что сами были такими же.

Однако в случае современных глобальных рисков огромный ущерб может быть нанесён небольшой группой, скажем, террористов, которые внутри своей стратегии действуют долгосрочно и эффективно – или конфликтом двух обществ, каждое из которых внутри себя продвигает некие позитивные идеалы. Причём конфликт может быть вокруг точных форм этих идеалов, например, что лучше: демократия или религия? Наконец, даже высокоморальный человек может уничтожить мир по ошибке. В то время как низко моральный человек будет безопасен, так как будет коротать свой срок в тюрьме за мелкую кражу, и никогда не получит доступа к высоко опасным технологиям.

68. Ошибка, связанная с тем, что вместе того, чтобы исследовать истинность или ложность некого сообщения о риске, человек стремится доказать эту идею как можно большему числу людей

Одни идеи проще доказывать, чем другие. Это приводит к сдвигу в оценке вероятностей. Юдковский пишет об этом в связи с систематической ошибкой, связанной со степенью доступности информации.

69. Склонность людей предлагать «простые» и «очевидные» решения в сложных ситуациях – не подумав

А затем упорствовать, защищая их и подбирая под них аргументацию. Человеку очень трудно «передумать». Здесь можно вспомнить закон Мёрфи: «Любая сложная проблема имеет простое, очевидное и неправильное решение». Юдковски подробно пишет о важности того малого промежутка времени между моментом возникновения вопроса и тем моментом, когда человек сделал окончательный выбор в пользу одного из ответов, в течение которого, собственно, и происходит мышление. Людям психологически трудно передумать, потому что это как бы означает признать себя глупыми и способными ошибаться, и особенно трудно передумать, если позиция уже оглашена публична и стала предметом спора.

70. Общественная дискуссия о рисках разных исследований может привести к тому, что учёные будут скрывать возможные риски, чтобы их проекты не закрыли

Юдковски пишет об этой проблеме, честно признавая, что не видит никакого её решения: «И если власти вводят закон, по которому даже мельчайший риск существованию человечества достаточен для того, чтобы закрыть проект; или если становится нормой де-факто политики, что ни одно возможное вычисление не может перевесить груз однажды высказанного предположения, то тогда ни один учёный не рискнёт больше высказывать предположения».

71. Ошибка, связанная с неправильной корреляции силы и безопасности.

Эмоционально нам кажется, что технологии делятся на хорошие, то есть сильные и безопасные, и плохие – то есть слабые и опасные. Однако, на самом деле, чем сильнее некое орудие, – чем более оно способно влиять на мир, – тем оно опаснее, то есть тем больше способов направить его на цели разрушения. «Анализ, основанный на недостаточной информации, склонен оценивать технологии эмоционально, в результате чего информация о преимуществах имеет тенденцию смягчать воспринимаемый риск», – пишет Юдковски. Понятно так же, что новые технологии сильнее старых технологий – иначе бы не было коммерческого смысла их создавать.

72. Преждевременные инвестиции

Если бы в середине XIX века люди бы поняли, что в XX веке им угрожает атомное оружие, и на предотвращение этого риска были бы выделены миллионы, то нет сомнений, что эти деньги были бы потрачены не по назначению, и у будущих поколений выработалась бы аллергия на такие проекты. Возможный пример: по некоторым данным, СССР в 80-е годы получил дезинформацию о том, что США во всю разрабатывают беспилотные летательные аппараты, и развернул свою огромную программу, в результате которой возникли такие аппараты как «Пчела» - автоматические самолёты-разведчики весом около тонны, огромной стоимости и малой надёжности. В результате российские военные разочаровались в дронах именно к тому моменту, когда в США была принята программа их реального создания. Другой пример: до 1939 года было абсурдно бороться против атомного оружия, а после – уже поздно.

73. Склонность людей путать свои ожидания того, как что будет в наиболее вероятном случае, и того, как что будет в наихудшем и наилучшем случаях

«Реальность, как оказалось, зачастую преподносит результаты, худшие, чем самый наихудший ожидаемый исход», – пишет Юдковски, описывая в своей статье эксперимент со студентами, где их просили оценить наиболее вероятное и наихудшее время сдачи дипломной работы. В результате среднее время сдачи дипломной работы оказалось хуже, чем наихудший случай. Даже ясное предупреждение о том, что людям свойственно совершать такую оценку не привело к тому, что испытуемые правильно скорректировали свои ожидания. Даже я сам, хотя и перевёл эту статью и хорошо знал о необходимости поправки, всё равно пал жертвой этой ошибки, оценивая ожидаемые сроки выхода данной книги в печати. А именно, я сделал предположение о том, когда эта книга выйдет, а затем, вспомнив о том, что реальность будет хуже моих ожиданий, я добавил к этому сроку три месяца. Уже сейчас очевидно, что я недооценил необходимую поправку, и книга выйдет ещё позже.

74. Апатия прохожего

Глобальные риски не являются чей-то личной ответственностью, и соблазнительно рассуждать в том смысле, что раз никто ничего не делает в связи с этим, то почему именно я должен? Более того, это состояние возникает бессознательно, просто как рефлекс подражания группе. Типичный пример: когда человек лежит на тротуаре и мимо идёт толпа, никто не помогает ему. Но если один человек на тропинке в лесу увидит лежащего человека, он, скорее всего, ему поможет. Юдковски выделяет эту модель как важный фактор возможной недооценки глобальных рисков.

75. Потребность в завершении

Концепция когнитивной психологии, обозначающая стремление человека как можно скорее найти ответ на беспокоящий вопрос («need for closure» – как её называет Круглански ). Это приводит к тому, что человек предпочитает быстрое и неверное решение более долгому поиску правильного ответа. И хотя мы не можем искать правильную стратегию работы с глобальными рисками бесконечно долго – мы ограничены во времени! – нам стоит хорошо подумать перед тем, как придти к каким-то выводам.

76. Влияние авторитета и социальное давление группы

Этот вопрос подробно рассмотрен в книге «Человек и ситуация» . В частности, хорошо известны эксперименты Милграма, где испытуемых заставляли бить всё большим током других испытуемых, чтобы те «учились», и испытуемые доходили до смертельно опасного напряжения в 400 вольт, несмотря на то, что «жертвы» (на самом деле подсадные утки) умоляли их прекратить. При этом, хотя большинство людей уверено, что они не стали бы это делать, в реальных опытах это делали 66% испытуемых. В качестве причин такого поведения было обнаружено влияние авторитета, удалённость жертвы и воздействие аналогичного поведения группы. Очевидно, что те же факторы могут действовать на нас, когда мы оцениваем риск, связанный с некоторым фактором или технологией. Если потенциальные жертвы её находятся от нас далеко во времени и в пространстве, если рядом с нами высокоавторитетная личность высказывается в пользу этой технологии, а также, если мы окружены группой людей, придерживающегося противоположного мнения, всё это окажет влияние на наш выбор. Всё это проявляется в динамике научного процесса.

77 Разрыв между обзорными и точечными исследованиями, между «деревом и лесом»

Этот разрыв ярко заметен в области нанотехнологий. Есть уровень обзорных проектных исследований, где в первую очередь уделяется внимание тому, что можно и нужно сделать. Движение сверху вниз. Это Дрекслер, Фрейтас и др. И есть уровень конкретных исследований отдельных молекул и их эффектов. С точки зрения первых «за деревом не видят леса», с точки зрения вторых «занимаются верхоглядством и фантастикой». Причём оба обвинения могут быть отчасти справедливы.