45. Интеллектуальная установка на острую критику мешает обнаруживать опасные катастрофические сценарии
Сверхкритичность препятствует начальной фазе мозгового штурма, на которой набирается банк возможных идей. Поскольку безопасности часто угрожают невероятные стечения обстоятельств, тяжёлые хвосты, то именно странные идеи могут быть полезными. Корни критической настройки могут быть в том, например, что критикующий может претендовать на более высокий социальный статус.
46. Ошибочность идеи о том, что безопасность чего-либо можно доказать теоретически
Однако единственный реальный критерий – практика. Десятки лет безотказной работы – лучший критерий реальности безопасности. История знает массу примеров, когда приборы или проекты, теоретически имевшие огромную безопасность, рушились из-за непредусмотренных сценариев. Например, фонд LTCM и самолёт Конкорд. Американский писатель М.Крайтон в романе «Парк Юрского периода» отчеканил это следующими словами: «Чтобы заключить, что ваша система безопасности ненадёжна и не может во всех случая обеспечить изоляцию полигона от окружающей среды, мне вовсе не обязательно знать, как именно она устроена».
47. Недооценка человеческого фактора
От 50 до 80 процентов катастроф происходят из-за ошибок операторов, пилотов и других людей, осуществляющих непосредственное управление системой. Ещё значительная доля катастрофических человеческих ошибок приходится на техническое обслуживание, предполётную подготовку и ошибки при конструировании. Даже сверхнадёжную систему можно привести в критическое состояние определённой последовательностью команд. Человек достаточно умён, чтобы обойти любую защиту от дурака и натворить глупостей. Поэтому мы не можем отвергнуть ни один из сценариев глобальной катастрофы, исходя из того, что люди никогда не будут этого делать.
48. Ошибочность идеи о том, что можно создать безошибочную систему, многократно проверив её проект и исходный код
Но сами проверки вносят некоторое число новых ошибок, и в силу этого на определённом уровне число ошибок стабилизируется. (Этот уровень примерно соответствует квадрату числа ошибок – то есть если человек делает одну ошибку на 1000, то, сколько он не будет проверять, он не создаст безошибочный «код» длинною более 1 000 000.)
49. Статистика как источник возможных ошибок
В самой природе статистики есть возможность совершения ошибок, намеренных искажений и ложных интерпретаций, связанная с тем, что она является не описанием однократных фактов, а обобщением над этими описаниями. Проблемы статистики связаны, в частности, со способом выборки, разными методами вычисления среднего, способами округления, интерпретацией полученных результатов и способами их зрительного представления для других людей. См. тему номера в журнале «КОМПЬЮТЕРРА» «Цифры не лгут» , там же подробная литература на тему.
50. Ошибка, связанная со склонностью людей в большей мере учитывать широкоизвестные или легко доступные для вспоминания факты
Например, все знают, когда упала атомная бомба на Хиросиму, но мало кто знает, где и когда впервые зафиксирован грипп 1918 года «испанка», унёсший в 100 раз больше жизней. (По одной из версий, 8 марта, около Канзас-Сити, США). Это приводит к тому, что одни риски переоцениваются, и уже в силу этого другие риски недооцениваются. Юдковски в своей статье об оценки рисков называет это когнитивным искажением, связанным со степенью доступности информации.
51. Двойная ошибка
Многие перечисленные факторы источников ошибок могут приводить как к переоценке наших способностей противостоять рискам, так и к недооценке самих факторов риска. Следовательно, каждая ошибка может проявиться дважды.
52. Анализ глобальных рисков не есть создание прогнозов
Прогноз даёт конкретные данные о времени и месте. Но такие точные попадания очень редки и, скорее, случайны. Более того, прогноз и анализ рисков требует разных реакций. Неудачные прогнозы компрометируют свою тему и людей, которые их дают. Но некоторые люди дают очень много прогнозов, надеясь, что хоть один попадёт в цель и человек прославится. Например, анализ рисков в авиации требует усовершенствования разных механизмов самолёта, а прогноз об авиакатастрофе предполагает, что люди откажутся от рейса в данный день.
53. Иллюзия знания задним числом.
Иногда люди говорят: «Я знал это с самого начала» и в силу этого переоценивают свои прогностические способности. Также в силу этого они ждут, что другие люди могли бы легко догадаться о том, что нам уже известно. В отношении глобальных рисков у нас не может быть никакого знания задним числом. А в отношении многих других обычных рисков оно есть. Это приводит к тому, что нам кажется, что глобальные риски так же легко оценить, как уже известные нам риски. Иначе говоря, эффект знания задним числом в отношении глобальных рисков приводит к их недооценке. Подробнее см. в статье Юдковски, который называет эту систематическую ошибку «hindsight bias».
54. Эффект настройки на источники информации
Читая литературу, человек может стать проводником идей, которые в него вкладывает автор. Это позволяет ему сходу отвергать концепции других людей. В силу этого он становится глухим к новой информации, и его эффективность в анализе рисков падает. Ощущение собственной правоты, образованности, навыки ведения споров – всё это усиливает «глухоту» человека. Поскольку глобальные риски – вопрос в первую очередь теоретический (ведь мы не хотим экспериментальной проверки), то теоретические разногласия имеют тенденцию в нём проявляться особенно ярко.
55. Частой ошибкой исследователей рисков является принятие малого процесса за начало большой катастрофы
Например, изменение курса доллара на несколько процентов может восприниматься как предвестник глобального краха американской валюты. Это приводит к преждевременным высказываниям прогностического триумфа в духе: «ну вот, я же говорил!» – что затем, когда выясняется незначительность изменений, подрывает веру, в первую очередь, свою собственную, в возможность катастрофы.
56. Часто, когда некая катастрофа уже произошла, более простое её объяснение подменяет более сложное
На выяснение же более сложного уходят годы анализа, например, так часто бывает при анализе авиакатастроф. (Не говоря о том, что участники стремятся немедленно подтасовать факты, если они означают их уголовную и финансовую ответственность.) Это более сложное объяснение не доходит до широкой публики и остаётся в качестве некоторого информационного фона. Чем позже будет найдено точное определение причин аварии, тем дольше невозможно защититься от аварии подобного рода. Когда речь идёт о быстрых процессах, такое отставание понимания может стать критическим.
57. Использование апокалипсических сценариев, чтобы привлечь внимание к своим проектам и добиться их финансирования
Действительно, такая форма саморекламы распространена, и особенно она распространена среди представителей псевдонауки, что приводит к аллергии на такого рода заявления. Даже если 99,9 процентов людей, придумывающих разные апокалиптические сценарии, явно не правы, выдвигаемые ими гипотезы, вероятно, следует принимать к сведению, так как ставки в игре слишком велики, и неизвестные физические эффекты могут угрожать нам и до того, как их официально подтвердит наука. Иначе говоря, суммарные расходы на проверку почти наверняка ложных идей меньше, чем возможный ущерб оттого, что хотя бы одна окажется верной.
58. Стремление людей установить некий приемлемый для них уровень риска
У каждого человека есть представление о норме риска. Поэтому, например, водители более безопасных машин предпочитают более опасный стиль езды, что сглаживает в целом эффект безопасности машины. Как бы ни была безопасна система, человек стремится довести её до своей нормы риска. Поскольку ожидаемая продолжительность жизни человека имеет порядок 10 000-20 000 дней, то, установив для себя норму риска в 1 к 100 000 в день (по своим интуитивным представлениям или в духе «все так делают»), человек не сильно изменит свою ожидаемую продолжительность жизни. Однако по отношению к глобальным рискам такая позиция означала бы 30% шансы вымирания в ближайшие 100 лет. При этом есть отдельные «лихачи» с гораздо более высокой нормой риска.
