11. Bostrom N. and Tegmark M. How Unlikely is a Doomsday Catastrophe? - Nature, Vol. 438, No. 7069, p. 754, 2005 (пер. с англ. А.В.Турчина: Макс Тегмарк и Ник Бостром. Насколько невероятна катастрофа судного дня? http://www.proza.ru/texts/2007/04/11-348.html )
12. Dawes, R.M. Rational Choice in an Uncertain World. - San Diego, CA: Harcourt, Brace, Jovanovich, 1988.
13. Fetherstonhaugh, D., Slovic, P., Johnson, S. and Friedrich, J. Insensitivity to the value of human life: A study of psychophysical numbing. - Journal of Risk and Uncertainty, 14: 238-300. 1997.
14. Kahneman, D., Slovic, P., and Tversky, A., eds. Judgment under uncertainty: Heuristics and biases. - New York: Cambridge University Press, 1982.
15. Kahneman, D. and Tversky, A. eds. Choices, Values, and Frames. - Cambridge, U.K.: Cambridge University Press, 2000.
16. Kruglanski A. W. Lay Epistemics and Human Knowledge: Cognitive and Motivational Bases. 1989
17. Posner Richard A. Catastrophe: Risk and Response. - Oxford University Press, 2004; vii + 322 pp
18. Taleb, N. The Black Swan: Why Don't We Learn that We Don't Learn? - New York: Random House, 2005
19. Yudkowsky E. Artificial Intelligence as a Positive and Negative Factor in Global Risk. Forthcoming in Global Catastrophic Risks, eds. Nick Bostrom and Milan Cirkovic, – UK, Oxford University Press, to appear 2007 (русский перевод: Э.Юдковский. Искусственный интеллект как позитивный и негативный фактор глобального риска. Пер. с англ. А.В. Турчина http://www.proza.ru/texts/2007/03/22-285.html)
20. Yudkowsky E. Cognitive biases potentially affecting judgment of global risks. Forthcoming in Global Catastrophic Risks, eds. Nick Bostrom and Milan Cirkovic, – UK, Oxford University Press, to appear 2007 (русский перевод: Э.Юдковский. Систематические ошибки в рассуждениях, потенциально влияющие на оценку глобальных рисков. http://www.proza.ru/texts/2007/03/08-62.html )
Е. Юдковски
Искусственный интеллект, как позитивный и негативный фактор глобального риска
Перевод с английского А.В. Турчина.
Введение
До сих пор основной опасностью искусственного интеллекта (ИИ) было то, что люди слишком рано делали вывод, что они его понимают. Разумеется, эта проблема не ограничена ИИ. Жак Моно пишет: «Забавным аспектом теории эволюции является то, что каждый думает, что понимает её» (Monod 1974). Мой отец, физик, жаловался на людей, придумывавших свои собственные физические теории: «Интересно знать, почему люди не придумывают свои собственные теории химии?» (Но они делают.) Тем не менее, проблема является особенно актуальной в области ИИ. Наука об ИИ печально известна тем, что она даёт огромные обещания и не исполняет их. Большинство наблюдателей считают, что ИИ сложен, и это на самом деле так. Но запутанность не происходит из сложности. Сложно сделать звезду из водорода, но звездная астрофизика не имеет дурной славы обещать сделать звезду и затем не смочь. Критическим выводом является не то, что ИИ сложен, а то, что, по неким причинам, людям очень легко думать, что они знают об Искусственном Интеллекте гораздо больше, чем на самом деле.
В моей другой статье о рисках глобальной катастрофы «Систематические ошибки мышления, потенциально влияющие на суждения о глобальных рисках», я начинаю с замечания, что немногие люди предпочли бы нарочно уничтожить мир; сценарий же уничтожения Земли по ошибке кажется мне очень беспокоящим. Немногие люди нажмут кнопку, которая, как они точно знают, вызовет глобальную катастрофу. Но если люди склонны быть абсолютно уверены, что кнопка делает нечто, совершенно отличное от её реального действия, это действительно причина для тревоги.
Гораздо труднее писать о глобальных рисках искусственного интеллекта, чем о систематических ошибках мышления. Ошибки мышления – это твёрдо установленное знание; достаточно процитировать литературу. ИИ – это не твёрдо установленное знание; ИИ относится к передовым исследованиям, а не к учебникам. И, по причинам, объясняющимся в следующей главе, проблема глобальных рисков в связи с искусственным интеллектом фактически не обсуждается в существующей технической литературе.
Я вынужден анализировать тему со своей точки зрения, делать мои собственные выводы и делать всё, от меня зависящее, чтобы доказать их в ограниченном пространстве этой статьи.
Дело не в том, что я пренебрегаю необходимостью цитировать существующие источники на эту тему, но в том, что таких источников, несмотря на все мои попытки их найти, обнаружить не удалось (на январь 2006 года).
Соблазнительно игнорировать ИИ в этой книге (имеется в виду книга «Риски глобальной катастрофы», в которой в 2007 году в Оксфорде выходят обе статьи Юдковского – прим. пер.), потому что это наиболее трудная тема для обсуждения. Мы не можем обратиться к статистическим данным, чтобы вычислить маленькую годовую вероятность катастрофы, как в случае астероидных ударов. Мы не можем использовать вычисления на основании точных, точно подтверждённых моделей, чтобы исключить некие события или установить бесконечно малые верхние границы их вероятности, как в случае возможных физических катастроф. Но это делает катастрофы с ИИ ещё более беспокоящими, а не менее.
Эффекты систематических ошибок мышления, как оказалось, имеют тенденцию увеличиваться при недостатке времени, занятости ума или недостатке информации. Это говорит, что чем труднее аналитическая задача, тем важнее избежать или ослабить систематическую ошибку. Поэтому я усиленно рекомендую прочесть статью «Систематические ошибки мышления, потенциально влияющие на оценку глобальных рисков» (вышла на русском в первом томе серии «Диалоги о будущем» и доступна в Интернете - прим. пер.) до прочтения этой статьи.
1. Систематическая ошибка, связанная с антропоморфизмом.
Когда нечто очень широко распространено в нашей повседневной жизни, мы принимаем это как само собой разумеющееся вплоть до того, что забываем о существовании этого. Представьте себе сложную биологическую адаптацию, состоящую из 10 необходимых частей.
Если каждый из 10 генов независим и имеет 50% частоту в наборе генов - то есть каждый ген имеется только у половины особей вида – тогда в среднем только одна особь из 1024 будет обладать полнофункциональной адаптацией. Меховая шуба не является значительным эволюционным приобретением, пока окружающая среда не начнёт подвергать организмы отбору холодом. Точно так же, если ген Б зависит от гена А, тогда ген Б не имеет значительного преимущества, пока ген А не станет надёжной частью генетического окружения. Сложное, взаимозависимое устройство должно быть у всех сексуально воспроизводящихся видов; оно не может развиться в противном случае. (Tooby и Cosmides 1992) Одна малиновка может иметь более гладкие перья, чем другая, но у обеих должны быть крылья. Естественный отбор, двигаемый разнообразием, сужает это разнообразие (Sober, 1984). В каждой известной культуре люди испытывают грусть, отвращение, ярость, страх и удивление (Brown, 1991), и передают эти эмоции одними и теми же выражениями лица. У нас у всех под капотом один и тот же мотор, хотя мы можем и быть раскрашены разными красками; этот принцип эволюционные психологи называют психологическим единством человечества (Tooby and Cosmides, 1992). Это описание и объясняется, и требуется законами эволюционной биологии.
Антрополог не будет восторженно писать о новооткрытом племени: «Они едят еду! Они дышат воздухом! Они используют инструменты! Они рассказывают друг другу истории!» Мы, люди, забываем, как мы подобны друг другу, живя в мире, который напоминает нам только о наших различиях.
Люди научились моделировать других людей, - чтобы соревноваться и кооперироваться со своими сородичами. Это было надёжным инструментом в мире наших предков, где любой сильный ум, который вам попадался, был тоже человеком. Мы развили способность понимать наших ближних путём эмпатии, помещая себя на их место; для этого тот, кто моделируется, должен быть похож на моделирующего. Не удивительно, что люди часто очеловечивают, – то есть ожидают человекоподобных качеств от того, что не является человеком. В фильме «Матрица» (братья Вачовские, 1999) представитель искусственного интеллекта Агент Смит вначале кажется совершенно холодным и собранным, его лицо неподвижно и неэмоционально. Но позже, допрашивая человека Морфеуса, Агент Смит даёт выход свому отвращению к человечеству – и его лицо выражает общечеловеческое выражение отвращения. Опрашивание своего собственного ума хорошо работает под воздействием инстинкта адаптации, когда вам нужно предсказывать других людей.
