В 1942 году я изобрел Три закона роботехники. Самым важным из них является, естественно, Первый закон. Он гласит: «Робот не может причинить вред человеку или своим бездействием допустить, чтобы человеку был причинен вред». В своих рассказах я всегда старался подчеркнуть, что законы, особенно Первый, являются неотъемлемой частью робота, и он не может их нарушить.

Кроме того, я старался, хотя, возможно, и не так настойчиво, дать понять своим читателям, что эти законы не являются врожденными. Материал, из которого сделан робот, не содержит в себе этих законов. Они совершенно сознательно вносятся в мозг готового робота, иными словами, в компьютеры, которые контролируют его деятельность. Может так получиться, что какой-то определенный робот окажется не наделен знанием Трех законов, поскольку его примитивная конструкция не позволяет внести в него поведенческие схемы, достаточно сложные, чтобы он был вынужден им подчиняться, или поскольку человек, который создает робота, решит сознательно не вносить в его мозг знание Трех законов.

Пока — и, возможно, так будет еще достаточно долго — мы имеем дело с первой причиной. Роботы слишком примитивны, чтобы предвидеть, что какой-то их поступок может причинить вред человеку, и изменить свое поведение, чтобы этого не произошло. В настоящий момент у нас имеются лишь компьютеризированные устройства, которые способны выполнять набор определенных действий и не могут отойти в сторону от данных им инструкций. В результате роботы уже стали причиной смерти людей (как, впрочем, и обычные машины). Это ужасно, но вполне объяснимо, и мы можем предполагать, что по мере создания роботов с более сложной системой восприятия и способностью гибкого реагирования на изменение ситуации увеличится вероятность того, что в них будут внесены защитные блоки, эквивалентные Трем законам.

А как насчет второй альтернативы? Станут ли люди сознательно создавать роботов, не наделяя их знанием Законов роботехники? Боюсь, что такая возможность тоже существует. Уже идут разговоры о роботах-охранниках. Роботы могут патрулировать какие-нибудь территории или даже охранять вестибюли. В их задачу будет входить общение с людьми, которые появляются на данной территории или в здании. Вероятно, тот, кто имеет право войти или приглашен, получит карточку, идентифицирующую его личность, и тогда робот его пропустит. В наше время, когда столько внимания уделяется вопросам безопасности, такие идеи могут показаться вполне разумными, поскольку они явятся надежным способом борьбы с вандализмом и терроризмом, — получается, что робот будет выполнять роль дрессированной сторожевой собаки.

Однако стремление к безопасности порождает усложнение системы. Робот сумеет остановить непрошеного гостя, но сигнала тревоги может оказаться недостаточно. Людям захочется наделить его способностью изгнать посетителя, даже если при этом робот причинит ему вред — собака ведь тоже может укусить вас за ноги или перегрызть глотку. А что произойдет, если, например, глава фирмы забудет свою карточку в других брюках и, расстроившись, не успеет покинуть здание достаточно быстро? Или ребенок случайно войдет на охраняемую территорию? Я подозреваю, что, если робот причинит вред человеку, который не имеет никаких дурных намерений, мгновенно поднимется шум и ученые получат задание внести соответствующие изменения, чтобы ошибка не повторилась.

Рассмотрим другую крайность — разговоры об оружии. Компьютеризированные самолеты, танки, артиллерия и тому подобное, которые с нечеловеческим упорством будут без устали сражаться с врагом. В качестве довода в защиту подобного оружия можно сказать, что таким образом мы сохраним жизнь солдатам. Устроившись со всеми удобствами у себя дома, мы предоставим машинам воевать за нас. Если какие-то из них будут уничтожены — ну, это же всего лишь машины. Такой подход к ведению военных действий может оказаться особенно полезным, если у вас такие машины есть, а у врага — нет.

Но даже и в этом случае, можем ли мы быть абсолютно уверены в том, что машины сумеют безошибочно отличать врагов от друзей? В ситуации, когда все наше оружие контролируют руки и мозги людей, существует проблема «дружественного огня». Американское оружие может случайно убить американских солдат или гражданских людей, что нередко происходило в прошлом. Речь идет об ошибках, которые допускали люди, однако от этого не легче. А что, если наше роботизированное оружие откроет «дружественный огонь» и начнет уничтожать американцев или даже американскую собственность? Принять такое будет еще труднее (в особенности если враг разработает специальные стратегические мероприятия, направленные на то, чтобы сбить программы наших роботов и повернуть их огонь против нас). Нет, я уверен, что попытки применения роботов без специальных защитных систем провалятся и в конце концов мы все равно вернемся к Трем законам.

В эссе «Наши разумные инструменты» я упомянул о том, что может сложиться ситуация, когда роботы станут такими умными, что в конце концов нас заменят. Я предположил с некоторым цинизмом, что, учитывая поведение людей, подобная замена может оказаться очень даже полезной. С тех пор прошло время, и роботы начали занимать все более важное место в промышленности, и хотя они продолжают оставаться довольно тупыми (если говорить об уровне интеллектуального развития), они очень быстро развиваются.

В таком случае, пожалуй, нам следует еще раз взглянуть на возможность возникновения ситуации, когда роботы (или компьютеры, которые в действительности управляют роботами) нас заменят. Результат, разумеется, зависит от того, насколько разумны будут компьютеры и станут ли они настолько умнее нас, что наступит время, когда они будут относиться к нам как к домашним животным (в лучшем случае) или паразитам (в худшем). Получается, что степень разумности — штука настолько простая, что ее можно измерить каким-нибудь прибором вроде линейки или градусника либо при помощи теста, а потом выразить цифрами. Если умственное развитие среднего человека можно обозначить цифрой 100 по шкале интеллектуального развития, получается, что, как только компьютер минует эту отметку, у нас появятся проблемы.

Впрочем, так ли все просто? Вне всякого сомнения, такая сложная вещь, как интеллект, должна характеризоваться множеством факторов и иметь массу разнообразных видов — если можно так сказать. Мне представляется, что нужно обладать до определенной степени развитым интеллектом, чтобы написать логично выстроенное эссе, выбрать правильные слова и поставить их в правильном порядке. Я также полагаю, что человек, изучающий сложное устройство, должен быть наделен развитым интеллектом, иначе он не поймет, как оно работает и что следует сделать, чтобы его усовершенствовать — или починить, если оно вдруг сломалось. Что касается литературного труда, я обладаю чрезвычайно высокоразвитым интеллектом; а вот в работе с разного рода машинами и устройствами я абсолютно ничего не понимаю. В таком случае, кто я — гений или идиот? Ответ таков: ни то ни другое. Просто какие-то вещи получаются у меня хорошо, а какие-то плохо. Это можно сказать про любого из нас.

В таком случае давайте немного поразмышляем о природе интеллекта человека и компьютера. Мозг человека состоит из протеина и нуклеиновых кислот; он развивался в течение трех миллиардов лет путем проб и ошибок; главными силами, толкавшими его вперед, были приспособление и выживание. С другой стороны, компьютеры состоят из металла и электронных схем; они являются продуктом экспериментов и разработок, которыми люди занимаются вот уже сорок лет; главной силой, заставляющей людей усовершенствовать компьютеры, является их желание создать машину, которая облегчила бы жизнь человеку. Если сами люди отличаются друг от друга уровнем и качеством своего интеллекта, разве не естественно, что интеллекты человека и машины будут категорически отличаться друг от друга в силу того, что они возникли и развивались в абсолютно разных условиях, сделаны из разных материалов и их усовершенствование обусловливают такие разные силы?