— А разве они не уживаются? Мистер Харриман, у вас на столе стоит компьютер, который, как я понимаю, подключен к Мультиваку. Но компьютер — это своего рода сидячий робот, искусственный мозг, не имеющий подвижного тела…

— Верно, но и здесь есть свои ограничения. Компьютеры, которыми пользуется человечество, становятся все более узкоспециализированными, чтобы не допустить возникновения интеллекта, слишком похожего на человеческий. Сто лет назад мы уже вступили на путь создания искусственного интеллекта с самыми неограниченными возможностями, сконструировав огромные компьютеры, которые назвали Машинами. Но Машины сами наложили ограничения на свою деятельность. Успешно разрешив экологические проблемы, угрожавшие существованию человеческого общества, они самоликвидировались. Машины пришли к выводу, что в дальнейшем станут для людей чем-то вроде подпорок или костылей, а поскольку сочли это вредным для человека, то вынесли себе приговор на основании Первого закона.

— Вы полагаете, они ошиблись?

— По-моему, да. Своим поступком они усилили у людей комплекс Франкенштейна — инстинктивную боязнь, что искусственно созданный интеллект восстанет против своего создателя. Люди боятся, что роботы могут занять их место.

— А вы сами не боитесь?

— Я лучше осведомлен. Пока действуют Три закона роботехники, этого не случится. Роботы могут стать нашими партнерами, внести свой вклад в великую борьбу за разгадку законов природы и мудрое управление ею. При таком сотрудничестве человечество могло бы достигнуть гораздо большего, чем в одиночку, причем роботы всегда стояли бы на страже интересов человека.

— Но если на протяжении двух веков Три закона успешно удерживали роботов в границах повиновения, в чем же источник недоверия людей?

— Ну… — Харриман яростно поскреб затылок, взъерошив седые волосы. — В основном, конечно, предубеждение. Но к несчастью, есть тут некоторые сложности, за которые, конечно же, сразу ухватились противники роботов.

— Это касается Трех законов?

— Да, в особенности Второго закона. Видишь ли, с Третьим проблем нет, это закон абсолютный. Робот всегда должен жертвовать собой ради людей, ради любого человека.

— Естественно, — согласился Джордж-10.

— Первый закон, похоже, не столь универсален, потому что нетрудно придумать ситуацию, в которой робот обязан предпринять взаимоисключающие действия А или Б и каждое из них в результате причинит человеку вред. Поэтому робот должен быстро выбрать меньшее из двух зол. Однако сконструировать позитронные мозговые связи таким образом, чтобы робот мог сделать нужный выбор, крайне нелегко. Если действие А нанесет вред молодому талантливому художнику, а действие Б — пяти престарелым людям, не имеющим особой ценности, то что предпочесть?

— Действие А, — без колебаний ответил Джордж-10. — Вред, причиненный одному, меньше, чем вред, причиненный пяти.

— Да, роботов всегда конструировали с таким расчетом, чтобы они принимали подобные решения. Считалось непрактичным ожидать от робота суждения о таких тонких материях, как талант, ум, польза для общества. Все это настолько замедлило бы решение, что робот практически был бы парализован. Поэтому в ход идут числа. К счастью, такие критические ситуации достаточно редки… И вот тут мы подходим ко Второму закону.

— Закону повиновения.

— Именно. Необходимость подчинения приказам реализуется постоянно. Робот может просуществовать двадцать лет и ни разу не оказаться в такой ситуации, когда ему нужно будет защитить человека или подвергнуться риску самоуничтожения. Но приказы он должен выполнять все время. Вопрос — чьи приказы?

— Человека.

— Любого человека? Как ты можешь судить о человеке, чтобы знать, подчиняться ему или нет? «Что есть человек, яко помниши его»[5], Джордж?

Джордж заколебался.

— Цитата из Библии, — поспешно проговорил Харриман. — Это неважно. Я имею в виду: должен ли робот повиноваться приказам ребенка, или идиота, или преступника, или вполне порядочного человека, но недостаточно компетентного, чтобы предвидеть, к каким прискорбным последствиям приведет его желание? А если два человека дадут роботу противоречащие друг другу приказы — какой выполнять?

— Разве за двести лет эти проблемы не возникали и не были решены? — поинтересовался Джордж.

— Нет, — энергично помотал головой Харриман. — Наши роботы использовались только в космосе, в особой среде, где с ними общались высококвалифицированные специалисты. Там не было ни детей, ни идиотов, ни преступников, ни невежд с благими намерениями. И тем не менее случалось, что глупые или попросту непродуманные приказы наносили определенный ущерб, но его размеры были ограничены тем, что роботов применяли в очень узкой сфере. Однако на Земле роботы должны уметь принимать решения. На этом спекулируют противники роботехники, и, черт бы их побрал, тут они совершенно правы.

— Тогда необходимо внедрить в позитронный мозг способность к взвешенному суждению.

— Вот именно. Мы начали производство модели ДжР, которая сможет судить о человеке, принимая во внимание пол, возраст, социальную и профессиональную принадлежность, ум, зрелость, общественную значимость и так далее.

— И как это повлияет на Три закона?

— На Третий закон — вообще никак. Даже самый ценный робот обязан разрушить себя ради самого ничтожного человека. Здесь ничего не изменится. Первого закона это коснется, только если альтернативные действия в любом случае причинят вред. Тогда решение будет приниматься не только в зависимости от количества людей, но и, так сказать, их качества, при условии, конечно, что на это хватит времени, а основания для суждения будут достаточно вескими. Впрочем, такие ситуации довольно редки. Самым сильным изменениям подвергнется Второй закон, поскольку любое потенциальное подчинение приказу будет включать в себя суждение о нем. Реакция робота замедлится, за исключением тех случаев, когда в силу вступит Первый закон, зато исполнение приказа будет более осмысленным.

— Но способность судить о людях — вещь непростая.

— Вернее, крайне сложная. Необходимость сделать выбор замедляла реакцию наших первых двух моделей до полного паралича. В следующих моделях мы пытались исправить положение за счет увеличения мозговых связей — но при этом мозг становился слишком громоздким. Однако в нашей последней паре моделей, на мой взгляд, мы добились, чего хотели. Роботам теперь не обязательно сразу судить о достоинствах человека или оценивать его приказы. Вначале новые модели ведут себя как обычные роботы, то есть подчиняются любому приказанию, но одновременно они обучаются. Робот развивается, учится и взрослеет, совсем как ребенок, и поэтому сначала за ним необходим постоянный присмотр. Но по мере развития он станет все более и более достойным того, чтобы человеческое общество на Земле приняло его в свои ряды как полноправного члена.

— Это, несомненно, снимает возражения противников роботов.

— Нет, — сердито возразил Харриман. — Теперь они выдвигают новые претензии: им не нравится, что роботы способны к суждениям. Робот, говорят они, не имеет права классифицировать того или иного человека как личность низшего сорта. Отдавая предпочтение приказам некоего А перед приказами некоего Б, они тем самым считают Б менее ценным по сравнению с А и нарушают основные права человека.

— И как вы ответите на это?

— Никак. Я сдаюсь.

— Понимаю.

— Но это касается только меня лично. Потому-то я и обращаюсь к тебе, Джордж.

— Ко мне? — Голос Джорджа остался таким же ровным, лишь мягкое удивление прозвучало в нем. — Почему ко мне?

— Потому что ты не человек, — с нажимом произнес Харриман. — Я уже говорил тебе, что хочу видеть роботов партнерами людей, — вот и стань моим партнером.

Джордж-10 беспомощно, странно человеческим жестом развел руками.

— Что я могу сделать?

— Тебе, конечно, кажется, что ты ничего не можешь, Джордж. Ты создан совсем недавно, в сущности, ты еще дитя. Тебя специально не перегружали информацией — поэтому мне и приходится объяснять все так подробно, — чтобы оставить место для развития. Но твой интеллект будет развиваться и позволит тебе взглянуть на проблему с иной, не человеческой точки зрения. Там, где я не вижу выхода, ты можешь найти его.