Но компьютеры используют электронные импульсы, которые передвигаются со скоростью более 17,5 миллионов километров в минуту. Компьютер протяженностью 650 километров будет посылать электронные импульсы из конца в конец примерно за те же 0,002 секунды. По крайней мере, в этом отношении компьютер таких громадных размеров в состоянии обрабатывать информацию с той же скоростью, с какой это делает человеческий мозг.

Таким образом, если мы представим себе производство компьютеров, состоящих из все более и более миниатюрных деталей, которые все более и более сложно взаимодействуют между собой, и одновременно представим, что наши компьютеры будут увеличиваться в размерах, не можем ли мы предположить, что рано или поздно наступит момент, когда они начнут выполнять работу, которую сейчас делают люди?

Существует ли теоретический предел разумности компьютера?

Я об этом не слышал. Мне кажется, что всякий раз, когда мы усовершенствуем какую-то модель, делая ее более сложной, возникает ощущение, что этот компьютер способен на большее. Всякий раз, когда мы увеличиваем компьютер в размерах, стараясь одновременно сохранить сложность каждой детали, выясняется, что компьютер способен на большее.

Итак, если мы научимся делать достаточно сложные и достаточно большие компьютеры, почему они не могут быть наделены человеческим умом?

Кое-кто наверняка нам не поверит и скажет: «Разве может компьютер создать великую симфонию, произведение живописи или новую научную теорию?»

В таких ситуациях мне всегда хочется ответить вопросом на вопрос: «А вы можете?» Впрочем, не следует забывать, что в мире, населенном самыми обычными людьми, есть и великие люди, настоящие гении. Однако они становятся гениями лишь потому, что атомы и молекулы у них в мозгу организованы особым образом. У них в головах нет ничего другого, кроме атомов и молекул. Если мы особым образом выстроим атомы и молекулы в компьютере, он тоже сможет создавать гениальные произведения; и даже если отдельные его детали будут не такими крошечными и изощренно сложными, как в человеческом мозгу, мы компенсируем это увеличением размеров компьютера.

Кое-кто скажет: «Но компьютеры могут делать только то, на что они запрограммированы».

Ответ на это таков: «Совершенно верно. Но мозг тоже может делать только то, на что он запрограммирован — генами. Частью программы мозга является способность учиться, что должно войти и в программу сложного компьютера».

На самом деле, если можно создать компьютер, не уступающий по уровню интеллекта человеку, почему нельзя сделать его умнее?

Действительно, почему? Может быть, в этом и заключается эволюция. За три миллиарда лет, методом проб и ошибок на уровне атомов и молекул, в результате чрезвычайно медленного и постепенного усовершенствования появился наконец вид, достаточно разумный для того, чтобы сделать следующий шаг вперед уже в течение века или даже нескольких десятилетий. И вот тогда начнется настоящий прогресс.

Однако если компьютеры станут умнее людей, не возникнет ли опасность, что они нас заменят? Ну а почему бы и нет? Они могут быть не только разумными, но и добрыми и позволят нам просто плыть по течению. Будут держать нас при себе в роли домашних животных или так, про запас.

А теперь подумайте, что мы сами сейчас делаем со всеми живыми существами и с самой планетой, на которой живем. Вполне возможно, уже пора нас заменить? Может быть, главная опасность заключается в том, что компьютеры будут развиваться недостаточно быстро, чтобы занять наше место?

Подумайте об этом[7].

Довольно трудно думать о компьютерах, представляя себе вариант, когда они могут «захватить» наше место.

Заменят ли они нас, превратят ли в какой-то пережиток, выбросят ли на свалку, как мы в свое время расправились с копьями и трутницами?

Если мы представим себе компьютерный мозг внутри металлической имитации человека, которую мы называем роботом, страх окажется еще более ощутимым. Роботы так напоминают людей, что один только их внешний вид может послужить причиной возникновения у них мятежных мыслей.

Эта проблема стала одной из самых популярных в мире научной фантастики в 1920-1930-х годах, когда было написано множество рассказов, темой которых являлись роботы, восставшие и уничтожившие своих создателей.

Когда я был молодым человеком, мне ужасно надоели предупреждения, звучавшие в произведениях подобного рода, поскольку мне представлялось, что робот — это всего лишь машина, а люди постоянно строят машины. Учитывая, что все машины так или иначе представляют для нас опасность, мы специально встраиваем в них самые разнообразные защитные устройства.

В 1939 году я начал серию рассказов, в которых с симпатией описывались тщательно сконструированные машины, выполнявшие определенные задачи, причем в каждой из машин имелось встроенное устройство, обеспечивающее их миролюбие.

В рассказе, написанном в октябре 1941 года, я наконец дал имя этому защитному устройству — Три закона роботехники. (Я изобрел термин «роботехника», который до тех пор никогда и нигде не использовался.)

Они звучат так:

1. Робот не может причинить вред человеку или своим бездействием допустить, чтобы человеку был причинен вред.

2. Робот должен повиноваться всем приказам, которые отдает человек, кроме тех случаев, когда эти приказы противоречат Первому закону.

3. Робот должен заботиться о своей безопасности в той мере, в какой это не противоречит Первому и Второму законам.

Эти законы внесены в компьютеризированный мозг робота и явились темой многих моих рассказов, посвященных роботам. По правде говоря, они так понравились читателям и звучали так разумно, что другие писатели-фантасты начали использовать их (никогда не цитируя напрямую — в отличие от меня), и все старые рассказы о роботах, уничтожавших своих создателей, просто умерли.

Ну, это научная фантастика. А как насчет работ по созданию сложных компьютеров и искусственного интеллекта, которые проводятся учеными? Когда строятся машины, обладающие собственным разумом, будут ли в их сознание внедрены законы, подобные Трем законам роботехники?

Разумеется да, поскольку создатели компьютеров и сами обладают высокоразвитым интеллектом. Более того, защита будет не только иметь некоторое отношение к Трем законам — она будет на них опираться.

В тот момент, когда я придумал Три закона, я не понимал, что человечество уже давным-давно пользуется ими. «Три закона инструментов» звучат следующим образом:

1. Инструмент должен быть безопасным для использования.

(Это же очевидно! У ножей и мечей имеются рукояти. А инструмент, который может причинить вред тому, кто взял его в руки — если, конечно, человек знает об опасности, — никогда не будет использован, каким бы полезным он ни казался.)

2. Инструмент должен выполнять свои функции при условии, что он не представляет ни для кого никакой опасности.

3. Инструмент должен оставаться в целости и сохранности во время его использования, если только его уничтожение не продиктовано соображениями безопасности или если это не входит в его функцию.

Никто никогда не цитирует эти три закона, поскольку все принимают их как должное. Каждый закон, если о нем заговорят вслух, будет встречен дружным восклицанием вроде: «Ну, это же любому ясно!»

В таком случае давайте сравним «Три закона инструментов» с Тремя законами роботехники, и вы увидите, что они полностью совпадают. А разве может быть иначе? Ведь робот, или, если желаете, компьютер, является инструментом, которым пользуется человек?

Но можно ли сказать, что мы защищены от всех неприятностей в достаточной степени? Подумайте об усилиях, которые предпринимаются, чтобы сделать автомобили безопасными, — однако они продолжают убивать около 50 000 американцев в год. Подумайте об усилиях, которые предпринимаются, чтобы обезопасить банки, — однако ограбления продолжаются. Подумайте об усилиях, которые предпринимаются, чтобы защитить компьютерные программы, — однако количество компьютерного мошенничества растет.