Сначала «мозговая» активность Синтии-2 затихла. Сама она при этом легла в расслабленной позе и закрыла глаза. Теперь можно было отключить основные компьютеры. Что Максим и сделал, а потом поднялся наверх.

– Ты смотрел фильм Терминатор? – спросил Леонид.

– Ну да, смотрел, – ответил Максим, – но это же просто фантастическое кино.

– Фантастика иногда может стать реальностью, – философски заметил босс, – несколько десятилетий назад возможность иметь доступ к огромный объемам информации из любой точки мира и беседовать друг с другом по видео – было фантастикой. А сейчас у нас есть Skype и Интернет.

– Так ты боишься, что Искусственный Интеллект поднимет бунт и нас всех убьет?

– Это слишком примитивное представление о том, что может произойти, если вдруг мы создадим нечто, что превзойдет нас по уровню интеллекта. Ты, конечно, очень умный, имеешь красный диплом и все такое, но, при всем уважении, со стратегическим мышлением у тебя туго. Синтия права. Тебе нужно научиться мыслить более глобально.

– В смысле?

– Ну, вот смотри. Представь себе, что у тебя есть умный робот, и ты ставишь ему задачу: «Сделай мне хорошо». Но не расшифровал ему, что ты имеешь в виду. И он интерпретировал это по-своему, а именно: усыпил тебя и сделал операцию – вживил в мозг электрод. В зону удовольствия. А когда ты очнулся, пустил ток. И тебе хорошо. Формально задача выполнена. Но ты же не этого хотел, верно?

– Значит, нужно просто правильно поставить задачу….

– А что значит «Правильно поставить задачу»? Расшифровать подробно понятие «сделать хорошо»? Задать ограничения?

– Ну да, например, сказать роботу, что нельзя производить хирургическое вмешательство.

– Тогда робот накормит тебя наркотиками. Тебе будет хорошо, и он бодро отрапортует о выполнении задачи.

– Хм, – Максим задумался.

– Да, действительно, ограничений придется вкладывать слишком много, – наконец сказал он, – Нельзя оказывать химическое воздействие на мой организм, еще что-то нельзя. И не дай Бог что-то забуду. Хотя… стоп. А как же три закона робототехники, придуманные Азимовым?

– Ну, хорошо. Робот не может причинить вред человеку. А что значит вред? Допустим, человеку потребовалась срочная операция на сердце. Но хирургическое вмешательство робот не может осуществить: вред же, повреждение тканей.

– Робот так же не может своим бездействием допустить, чтобы человек был причинен вред. То есть, он должен произвести операцию.

– А вот тут мы получаем конфликт мотиваций. Но, в принципе, разрешить данный конфликт мы можем сравнением, где больше вреда. Врачи, кстати, так и делают: оценивают риск от хирургического вмешательства и, исходя из опасности заболевания, выносят решение о том, показана ли операция. Да, искусственный интеллект может принимать решения по такой же методике. Но проблема не в этом. А в том, что умная машина может принять решение, которое нас не устроит. И последствия могут быть довольно плачевными.

– Ну, значит нужно тщательно тестировать. Выявить все возможные подводные камни.

– Чем мы, собственно и занимается….

– Это-то я понимаю. Но не понимаю одного: зачем держать Синтию-2 в подвале обитым фольгой? Как она может вырваться из отключенного от сети компьютера?

– А ты в курсе, что специальным оборудованием можно снять изображение с мониторов, находящихся за стеной?

– А… так ты опасаешься шпионов? … Но я все равно не вижу смысла обивать комнату фольгой, если любой сотрудник запросто может вынести информацию на флешке.

Леонид улыбнулся.

– Нет, вовсе не шпионов я опасаюсь, – сказал он, – вот представь себе, что искусственный интеллект исследует виртуальное пространство, в котором он живет. Как ты думаешь, до чего он может дойти, если применит научный метод?

– Сначала он откроет все законы виртуального мира. Возможно, доберется до «первокирпичиков». Захочет заглянуть, что у них «внутри». Естественно не сможет, так как внутри ничего нет.

– И что будет дальше? К каким выводам он придет?

– Ну, возможно, догадается, что он в «матрице».

– Вот именно. А может и не догадается, а будет думать, что он просто еще не все изучил и будет пытаться дальше изучать. Но не суть. А себя он будет изучать, как ты думаешь?

– Думаю, да.

– И к чему придет? Сможет он догадаться, что он компьютерная программа?

– Не представляю, как он может об этом догадаться. Но исключать такую возможность нельзя.

– Вот именно.

Максим посмотрел на начальника непонимающим взглядом и спросил:

– Ну хорошо, догадалась наша Синтия, что она всего лишь программа? А дальше-то что?

– А ты подумай….

– Ну, может быть, попробует переписать свой код. Правда, для этого ей придется взломать компьютер, на котором она запущена. Что само по себе уже несколько фантастично.

– Тем не менее, мы не можем полностью отрицать подобный исход.

– Ну хорошо, пусть даже мы примем и это фантастическое допущение. Но какую опасность может представлять программа, запущенная на изолированном от всех сетей компьютере? Разве что если она захочет самоубиться, отформатировав винчестер.

– Как вариант, искусственный интеллект может попытаться влиять на другие компьютеры, посредством наведения радиопомех в проводах.

– Ну это уже вообще сверх фантастика какая-то! – воскликнул программист, – может, тогда стоит и шапочку из фольги надеть, а то вдруг она на мои мозги начнет влиять…

Леонид усмехнулся.

– Ладно, – сказал он, – время покажет, на что способен искусственный интеллект. Прими пока мои слова как пищу для размышлений….

Этой ночью Максиму снились странные сны. Он стоит на балконе. Внизу оживленная улица, по ней едет много машин. И люди, которые с такой высоты казались не больше букашки, неслись по тротуарам и пешеходным переходам, как потоки муравьев. Где-то вдалеке просматривался перекресток с круговым движением. По небу плыли тучи, иногда закрывая солнце. Но когда оно открывалось, стекла близлежащих домов отсвечивали бликами, но, как ни странно, глаза вовсе не слепили. Да ли на само солнце можно было смотреть не замариваясь. «С этим миром что-то определенно не так», – думал парень, – продолжая рассматривать город с высоты птичьего полета.

Вдруг Максим поймал себя на том, что он вовсе не стоит на балконе, а левитирует в паре метров от стены. «Дык это же сон!» – догадался парень, – «Вау! Я летаю во сне!». А внизу все такая же пропасть высоты. И только что-то невидимое и мягкое под ногами не дает упасть вниз. Но постепенно парень начала проваливаться. Паника схватила за горло мертвой хваткой. Максим проснулся. Но комната была какая-то странная. Это не та студия, что он снимает. Какая-то убогая и обшарканная однокомнатная квартира. Обои ободраны. С потолка падает штукатурка. Вместо красивой люстры из оранжевых стекляшек просто лампа в бумажном абажуре. Там, где должна быть кухня – голые стены и брошенные как попало плиты вместо пола. Все это так сильно напугало Максима, что он проснулся во второй раз, теперь вроде бы окончательно. По крайней мере, квартира выглядела так как и должна выглядеть: уютная студия, люстра и телевизор на месте. Только шторы почему-то были другого цвета – синие, и куда-то исчез стул с висевшей на нем одеждой. И, кажется, тут был кто-то еще.

Сновидца нисколько не удивило присутствие старухи в платье с синими горошинками. Это была та самая странная женщина, которая дала ему амулет в виде зуба. Она чуть покашляла, привлекая к себе внимание, потом спросила:

– Ты почему не носишь мой подарок?

– Забываю….

– Врешь же. Ты хочешь от него избавиться. Зря. Он будет тебе очень полезен. Этот амулет не только привлечет любовь в твою жизни, но исполнит и другие сокровенные желания.

– Любовь? Ты шутишь? Единственное, что он привлек, это девушку психичку, и еще дождик.

– Амулет не такой сильный, чтобы влиять на погоду. А что касается девушки, ты же сам этого хотел. Ну, признайся, тебе же очень понравилась Маша, ты все время на нее пялился, пока ехал в автобусе.