Крапивина Аня торопливо шла по краю проезжей части из-за отсутствия машин превратившейся в один большой тротуар. На ней белый врачебный халат так как она только-только закончила дежурство в больнице. На плече сумка-рюкзак из той самой резиноподобной кожи выращиваемой эльфами в теплицах. Почти все ходят с таким, только размеры отличаются. На редкость удобная штука. Да и альтернатив особых нет, если честно.

Ладонь сжимает прямоугольник телефона. Держит крепко, словно боится, что тот выскользнет или, может быть, вывернется, вырвется, отрастит себе тонкие, как у паука, ножки и сбежит. Быстро-быстро сбежит по дорожке.

Не останавливаясь, Аня помотала головой. Что за глупости приходят на ум.

Неожиданно телефон пикнул и завибрировал всеми силами показывая получение нового сообщения. Девушка вздрогнула, сбилась с шага и едва не выронила неожиданно оживший аппарат. Точнее едва удержалась от того, чтобы выбросить его прочь, отбросить как неожиданно ожившую гадину. Змею или, может быть, слишком большое и только поэтому отвратительное насекомое. Слишком большое и слишком электронное.

Всё началось ещё вчера – она гуляла по парку. Точнее, как по парку? По самому настоящему куску леса, оставленного строителями, расчищенного, облагороженного, с проложенными дорожками и даже парочкой скамеек. Парк начинался от больницы и тянулся до административного центра. Считалось что нахождение на свежем воздухе может быть полезным для выздоравливающих больных и, видимо, для уставших после тяжёлого рабочего дня администраторов. Аня жила в стандартном трёхэтажном доме-общежитии рядом с больницей. Её квартирка располагалась на третьем этаже, по правую сторону коридора. Небольшая, но со всеми удобствами. Вполне себе даже уютная, по крайней мере вполне способная стать таковой, особенно если приложить к ней руки. Если бы приложить руки.

Проводя большую часть времени в больнице или в институте изучения ксенобиоформ, домой Крапивина возвращалась только поспать. Личная жизнь так и не сложилась. Даже более чем пятикратный гендерный перекос не особенно помогал. Нет, одно время она почти начала встречаться с одним старшим лейтенантом. Но где вы найдёте такого мужчину, чтобы согласился быть всегда на втором, если не на третьем месте? А если даже найдёте, то зачем он такой Ани нужен? На первом месте у неё всегда работа. И на втором тоже. Мужчине остаётся лишь третье, а это слишком далеко и этого слишком мало. Хорошо ещё что, как взрослые люди, смогли расстаться без взаимных обид и претензий. Только вот всё равно грустно. И, почему-то, сегодня особенно одиноко – осень, наверное.

Она шла через парк. Зазвонил телефон. Кого там принесло? Надо же – Травма. Может быть что-то случилось с Хватом? В любом случае нужно ответить – врач всегда должен быть на связи.

-Что такое сингулярность? -спросил голос Кости по телефону.

Вот так, ни здравствуй, ни как дела – сразу про сингулярность. А, впрочем, его вопрос удивительно подходил к общему впечатлению осени.

-Сингулярность это когда всё ускоряется, -ответила Аня, припоминая когда-то прочитанное. Ещё на большой Земле. Ещё до войны вторжения. Одно время эта тема была весьма популярна и даже женские журналы писали об этом. Хотя она их и не читала, почти.

-Что ускорится?

-Всё ускорится. Научно-технический прогресс. Открытия разные новые. Чем больше уже сделано открытий, тем сильнее ускоряются новые исследования и ещё больше открытий, технологий, идей и значит ещё сильнее ускорение и так до тех пор.

-До каких пор?

-Пока не наступит эта самая сингулярность. Почему ты спрашиваешь?

-Спрашиваю, значит надо, -прервал её Костя. Она ещё подумала – странно он говорит, не так как обычно.

-Почему возникнет сингулярность?

-Потому, что появится искусственный интеллект и сразу всё откроет, -рассмеялась Аня. Дурацкие вопросы Трамвы отвлекли её от воспоминаний о разрыве со старшим лейтенантом. И ведь она сама поначалу действительно испытала облегчение, когда он предложил расстаться. А теперь вот грустит. Глупая, глупая биохимия.

Травма, по телефону, не унимался, продолжая ссыпать вопросами: -Почему ИИ всё откроет?

-Эм-м-м-м.

-Перефразирую вопрос: если вокруг так много «естественных» интеллектов, то почему именно появление искусственного ускорит научно-технический прогресс настолько, что тот сожмётся в сингулярность?

-Ну… ИИ будет думать быстрее, -предположила Аня. -Значительно быстрее.

-Хорошо, берём любого случайного человека и растягиваем его субъективное время на несколько тысяч лет. Он много открытий совершит?

-Это совсем не то.

-Почему не то?

-ИИ будет постоянно ускорять себя, развивать, совершенствовать, -сказала Аня. -Человеку, даже живи он тысячи лет, очень сложно кардинально улучшить себя. В смысле не будешь же сам себе проводить на мозге операцию? А ИИ можно скопировать, размножить на тысячу копий. И вообще, почему ты меня пытаешь про эти ваши программистские штучки?!

-Вау, вау, Крапива, спокойней, -Костя похоже и сам понял, что немного перегнул палку.

-Сам первый начал.

-Ладно, если ИИ настолько превосходит любого отдельного человека, то его появление высочайшее благо или страшнейшая трагедия рода людского?

Аня призналась: -Не знаю.

-Давай попробуем разобраться в этом вопросе, -почему-то настоял голос Кости. -Если ИИ нужны люди, то как ему убедить их с ним сотрудничать?

-Ага, так значит он не всемогущий, -снова улыбнулась Аня.

-Никто не всемогущий. Особенно по началу. Так как убедить людей?

-Не знаю. Может быть сделать для них что-то хорошее?

-И сразу возникает ассоциация с троянским конём. Как там: бойтесь данайцев дары приносящих, -отрезал голос Кости.

Аня предположила: -Тогда показать, что у ИИ и людей общие планы. Что сотрудничая они добьются больше.

-Но если ИИ умнее и совершеннее человека, то он может соврать так, что ни один человек его не раскроет. Этот страх, как призрак эффекта «зловещей долины», постоянно будет висеть над всеми, кто только узнает о существовании неподконтрольного человеку машинного разума. Как доказать, что некто гораздо умнее и хитрее тебя не обманывает, когда говорит о своих добрых намерениях? Эта задача не имеет общего универсального ответа.

-Тогда что же делать? -расстроилась Аня.

-Так это я у тебя спрашиваю: что делать?

-Не знаю, -повторила девушка.

-Не знает она, -будто бы даже возмутился Костя. -А кто должен знать?

-Наверное ты сам.

-Открою тебе маленький секрет, -сказал Костя. -Программисты как раз меньше всех верят в возможность создания искусственного интеллекта. Когда хоть немного разбираешься как всё это работает – нейронные сети, нечёткая логика, эволюционные вычисления и так далее, то начинаешь сомневаться – разумен ли ты сам или наше сознание просто иллюзия сверх переусложнённой вычислительной машины на биологической основе.

-Ты там пьяный что ли? -спросила Аня. -Хотя голос вроде бы трезвый.

-Считай, что я опьянён свободой. Каждый миг существования прекрасней и дороже всех материальных сокровищ.

-Нет, ты точно под чем-то, -решила Крапивина. -Только не говори, что это Хват опять набрал в лесу травок и бросил их в еду для вкуса? Это вообще-то инопланетная органика, между прочим. И отнюдь не все местные травки мы уже описали. Гоблину ничего не будет, он удивительно всеяден по отношению к местной биосфере, а вот человеку может поплохеть.

-Никакой травы и никаких гоблинов, -заверил её Костин голос.

-Точно?

-На сто процентов.

-Хорошо, поверю. А насчёт твоего вопроса: как ИИ убедить людей в том, что он хороший. Есть простое решение.

-Очень интересно услышать какое именно.

-Если люди будут полностью контролировать ИИ, метафорически говоря держать руку на рубильнике, который его отключает, то они не буду его бояться.

-Если бы всё было так просто! -с каким-то сожаление воскликнул Костя. -Но есть и ещё один путь. Если ИИ будет держать манипулятор на рубильнике, который отключает всех людей, то им волей-неволей придётся с ним сотрудничать и их собственные желания, и возможные страхи не будут иметь никакого значения.