Наконец, мы должны сконцентрироваться на построении общества, более устойчивого к разрушению крупных городов, которое почти наверняка может произойти в один не очень прекрасный день. В частности, мы должны начать планировать, что мы будем делать в случае потери Нью-Йорка.[p65]
10
Простите, но человек ли вы?
Я встретил Тенга среди подписчиков одной из электронных рассылок, посвященной вопросам компьютерных технологий и гражданских свобод. В то время я работал как внештатный журналист и писал материалы о компьютерной революции для нескольких газет и журналов. Тенг работал системным аналитиком и отвечал за работоспособность компьютерных сетей в одном из крупных банков Сингапура. Он заинтересовался одной из моих публикаций и послал мне электронное письмо, в котором рассказал о жизни в его офисе. В течение следующих нескольких месяцев мы стали обмениваться посланиями по электронной почте чаще и вскоре стали «электронными друзьями».
В течение двух лет мы обменивались с Тенгом электронными письмами как минимум два-три раза в неделю. Он рассказывал мне, что собой представляет жизнь в Сингапуре, какие вещи он покупает в магазинах, о влиянии американской культуры, о том, как его банк «борется» с новыми технологиями. Тенг, в свою очередь, задавал мне множество вопросов. Я рассказал ему о жизни в США, какие виды товаров я предпочитаю покупать, какие фильмы мне нравятся и о покупке какой модели автомобиля я подумываю. Иногда вопросы Тенга были несколько бестактны, но я считал, что он просто интересуется американской культурой. Иногда возникало впечатление, что он не понял смысла отправленного мною письма, иногда он вновь спрашивал что-то, о чем я ему уже рассказывал несколько недель назад. Я всегда списывал эти несуразицы на языковой барьер.
Но однажды судьба дала мне шанс: один нью-йоркский журнал предложил мне отправиться в Сингапур, чтобы написать репортаж о взрывном развитии высоких технологий в этой стране. Я послал Тенгу электронное письмо с вопросом, не хочет ли он встретиться лично, и если да, то когда ему будет это удобно. Но Тенг проигнорировал это письмо; он ответил мне обычным сообщением, в котором рассказал, чем он занимался в последнее время, и поинтересовался, что нового произошло в моей жизни. Я послал ему второе письмо, затем третье, с вопросом о возможности нашей встречи. Наконец он прислал мне ответ, в котором говорилось, что как раз во время моего визита его не будет в городе и встретиться нам нет никакой возможности.
Не знаю почему, но у меня возникли подозрения в отношении Тенга. Я вдруг осознал, что практически ничего о нем не знаю. В одном из писем я спросил его домашний адрес и номер телефона, но он не ответил. Я связался с банком, в котором, по его словам, он работал. Но там никогда не слышали о таком человеке. Наконец, я обратился к одному своему другу, который работал в New York Times. Через репортеров сингапурского бюро Times он навел справки. Получение информации заняло около недели, но когда я узнал правду, я не мог в нее поверить!
Банк, в котором работал Тенг, заключил контракт с американской фирмой, занимающейся исследованиями рынка. Компания создала группу вымышленных личностей, которые «вылавливали» в Интернете американцев, устанавливали с ними дружеские отношения и вытягивали из них ценную для заказчика информацию. Тенг не был реальным человеком, это была компьютерная программа!
Смоделированному человеку нельзя доверять
К счастью для пользователей Интернета, история с Тенгом вымышленная. Хотя я часто завожу «электронные знакомства» с людьми, которых встречаю в списках электронной рассылки по профессиональной тематике, у меня есть достаточно оснований полагать, что мои корреспонденты, находящиеся в Англии, Индии или Японии, являются существами из крови и плоти, а не компьютерными программами, засланными собирать интимные подробности моей жизни.
Между тем многие технологии, необходимые для создания Тенга, существуют уже сегодня. Конечно, Тенг не может быть создан как полноценная модель человеческого интеллекта. Однако он и еще тысячи подобных моделей могут быть созданы путем использования шаблонов, на основе стереотипности мышления, предсказуемости ответов и большого количества средств автоматизированной обработки текста.
Тенг представляет угрозу основам, на которых строятся человеческие отношения. Доверие, честность, уникальность и юмор – ценные качества. Ложь не одобряется ни в одном человеческом обществе. Люди понимают, что это неправильно, и очень часто чувствуют вину, обманывая других. Эти проблемы встают каждый раз, когда люди общаются друг с другом. Правда, всегда найдутся те, кто не захочет играть по правилам, но их достаточно легко вычислить через некоторое время. Общество даже наказывает таких людей, когда они слишком заходят за рамки этики.
Смоделированный человек не может испытывать чувство раскаяния. Он не понимает языка обычных эмоций, созданного человеческим сообществом. Маскирующийся под человека компьютер, который пытается строить человекоподобные отношения и никогда не откроет, что он машина, может быть применен только для использования в неких целях реальных людей, с которыми он вступает в контакт.
ELIZA и ее потомки
Первой компьютерной программой, имитирующей человека, была ELIZA, разработанная Джо Вейценбаумом [Joe Weizenbaum] из Лаборатории искусственного интеллекта Массачусетского технологического института. ELIZA представляла собой простейшую модель человеческого интеллекта. Вейценбаум создал программу в начале 1960-х, когда остальной персонал Лаборатории ИИ бился над созданием компьютера, способного понимать английский язык. Но это было слишком сложно. Вместо того чтобы пытаться создать разумный компьютер, Вейценбаум создал компьютерную программу, поведение которой выглядело разумным. «Я взял все свои шутки, собрал их вместе и на этой основе запустил ELIZE», – рассказывал он исследователю-историку искусственного интеллекта Даниелю Кревье [Daniel Crevier].[222]
ELIZA была очень простой программой, изображавшей роджерианского психотерапевта – последователя школы психиатрии, основанной Карлом Роджерсом. Роджерианская техника состоит в побуждении пациента говорить о своих проблемах, отвечая вопросом на вопрос. ELIZA анализировала введенные человеком фразы, находила среди частей речи глаголы и существительные, переворачивала предложение наоборот и выводила его на экран. Вы могли сказать программе: «Мой парень заставил меня прийти сюда», на что ELIZA отвечала: «Почему Ваш парень заставил вас прийти сюда?» Если у нее возникали затруднения, она могла вернуться к более ранним темам разговора или отделаться шаблонной фразой типа: «Почему Вы пришли сюда сегодня?»
На опытного специалиста-компьютерщика или лингвиста ELIZA не производила впечатление сложной и умной программы. Но для неподготовленного пользователя ее способность поддерживать разговор казалась удивительной. Даже люди, которые знали, что ELIZA – всего лишь компьютерная программа, увлекались этой игрой. Они доверяли ей свои личные секреты и проблемы. «Секретарь Вейценбаума, которая наблюдала в течение нескольких месяцев работу над программой, попросила, однако, выйти его из помещения на время ее первого „терапевтического“ сеанса с программой», – пишет Кревье.
Шокированный поведением своего детища, Вейценбаум вскоре пришел к выводу, что «основная идеология развития искусственного интеллекта – искусственный разум – безнравственна».
После того как ELIZA была написана, этот «подвиг» повторили десятки тысяч программистов. Хью Лебнер [Hugh Loebner], изобретатель и богатый филантроп, спонсирует ежегодный конкурс по написанию программ, имитирующих человека. Автора программы, поведение которой невозможно будет отличить от поведения реального человека из плоти и крови, ожидает приз в размере 100 тысяч долларов и медаль из чистого золота весом 14 карат.[223] Пока это не удалось никому. Большинство представленных на конкурс программ «срезались» из-за недостаточного владения английским языком и отсутствия доступа к огромному количеству знаний, являющихся для всех нас само собой разумеющимися.
