Это общение первоначально задумывалось как имеющее чисто эвристический смысл, но оно вполне может выйти из-под контроля — во всяком случае, со стороны человека. Разговор начинает и ведет психиатр (человек, а не программа):
Доктор, у меня ужасная новость
Вы говорите, у вас ужасная новость
Да, в Массачусетском технологическом институте создана программа, которая погубит нас
Почему вы так считаете
Я видел, как она работает
Вы говорите, что видели, как она работает
Посмотрели бы вы, какое это страшное зрелище, - вам надо увидеть это
Вы думаете, я должна увидеть это
Вы кажетесь мне удрученной
В вашем воображении, вероятно, мы оба кажемся друг другу удрученными
Да, вероятно
Я понимаю
Я тоже
Вы говорите, что вы тоже понимаете
Мы оба в одинаковом положении по отношению к этому компьютеру
Не лучше ли нам продолжить разговор о вас
Вы успокаиваете меня
Почему вы думаете, что я успокаиваю вас
В такое-то время вы хотите говорить обо мне
Почему вы думаете, что я хочу говорить о вас
Потому что вы разделяете мои чувства относительно этого проклятого компьютера
Какой вывод вы делаете из этого
Разумеется, что вы тоже ненавидите компьютеры
Вы думаете, что я тоже ненавижу компьютеры
А почему бы и нет, разве в них есть что-нибудь человеческое
Быть может, именно это нам и надо выяснить
Например, ни один компьютер не может разговаривать так, как вы
О
Я не могу понять, как это кого-то может одурачить простая машина
Вы в самом деле не можете
Да, ведь в конце концов в программе компьютера нет ничего творческого
Вы мне возражаете
Я убежден, что я прав
Вас беспокоит то, что вы уверены, что вы правы
Нет, нисколько, ни в малейшей степени Вы мне возражаете
Но ведь вы сказали, что согласны со мной
Разве это то, что вы от меня слышали
Почему вы не попробуете разубедить меня в том, что все, что умеют делать компьютеры, — это перемалывать цифры
Вы хотите, чтобы я попыталась переубедить вас
Но вы не можете сделать этого
Вы думаете, что я не могу сделать этого
Ну вот, например, может ли компьютер в такой беседе, как у нас с вами, предложить новую тему
Вы почему-то совершенно избегаете разговоров о своих родителях
Точно так же, как и вы сами
Вы думаете, что и я избегаю таких разговоров
Да, и в этом как раз видна разница между человеком и компьютером
Понимаю
Этому машинному психиатру не достает человеческой тонкости, знаний и интуиции, он всего лишь механическое (разумеется!) устройство, лишенное гибкости и относительно нечувствительное к эмоциональным оттенкам и всему, что не выражается словесно. И тем не менее он ведет беседу куда разумнее, чем многие. Поражает его реакция на реплику о «новой теме». Впрочем, скорее всего, она объясняется лишь счастливой случайностью. Машина запрограммирована таким образом, что она следит за частотой появления таких слов, как «мать», «отец», «родители» и им подобных, и если по компьютерным часам прошло заданное время, а ни одно из этих слов ни разу не было употреблено, то программа побуждает машину напечатать: «Вы почему-то совершенно избегаете...» Но, появившись именно в данном месте беседы, ремарка эта производит странное впечатление: как будто машина способна испытывать озарения.
Но в чем еще состоит психотерапия, как не в умении, требующем глубоких знаний и крайне непростом -грамотно реагировать на различные человеческие ситуации? И не запрограммирован ли психиатр таким образом, чтобы давать подобные реакции? Недирективная психотерапия основывается на весьма простых программах, а для возникновения озарений нужна программа, лишь немного более сложная. Эти слова никоим образом не имеют своей целью развенчать профессию психиатра, они несут в себе только благую весть о том, что грядет машинный разум. ЭВМ пока еще далеко не достигли той степени развития, чтобы можно было рекомендовать широкое распространение компьютерной психотерапии. Но надежда когда-нибудь создать чрезвычайно терпеливых, доступных и компетентных хотя бы в некоторых вопросах компьютерных врачей не кажется мне тщетной. Некоторые из уже существующих машинных программ заслужили высокую оценку больных, поскольку такой врач полностью лишен каких-либо пристрастий и всегда готов тратить сколько угодно времени на своего пациента.
В Соединенных Штатах сейчас создаются компьютеры, которые будут способны обнаруживать неисправности в своей собственной конструкции и определять их причину. После того как будут найдены систематические ошибки в работе машины, вышедшие из строя элементы ее автоматически заменяются либо выключаются из схемы. Ремонт будет осуществляться за счет заложенного в схему резерва, эффективность ремонта станет проверяться с помощью регулярно прогоняемых тестовых программ, а результат выполнения каждой из них известен заранее. Существуют уже программы — например, для компьютеров, играющих в шахматы, — которые могут учиться на собственном опыте или же усваивать опыт, накопленный другими компьютерами. Вычислительные машины с каждым днем выглядят все более умными. А поскольку управляемые программы становятся настолько сложными, что даже их создателю не по силам сразу же предугадать все возможные реакции машины, возникает ощущение, будто у компьютеров есть если не разум, то хотя бы свобода воли. Даже бортовая ЭВМ «Викингов», имеющая память всего только в 18 000 слов, уже находится на этом уровне сложности: нам не во всех случаях дано знать, как именно поступит она, получив данную команду. Если бы мы знали это, то могли бы сказать, что она «только» или «просто» машина. Но поскольку мы этого не знаем, то невольно начинаем подозревать у нее настоящий разум.
Положение очень похоже на то, которое описано сразу двумя древними авторами — Плутархом и Плинием. Эта знаменитая история, дошедшая до нас через столетия, заключается в том, что некая собака, искавшая своего хозяина по его следам, добежала до места, где дорога разветвлялась. Принюхиваясь, она помчалась по левому ответвлению, затем остановилась, вернулась к развилке и, также нюхая землю, устремилась по среднему пути. Пробежав небольшое расстояние, собака вновь вернулась в исходную точку и теперь уже без всякого принюхивания радостно бросилась вдоль правого ответвления дороги.
Монтень, комментируя эту историю, утверждал, что в ней ясно просматривается собачья силлогистика: мой хозяин ушел по одной из этих дорог, но не по левой и не по средней, следовательно, по правой, и поэтому мне нет никакой надобности проверять этот вывод с помощью запаха — он подтверждается прямой логикой.
Сама возможность подобных рассуждений у животных, пусть даже и не в столь явно выраженной форме, беспокоила многих, и задолго до Монтеня Фома Аквинский безуспешно пытался разобраться в этой истории. Он приводил ее в качестве поучительного примера того, как может создаться впечатление наличия разума в случае, когда в действительности он отсутствует. Фома Аквинский не предложил, однако, никакого удовлетворительного объяснения поведению собак. Совершенно очевидно, что весьма точный логический анализ может выполняться при полной неспособности к словесному выражению мысли.
В своем подходе к машинному разуму мы находимся в сходном положении. Машины сейчас переступают важный порог, за которым они кажутся непредубежденному человеку разумными. Из-за своего рода человеческого шовинизма или антропоцентризма многие люди не готовы принять такую возможность. Но я думаю, что это неизбежно. По-моему, человеческое достоинство ни в коем случае не принижается из-за того, что сознание и разум оказываются функцией «просто» материи, хотя и достаточно сложно организованной, — напротив, тем воздается дань восхищения изощренности устройства материи и законам природы.
Отсюда никоим образом не следует, что компьютеры в ближайшем будущем смогут продемонстрировать нечто похожее на творческий дух человека, тонкость его чувств или его мудрость. Классической, хотя, вероятно, и апокрифической, иллюстрацией этой мысли служит машинный перевод, когда на вход машины подается текст на одном языке, к примеру английском, а на выходе ее получается текст на другом языке, скажем китайском. Рассказывают, что по завершении работ по созданию наиболее совершенной программы машинного перевода на демонстрацию ее в действии была приглашена делегация, в которую входил американский сенатор. Сенатора попросили предложить английскую фразу для перевода. И он, не задумываясь, сказал: «Out of sight, out of mind». Машина деловито выдала листок бумаги, на котором было написано несколько китайских иероглифов. Но сенатор не умел читать по-китайски. Поэтому, чтобы завершить испытания, программу запустили в обратную сторону: на вход машины подали китайские иероглифы, а на выходе она должна была выдать английский перевод. Посетители столпились вокруг нового листка бумаги, на котором была написана фраза, поначалу очень удивившая их: «Invisible idiot». [ 50 ]