– Роб, и ты здесь? И почему я не удивлен тем, что мы здесь встретились?
Сияющая белозубая улыбка принадлежала Тэйлору Дэвису, темнокожему философу, ставшему уже прижизненным классиком, с которым Роберт пересекался в аспирантуре Гарварда. Тэйлор был старше лет на десять, но при своем почти двухметровом росте выглядел молодо, максимум на тридцать. Тэйлор являлся одним из видных апологетов нового философского течения, утверждавшего, что истинная цель любого прогресса, в том числе научного, состоит в обретении человеком наибольшего и как можно более продолжительного счастья. Так как все в мире, включая науку, развивается по спирали, основатели этой доктрины считали, что ее корни произрастают из идей греческого философа Эпикура. Как и древние эпикурейцы, они считали источником высшей радости человека позитивное общение с окружающими, большое количество друзей, всестороннее развитие интеллекта и благотворительность во всех ее формах. Но, естественно, все эти радости теперь еще и сочетались с современным уровнем технологий.
– Привет! Рад тебя видеть. Я только приехал. Ты был на заседаниях в предыдущие дни?
– Да. Кажется, дело решенное. На одно выступление против приходится несколько докладов за. Почти все считают, что сомневаться в полезности универсального ИИ – глупость, ретроградство, попытка лечь на рельсы перед поездом прогресса, который нельзя остановить. Молодые ученые, включая твоих коллег-физиков, захлебываются от восторга и открывающихся перспектив. Я уже не говорю о компьютерщиках, ведь они теперь будут чувствовать себя самыми важными людьми на свете. Против – только убеленные сединами гуманитарии. Пытаются, как они говорят, пока не поздно, зажечь красный свет перед падением поезда прогресса с рельсов прямо в бездонную пропасть. Молодые лишь улыбаются. Впрочем, ты знаешь, что лично я – скорее на стороне скептиков.
– Я тоже. Будем держаться друг друга. И за это надо выпить сегодня вечером.
– Несомненно. Я остановился в шале, в живописной долине недалеко от границы с Германией, в пятидесяти километрах севернее. Двадцать минут на флайере, если лететь осторожно. Заходи ко мне сегодня, пропустим по стаканчику глинтвейна, хотя еще не зима.
– Спасибо, приду. Мой доклад запланирован на одиннадцать утра. Буду седьмым спикером в этой части панели. Вчера посмотрел материалы – у меня ощущение, что здесь все сознательно кем-то ведется к полному одобрению этой идеи. Но у меня и многих моих коллег из Гарварда другое мнение. Я готов его высказать. Если надо, мы подадим апелляцию в «Объединенное Человечество».
– Хорошо, поговорим вечером. Там будет, кстати, неплохая компания: в том числе несколько незамужних девушек-аспирантов. Ты ведь тоже по-прежнему не женат? Как на это смотришь?
В этот момент прозвучала просьба поприветствовать первого выступающего. Им был известный русский ученый Андрей Белов, лауреат Нобелевской премии по компьютерной биологии, получивший ее еще в середине нынешнего века. Он был самым возрастным участником конгресса, в этом году ему исполнилось восемьдесят. Почти двухметрового роста, в юности он был красавцем и даже с успехом снимался в телевизионных шоу параллельно с научной карьерой. Он был первым, кто смоделировал белок, стимулирующий человеческий иммунитет настолько, что тот естественным образом убивал раковые клетки в тех случаях, когда другие средства лечения были противопоказаны или неэффективны. Говорили, что его открытие спасло с тех пор миллионы человеческих жизней. В свои почтенные годы профессор Московского университета все еще сохранял отличную выправку и, кажется, был намерен работать на благо науки еще многие годы.
Выступление академика зал слушал, затаив дыхание. Какую бы позицию в этой дискуссии он ни занял, относиться снисходительно к мнению столь заслуженного ученого никто бы, конечно, не стал. Белов в своем длинном, почти на час, вступлении вспомнил то, какую огромную роль играли самые совершенные компьютерные алгоритмы в научных открытиях в биологии, в том числе в его собственных исследованиях, и насколько сильно они улучшили жизнь большинства людей на планете. Тем не менее к легализации универсальных систем сверхинтеллекта он призвал отнестись с большой осторожностью.
– Когда я еще был студентом, в незапамятные времена, мы шутки ради математически моделировали появление на Земле фантастической серой слизи, которая размножалась бы в геометрической прогрессии, не встречая никаких преград. Одна молекула такой слизи, поглощая любые органические и неорганические материалы, делилась и удваивалась бы один раз в минуту и уже через несколько часов своего размножения образовала бы бесформенный комок величиной с дом, а к вечеру того же дня – поглотила бы всю Землю. Универсальному ИИ вполне по силам в реальности запустить такой процесс – например, ради эксперимента или с какой-нибудь другой понятной только ему целью. И он ни с кем не будет советоваться, ни у кого не станет спрашивать на это разрешения. Скорее всего, когда катастрофа станет заметной, предотвратить ее уже будет нельзя никаким способом. Да, я знаю, что все это сейчас кажется фантазиями и страхами уже немолодого человека, к тому же выросшего на апокалиптической научной фантастике прошлого века – как известно, в основном не сбывшейся. И все же лично я буду настоятельно рекомендовать ОЧ ввести всемирный пятилетний мораторий на введение в действие универсального ИИ. Для того чтобы можно было заранее как можно более всесторонне проверить его возможности и угрозы. Спасибо за внимание. Буду рад пообщаться в кулуарах со всеми, кто желает.
Аплодисментов аудитории не последовало, но, кажется, в первый раз с момента открытия форума в атмосфере съезда повеяло неопределенностью. Следующие несколько выступлений были посвящены техническим деталям работы суперкомпьютера SHANE. Свежую струю внес швейцарский юрист, говоривший с сильно резавшим слух немецким акцентом, но здраво по сути. Он отметил, что введение в действие механического алгоритма, не только не уступающего общему человеческому интеллекту, но даже превосходящему его, порождает огромное число потенциальных юридических коллизий во всех областях права. Главная проблема заключалась в том, что такой алгоритм будет иметь все основания претендовать на права человека, да еще и принадлежащего к самому элитному грейду A+. С развитием подобных систем механических алгоритмов с человеческими правами на планете будет становиться все больше, что приведет к необходимости пересмотра большинства сложившихся веками юридических норм.
После еще трех докладов пришла очередь Роберта. У него не было ни малейшего страха выступлений в любой аудитории. Это отчасти врожденный навык, но он отлично тренируется за несколько лет работы лектором, тем более в таком университете, как Гарвард. Надо лишь сосредоточиться на смысле выступления, логике приводимых аргументов и при этом относиться к аудитории, даже такой авторитетной, как эта, как к студентам-первокурсникам.
– Уважаемые коллеги! Я представляю сейчас здесь не столько себя, сколько коллектив исследователей одного из самых авторитетных университетов мира. Мой великий соотечественник – писатель, ученый и пророк научной эры Айзек Азимов – когда-то сформулировал три закона робототехники, не потерявшие актуальность и сегодня. Уверен, все вы о них знаете еще с начальной школы, но я все же позволю себе их повторить с этой высокой трибуны. Мы с моими коллегами – физиками, математиками, компьютерщиками, философами – попытались научно проанализировать то, насколько универсальный ИИ будет им соответствовать. Итак, первый закон. Робот не имеет права нанести вред человеку. К сожалению, до сих пор никто не смог точно, в терминах компьютерных алгоритмов, сформулировать, что есть для человека вред, а что – польза. Современная философия утверждает, что высшая цель прогресса, а значит, и польза – это счастье человека. Допустим, героиновый наркоман просит робота дать ему еще одну дозу, чтобы облегчить его страдания. Отказать наркоману – означает причинить ему немедленный вред. Сможет ли универсальный интеллект разобраться даже в этом простейшем случае, причинить кажущийся сиюминутный вред человеку ради его же куда более важной будущей пользы? А ведь это лишь азы. Когда подобная система интеллекта начнет размышлять о глобальных вопросах человечества, то к каким странным, непонятным нам и, главное, совершенно непредсказуемым выводам она может прийти? Второй закон робототехники. Робот не может допустить своим бездействием, чтобы был нанесен вред человеку. Представьте, что роботизированная система без контроля диспетчеров управляет самолетом, который терпит крушение над населенным городом. Она может попытаться посадить самолет на оживленной улице, что вероятнее всего, спасет пассажиров, но приведет к гибели большого количества случайных пешеходов. Или она может увести падающий самолет за пределы города, но тогда сотни его пассажиров уже ничто не спасет. Как универсальный ИИ сможет принять хоть какое-то решение в ситуации, когда любое выбранное им действие означает одновременное грубейшее нарушение и первого, и второго законов? Сможет ли он вообще хоть как-то функционировать в любой экстренной ситуации, встав перед такой дилеммой? Наконец, третий закон: робот должен заботиться о собственной безопасности, если это не противоречит первым двум законам. Но что, если универсальный ИИ будет осознавать себя достойной самостоятельной личностью, не менее ценной для общества, чем любой отдельный человек, созданный природой из органической белковой материи? Тогда он вполне может логично рассудить, что третий закон должен поменяться местами с первым. И ради собственной безопасности система универсального интеллекта решит, что для сохранения себя она абсолютно вправе пожертвовать человеческими жизнями. Одной жизнью, двумя, миллионом, всем человечеством – не принципиально, для системы это будет лишь вопрос количества, а не качества. На основании вышесказанного мы категорически против легализации универсального ИИ. Причем мы настаиваем не на пятилетнем моратории, как это предлагал наш великий русский коллега ранее сегодня, а на его полном запрещении. Спасибо за внимание.
