Главный вызов состоит не в том, чтобы предсказать, что ИИ атакует людей с помощью армий роботов, или, наоборот, введёт лекарство от рака. Задача состоит даже не в том, чтобы сделать это предсказание для произвольного устройства ИИ. Скорее, задача состоит в том, чтобы выбрать и создать такой процесс оптимизации, чьи позитивные эффекты могут быть твёрдо доказаны.

Я усиленно призываю своих читателей не начинать придумывать причины, почему универсальный процесс оптимизации должен быть дружественным. Естественный отбор не является дружественным, не ненавидит вас, не оставляет вас в одного. Эволюция не может быть таким образом антропоморфизирована, она работает не так, как вы.

Многие биологи до 1960-х годов ожидали, что естественный отбор создаст полный набор всех хороших вещей, и выдумывали всевозможные усложнённый причины, почему он должен сделать это. Они были разочарованы, поскольку естественный отбор сам по себе не начинает со знания, что от него хотят приятного человеку результата, и затем не придумывает сложные пути, чтобы создать приятные результаты, используя давление отбора. Таким образом, события в природе были результатами совершенно других по своим причинам процессов, чем те, что приходили в голову биологам до 1960-х годов, и поэтому предсказания и реальность расходились.

Мышление, привязанное к цели, добавляет детали, ограничивает предсказания и, таким образом, отягощает их невозможностью. Как насчёт инженера гражданских сооружений, который надеется, что мост не упадёт? Следует ли инженеру доказывать это тем, что мосты обычно не падают? Но природа сама по себе не предлагает разумных причин, почему мосты не должны падать. Скорее, это инженер преодоляет тяжесть недостоверности посредством специфического выбора, направляемого специфическим пониманием. Инженер начинает с намерения создать мост. Затем он использует строгую теорию, чтобы выбрать конструкцию моста, которая бы выдерживала автомобили. Затем строит реальный мост, чья структура отражает рассчитанный проект. И в результате реальная структура выдерживает автомобили. Таким образом достигается гармония предсказанных позитивных результатов и реальных позитивных результатов.

Было бы очень здорово, если бы человечество знало, как создать мощный оптимизационный процесс с неким конкретным результатом. Или, говоря более общими словами, было бы здорово, если бы мы знали, как создать хороший ИИ.

Для того чтобы описать область знания, необходимого, чтобы взяться за этот вызов, я предложил термин «Дружественный ИИ». Этот термин я отношу не только к самой методике, но также и к её продукту – то есть к ИИ, созданному со специфической мотивацией. Когда я использую термин «Дружественный» в любом из этих двух смыслов, я пишу его с большой буквы, чтобы избегать путаницы с обычным смыслом слова «дружественный».

Типичная реакция на это людей, которую я часто встречал, заключалась в немедленном заявлении, что Дружественный ИИ невозможен, потому что любой достаточно сильный ИИ сможет модифицировать свой собственный исходный код так, чтобы разорвать любые наложенные на него ограничения.

Первую логическую несообразность, которую вы тут можете отметить – это ошибочное рассуждение в духе Гигантской Ватрушки. Любой ИИ, имеющий свободный доступ к своему исходному коду, в принципе, будет обладать способностью изменить свой код таким образом, что изменится его цель оптимизации. Но это не означает, что ИИ имеет побуждение изменить свои собственные побуждения. Я не стану сознательно глотать пилюлю, которая побудит меня наслаждаться убийствами, потому что я в настоящем предпочитаю, чтобы мои собратья-люди не умирали.

Но что если я попытаюсь изменить себя и сделаю ошибку? Когда компьютерные инженеры доказывают пригодность чипа – что есть хорошая идея, если в чипе 155 миллионов транзисторов, и вы не можете выпустить потом заплатку – инженеры используют руководимую человеком и исполняемую машинами формальную проверку. Замечательным свойством формального математического доказательства является то, что доказательство из 10 миллиардов шагов в той же мере надёжно, что и доказательство из 10 шагов. Но человеческие существа недостойны доверия в том, чтобы следить за проверкой из 10 миллиардов шагов; у нас слишком высокие шансы пропустить ошибку. Современные техники доказывания теорем не достаточно умны сами по себе, чтобы спроектировать и проверить целый компьютерный чип – современные алгоритмы испытывают экспоненциальный рост по мере увеличения пространства поиска. Люди-математики могут доказывать теоремы гораздо более сложные, чем те, что могут осилить современные программы-доказыватели, без того, чтобы быть поверженными экспоненциальным взрывам. Но люди-математики неформальны и ненадёжны; время от времени кто-то находит ошибку в принятом ранее неформальном доказательстве. Выход состоит в том, что люди-инженеры направляют программы-доказыватели на промежуточные шаги доказательства. Человек выбирает следующую лемму, и сложный доказыватель теорем генерирует формальное доказательство, и простой проверяльщик сверяет шаги. Таким образом современные инженеры создают надёжные механизмы со 155 миллионами независимых частей.

Проверка корректности работы компьютерного чипа требует синергии человеческого интеллекта и компьютерных алгоритмов, поскольку сейчас ни того, ни другого недостаточно. Возможно, подлинный ИИ будет использовать подобную комбинацию способностей, когда будет модифицировать свой собственный код – будет обладать как способностью выполнять объёмные проекты без того, чтобы потерпеть поражение от экспоненциального роста, так и способностью проверить свои шаги с высокой надёжностью. Это один из путей, которым подлинный ИИ может оставаться познаваемо стабильным в своих целях даже после выполнения большого количества самоисправлений.

Эта статья не будет разъяснять приведённую выше идею в деталях. (Также см. (Schmidhuber, 2003) на связанную с данной тему.) Но следует подумать об этом вызове, и изучить его с привлечением наилучших доступных технических данных, до того, как объявлять его невозможным – особенно, если большие ставки зависят от ответа. Неуважительно по отношению к человеческой изобретательности объявлять проблему неразрешимой без внимательного и творческого рассмотрения. Это очень сильное заявление: сказать, что вы не можете сделать нечто – что вы не можете построить летающую машину тяжелее воздуха, что вы не можете извлечь полезную энергию из ядерных реакций, что вы не можете летать на Луну. Такие заявления являются универсальными обобщениями, относящимися к любому возможному подходу к решению этой проблемы, который кто-либо придумал или придумает. Требуется всего один противоположный пример, чтобы опровергнуть универсальное обобщение. Утверждение о том, что Дружественный (или дружественный) ИИ теоретически невозможен, осмеливается относиться к любым возможным устройствам ума и любым возможным процессам оптимизации – включая человеческие существа, которые тоже имеют ум, и многие из которых добрые и хотят быть ещё лучше. На настоящий момент имеется неограниченное количество расплывчато убедительных аргументов, почему Дружественный ИИ может быть не под силу человеку, и всё же гораздо вероятнее, что проблема разрешима, но никто не соберётся решить её вовремя. Но не следует слишком быстро списывать проблему, особенно учитывая масштаб ставок.