Так называемые «умные» системы стали чересчур самоуверенными. Они убеждены, будто знают, что для нас лучше. Но их интеллект ограничен. И это ограниченность фундаментального свойства: машина по определению не может знать все факторы, которые человек учитывает при принятии решений. Это, впрочем, не означает, что нам следует отказываться от помощи «умных» машин. В то же время, поскольку машины берут на себя все больше и больше, их нужно социализировать – они должны стать более коммуникабельными и лучше понимать пределы своих возможностей. Только тогда они смогут приносить настоящую пользу. Именно этой теме и посвящена моя книга.

Когда я только начинал над ней работать, я думал, что ключевым в социализации машин является создание более совершенных систем, способных к диалогу. Но я ошибался. Для конструктивного диалога нужны общие знания и опыт. Нужно уметь учитывать обстановку и контекст, предшествующие события, а также множество различных целей и мотивов, которыми руководствуются участники процесса. И в этом, как я теперь понимаю, заключено одно из главных ограничений, не позволяющих современным технологиям полноценно взаимодействовать с человеком. Если даже людям непросто найти полное взаимопонимание, откуда оно возьмется у людей и машин?

Для успешного взаимодействия с техникой нам нужно научиться относиться к ней как к животным. Несмотря на то что и люди, и животные обладают интеллектом, мы – разные виды, с разным взглядом на мир и разными способностями. Точно так же даже самая умная машина – это представитель другого вида, со своими сильными и слабыми сторонами, собственным пониманием вещей и способностями. Порой мы должны слушаться животных и машин, порой – они нас.

– Моя машина чуть не устроила мне аварию, – сказал мне Джим.

– Твоя машина? Как это? – удивился я.

– Я ехал по шоссе, включив круиз-контроль. Знаешь, это такая система, которая поддерживает постоянную скорость, но если впереди появляется другая машина, она снижается, чтобы сохранять безопасную дистанцию. Так вот, через какое-то время движение на дороге стало более интенсивным, и моя машина замедлила ход. Наконец я добрался до нужного съезда, перестроился в правый ряд и свернул с шоссе. Я так давно включил круиз-контроль и ехал так медленно, что попросту о нем забыл. А вот машина не забыла. Она небось сказала себе: «Ура! Наконец-то впереди никого нет», и начала разгоняться до прежней скорости, хотя на съезде надо ехать медленно. Хорошо, что я не растерялся и вовремя нажал на тормоза. Иначе кто знает, что могло бы случиться.

Сегодня наши отношения с техникой резко меняются. До недавнего времени люди ее контролировали. Мы включали и выключали ее, указывали, что делать, и следили за процессом исполнения. Но по мере того как техника становилась все сложнее и изощреннее, мы стали хуже понимать принципы ее работы и хуже предугадывать ее действия. С тех пор как в нашей жизни появились компьютеры и микропроцессоры, мы все чаще испытывали растерянность, замешательство, раздражение и злость. Но мы продолжали считать, что контролируем ситуацию. Увы, уже нет. Машины берут верх. Они ведут себя так, будто обладают интеллектом и свободой воли, хотя ни того, ни другого у них нет.

Естественно, машины присматривают за нами с наилучшими намерениями – ради нашей безопасности и удобства. Если все идет как надо, эти «умные» машины весьма полезны: они делают нашу жизнь спокойнее, избавляют нас от рутинной работы, создают комфорт и выполняют многие задания точнее, чем мы сами. Действительно, ведь удобно же, что автомобиль автоматически снижает скорость, если перед вами на опасно близком расстоянии появилась другая машина, что он тихо и плавно переключает передачи, что микроволновая печь знает, когда испеклась картошка. Ну а если техника дает сбой? Что, если она действует неправильно или выходит из повиновения? Вспомним про машину Джима, заметившую, что дорога свободна, и увеличившую скорость, хотя он уже съехал с шоссе? Те же устройства, которые помогают нам в нормальных условиях, в случае каких-то неожиданностей снижают уровень безопасности, комфорта, точности, что чревато для нас угрожающими последствиями, дискомфортом, раздражением и злостью.

Сегодня машины сообщают о своем состоянии в основном с помощью сигналов тревоги, то есть только если с ними что-то не в порядке. Когда механизм дает сбой, человек должен взять ситуацию под контроль; зачастую это происходит неожиданно и времени, чтобы нормально отреагировать, у него нет. Джиму удалось исправить ошибку своего автомобиля. А если бы он не сумел этого сделать, в аварии обвинили бы его. Да-да, если действия «умной» машины приводят к аварии, ответственность за нее, скорее всего, возложат на человека.

Чтобы наладить взаимодействие людей с «умными» механизмами, нужно совершенствовать координацию и кооперацию обеих сторон – человека и машины. Но конструкторы, разрабатывающие сложные системы, зачастую этого не понимают. Как машина может определить, что важно, а что нет, особенно если то, что важно в одной ситуации, в другой теряет значение?

Я рассказывал историю о Джиме и его ретивом автомобиле инженерам нескольких автомобилестроительных компаний, и они неизменно реагировали следующим образом. Сперва они пытались обвинить во всем водителя: почему он не выключил круиз-контроль перед тем, как съехать с шоссе? Я объяснял: он просто забыл. Ну, тогда он плохой водитель, говорили они. Принцип «сам виноват» очень удобен для обвинителя, будь то страховая компания, органы власти или общество в целом: если люди совершают ошибку, их надо наказать. Но так проблему не решить. На самом деле подлинные виновники – это неудачная конструкция, несовершенные алгоритмы, плохая инфраструктура, изъяны в технологическом режиме. А человек – лишь последнее звено в этой сложной цепи.

И хотя с технической точки зрения специалисты из автокомпаний правы – водитель должен помнить, как работает автоматика его машины, – это не оправдывает конструктивных недоработок. Новые технологии следует разрабатывать, имея в виду реальное поведение людей, а не то, каким мы хотели бы его видеть. Более того, автомобиль никак не помогает водителю вспомнить, что нужно сделать. Похоже, он сконструирован именно так, чтобы помочь ему забыть! Понять, включен круиз-контроль или нет, практически невозможно. Было бы куда лучше, если бы в машине имелось специальное напоминающее устройство.

И здесь инженеры переходили к следующему этапу: «Да, проблема есть, но волноваться не стоит. Мы все исправим. Вы правы, навигационная система автомобиля должна фиксировать, что он съехал с дороги, и либо автоматически отключить круиз-контроль, либо настроить его на безопасную скорость».

Этот ответ наглядно иллюстрирует суть проблемы. Машина не обладает умом: ее интеллект – это интеллект конструкторов. Они сидят в своих кабинетах, пытаясь представить себе все, что может произойти с машиной и водителем, и выработать правильные решения. Но как заложить правильную реакцию на неожиданное событие? Если такое случается с человеком, можно предположить, что он решит проблему с помощью воображения и смекалки. Но «интеллект» наших машин заключен не в них самих, а в головах инженеров. Поэтому в непредвиденных обстоятельствах, когда конструктора нет рядом, машина, как правило, не справляется с задачей.

О неожиданностях мы знаем две вещи: во-первых, они обязательно случаются, во-вторых, всегда застают нас врасплох.

Как-то раз инженер одной автомобильной компании отреагировал на мой рассказ о Джиме не так, как другие. Он смущенно признал, что нечто подобное на съезде с шоссе случилось и с ним самим, но у него была другая проблема – смена ряда. Если на шоссе с интенсивным движением водитель хочет перестроиться, он ждет, когда на соседней полосе возникнет достаточно большой просвет, а затем совершает маневр. Обычно при этом его автомобиль оказывается на небольшом расстоянии от машин, идущих впереди и сзади. Адаптивный круиз-контроль может решить, что передняя машина находится в опасной близости, и включить тормоза.