Сотрудница Контртеррористического института Я. Шахар подчеркивает: "Нам очень важно знать, чему они [террористы. - А.П.] учат друг друга. В форумах, на сайтах мы видим оружие, которое они предпочитают… В таких случаях мы можем вмешаться в дискуссию и сказать: нет, это неэффективно, лучше попробуйте вот это. Это же открытый университет - что-то вроде Википедии. Можно подсказать им идею глушителя, но такого, что размер слишком мал. И предложить испытать его со студентами, посмотреть, как он работает. То же со взрывчаткой: легко придумать новые варианты состава, выложить на сайт открытого университета - и на следующий день посмотреть, у кого не хватает пальцев на руках".[Левкович-Маслюк Л. Инструктаж // Компьютерра. #693-694.]
Таким образом, можно видеть, что технологии противодействия обучению соперников и троянского обучения развиваются в тесной связи с развитием технологий, стимулирующих обучение.
В целом можно утверждать, что цивилизация развивается под влиянием двух противоположных и взаимосвязанных направлений социальных воздействий: а) стимулирования обучения и развития интеллекта; б) противодействия им. Безусловно, это в первую очередь относится к обществу знаний - в нем удар по способности учиться, по процессам обучения и овладения новыми видами деятельности является одним из самых эффективных способов сделать конкурента несостоятельным в стремительно меняющемся мире [Поддьяков А.Н. Психология конкуренции в обучении. - М.: Изд. дом ГУ-ВШЭ, 2006. ]
Обратимся к недавней истории. Джеймс Олсон (James Olson) приводит примеры того, как странам с враждебными режимами, пытающимся нелегально получить мощные компьютеры, запрещенные к продаже, давали возможность украсть или купить предварительно подготовленную компьютерную систему со специальными "закладками" ("логическими бомбами"), которые приводили, например, к опасным скачкам давления в трубопроводе, находящемся под контролем этой системы, или к другим нештатным, потенциально опасным ситуациям.[Olson J. Fair play: the moral dilemmas of spying. Washington: Potomac Books, 2006. ]Олсон не анализирует эти относительно недавние ситуации с точки зрения развития компьютерных технологий, его интересуют моральные дилеммы. Но мы обратимся именно к возможному развитию компьютерных технологий.
Нет сомнений, что подобные ситуации могут повторяться, но уже на новом витке. Если в будущем способность интеллектуальных систем обучаться станет критически важной характеристикой, дающей значительное конкурентное преимущество, то с большой вероятностью обладатели этих систем введут те или иные ограничения и запреты на доступ к ним, на их приобретение и т. д. А тем субъектам, кто попытается нелегально обойти эти ограничения, время от времени будут предлагаться системы с "троянской начинкой" - но уже в отношении способности учиться. Это могут быть системы, чьи способности к обучению ниже ожидаемых, обучающиеся не совсем тому или даже совсем не тому, что нужно пользователю, и т. д.
Обучение и системы искусственного интеллекта
Предварительно подчеркнем: говорить о противодействии обучению технической системы, "межкомпьютерном" троянском обучении и т. д. имеет практический смысл, только если реализуемы сами эффективные обучающиеся и обучающие компьютерные системы (споры же об их реализуемости ведутся ожесточенные). Любое троянское обучение использует особенности "просто" обучения (обучения "без злого умысла"), паразитируя на нем, и возможно лишь на его основе. После этой оговорки продолжим рассуждение о потенциальных направлениях развития "умных" технических систем.
Несмотря на дискуссионность вопроса, в настоящее время многие исследователи считают важнейшим и самым перспективным направлением в области искусственного интеллекта создание систем, способных к обучению. Со своей стороны заметим: в силу психологических закономерностей в случае появления высокоэффективных обучающихся систем некоторые из людей, работающие в областях жесткой (жестокой) конкуренции, займутся созданием обучающихся систем второй и последующих ступеней. То есть среди направлений развития искусственного интеллекта может появиться разработка компьютеризованных систем:
а) противодействующих обучению других технических систем, понижающих их обучаемость и "интеллектуальный уровень" (это может быть выгоднее, чем прямое уничтожение системы или полная и явная остановка ее функционирования);
б) систем, обучающихся и повышающих свой "интеллектуальный уровень" именно в условиях противодействия их функционированию.
Эти возможности развития обучающихся систем искусственного интеллекта совершенно не осознаются.
Более того, прогнозы в связи с обучением интеллектуальных систем делаются оптимистические, обещающие всеобщий расцвет и гармонию. Но на самом деле тому, кто считает, что обучаемость технического устройства - управляемая переменная, изменяющаяся в определенном диапазоне, один шаг до того, чтобы понять: можно пытаться не только поднимать значение этой переменной, но и опускать его до нуля. Затем кто-то может попытаться придать содержательный смысл переводу обучаемости в значения ниже нуля, в отрицательную область - эскалация возможностей представляется здесь безграничной.
Интересно, что сейчас среди огромного количества научной и ненаучной литературы, эксплуатирующей тему столкновения систем искусственного интеллекта (например, роботов, враждующих суперкомпьютеров и т. д.) как их физической схватки, перепрограммирования друг друга и т. д., нам не удалось обнаружить констатации того, что полем конкуренции систем искусственного интеллекта может стать обучаемость, ее повышение и понижение - и это при том, что сама способность приобретать знания оценивается невероятно высоко. Почему-то мало осознается, что придание высокого веса знаниям и обучаемости в картине мира может вести соперников - не только людей - как к повышению своей собственной обученности и обучаемости, так и к попыткам ослабления чужой.
Что думают эксперты в области информационных технологий по поводу проблемы "совместного обучения" искусственных систем - при ее явно представленной формулировке? Как часто подчеркивается, в области спамовой и антиспамовой борьбы, на этом переднем крае развития интеллектуальных систем, контуры которого видны и рядовому пользователю, сражаются именно самообучающиеся программы, причем их самообучение все более эффективно.
