Данные, в которых имеются те или иные закономерности, могут иметь самую разную природу: это могут быть оцифрованные изображения, звуки, видео, тексты, сигналы различных датчиков (температуры, давления, перемещения и т. д.) — словом, что угодно, что может быть подано на вход машины. Одно лишь перечисление задач, относящихся к области распознавания образов, заняло бы наверняка не одну сотню страниц. Поэтому здесь мы рассмотрим лишь некоторые типичные задачи, по прогрессу в решении которых принято судить об успехах всей области. Хотя предположение о том, что прогресс в решении отдельных задач распознавания должен сопровождаться прогрессом в решении других задач, выглядит вполне разумным, однако на деле всё может оказаться не так просто. Мы знаем, например, что машины довольно быстро научились идеально играть в крестики-нолики, но безупречный автоматический игрок в шашки появился лишь спустя полвека. Возможность применения для распознавания образов тех или иных алгоритмов и моделей во многом зависит от характеристик данных, и прежде всего от их размерности. Одно дело отличить крестик от нолика на монохромной картинке размером 3 × 3 пикселя (здесь вполне можно обойтись набором составленных вручную правил), и совсем другое — распознать котика на цветной 10‑мегапиксельной фотографии. Важным достижением новой весны ИИ стал существенный прогресс в ряде задач, относящихся к реальному миру, то есть таких задач, которые приходится решать людям в ходе различных производственных процессов. При этом нередко системам искусственного интеллекта удавалось превзойти людей. Это особенно важно в силу того, что в итоге была открыта дорога к автоматизации решения многих задач, решаемых людьми в повседневной жизни.

Для оценки прогресса в решении подобных задач специалисты в области ИИ обычно создают публичные стандартизованные наборы данных, которые позволяют оценивать точность работы различных моделей, а также точность выполнения задач людьми. Мы уже упоминали MNIST — один из подобных наборов, содержащий множество пиксельных образов рукописных цифр. Задача распознавания цифр из этого набора стала тривиальной на границе тысячелетий, поэтому сегодня для оценки прогресса в области распознавания изображений принято использовать более сложные наборы данных. Сегодня, благодаря усилиям сообщества, разработчикам моделей распознавания образов доступны сотни, если не тысячи наборов данных, содержащих изображения, аудио- и видеозаписи, тексты, различные мультимодальные данные (например, наборы изображений, снабжённых текстовыми описаниями, и т. п.)[1817]^, [1818]^, [1819] и так далее. Более того, регулярно проводятся соревнования по решению различных задач в области распознавания образов, в том числе онлайн — на таких сервисах, как Kaggle, Driven Data, CrowdANALYTIX и др. Причём благодаря появлению облачных платформ, предоставляющих доступ к высокопроизводительным тензорным процессорам (Google Colab, Amazon AWS или отечественный «Кристофари» от Сбербанка), участникам соревнований необязательно даже иметь в собственности дорогое оборудование для обучения моделей. Словом, по сравнению с 1990-ми гг. решительно изменились почти все элементы инфраструктуры, задействованные в сфере распознавания образов, и плоды этих изменений не заставили себя ждать.

30 сентября 2012 г. свёрточная нейронная сеть, известная сегодня под названием AlexNet, с существенным отрывом заняла первое место в конкурсе ILSVRC 2012 (ImageNet Large Scale Visual Recognition Challenge, Соревнования по широкомасштабному распознаванию изображений ImageNet). Считается, что именно это событие стало отправной точкой для очередного витка общественного интереса к сфере ИИ. Авторы The Economist в статье под названием «От бездействия к действию нейронных сетей» (From not working to neural networking, содержит игру слов not working/networking) так охарактеризовали общественную реакцию на это событие: «внезапно было привлечено внимание людей не только из ИИ‑сообщества, но и из технологической отрасли вообще»[1820].

Ежегодные соревнования ILSVRC начали проводиться с 2010 г., однако в 2010 и 2011 гг. нейросетевые модели не участвовали в соревнованиях, а первые места доставались моделям на базе метода опорных векторов (SVM) с различными трюками вроде фишеровских векторов[1821]^, [1822]^, [1823]. Таким образом, 30 сентября 2012 г. можно выбрать в качестве даты начала новой весны ИИ, хотя её наступлению предшествовало множество других важных событий. В первую очередь речь идёт о создании самого датасета ImageNet, что было непростой задачей, учитывая тот факт, что по размеру он многократно превосходил все созданные ранее датасеты, а также его многоуровневую систему аннотаций.

В современных популярных статьях по истории нейронных сетей, по всей видимости в силу особенностей самого формата, картина обычно выглядит следующим образом: жил-был Ян Лекун, который изобрёл свёрточные нейронные сети и в 1998 г. показал их эффективность на датасете MNIST. Спустя 12 лет как чёртик из табакерки или, будет правильнее сказать, как фея из сказки появляется Фей-Фей Ли из Стэнфорда, создаёт базу изображений ImageNet, а спустя ещё два года немного доработанная архитектура Лекуна в виде программы AlexNet, благодаря использованию при обучении GPU от Nvidia, рвёт в клочья все богомерзкие SVM’ы — и наступает эра глубокого обучения.

В целом такая картина, конечно, не очень сильно грешит против фактов, но в ней невооружённым глазом заметен некоторый изъян: неясно, чем был вызван двенадцатилетний разрыв. В конце концов, работа Розенблатта над перцептронами продолжалась всего 15 лет, что стало целой эпохой в истории коннекционизма. Казалось бы, ещё в 1990-е гг. работы Лекуна, Хинтона и их коллег показали перспективность нейросетевого подхода, почему же новой весне ИИ потребовалось ждать целых 14 лет? Давайте попробуем разобраться в том, что происходило в области распознавания изображений в это время, и тем самым заполнить пробел в существующей популярной картине истории мира глубокого обучения.

Обратимся для начала к личности Фей-Фей Ли и к истории ImageNet.

Фей-Фей Ли родилась в 1976 г. в Пекине, а выросла в городе Чэнду на юге Китая. Когда ей было 12 лет, её отец переехал в США, а через четыре года перевёз к себе жену и дочь. Ли окончила среднюю школу в Парсиппани (штат Нью-Джерси, США) в 1995 г. В том же году она поступила в Принстонский университет, который окончила с отличием в 1999 г., получив степень бакалавра искусств в области физики. Во время учёбы в Принстоне Ли на выходных подрабатывала в принадлежавшей её родителям химчистке.

В 2000 г. она поступила в аспирантуру в Caltech, где в 2005 г., работая на стыке нейробиологии и информатики, получила степень доктора философии в области электротехники[1824]. Именно в Caltech Ли начала работу над своей первой базой данных изображений, предназначенной для отработки и тестирования методов распознавания образов и машинного зрения. Датасет, увидевший свет в 2003 г., получил название Caltech 101. Он пришёл на смену более простому датасету Caltech 4, в котором было только четыре класса изображений (самолёты, лица, мотоциклы и фон). Вместе с Фей-Фей Ли над созданием датасета трудились Марк Ранцато и Пьетро Перона, научный руководитель Ли. В базу данных вошло 9146 изображений в формате jpeg, распределённых на 101 категорию: чай, чемоданы, чебуреки, чебоксары, трилобиты, зонтики, мозги, дельфины, эму, лица, ножницы и так далее. Изображения имеют различный размер, тяготеющий к популярному разрешению 320 × 200[1825]^, [1826].