ТЕХНОЛОГИИ: Драконья погибель
Автор: Александр Бумагин
Каждый журналист мечтает о том, чтобы прийти после встречи, подключить диктофон к компьютеру и открыть весь разговор непосредственно в текстовом редакторе. На деле же приходится тратить уйму времени на расшифровку аудиозаписи. Автоматизации это процесс поддается плохо, если, конечно, у вас нет расторопной прислуги. Да и просто наговаривать тест, отложив клавиатуру, хочется еще со школьных лет. Фантастика? Специалисты питерского Центра речевых технологий полагают, что нет.
Формальным поводом для этой статьи послужило заявление питерского Центра речевых технологий (ЦРТ) о завершении работы над технологией распознавания слитной русской речи. Такая новость воспринимается не иначе, как первоапрельская шутка, особенно при воспоминании о весьма неуклюжих "российских" разработках типа "Горыныч" ["Горыныч" - адаптация под русский язык системы распознавания Dragon Naturally Speaking от компании Nuance. Она создавалась для английского языка - совершенно иначе организованного, если сравнивать его с русским]. Еще более забавной кажется идея того же ЦРТ подготовить к Олимпиаде в Сочи, ни много ни мало, карманный переводчик устной речи.
Центр речевых технологий был образован в 1990 году небольшой группой инженеров, часть которых работала в НИИ "Дальняя связь", где была своя речевая лаборатория. Впрочем, заниматься чистой наукой в ЦРТ не получилось, компании были нужны проекты, способные быстро себя окупить.
"Сейчас у нас работает около двухсот человек, - говорит Алексей Хитров, аналитик ЦРТ. - В основном мы специализируемся на системах профессиональной записи звука, включая многоканальную запись. Мы разработали профессиональный диктофон "Гном", у нас есть также системы протоколирования и стенографирования".
Весьма недешевый - больше 1000 долларов - цифровой диктофон "Гном 2М" отмечен экспертами МВД РФ как прибор, записывающий человеческую речь с качеством, позволяющим проводить идентификацию голоса. Кроме того, ЦРТ сам занимается криминалистической фоноскопической экспертизой: по словам Хитрова, доля компании в этом бизнесе составляет около 25% по всему миру.[В основном такая работа ведется в развивающихся странах]
О работе ЦРТ над распознаванием речи и, главное, о сложностях этой проблемы рассказала Марина Татарникова, математик по образованию, руководящая группой исследователей Центра.
"Сначала у нас было реализовано дикторозависимое распознавание изолированных команд как целостных образов, для небольших словарей, - рассказывает Татарникова. - Процедура распознавания в этом случае требует хранения нескольких эталонов для каждой команды. Потом были разработаны алгоритмы построения акустических моделей аллофонов [Аллофон(а) (от греч. бllos - иной, другой, и phфnз - звук), вариант, разновидность фонемы, обусловленная данным фонетическим окружением (БСЭ). Например, в словах "первое" и "апреля" звук "п" находится в разном окружении, и, соответственно, будут разные аллофоны. и на основе этого - пофонемное [Фонема (от греч. phonema - звук), основная единица звукового строя языка, предельный элемент, выделяемый линейным членением речи (БСЭ)] распознавание команд и поиск ключевых слов, независимые от диктора и словаря".
Для распознавания же слитной речи необходимы огромные речевые базы, нужны специалисты-алгоритмисты и вычислительные мощности. Поначалу проблема казалась слишком трудной и многогранной, если не сказать - безграничной.
Моделирование
Система распознавания слитной речи представляет собой взаимодействие акустических моделей, лексикона, языковой модели и декодера. Если акустические модели выполняют оценку вероятностей распознавания отдельных аллофонов, то языковые модели оценивают вероятность следования слов друг за другом. Лексикон содержит все возможные варианты произнесения слов, которые будут распознаваться в процессе работы системы. Декодер определяет лучшую гипотезу в сети распознавания. Это программа, оперирующая большими объемами данных, которая в максимально сжатые сроки должна принять решение о распознанном тексте. Для успешной работы программы требуется разработка особых алгоритмов, ускоряющих процесс и уменьшающих число ошибок.
"Сложностей хватает, - признает Марина Татарникова. - Вот вы и я произносим звуки и понимаем друг друга.
С точки же зрения машины мы произносим одно и то же слово совершенно по-разному". По этой причине при создании систем дикторонезависимого пофонемного распознавания используется статистический подход. Для реализации такого подхода нужны большие базы с образцами речи разных людей для накопления параметров вероятностных моделей. Если база данных содержит достаточное количество образцов, оказывается возможным создать модель речевого процесса, отражающую вариативность естественной речи.
Акустические модели, - поясняет Татарникова, - это статистические модели, основанные либо на аппарате скрытых марковских моделей, либо на нейронных сетях. Обучение моделей происходит на размеченных речевых базах". В ЦРТ обучали собственные акустические модели на двухстах пятидесяти дикторах, половина из которых - мужчины, а половина - женщины. Все дикторы проживают в европейской части России.[Запись речевой базы частично велась ЦРТ, а частично приобреталась на стороне.]Таким образом, на решение задачи сразу накладывалось некоторое ограничение, ведь русская речь от региона к региону меняется очень сильно и звучит по-разному. Вся база данных составляла около тридцати часов речи. Текст для дикторов подбирался так, чтобы в нем присутствовали все аллофоны русского языка во всех окружениях. Часть записей лингвисты вручную разбивали на сегменты (фоны), для чего есть специальные программы (речь после записи отображается в графическом виде, и на картинке специалист ставит метки на границах сегментов). После того как часть материала была сегментирована, строились начальные акустические модели, а затем, по определенным алгоритмам, на компьютере обрабатывалась остальная часть базы, при этом сегментация проводилась уже автоматически. В процессе обработки параметры акустических моделей переопределялись. Обучение моделей на шести вычислительных машинах заняло около двух суток.