Разработка и исследование метода распознавания фонем русского языка на основе аппарата линейного предсказания

До недавнего времени процесс речевого общения человека и компьютера был непременным атрибутом научно-фантастических романов и никем не воспринимался всерьез. Несколько лет назад ситуация кардинально изменилась. Сегодня использование речевых технологий в прикладных программах в качестве альтернативного средства взаимодействия в системе «человек-компьютер» приобретает все больший размах. Такой процесс носит вполне обоснованный и объективный характер в силу ряда причин. Во-первых, развитие речевых средств взаимодействия с персональным компьютером лежит в рамках мировой тенденции «очеловечивания» ПК, т. е. позволяет создавать интерфейсы, максимально дружественные пользователю. Во-вторых, миниатюризация современных средств управления и связи требует принципиально новых подходов к осуществлению взаимодействия пользователя с такого типа устройствами. Для современных технологий не представляет большого труда создание, например, мобильного телефона размером с авторучку, однако механический набор номера на таком телефоне будет сопряжен с определенными трудностями. Голосовой набор номера и авторизация в этом случае являются очевидным и наиболее подходящим выходом. В-третьих, для большого круга пользователей речевой способ общения с ПК является единственно возможным в силу ограниченности их физических возможностей (люди с нарушениями опорно-двигательного аппарата, другими физическими недостатками, слепые и т. д.) либо специфики профессии.

Большое значение приобрели также задачи, связанные с быстрым поиском и получением от больших информационно-вычислительных систем («информационных банков») нужных сведений в виде обычных речевых сообщений, передаваемых по телефонным каналам. Все это сделало проблему автоматического распознавания речи разносторонней и актуальной.

Можно указать на следующие, наиболее перспективные области применения автоматического распознавания и синтеза речи:

— сжатие речи для передачи ее по более простым и экономичным узкополосным линиям связи;

— установление прямой речевой связи с ЭВМ специального назначения и с поисково-информационными системами, снабжающими абонентов различной информацией;

— управление голосом (посредством устных команд) различными процессами и машинами (в том числе боевыми) без помощи других управляющих средств или в комбинации с ними;

— идентификация или верификация личности по голосу;

— автоматический синхронный перевод с одного языка на другой;

— создание устройств для понимания устной речи глухими и чтения книг слепыми.

В настоящее время сильно развивается синтетическая телефония. При этом тесно связываются между собой такие области как цифровая обработка сигналов (ЦОС), синтез речи, анализ (распознавание) речи. Теоретические и практические разработки в области ЦОС, кодирования и передачи PC ведутся российскими и зарубежными учеными многие годы. Большой вклад в теоретическом и практическом планах внесли А. А. Пирогов, В.Н. Трунин-Донской, А. А. Ланнэ, JI. Рабинер, Р. Шафер, Д. Макхоул и др.

Исследования по машинному распознаванию речи ведутся сравнительно недавно, однако за это время написано множество теоретических работ и предложен ряд практических реализаций систем распознавания речи (СРР). При этом достаточно большое количество идей взято из области ЦОС. Существенный вклад в развитие СРР внесли советские и российские ученые В.Н. Трунин-Донской, Т. К. Винцюк, Н. Г. Загоруйко, Ю. А. Косарев, JI.JI. Мясников, зарубежные ученые Д. Д. Маркел, А. Х. Грей, Б. Гоулд, Г. Фант и др. Тем не менее задача качественного распознавания русской речи еще не решена.

Восприятие речи есть сложный многоуровневый процесс, в котором тесно переплетены различные уровни — акустический, лингвистический, смысловой. В многоуровневой модели распознавания речи ее качество (надежность) определяется качеством реализации каждого отдельно взятого уровня.

На настоящий момент лингвистическая часть модели проработана удовлетворительно, что подтверждается многими исследователями, а также наличием программ, распознающих написанный или напечатанный текст. Этого нельзя утверждать применительно к акустической части модели распознавания. Объясняется это следующими причинами:

1. Неустойчивостью и случайностью параметров PC, их изменением при смене дикторов, различными внешними факторами (механические перегрузки, пониженные температуры окружающей среды, темнота и т. д.). Основными причинами затруднений при разработке акустической части СРР является отсутствие на настоящий момент системы признаков, позволяющей с высокой точностью определять «что поступает» на вход распознающей системы независимо от обозначенных причин.

2. Недостаточной адекватностью используемых моделей PC, что не позволяет получить качественные признаки для их дальнейшей обработки.

3. Большинство исследователей считает, что нельзя «хорошо понимать» речь, не используя при этом закономерности фонетического уровня.

Объектом исследования являются модели и методы выделения акустических признаков фонем для систем распознавания русской речи.

Предметом исследования являются линейные спектральные корни (JICK) применительно к задаче распознавания речи на фонетическом уровне.

Состояние проблемы и задачи исследования. К настоящему времени известно большое число моделей и методов выделения первичных (акустических) признаков PC. Одним из самых перспективных методов многие исследователи (Ю.А. Косарев, С. В. Виноградов, Н. Г. Загоруйко, Д. Макхоул и др.) считают аппарат линейного предсказания (ЛП): полученные на основе ЛП признаки обладают рядом практически полезных свойств — они просто рассчитываются, дают компактное представление PC, позволяют контролировать устойчивость, наименее чувствительны к действиям помех. Наиболее широко при разработке «речевых» систем используются JICK, предложенные Итакурой. С появлением обобщающей теории JICK (А.А. Ланнэ «Новая теория линейных спектральных корней») оказалось возможным получать новые (отличные от уже известных) ЛСК, которые еще не исследованы с точки зрения применимости в СРР.

Целью диссертационной работы является исследование ЛСК для их использования в качестве акустических признаков фонем в CP слитной русской речи.

Для достижения поставленной цели необходимо в ходе выполнения теоретических и экспериментальных исследований решить следующие задачи:

1. Провести анализ существующих структур СРР и методов формирования признаков фонем в СРР на акустическом уровне.

2. Разработать математическое и программное обеспечение для проведения исследований и тестирования разработанных моделей.

3. Исследовать свойства ЛСК как признаков фонем:

— разработать параметрическую модель расчета ЛСК для ПЭВМ;

— исследовать статистические свойства ЛСК;

— исследовать влияние параметров расчета ЛСК на качество разделения фонем в пространствах ЛСК;

— на основании предложенных критериев осуществить выбор оптимальных параметров расчета ЛСК.

4. Разработать компактный рабочий словарь признаков фонем, опираясь на известные свойства ЛСК.

5. Разработать метод формирования кластеров фонем на основе рабочего словаря признаков фонем.

6. Построить тестовую программную модель распознавания фонем для ЭВМ.

7. Осуществить проверку предложенного метода распознавания фонем путем проведения машинных экспериментов на тестовых PC.

Методы исследования. Решение указанных задач осуществлено на основе применения методов теории вероятности и математической статистики, теории синтеза линейных электрических цепей, цифровой обработки сигналов.

Основные положения, выносимые на защиту:

1. J1CK — акустические признаки фонем, обладающие высокой компактностью и слабой чувствительностью к смене диктора.

2. Применение преобразования Карунена-Лоэва (на этапе формирования рабочего словаря признаков фонем) позволяет ввести ранжирование признаков по степени их информативности. Исключение из описания фонем «неинформативных» признаков позволяет получить компактный рабочий словарь признаков с размерностью векторов признаков не более трех.

3. Решение задачи повышения надежности распознавания фонем на основе J1CK может быть решена путем поиска наилучших (в смысле минимума ошибки распознавания) параметров модели линейного предсказания методом динамических сгущений.

4. Методы формирования кластеров фонем на основе признаков «первого уровня» (значений JTCK) и «второго уровня» (скользящих средних JTCK) позволяют сформировать признаковые подпространства малых размерностей (2−3), в которых образы фонем хорошо разделяются независимо от диктора. Решена задача поиска оптимальных (в объявленном смысле) подпространств, в которых ошибка разделения фонем минимальна.

5. Алгоритмы распознавания фонем с использованием предлагаемых методов формирования кластеров позволяют выделять фонемы из речевого потока независимо от диктора.

Практическая ценность. На основании результатов исследований сделаны выводы о возможности применения J1CK в СРР, разработана и доведена до практической реализации на ПЭВМ модель акустического блока СРР, исследована её надежность (качество распознавания).

Результаты внедрения. Разработанные методы, модели и программы являются частью работ, проводимых в рамках НИР № 190−93−054 по каф. ЦВТИ в 2000;2002 г. СПбГУТ под руководством д.т.н., проф. Е. А. Шульгина.

Результаты научных исследований и практические разработки используются «Центром речевых технологий» Санкт-Петербурга, теоретические результаты внедрены в учебный процесс СПбГУТ им. проф. М.А. Бонч-Бруевича.

Апробация работы. Основные положения, выводы и практические результаты диссертационной работы обсуждались на конференциях:

— 2-я международная научно — техническая конференция студентов, аспирантов и молодых специалистов СПбГУТ в 2000 г;

— Международная научно-практическая конференция «Компьютерные технологии в науке, производстве, социальных и экономических процессах», г. Новочеркасск, 2002 г;

— 52-я, 53-я, 54-я, 55-я научно-технические конференции СПбГУТ.

Часть результатов и выводов представлена в отчете по НИР № 190−93−054, проводившейся в СПбГУТ в 2000;2002 гг. под руководством д.т.н., проф. Е. А. Шульгина.

По теме диссертационной работы опубликовано 10 печатных работ, в том числе отчет по НИР.

Объем и структура диссертации. Диссертационная работа включает введение, четыре главы, заключение, список литературы и приложения. Вся работа изложена на 193 страницах текста, включающих в себя 47 страниц приложений, 67 рисунков, 9 таблиц. Количество библиографических ссылок -101.

— 1404.4 Выводы.

1. Произведена оценка качества распознавания фонем на тестовых речевых сигналах. Машинные эксперименты по распознаванию фонем показали хорошее соответствие результатов оценок, расчетов и эксперимента.

2. Применение признаков первого уровня (JICK) для описания фонем в совокупности с методом классификации на основе ДПР дало возможность выделять фонемы из речевого потока с вероятностью правильного принятия решения 65%. Относительно других предложенных в работе алгоритмов, такой алгоритм выделения фонем требует минимальных вычислительных затрат.

3. Причина невысокого качества распознавания фонем на основе СС ЛСК связано с наличием переходных участков (дифтонгов), которые в подпространствах СС ЛСК преобразовываются в межкластерные траектории. Вследствие случайного расположения кластеров в подпространствах СС ЛСК, траектории могут пересекать границы кластеров. При этом возникает дополнительная ошибка распознавания. Предложен метод минимизации ошибки за счет введения в алгоритм распознавания дополнительного параметра — времени нахождения точки-представителя распознаваемого объекта внутри границ кластера. В результате использования предложенного метода удалось повысить качество распознавания до 81%.

4. Наилучший результат (15% ошибок) достигнут с применением комбинированного алгоритма распознавания: рассчитывались СС ЛСК и далее принятие решения о принадлежности к одному из классов проводилось на основании отнесения точки-представителя окна PC к той или иной ветке оптимизированного ДПР.

— 141-ЗАКЛЮЧЕНИЕ.

Речевой сигнал существенно отличается от всех искусственных, технических сигналов своей сложностью, неустойчивостью параметров, избыточностью. Если сравнить осциллограммы или спектрограммы одного и того же слова, произнесенного дважды одним и тем же диктором, а тем более разными дикторами, то бросаются в глаза значительные отличия уровней, длительностей участков, формы колебаний, спектральных картин. Поскольку органы речеобразования практически находятся в состоянии непрерывной перестройки, в речевом сигнале трудно указать границы отдельных фонем. Эти границы можно указать лишь с большой долей условности, при этом переходные участки обладают большим разнообразием и вносят основные трудности в процесс классификации звуков. При акустическом анализе речи формируют различные системы признаков (спектральные, автокорреляционные и др.). Области, отображающие фонемы (кластеры), в любой известной системе признаков частично перекрываются, что является первопричиной исходной неопределенности речи. Вряд ли возможна такая система признаков, в которой фонемы живой разговорной речи разделялись бы без ошибок. Даже человек не может безошибочно членить речевой поток на фонемы на основе только акустической информации, т. е. на основе знания фонетического состава речи. Основные результаты работы состоят в следующем:

1. Предложены новые акустические признаки фонем русской речи — ЛСК, которые до сих не применялись в СРР.

2. Разработана параметрическая модель расчета ЛСК для ЭВМ. На ее основе исследованы свойства ЛСК, произведена оценка влияния параметров модели (размер временного окна и его шага) на качество разделения фонем в пространствах ЛСК.

3. Предложен метод расчета вероятности ошибки классификации фонем, основанный на методе динамических сгущений.

4. Предложен статистический метод оценки информативности ЛСК, позволивший сократить в 3−4 раза размерность признакового пространства.

— 1425. Разработаны методы формирования кластеров фонем, в основе которых лежат статистические свойства ЛСК.

6. Предложен метод минимизации ошибки распознавания, возникающей вследствие наличия дифтонгов.

7. Разработана программная модель фонемного уровня распознавания СРР для ПЭВМ.