Разработка и исследование методов повышения эффективности программно-аппаратных вычислительных средств обработки речевых сигналов
Диссертация
Широкий спектр приложений, нуждающихся в автоматическом анализе эмоционального фона речевых сообщений, присутствует в деятельности различных спецслужб, использующих в своей работе оборудование цифровой телефонной связи. Так, например, автоматическое отслеживание злонамеренных вызовов и звонков с угрозами относится к задачам силовых спецслужб. При этом статус звонка с угрозой может иметь… Читать ещё >
Содержание
- 1. ИССЛЕДОВАНИЕ СТРУКТУРЫ РЕЧЕВЫХ СИГНАЛОВ С ЦЕЛЬЮ ОТЫСКАНИЯ КРИТЕРИЕВ РАСПОЗНАВАНИЯ ЭМОЦИОНАЛЬНОЙ ИНФОРМАЦИИ В РЕЧИ
- 1. 1. Дискретные математические модели речеобразования. Базовые акустические параметры речевого сигнала
- 1. 2. Исследование акустических параметров речевых сигналов, обусловливающих передачу эмоциональной информации
- 1. 2. 1. Исследование интонационных и спектральных характеристик сигнала
- 1. 2. 2. Исследование временных и динамических характеристик сигнала
- 1. 2. 3. Некоторые вычислительные аспекты
- 1. 3. Синтез алгоритма классификации эмоциональных компонент. 37 Комплексная оценка эмоциональности речевого потока
- 1. 4. Выводы
- 2. РАЗРАБОТКА АЛГОРИТМОВ ОЦЕНИВАНИЯ ПАРАМЕТРОВ РЕЧЕВОГО СИГНАЛА В СИСТЕМАХ С ЭЛЕМЕНТАМИ РАСПОЗНАВАНИЯ ЭМОЦИОНАЛЬНОЙ ИНФОРМАЦИИ
- 2. 1. Алгоритмы сегментации речевого сигнала
- Сегментация речевого сигнала на речь и паузы. Оценивание длительности пауз в речевом сигнале
- 2. 1. 2. Алгоритм выделения вокализованных сегментов в речевом сигнале
- 2. 1. 3. Сегментация речевого сигнала на слоги. Оценивание длительности слогов и темпа речи
- 2. 2. Особенности алгоритма оценивания формант речевого сигнала
- 2. 3. Определение длительности фронта и спада речевого сигнала вокализованных сегментов
- 2. 4. Алгоритм оценивания периода основного тона речевого сигнала
- 2. 5. Выводы
- 3. РАЗРАБОТКА И ИССЛЕДОВАНИЕ ПРИНЦИПОВ ПОСТРОЕНИЯ АППАРАТНОГО МОДУЛЯ ОПРЕДЕЛЕНИЯ ЭМОЦИОНАЛЬНОЙ ИНФОРМАЦИИ В РЕЧИ, ОРИЕНТИРОВАННОГО НА ПРИМЕНЕНИЕ В ЦИФРОВОЙ АТС
- 3. 1. Анализ принципов построения цифровой системы связи с элементами аппаратной и программно-аппаратной классификации эмоциональной информации в речи
- 3. 2. Разработка и анализ структуры вычислительных процессов программно-аппаратного модуля классификации эмоциональной составляющей речевого сигнала
- 3. 3. Исследование возможностей применения нейросетевых технологий в аппаратно-программном модуле классификации эмоциональной ситуации в речи
- 3. 4. Программное моделирование нейросети, используемой для распознавания эмоциональной составляющей в речи. Анализ экспериментальных данных
- 3. 5. Выводы
- 4. РАЗРАБОТКА ПРОГРАММНОЙ СРЕДЫ МОДЕЛИРОВАНИЯ ВЫЧИСЛИТЕЛЬНЫХ ПРОЦЕССОВ СИСТЕМЫ С ЭЛЕМЕНТАМИ РАСПОЗНАВАНИЯ ЭМОЦИОНАЛЬНОЙ ИНФОРМАЦИИ В РЕЧИ
- 4. 1. Задачи и структура программной среды моделирования. Реализация базового набора процедур цифровой обработки речевых сигналов
- 4. 2. Структура и особенности уровня классификации эмоциональной информации в речи
4.3. Моделирование методов интерактивного конфигурирования аппаратного модуля классификации эмоциональной составляющей речевого сигнала. Анализ программного блока взаимодействия с ЦАТС мониторинговой системы «Модуль оператора АТС».
4.4. Выводы.
Список литературы
- Чистович Л.А., Венцов A.B. Физиология речи. Восприятие речи человеком. «Наука», Л. 1976. 388с.
- Галунов В. И. Манеров В.Х. Связь между психофизическим состоянием говорящего и характеристиками речевого сигнала. Тез. докладов 8-го Всесоюзного семинара «Автоматическое распознавание слуховых образов», Львов, 1974, ч. 4, с. 46−48.
- Котляр Г. М., Морозов В. П. Особенности восприятия вокальной речи слушателями различных категорий. В кн.: Речь и эмоции. Матер. Симпозиума. Л., 1975. с. 118−124.
- Котляр Г. М., Морозов В. П. Об акустических коррелятах эмоциональной выразительности речи. Акуст. журн., 1976. т. 22, вып. 3, с 370−376.
- Фант Г. Акустическая теория речеобразования. М.: Наука, 1964. 284с.
- Чернухин Ю.В. Нейропроцессорные ансамбли. Таганрог: ТРТУ, 1995. 149с.
- Вокодерная телефония. Под ред. A.A. Пирогов, М., 1974. 348с.
- Рабинер Л.Р., Шафер Р. В. Цифровая обработка речевых сигналов. Пер с англ. М.: Радио и связь, 1981. 496с.
- Рабинер Л. Р. Голд Б. Теория и применение цифровой обработки сигналов. М. Мир, 1974. 458 с.
- Г. С. Рамишвили. Автоматическое опознавание говорящего по голосу. М. «Радио и связь», 1981. 224с
- Фант Г. Анализ и синтез речи. Новосибирск. 1970. 291с.
- Сорокин В.Н. Теория речеобразования. М., «Наука», 1985. 182с.
- Фланаган Д. Анализ, синтез и восприятие речи. М., 1968. 392с.
- Сапожков М.А. Речевой сигнал в кибернетике и связи. М. 1963. 452с.
- С.Н.Кринов, Г. И. Цемель. Сегментация речевых сигналов. В кн.: Речевое общение в автоматизированных системах. М. «Наука», 1975. с. 14−24.
- Маркелл Д.Д., Грей А. Х. Линейное предсказание речи. М.: Связь, 1980. -307с.
- Богданов Б.В. Восприятие коротких отрезков гласных звуков. В кн.: «Анализ речевых сигналов человеком». JL, 1971. с. 49−57.
- Дукельский Н.И. Принципы сегментации речевого потока. M.-JL, 1962. 138с.
- Жукова М.Г. Восприятие паузы между синтетическими гласными. В кн.: «Сенсорные системы. Вопросы теории и методов исследования восприятия речевых сигналов». Д., 1972, вып. 3, с. 120−121.
- И. Т. Турбович, А. П. Чижов. О распознавании речевых интонаций. В кн.: Речевое общение в автоматизированных системах. М. «Наука», 1975. с. 39−44.
- Морозов В.П. Биофизические характеристики вокальной речи M.-JL, 1977. 349с.
- Кантер. JI.A. Системный анализ речевой интонации. Учебное пособие. М. «Высшая школа», 1988.84с.
- Харуто A.B. Компьютерный анализ звука в музыковедческом исследовании. В трудах международного научного симпозиума. «Информационный подход в эмпирической эстетике». Таганрог, 1998. с. 132−141.
- Галунов В.И., Чистович JI.A. Слуховой анализ речи, полученной при использовании различных методов моделирования эмоциональных состояний.-В кн.: Речь и эмоции. Материалы симпозиума. Л., 1975. с.79−83.
- Морозов В.П. Измерение эмоциональной выразительности вокальной речи: возможности и перспективы. В кн.: Речь и эмоции. Материалы симпозиума. Л., 1976. с. 9−10.
- Симонов П.В. Теория отражения и психофизиология эмоций. М., 1970. 153с.
- Психофизические характеристики слуха. В кн. Инженерная психология. М., 1964. с.138−158.
- Манеров В.Х. Исследование речевого сигнала для определения эмоционального состояния человека. М. «Наука», 1975. 272с.
- Чистович JI.А. Изменение основной частоты голоса как различительный признак согласных Акуст. журнал., 1968. т.14, с 449−456.
- Цеплитис Л.К. Анализ речевой интонации. Рига, 1974. 132с
- Бондаренко Л. В. Чистович Л.А. Модель восприятия речи человеком, 1968. 59с.
- Котляр Г. М., Морозов В. П. Временные и динамические характеристики речи как акустические корреляты ее эмоциональной выразительности. В кн.: Речь и эмоции. Матер. Симпозиума. Л., 1975. с. 29−37.
- Чистович Л. А. Кожевников В.А. и др. Речь. Артикуляция и восприятие.-М.:Наука, 1965. 240с.
- Жинкин Н.И. Механизмы восприятия речи. М.: АПН, 1958. 270с.
- Сорокин В.Н. К теории речеобразования. В кн.: Речевое общение в автоматизированных системах.-М.:Наука, 1975. с. 103−127.
- Самсонов М.А. Спектр русской речи и его деформация под воздействием сильного звукового раздражения. В кн. Восприятие звуков сигналов в различных акустических условиях. М., 1956. с. 176−187.
- Дубровский H.A. Тумаркина Л. Н. Исследование восприятия человеком амплитудно-модулированных шумов. Акуст. журнал, 1977. т. 13, в. 1, с. 51−59.
- Штурбин В.Ф. Зависимость артикуляции русской речи от уровня интенсивности речи и шума. В кн.: Восприятие сигналов в различных акустических условиях. М., 1956, с. 148−159.
- Чистович Л.А., Кожевников В. А. Восприятие речи. В кн.: Физиология сенсорных систем. Л., 1972. ч.2, с. 427−514.
- Ржевкин С.Н. Речь. Артикуляция и восприятие. М. «Наука», 1965. 242с.
- Попов В. А. Симонов П.В. Анализ интонационной характеристики речи как показатель состояния человека в сложных условиях. Журн. высш. нервн. деят., 1976. т. 16, вып 6, с. 974−983.
- Потапова Р.К. Речь: коммуникация, информация, кибернетика. М.: Радио и связь. 1997. 528с.
- Михайлов В.Г., Златоустова JI.B. Измерение параметров речи. М.: Радио и связь, 1987. 168с.
- Маркел Д. Грей А. Линейное предсказание речи. Пер. с англ. М.: «Связь», 1980. 308с.
- Молчанов А.П. О функциональной модели механизма сегментации текущего потока сигналов. В кн.: Анализ речевых сигналов человеком. Л., 1971. с. 100−110.
- Ржевкин С.Н. Слух и речь в свете современных физических исследований. М.-Л., 1963. 311с.
- МККТТ. Требования к цифровым окончаниям. Рекомендация G.703. т. VI -выпуск VI.7. IX Пленарная Ассамблея. Мельбурн, 1988. 287с.
- Лабутин В.К. Модели механизмов слуха.М.:Мир, 1973. 274 с.
- Книппер A.B., Махонин В. А. К описанию речевых сигналов. В кн.: Речевое общение в автоматизированных системах.-М.: Наука, 1976. с.46−59.
- Шейвехман Б.Е., Глекин Г. В. Мейзеров B.C. Индивидуальные пределы разбросов величины минимальной интенсивности звуков, воспринимаемых человеком в тишине. В кн.: Восприятие сигналов в различных акустических условиях. М., 1956. с. 83−91.
- Лозовой И.А. Параметры каналов тональной частоты аппаратуры ИКМ. М.:Радио и связь. 1981. 85с.
- Харкевич A.A. Спектры и анализ. М., Л., Гостехиздат, 1952. 382с.
- Гольденберг Л. М. Матюшкин Б.Д. Поляк М. Н. «Цифровая обработка сигналов». М.: «Радио и связь», 1990. 256с.
- Оппенгейм A.B., Шафер Р. В. Цифровая обработка сигналов. Пер с англ. М.: Связь, 1979. 416с.
- Забродин Ю.М. Обнаружение и опознание человеком сложных акустических сигналов.-В кн.: Проблемы психофизики. М., 1974. с. 218−252.
- Зиндер Л.Р. Влияние темпа речи на образование отдельных звуков.-В кн.: Вопросы фонетики. Л., 1964. С 3−27.
- Бондаренко JI.В., Вербицкая Л. А. «Различаемые звуковые единицы русской речи». В кн. «Механизмы речеобразования и восприятия сложных звуков». М.-Л, 1966. с.165−179.
- Применение цифровой обработки сигналов. Фрини Д. Ф. Кайзер Х.С. Под ред. ОппенгеймаМ.: Мир, 1980. 552с.
- Назаров М. В. Прохоров Ю.Н. Методы цифровой обработки и передачи речевых сигналов. М.: Радио и связь. 1985. 176с.
- Фомин Я.А. Теория выбросов случайных процессов. М.: Связь, 1980. 216с.
- Голд Б., Рэйдер Ч. М. Цифровая обработка сигналов. Пер с англ. М.: «Сов. радио», 1973. 363с.
- И.С Гоноровский. Радио-технические цепи и сигналы. «Радио и связь», 1986. 429с.
- Применение цифровой обработки сигналов. Ред. Э. Оппенгейма. М., 1980. 545с.
- Финк Л.М. Сигналы, помехи, ошибки. М.: «Радио и связь», 1984. 255с.
- Калинцев Ю.К. Разборчивость речи в цифровых вокодерах. М. Радио и связь, 1991. 218с.
- Г. Корн, Т. Корн, Справочник по математике для научных работников и инженеров. М., 1968. 719с.
- Мартынов B.C. Распределение высот основного тона мужских и женских голосов. -Вопр. радиоэлекторники, 1972. вып. 6, сер. 11, с. 15−27.
- Обработка сигналов в системах связи. Ленингр. электротехн. ин-т связи им. Бонч-Бруевича- Л.: ЛЭИС, 1989. 182с.
- С.Н.Кринов, В. П. Савельев, Г. И. Цемель. О значимости изменений частоты основного тона для автоматического распознавания речи. Речевое общение в автоматизированных системах. М. «Наука», 1975. с.92−99.
- ХеммингР.В. Цифровые фильтры. Пер с англ. М.: «Сов. радио», 1980. 182с.
- Беллами Д. Цифровая телефония. Пер. с англ. М.: Радио и связь. 1986. 544с.
- Прохоров Ю.Н. Статистические модели и рекуррентное предсказание речевых сигналов. М.: Радио и связь, 1984. 239с.
- А.П. Вайншток, А. В. Книппер, В. А. Махонин, И. Т. Турбович. Анализ речи режекторными фильтрами. В кн.: Речевое общение в автоматизированных системах. М. «Наука», 1975. с. 60−81.
- ООО НПП «Спецстрой-Связь». Цифровая АТС «АЛМАЗ». Руководство по эксплуатации. КЮГН. 465 236.002. РЭ. Таганрог, 1999. 187с.
- ООО НПП «Спецстрой-Связь». Цифровая АТС «АЛМАЗ». Технические условия. КЮГН. 465 236.002. ТУ. Таганрог, 1999. 212с.
- Синтяковский И.В. Цифровые системы передачи в абонентских линиях. М.: Радио и связь. 1987. 214с.
- Былински П. Ингрем Д. Цифровые системы передачи речи. М.: Связь, 1980. 360с.
- Analog Devices, Inc. ADSP 2100 Family User’s Manual, 1995. 484c.
- Analog Devices, Inc. ADSP-2100 Family. EZ-Kit Lite Reference Manual, 1995. 184c.
- Analog Devices, Inc. Digital Signal Processing Applications Using the ADSP-2100 Family. Prentice Hall. Englewood Gliffs, New Jersey, 1995. 491c.
- Analog Devices, Inc. ADSP-2100 Family. Assembler Tools & Simulator Manual, 1995.218c.
- Руководство пользователя по сигнальным микропроцессорам семейства ADSP-2100. Ред. А. Д. Викторова. С-П., 1997. 510с.
- Intel Corporation. 80С186ЕХ/80С188ЕХ. Microprocessor User’s Manual. 1995. 344c.
- Intel Corporation. Embedded Microprocessors. Intel386 Processors Family. 1995. 984c.
- Motorolla, Inc. Digital Signal Processors. DSP56000 Family. User’s Manual. 1994. 214 c.
- Чернухин Ю.В. Нейропроцессоры. Таганрог. ТРТУ, 1994. 175с.
- Чернухин Ю.В. Искусственный интеллект и нейрокомпьютеры. Таганрог: ТРТУ, 1997. 269с.
- Горелик, А. Л. Современное состояние проблемы распознавания. Некоторые аспекты. М.:Радио и связь 1985. 160с.
- Вемян А.В. Передача речи по сетям электросвязи. М.: Радио и связь 1985. 232с.
- Федоренко О.Г. Компрессия речевых сигналов при передаче аудиоинформации по каналам вычислительных сетей. Тезисы доклада в сб. тр. 43-ей НТК профессорско-преподавательского состава ТРТУ. Таганрог. 1998. с. 85.
- Галушкин А.И. Распознавание сигналов на перцептронах. М.: Энергия, 1974.97с.
- Параметрическая и структурная адаптация решающих правил в задачах распознавания. М.: Радио и связь. 1988. 170с.
- Уинстон П. Искусственный интеллект. М.: Мир, 1980. 519с.
- Горелик, А. Л. Скрипкин В.А. Некоторые вопросы систем распознавания. М.: «Сов.радио», 1974. 118с.
- Галушкин А.И. Синтез многослойных систем распознавания образов. М., Энергия, 1974. 367с.
- Уоссерман Ф. Нейрокомпьютерная техника. Теория и практика. М.: Мир, 1992. 240с.
- Чернухин Ю. В. Федоренко О.Г. Вопросы первичной обработки сигналов в нейросетевых системах анализа речи. Тезисы доклада в сб. тр. Всероссийской конференции студентов и аспирантов. Таганрог, 1999.
- Алюшин М.В. Быстродействующая нейросеть со сжатой формой представления данных. Ст. в журн. «Приборы и системы управления», № 9, 1999. с 37−39.
- Алюшин М.В. Быстродействующая обучаемая нейросеть со сжатой формой представления данных. Научн. сессия МИФИ 98. Сб. научн. тр. В 11ч. Ч. 5: Электроника. М.: МИФИ, 1998.
- Алюшин М. В. Павленко А.Н. Смирнов Н. С. Базовые аппаратные модули и программные средства для обработки речевого сигнала. Ст. в журн. «Приборы и системы управления», № 9, 1999. с 16−19.
- Васильев, В. И, Проблема обучению распознаванию образов. Принципы, алгоритмы, реализация. Киев. Выща шк. 1989. 61с.
- Федоренко О.Г. О принципах разработки программных инструментальных средств компьютерного анализа речевых сигналов. Тезисы доклада в сб. тр. 37-ой Международной научной конференции студентов и аспирантов. Таганрог. ТРТУ. 1999 с. 67−68.
- Чернухин Ю. В. Федоренко О.Г. Об одном алгоритме оценивания периода основного тона речевых колебаний. Тезисы доклада в сб. тр. 6-ой Всероссийской межвузовской НТК студентов и аспирантов «Микроэлектроника и информатика 99». Москва, МИЭТ. 1999. с. 153.