Помощь в учёбе, очень быстро...
Работаем вместе до победы

Методы и программные средства обучения алгоритмов распознавания участков фазовых траекторий

Диссертация: Методы и программные средства обучения алгоритмов распознавания участков фазовых траекторий
ДиссертацияПомощь в написанииУзнать стоимостьмоей работы

Для решения задачи обучения по заданной выборке существует множество методов. Наиболее известные и широко применяемые из них исследованы в главе 2 данной работы, среди них: алгоритмы распознавания на основе искусственных нейронных сетей, алгоритмы на основе Dynamic Time Warping (DTW), алгоритм «Гусеница» — Singular Spectrum Analysis (SSA) и др. Проведенное исследование показало, что большинство… Читать ещё >

Содержание

  • 1. Цели и задачи работы
  • 2. Методы исследования
  • 3. Актуальность работы
  • 4. Структура работы
  • Глава 1. Задача распознавания поведения системы
    • 1. 1. Исследуемая система
    • 1. 2. Задача распознавания поведения системы
    • 1. 3. Ограничения на исходные данные
    • 1. 4. Задача обучения алгоритма распознавания
    • 1. 5. Выводы
  • Глава 2. Обзор существующих методов решения задачи распознавания нештатного поведения системы
    • 2. 1. Критерии сравнения алгоритмов и методика численного исследования
    • 2. 2. Алгоритм распознавания на основе нечеткого сопоставления строк
    • 2. 3. Алгоритм на основе
    • 2. 4. Алгоритм на основе искусственных нейронных сетей
    • 2. 5. Алгоритм на основе преобразований Фурье
    • 2. 6. Алгоритм на основе вейвлет-преобразований
    • 2. 7. Алгоритм на основе метода Тусеница'-ЗБА
    • 2. 8. Алгоритм на основе идей алгебраического подхода
    • 2. 9. Выводы
  • Глава 3. Параметрическое семейство алгоритмов распознавания и условия его обучаемости
    • 3. 1. Параметрическое семейство алгоритмов распознавания
    • 3. 2. Условие обучаемости параметрического семейства решений
  • Глава 4. Метод обучения алгоритмов распознавания нештатного поведения систем
    • 4. 1. Общая схема метода обучения
    • 4. 2. Генетический алгоритм построения системы аксиом по обучающей выборке с маркировкой участков нештатного поведения
    • 4. 3. Алгоритм построения системы аксиом по обучающей выборке с маркировкой точек аварии
  • Глава 5. Инструментальная система
    • 5. 1. Требования к системе построения алгоритмов распознавания
    • 5. 2. Архитектура разработанного средства
    • 5. 3. Исследование эффективности предложенной схемы распараллеливания алгоритма обучения
    • 5. 4. Выводы
  • Глава 6. Исследование эффективности предложенных алгоритмов
    • 6. 1. Исходные данные
    • 6. 2. Исследование метода обучения алгоритмов распознавания по выборке с маркировкой участков нештатного поведения
    • 6. 3. Исследование метода обучения алгоритмов распознавания по выборке с маркировкой точек аварии
    • 6. 4. Выводы

Методы и программные средства обучения алгоритмов распознавания участков фазовых траекторий (реферат, курсовая, диплом, контрольная)

Вданнойработе рассматривается задача разработки методов и программных средств-, обучения алгоритмов, распознавания нештатного поведения системинформация, о которых доступна ввиде фазовых траекторий! Рассмотрим систему, информация* о состоянии которой получается с некоторого фиксированного набора датчиков. Время рассматривается дискретное, то есть датчики опрашиваются: с некоторойфиксированной частотой.- Состояние системы характеризуется точкой в многомерном пространстве показаний, датчиков. Пусть, определены три класса состояний: штатное состояние, нештатное и аварийное состояние. Подштатным (или нормальным) состоянием будем понимать такой режим работы системы, при котором она выполняет свои: функции. Под нештатными состоянием будем понимать такой режим работы системы, прикоторомона гарантированно черезнекоторое время, прекратит выполнять возложенные на нее функции. Под аварийным состоянием будем понимать. такой режим работы системы, при котором она* не выполняет возложенных на нее функций.

Со временем система изменяет свое состояние. Последовательные изменения состояния системы будем называть ее поведением. Поведение системы характеризуется фазовой траекторией в пространстве показаний датчиков. Нормальным поведением системы будем называть такое поведение, при котором все состояния, которые принимает система, принадлежат классу штатных состояний. Нештатным поведением системы будем называть такое, при котором все состояния, которые принимает система, принадлежат классу нештатных состояний;

Для рассматриваемой системы может существовать несколько классов нештатного поведения. Будем считать, что каждому классу нештатного поведения соответствует некоторая характерная траектория в фазовом пространстве.

Особенностью рассматриваемых систем является возможность искажений участков наблюдаемых фазовых траекторий, соответствующих нештатному поведению системы, относительно друг друга. В рамках данной работы выделяется два основных типа искажений траекторий: искажения по амплитуде и искажения по времени. Подклассом искажений по амплитуде молено считать стационарный шум, возникающий в датчиках, окружающих систему.

Число сложных систем, которые требуют контроля своего состояния и действий, растет с каждым годом. При проектировании и эксплуатации таких систем возникает задача распознавания нештатного поведения: по показаниям датчиков, окружающих систему, необходимо распознавать нештатное поведение рассматриваемой системы.

От качества решения возникающей задачи распознавания может зависеть как безопасность техники и персонала, так и экономическая эффективность эксплуатации системы. При этом алгоритм распознавания должен работать в реальном времени, а оптимальный баланс между полнотой (какой процент участков' нештатного поведения обнаружен) и точностью (какой процент ложных обнаружений) обнаружения нештатного поведения существенно зависит от наблюдаемой системы.

Рассмотрим пример: одним из нештатных состояний движущегося автомобиля можно считать такое, когда человек за рулем уснул или находится в состоянии микросна. При этом на водителе могут быть установлены датчикикоторые измеряют его электроэнцефалограмму (ЭЭГ). Показания датчиков ЭЭГ водителя могут существенно отличаться в зависимости от времени суток, от состояния его здоровья, от эмоционального состояния и др. Для данной системы возникает задача распознавания, решение которой может предотвратить аварию. Задача заключается в определении того, когда человек из нормального состояния переходит к состоянию микросна.

Для многих сложных систем не существует модели функционирования, которая позволила бы распознавать нештатное поведение системы. Например, для технических систем, требующих участия человека (в роли водителя, авиадиспетчера или оператора на рабочем месте), необходима модель функционирования головного мозга, чтобы оценить то, что человек еще только может уснуть через некоторое время. Существуют так же системы, модель функционирования которых известна, но алгоритмы распознавания на основе которой не устойчивы к шумам датчиков. В качестве примера можно привести задачу раннего обнаружения аварий на жидкостных ракетных двигателях, когда требуется в реальном времени по показаниям датчиков, отслеживающих давление, температуру и вибрации в нескольких точках камеры и трубопроводов, обнаружить появление неисправности в других точках двигателя [6]. В этом случае, для построения алгоритмов распознавания нештатного поведения системы возможно использовать обучающую выборку. Эта выборка состоит из фазовых траекторий, полученных путем моделирования работы системы или путем наблюдения за реальной системой.

Для траекторий обучающей выборки указываются участки нештатного поведения. Однако, для многих систем известными являются только моменты времени, когда система уже находится в аварийном состоянии, а границы предшествующих участков нештатного поведения определить не удается.

Таким образом, возможно два способа задания обучающей' выборки. В первом случае, для каждой фазовой траектории в обучающей выборке указаны границы входящих в нее участков нештатного поведения. Во втором случае задания обучающей выборки для траекторий известны только отсчеты наступления аварийных состояний. Для заданной обучающей выборки возникает задача обучения: необходимо по обучающей выборке построить алгоритм распознавания, который будет решать задачу распознавания нештатного поведения рассматриваемой системы.

Для решения задачи обучения по заданной выборке существует множество методов. Наиболее известные и широко применяемые из них исследованы в главе 2 данной работы, среди них: алгоритмы распознавания на основе искусственных нейронных сетей [18, 21], алгоритмы на основе Dynamic Time Warping (DTW) [40, 41], алгоритм «Гусеница» — Singular Spectrum Analysis (SSA) [10, 11] и др. Проведенное исследование показало, что большинство методов, применяемых для задач выявления нештатного поведения сложных систем, слабо справляются либо с нелинейными искажениями фазовой траектории по времени, либо с искажениями по амплитуде или наложением шума. Наилучшие результаты показали алгоритмы распознавания на основе идей алгебраического подхода [22].

Для решения задачи обучения алгоритмов распознавания было разработано параметрическое семейство алгоритмов распознавания, основанное на идеях алгебраического подхода к разметке плоских конфигураций [22]. Идея этого подхода состоит в следующем. Пусть для каждого из классов нештатного поведения системы известны фазовые траектории, характерные для данного класса поведения. При помощи некоторого набора условий на значения точек фазовой траектории производится разметка анализируемой фазовой траектории: каждому отсчету траектории ставится в соответствие то условие, которое выполняются на данном отсчете. Таким образом, формируется разметка анализируемой траектории условиями из заданного набора. При помощи того же набора условий размечаются заданные траектории, характерные различным классам нештатного поведения системы. Поиск участков нештатного поведения в анализируемой фазовой траектории осуществляется путем поиска разметок траекторий, соответствующих различным классам нештатного поведения, в разметке анализируемой траектории.

Используемые условия на значения точек траектории будем называть аксиомами, а используемый набор условий — системой аксиом. Каждый алгоритм из разработанного параметрического семейства1 состоит из трех основных частей: алгоритм предобработки фазовых траекторий, алгоритм разметки траекторий и система аксиом, алгоритм поиска разметок. Использование алгоритмов нечеткого поиска разметок позволяет бороться с искажениями участков нештатного поведения по времени. Алгоритм предобработки включен в состав, алгоритма распознавания с целью уменьшения или удаления шумовых составляющих в наблюдаемой фазовой траектории.

Задача обучения в рамках разработанного параметрического семейства алгоритмов распознавания сформулирована в виде задачи обучения по прецедентам и заключается в следующем. По обучающей выборке необходимо найти такой алгоритм распознавания, который будет:

• выдавать минимальное число ошибок распознавания на обучающей выборке;

• выдавать минимальное число ошибок распознавания для любой фазовой траектории системы, не входящей в обучающую выборку;

• обладать вычислительной сложностью, удовлетворяющей требованиям задачи распознавания нештатного поведения системы в режиме реального времени.

Для решения задачи обучения в случае, когда для обучающей выборки известны границы участков нештатного поведения, был разработан алгоритм обучения на основе генетического алгоритма. Особью в популяции этого алгоритма является система аксиом. Основной особенностью разработанного алгоритма является автоматическое определение параметров мутации и скрещивания для каждой из особей на основе анализа популяции. Это позволяет избежать ручного подбора параметров операций мутации и скрещивания, и позволяет улучшить сходимость генетического алгоритма по сравнению со случаем, когда параметры операций не изменяются.

Для случая, когда обучающая выборка задана с указанием отсчетов аварийного состояния системы, был разработан алгоритм обучения, основанный на ограниченном переборе. Основным преимуществом данного алгоритма является возможность формировать по обучающей выборке разметки траекторий, характерных различным классам нештатного поведения. Это позволяет расширить круг рассматриваемых систем за счет таких систем, для которых невозможно определить границы участков нештатного поведения при формировании обучающей выборки.

1. Цели и задачи работы.

Целью данной работы является разработка, методов и программных средств обучения алгоритмов распознавания нештатного поведения систем по обучающей выборке, которые обладают высокой устойчивостью к искажениям фазовых траекторий системы, а также определение условий, при которых возможно применение разработанных методов.

Для достижения указанной цели необходимо решить следующие задачи:

• Разработать параметрическое семейство алгоритмов распознавания нештатного поведения систем, поведение которых описывается фазовыми траекториями, и получить условия его обучаемости.

• Для предложенного семейства разработать алгоритмы обучения и разработать алгоритм их распараллеливания для кластерных многоядерных вычислительных систем.

• На основе предложенных алгоритмов разработать программные средства обучения алгоритмов распознавания и средства исследования устойчивости алгоритмов к искажениям траекторий по амплитуде и времени.

• Провести исследования предложенного метода и существующих методов на модельных данных с целью определения их устойчивости к искажениям фазовых траекторий системы и провести апробацию разработанных средств для решения практических задач.

Основные результаты диссертационной работы заключаются в следующем:

Предложено и исследовано ориентированное на параллельную реализацию параметрическое семейство алгоритмов распознавания нештатных режимов работы систем, поведение которых описывается фазовыми траекториями. Алгоритмы из данного семейства обладают высокой устойчивостью к искажениям фазовых траекторий нештатных режимов работы по сравнению с известными алгоритмами.

Для предложенного семейства разработаны оригинальные алгоритмы обучения и алгоритмы их распараллеливания для кластерных многоядерных вычислительных систем.

На основе предложенных алгоритмов разработаны инструментальные средства автоматического построения и исследования свойств алгоритмов распознавания. Разработанные средства прошли апробацию при решении практических задач.

Заключение

.

Показать весь текст

Список литературы

  1. С. А., Енюков И. С., Мешалкин JT. Д. Прикладная статистика. М.: Финансы и статистика. 1989.
  2. Н. С., ЖидковЕ. П., Кобельков Г. М. Численные методы. 4-е издание. СПб.: ФизМатЛит, Невский диалект, 2003.
  3. И. С., Жидков Н. П. Методы вычислений. М.: ФизМатЛит, 1962.
  4. Р. Теория и практика кодов, контролирующих ошибки. М.: Мир, 1986.
  5. А. П., Кудрявцев В. М., Кузнецов В. А. Основы теории и расчета жидкостных ракетных двигателей. М.: Высшая школа, 1983.
  6. В. И., Грибунин В. Г. Теория и практика вейвлет-преобразования. СПб.: Типография ВУС, 1999.
  7. К. В. Комбинаторный подход к оценке качества обучаемых алгоритмов. // Математические вопросы кибернетики. № 13, 2004. С.5−36.
  8. Н. И., Кочетов Ю. А., Плясунов А. В. Методы оптимизации. Изд.: НГУ, 2000.
  9. Н. Э., Некруткин В. В., Степанов Д. В. Варианты метода «Гусеницах-SSA для анализа многомерных временных рядов. // Труды II Международной конференции «Идентификация систем и задачи управления» SICPRO'03. Москва, 2003, С. 2139−2168.
  10. Д. Л., Жиглявский А. А. Главные компоненты временных рядов: метод «Гусеница». СПб.: Санкт-Петербургский университет, 1997.
  11. Е. А. Операции мутации и скрещивания для генетического алгоритма построения систем аксиом. // Вестник Московского университета: Вычислительная математика и кибернетика, номер 2, 2007. Изд.: МГУ. С. 29−35.
  12. Д. С., Костенко В. А., Васин Е. А. Исследование применимости алгебраического подхода к анализу временных рядов. // Труды II Всероссийской научной конференции «Методы и средства обработки информации». Изд.: ВМиК МГУ, 2005. С. 553−559.
  13. Д. С., Костенко В. А. Метод построения алгоритмов распознавания, основанных на идеях аксиоматического подхода. // Труды XI Всероссийской конференции «Нейроинформатика-2009». Изд: МИФИ, 2009. С. 141−149.
  14. Д. С. Методы нечеткого сравнения и голосования- для построения распознавателей нештатного поведения динамических систем. // Труды V Международной конференции «ORM-2007». Изд: МАКС Пресс, 2007. С.123−125.
  15. Д. С. Метод автоматического построения алгоритмов распознавания участков фазовых траекторий. // «Моделирование и анализ информационных систем», Т. 16, JVM, 2009. Изд.: ЯрГУ. С. 6−21.
  16. Козлов П. В, Чен Б. Б. Вейвлет-преобразование и анализ временных рядов. // Вестник КРСУ, № 2, 2002.
  17. .В., Микаэлян A.JI. О распознающей способности нейросети на нейронах с параметрическим преобразованием частот. // Доклады АН, сер. мат. физика, т. 383, № 3, с.318−321, 2002.
  18. И. И., Филатов А. В., ЯньковС. Г. Кластеры на многоядерных процессорах. // М.: Издательский дом МЭИ, 2008.
  19. К. В., ЧеховичЮ.В. О проблеме синтеза обучающих алгоритмов выделения трендов (алгебраический подход). // Прикладная математика и информатика N 8, М.: Издательство факультета ВМиК МГУ, 2001. С. 97−114.
  20. Ф. Нейрокомпыотерная техника. Теория и практика. М.: Мир, 1992.
  21. К., Рэлстон Э., Уилф Г. Статистические методы для ЭВМ. М: Наука, 1986.
  22. В. A., Stamatescu I. О. Neural networks and confidence limit estimates. // Lecture Notes in Physics, volume 508/1998. Springer Berlin / Heidelberg, 1998. P. 173−191.
  23. Berndt D. J., Clifford J. Using dynamic time warping to find patterns in time series. // Workshop on Knowledge Discovery in Databases. USA: AAAI Press, 1994. P. 229−248.
  24. Bouchner P. Driver’s Micro-sleeps Detection Using Virtual Simulation. // Neural Network World, vol. 14, No. 1, 2004, Czech Republic. P. 3−15.
  25. Buschmann F., Meunier R., Rohnert H., Sommerlad P., Stal M. A System of Patterns: Pattern-Oriented Software Architecture. ISBN:0−471−95 869−7. John Wiley and Sons, West Sussex, England. 1996.
  26. Das G., Gunopulos D., Mannila H. Finding Similar Time Series. // Proceedings of the Fourth International Conference on Knowledge Discovery and Data Mining. USA: AAAI' Press, 1996. P. 88−100.
  27. Goldberg D. E. Genetic Algorithms in Search, Optimization and Machine Learning. Addison-Wesley Longman Publishing Co., Inc., Boston, MA, USA, 1989.
  28. Graham A. S. String searching algorithms. // World Scientific Publishing Company, UK, 1994.
  29. Graves A., Bunke H., Fernandez S., Liwicki M., Schmidhuber J. Unconstrained online handwriting recognition with recurrent neural networks. // Advances in Neural Information Processing Systems 20, MIT Press, 2007.
  30. Hamming R. Coding and information theory. Prentice Hall, USA, 1982.
  31. Heitmann A., GuttkuhnR., AguirreA., Trutschel U., Moore-Ede M. Technologies for the monitoring and prevention of driver fatigue. // Proceedings of the First International
  32. Driving Symposium on Human Factors in Driving, Assessment, Training and Vehicle Design, 2001. P. 81−86.
  33. KeoghE. J., Michael J. Pazzani Derivative Dynamic Time Warping. // First SIAM International Conference on Data Mining (SDM'2001), Chicago, USA. 2001.
  34. Keogh E. J., Smyth P. A probabilistic approach to fast pattern matching in time series databases. // Proceedings of the 3rd Conference on Knowledge Discovery in Database and Data Mining, 1997. P. 52−57.
  35. Keogh E. J. Exact indexing of dynamic time warping. // Proceedings of Very Large Data Bases Conference, 2002. P. 406−417.
  36. Keogh E. J., Pazzani M. J. Scaling up dynamic time warping to massive datasets. // 3rd European Conference on Principles and Practice of Knowledge Discovery in Databases, Springer, 1999. P. 1−11.
  37. Kohavi R. A study of cross-validation and bootstrap for accuracy estimation and model selection. // IJCAI, 1995. P. 1137−1145.
  38. Lauer F., Suen C. Y., Bloch G. A trainable feature extractor for handwritten digit recognition. // Pattern Recognition Journal, Elsevier, vol. 40, num. 6, 2007. P. 1816−1824.
  39. Meuer H. W. The TOP500 Project: Looking Back over 15 Years of Supercomputing Experience. // University of Mannheim and Prometeus GmbH, Germany, 2008. PDF] http: //www.topbOO oi g/files/TO P500LookingbackHWM. pdf
  40. Marr D. T. Hyper-Threading Technology Architecture and Microarchitecture. // Intel Technology Journal, Vol. 6, Issue 01, February, USA. 2002. P. 4−15.
  41. Moore-Ede M.C., Trutschel U.E., Guttkuhn R., Heitmann A.M. Method of and apparatus for evaluation and mitigation of microsleep events. // Patent: 6 070 098, issued January 28, 2003.
  42. Mitchell Tom M. Machine Learning. ISBN 70 428 077. McGraw-Hill, USA. 1997.
  43. Miiller M. Information Retrieval for Music and Motion. ISBN 3 540 740 473. Springer-Verlag New York, Inc., USA. 2007.
  44. Official OpenMP API specification for parallel programming. // PDF] http: //www.openmp.org/mp-documents/spec30.pdf
  45. QuinnM.J. Parallel Programming in C with MPI and OpenMP. ISBN 72 822 562. Oregon State University, 2003.
  46. Plamondon R., Srihari S. N. Online and off-line handwriting recognition: a comprehensive survey. // Pattern Analysis and Machine Intelligence Journal, Vol. 22, Issue 1, Ecole Polytech., Montreal, Canada, 2000. P. 63 84.
  47. Peters R. D., Kloeppel E., Alicandri E., Fox J. E., Thomas M. L., Thorne D. R., Sing H. C., Balwinski S. M. Effects of Partial and Total Sleep Deprivation On Driving Performance. // Public Roads, Vol. 62 Issue 4, 1999.
  48. Schiffmann W., Joost M., Werner R. Optimization of the backpropagation algorithm for training multilayer perceptrons. // Tech. Rep. 15, University of Koblenz, Institute of Physics, Germany, 1994.
  49. Svoboda P. Alternative Methods of EEG Signal Analysis. // Neural Network World, Vol.12, No.3, 2002, Czech Republic. P. 255−260.
  50. The Message Passing Interface (MPI) standard. // HTML] http: /?www-unix.mcs.anl.gov/mpi/index.htm
  51. Vapnik V. Statistical Learning Theory. ISBN: 471 030 031. Wiley-Interscience, USA, 1998.
  52. Xinyu Guo, Xun Liang, Xiang Li A Stock Pattern Recognition Algorithm Based on Neural Networks. // Third International Conference on Natural Computation (ICNC 2007), vol. 2, 2007. P. 518−522.
  53. Yi B., Jagadish H., Faloustos C. Efficient retrieval of similar time sequences under time warping. // Proceedings of International Conference on Data Engineering, 1998. P. 23−27.
Заполнить форму текущей работой

Пора сдавать?