Модели марковских процессов
Представим себе систему, которая может находиться в разных состояниях. Возможные состояния образуют множество Х, называемое фазовым пространством. Пусть система эволюционирует во времени. Состояние системы в момент времени t обозначим через хt. Если хtB, где BХ, то будем говорить, что система в момент времени t находится во множестве B. Классификация марковского процесса. Дискретные случайные… Читать ещё >
Модели марковских процессов (реферат, курсовая, диплом, контрольная)
Определение марковских процессов. Наибольшее распространение в теории систем, как вероятностная схема описания, получили марковские процессы, представляющие собой типичную вероятностную модель «без последействия» .
Представим себе систему, которая может находиться в разных состояниях. Возможные состояния образуют множество Х, называемое фазовым пространством. Пусть система эволюционирует во времени. Состояние системы в момент времени t обозначим через хt. Если хtB, где BХ, то будем говорить, что система в момент времени t находится во множестве B.
Предположим, что эволюция системы носит стохастический характер, т. е. состояние системы в момент времени t не определяется однозначно через состояние системы в моменты времени s, предшествующие t, где s.
Пусть Р (s, х, t, B) — вероятность события хtB (s.
Обозначим через Р (s, х, u, y, t, B) условную вероятность события хtB при гипотезах хs=х, хu=y (s.
.(3.1)
Для системы без последствия естественно предположить, что Р (s, х, u, y, t, B)=Р (u, y, t, B).
Тогда равенство (3.1) примет вид
.(3.2)
Соотношение (3.2) называется уравнением КолмогороваЧепмена. Это уравнение определяет модель марковского процесса.
Пусть {Х, B}-некоторое измеримое пространство. Функцию Р (х, B), хХ, BB, удовлетворяющую условиям:
- а) Р (х, B) при фиксированном х является мерой на B и Р (х, Х)=1;
- б) при фиксированном B Р (х, B) является B — измеримой функцией от х будем называть стохастическим ядром.
Пусть I — некоторый конечный или бесконечный полуинтервал (отрезок).
Семейство стохастических ядер {Рst (х, B)=Р (s, х, t, B), s
Определение. Моделью марковского процесса в широком смысле называется совокупность следующих объектов:
- — измеримое пространство {х, B};
- — полуинтервал I (отрезок) действительной оси;
- — марковское семейство стохастических ядер {Рst (х, B), s
Семейство ядер Рst (х, B)=Р (s, х, t, B) называют вероятностью перехода марковского процесса, пространство {х, B} - фазовым пространством системы, точка множества I интерпретируется как моменты времени, а величина Рst (х, B)=Р (s, х, t, B) — как условная вероятность того, что система в момент времени t окажется во множестве B, если в момент времени s она находилась в точке х фазового пространства (s
Классификация марковского процесса. Дискретные случайные процессы, обладающие марковскими свойствами, называются цепями Маркова. В фазовом пространстве простейшими марковскими процессами являются процессы со счетным или конечным числом состояний. В фазовых пространствах выделяются следующие классы марковского процесса.
Скачкообразные процессы. Система, попадая в некоторую точку фазового пространства, проводит в ней случайный положительный отрезок времени, после чего скачком случайно попадает в другую точку фазового пространства.
Процессы с дискретным вмешательством случая. Эти процессы моделируют динамическую систему, траектории которой в случайные моменты времени терпят разрывы первого рода со случайными скачками.
Диффузионные процессы. Так называют процессы в конечномерных линейных пространствах, которые на малых промежутках времени ведут себя аналогично процессу броуновского движения.
Марковские процессы в конечномерном пространстве, аппроксимируемые на малых промежутках времени произвольным процессом с независимыми приращениям.