Модели марковских процессов

Определение марковских процессов. Наибольшее распространение в теории систем, как вероятностная схема описания, получили марковские процессы, представляющие собой типичную вероятностную модель «без последействия» .

Представим себе систему, которая может находиться в разных состояниях. Возможные состояния образуют множество Х, называемое фазовым пространством. Пусть система эволюционирует во времени. Состояние системы в момент времени t обозначим через хt. Если хtB, где BХ, то будем говорить, что система в момент времени t находится во множестве B.

Предположим, что эволюция системы носит стохастический характер, т. е. состояние системы в момент времени t не определяется однозначно через состояние системы в моменты времени s, предшествующие t, где s.

Пусть Р (s, х, t, B) — вероятность события хtB (s.

Обозначим через Р (s, х, u, y, t, B) условную вероятность события хtB при гипотезах хs=х, хu=y (s.

.(3.1)

Для системы без последствия естественно предположить, что Р (s, х, u, y, t, B)=Р (u, y, t, B).

Тогда равенство (3.1) примет вид

.(3.2)

Соотношение (3.2) называется уравнением КолмогороваЧепмена. Это уравнение определяет модель марковского процесса.

Пусть {Х, B}-некоторое измеримое пространство. Функцию Р (х, B), хХ, BB, удовлетворяющую условиям:

• а) Р (х, B) при фиксированном х является мерой на B и Р (х, Х)=1;
• б) при фиксированном B Р (х, B) является B — измеримой функцией от х будем называть стохастическим ядром.

Пусть I — некоторый конечный или бесконечный полуинтервал (отрезок).

Семейство стохастических ядер {Рst (х, B)=Р (s, х, t, B), s

Определение. Моделью марковского процесса в широком смысле называется совокупность следующих объектов:

• — измеримое пространство {х, B};
• — полуинтервал I (отрезок) действительной оси;
• — марковское семейство стохастических ядер {Рst (х, B), s

Семейство ядер Рst (х, B)=Р (s, х, t, B) называют вероятностью перехода марковского процесса, пространство {х, B} - фазовым пространством системы, точка множества I интерпретируется как моменты времени, а величина Рst (х, B)=Р (s, х, t, B) — как условная вероятность того, что система в момент времени t окажется во множестве B, если в момент времени s она находилась в точке х фазового пространства (s

Классификация марковского процесса. Дискретные случайные процессы, обладающие марковскими свойствами, называются цепями Маркова. В фазовом пространстве простейшими марковскими процессами являются процессы со счетным или конечным числом состояний. В фазовых пространствах выделяются следующие классы марковского процесса.

Скачкообразные процессы. Система, попадая в некоторую точку фазового пространства, проводит в ней случайный положительный отрезок времени, после чего скачком случайно попадает в другую точку фазового пространства.

Процессы с дискретным вмешательством случая. Эти процессы моделируют динамическую систему, траектории которой в случайные моменты времени терпят разрывы первого рода со случайными скачками.

Диффузионные процессы. Так называют процессы в конечномерных линейных пространствах, которые на малых промежутках времени ведут себя аналогично процессу броуновского движения.

Марковские процессы в конечномерном пространстве, аппроксимируемые на малых промежутках времени произвольным процессом с независимыми приращениям.