2.3. Непрерывные цепи Маркова
В экономике часто встречаются ситуации, которые указать заранее невозможно.
Например, любая деталь или агрегат автомобиля могут выйти из строя в любой, непредсказуемый заранее момент времени. Для описания таких систем в отдельных случаях можно использовать математический аппарат непрерывной цепи Маркова.Пусть система характеризуется п состояниями 50, Sx, S2, Sm а переход из состояния в состояние может осуществляться в любой момент времени. Обозначим через Pt{t) вероятность того, что в момент времени t система S будет находиться в состоянии St (/ = 0,1, ..., п). Требуется определить для любого t вероятности состояний Л)(О, P\(t), Pn(t). Очевидно, что
/=о
Для процесса с непрерывным временем вместо переходных вероятностей Ру рассматриваются плотности вероятностей перехода ХуУ представляющие собой предел отношения вероятности перехода системы за время At из состояния Sj в состояние Sj к длине промежутка At:
Kit; At)
—, (2.7)
Af->0 At
где Pyit; At) — вероятность того, что система, пребывавшая в момент t в состоянии Sh за время At перейдет из него в состояние Sj (при этом всегда / ф J).
Если Ху = const, то процесс называется однородным, если плотность вероятности зависит от времени Ху = Xjft), то - неоднородным.
При рассмотрении непрерывных марковских процессов приня-то представлять переходы системы S из состояния в состояние как происходящие под влиянием некоторых потоков событий . Потоком событий называется последовательность однородных событий, следующих одно за другим через какие-то, вообще говоря, случайные интервалы времени. Плотность вероятности перехода интерпретируется как интенсивность Ху соответствующих потоков событий.
Если все эти потоки пуассоновские, то процесс, протекающий в системе S, будет марковским.При изучении марковских случайных процессов с дискретными состояниями и непрерывным временем в графе состояний над стрелками, ведущими из состояния Si в Sjy проставляют соответствующие интенсивности Ху. Такой граф состояний называют размеченным.
Пусть система S имеет конечное число состояний <5*0, Sb ..., Sn. Случайный процесс, протекающий в этой системе, описывается вероятностями СОСТОЯНИЙ /О(0> Л(0> ••• Рп(0, ГДЄ Pi(t) — вероятность того, что система S в момент t находится в состоянии St. Для любого t
Ї /}(/) = 1.
/=0
Вероятности СОСТОЯНИЙ Pi(t) находят путем решения системы дифференциальных уравнений (уравнений Колмогорова), имеющих вид
аг j~\
где і = 0,1, п.
Величина XjjPi(i) называется потоком вероятности перехода из состояния Si в Sp причем интенсивность потоков Ху может зависеть от времени или быть постоянной.
Уравнения (2.8) составляют по размеченному графу состояний системы, пользуясь следующим мнемоническим правилом:
производная вероятности каждого состояния равна сумме всех потоков вероятности, идущих из других состояний в данное состояние, минус сумма всех потоков вероятности, идущих из данного состояния в другие.
Чтобы решить систему дифференциальных уравнений (2.8), нужно задать начальное распределение вероятностей / о(0)> Л(0)> •••> Р((0), ..., Рп(0). Для решения применяют численные методы.