<<
>>

2.3. Непрерывные цепи Маркова

Марковский случайный процесс с дискретными состояниями и непрерывным временем называется непрерывной цепью Маркова при условии, что переход системы из состояния в состояние происходит не в фиксированные, а в случайные моменты времени.

В экономике часто встречаются ситуации, которые указать заранее невозможно.

Например, любая деталь или агрегат автомобиля могут выйти из строя в любой, непредсказуемый заранее момент времени. Для описания таких систем в отдельных случаях можно использовать математический аппарат непрерывной цепи Маркова.

Пусть система характеризуется п состояниями 50, Sx, S2, Sm а переход из состояния в состояние может осуществляться в любой момент времени. Обозначим через Pt{t) вероятность того, что в момент времени t система S будет находиться в состоянии St (/ = 0,1, ..., п). Требуется определить для любого t вероятности состояний Л)(О, P\(t), Pn(t). Очевидно, что

/=о

Для процесса с непрерывным временем вместо переходных вероятностей Ру рассматриваются плотности вероятностей перехода ХуУ представляющие собой предел отношения вероятности перехода системы за время At из состояния Sj в состояние Sj к длине промежутка At:

Kit; At)

—, (2.7)

Af->0 At

где Pyit; At) — вероятность того, что система, пребывавшая в момент t в состоянии Sh за время At перейдет из него в состояние Sj (при этом всегда / ф J).

Если Ху = const, то процесс называется однородным, если плотность вероятности зависит от времени Ху = Xjft), то - неоднородным.

При рассмотрении непрерывных марковских процессов приня-то представлять переходы системы S из состояния в состояние как происходящие под влиянием некоторых потоков событий . Потоком событий называется последовательность однородных событий, следующих одно за другим через какие-то, вообще говоря, случайные интервалы времени. Плотность вероятности перехода интерпретируется как интенсивность Ху соответствующих потоков событий.

Если все эти потоки пуассоновские, то процесс, протекающий в системе S, будет марковским.

При изучении марковских случайных процессов с дискретными состояниями и непрерывным временем в графе состояний над стрелками, ведущими из состояния Si в Sjy проставляют соответствующие интенсивности Ху. Такой граф состояний называют размеченным.

Пусть система S имеет конечное число состояний <5*0, Sb ..., Sn. Случайный процесс, протекающий в этой системе, описывается вероятностями СОСТОЯНИЙ /О(0> Л(0> ••• Рп(0, ГДЄ Pi(t) — вероятность того, что система S в момент t находится в состоянии St. Для любого t

Ї /}(/) = 1.

/=0

Вероятности СОСТОЯНИЙ Pi(t) находят путем решения системы дифференциальных уравнений (уравнений Колмогорова), имеющих вид

аг j~\

где і = 0,1, п.

Величина XjjPi(i) называется потоком вероятности перехода из состояния Si в Sp причем интенсивность потоков Ху может зависеть от времени или быть постоянной.

Уравнения (2.8) составляют по размеченному графу состояний системы, пользуясь следующим мнемоническим правилом:

производная вероятности каждого состояния равна сумме всех потоков вероятности, идущих из других состояний в данное состояние, минус сумма всех потоков вероятности, идущих из данного состояния в другие.

Чтобы решить систему дифференциальных уравнений (2.8), нужно задать начальное распределение вероятностей / о(0)> Л(0)> •••> Р((0), ..., Рп(0). Для решения применяют численные методы.

<< | >>
Источник: Бережная Е.В., Бережной В.И.. Математические методы моделирования экономических систем: Учеб. пособие. — 2-е изд., перераб. и доп. — М.: Финансы и статистика,2006. - 432 е.. 2006

Еще по теме 2.3. Непрерывные цепи Маркова: