Необходимые и достаточные условия существования финальных вероятностей

Состояние Sj называется существенным, если нет другого состояния Sp т.

Все состояния, не обладающие таким свойством, называются несущественными.

Рассмотрим пример, представленный на рис. 2.5.

Состояния Si, S2 и S5 — несущественные, так как из S{ можно уйти, например, в состояние S2 и не вернуться, а из состояния S2 — в состояние или и не вернуться, аналогично из состояния S5 - в состояние и S-j. Состояния S4, S6 и S7 — существенные состояния.

Теорема. При конечном числе состояний для существования финальных вероятностей необходимо и достаточно, чтобы из каждого существенного состояния можно было (за какое-то число шагов) перейти в каждое другое существенное состояние. Граф из примера рис. 2.5 этому условию не удовлетворяет, так как из существенного состояния нельзя перейти в существенное состояние S-j. Если система S имеет конечное число состояний S{, S2, ..., Sn, то для существования финальных вероятностей достаточ-но, чтобы из любого состояния системы можно было (за какое-то число шагов) перейти в любое другое состояние.

Если число состояний S{, S2, ..., Sn бесконечно, то это условие перестает быть достаточным, и существование финальных вероятностей зависит не только от графа состояний, но и от интенсивности Xij.

При исследовании непрерывных марковских цепей, как было уже отмечено, часто бывает удобно представить переход системы из состояния в состояние как воздействие каких-то потоков событий (поток заявок на обслуживание, поток автомобилей, поток документов и т. п.). Различают следующие основные свойства, которыми могут обладать случайные потоки событий:

стационарность;

ординарность;

отсутствие последействия.

Свойство стационарности проявляется в том, что вероятность попадания того или иного числа событий на участок времени т зависит только от длины участка и не зависит от расположения на оси О1.

Свойство ординарности потока присутствует, если вероятность попадания на элементарный участок времени двух и более событий пренебрежимо мала по сравнению с длиной этого участка. Свойство ординарности означает, что за малый промежуток времени практически невозможно появление более одного события. Поток, об-ладающий свойством ординарности, называют ординарным. Реальные потоки событий в различных экономических системах либо являются ординарными, либо могут быть достаточно просто приведены к ординарным.

Отсутствие последействия — это свойство потока, которое состоит в том, что для любых непересекающихся участков времени количество событий, попадающих на один из них, не зависит от того, сколько событий попало на другие участки времени. Поток, обладающий свойством отсутствия последействия, называют потоком без последействия. Поток событий, одновременно обладающий свойствами стационарности, ординарности и отсутствия последействия, называется простейшим потоком событий.

Под интенсивностью потока понимают

(2.11)

т—>0 Т

где /я(/, / + т) - среднее число событий в (г, t + т).

Для простейшего потока интенсивность X = const. Если поток событий не имеет последействия, ординарен, но не стационарен, то его называют нестационарным пуассоновским потоком, а его интенсивность зависит от времени, т. е. X = X (t).

В пуассоновском потоке событий (стационарном и нестацио-нарном) число событий потока, попадающих на любой участок, распределено по закону Пуассона:

Рт^е~а /я = 0,1,..., (2.12)

т\

где Рт - вероятность попадания на участок т событий (приложение 7);

а — среднее число событий, приходящееся на участок.

Для простейшего потока а = Хх, а для нестационарного пуассо- новского потока

a=*]\{t)dt, (2.13)

'о

где т — длина участка времени;

/0 - начало участка т.

Отметим еще одно важное свойство простейшего потока событий.

f = a = i, (2.14)

где X — интенсивность потока.

Для нестационарного пуассоновского потока закон распределения промежутка t уже не является показательным, так как зависит от положения на оси 0/ и вида зависимости X(t). Однако для некоторых задач при сравнительно небольших изменениях X(t) его можно приближенно считать показательным с интенсивностью X, равной среднему значению X(t).

Таким образом, для исследуемой системы S с дискретными состояниями и непрерывным временем переходы из состояния в состояние происходят под действием пуассоновских потоков событий с определенной интенсивностью Ху.

Рассмотрим еще одну типичную схему непрерывных марковских цепей, так называемую схему гибели и размножения, часто встречающуюся в разнообразных практических задачах.

Марковский процесс с дискретными состояниями S0, S{, S2, ..., Sn называется процессом гибели и размножения, если все состояния можно вытянуть в одну цепочку, в которой каждое из средних СОСТОЯНИЙ (tSj, S2, может переходить только в соседние со

стояния, которые, в свою очередь, переходят обратно, а крайние состояния (50 и Sn) переходят только в соседние состояния (рис. 2.6).

Ш Ш Ш h-2(t) h-Лі) Ш v2(0 Vi (t)

m(t) ц2(0 МО М/с-і(0 MO Мп-1(0 МО

Рис. 2.6. Граф состояний для процесса гибели и размножения

Название взято из биологических задач, где состояние популяции Sk означает наличие в ней к единиц особей.

Переход вправо связан с размножением единиц, а влево — с их гибелью.

МО, А.|(/), Х2(0> •••> ~~ интенсивности размножения,

щ(/), МзСО, • > И?і(0 ~ интенсивности гибели.

У X и ц, индекс того состояния, из которого стрелка выходит.

С состоянием Sk связана неслучайная величина Хк: если система S в момент времени / находится в состоянии Sk, то дискретная случайная величина X(t), связанная с функционированием системы, принимает значение к.

Марковским процессом гибели и размножения с непрерывным временем называется такой случайный процесс, который может при-нимать только целые неотрицательные значения. Изменения этого процесса могут происходить в любой момент времени, т. е. в любой момент времени он может либо увеличиться на единицу, либо уменьшиться на единицу, либо остаться неизменным.

В практике встречаются процессы чистого размножения и чистой гибели. Процессом чистого размножения называется такой процесс гибели и размножения, у которого интенсивности всех потоков гибели равны нулю; аналогично процессом чистой гибели называется такой процесс гибели и размножения, у которого интенсивности всех потоков размножения равны нулю.

Пример 2.4. Рассмотрим эксплуатацию моделей автомобилей одной марки в крупной транспортной фирме (на предприятии). Интенсивность поступления автомобилей на предприятие равна X(t). Каждый поступивший на предприятие автомобиль списывается через случайное время Тс. Срок службы автомобиля Тс распределен по показательному закону с параметром ц. Процесс эксплуатации автомобилей является случайным процессом. A(t) — число автомобилей данной марки, находящихся в эксплуатации в момент t.

Найдем одномерный закон распределения случайного процесса />{/) = P{(A(t) = /}, если:

нет ограничений на число эксплуатируемых машин;

на предприятии может эксплуатироваться не более п автомобилей.

Решение

1. Случайный процесс эксплуатации автомобилей есть процесс гибели и размножения, размеченный граф которого представлен на рис. 2.7.

Mt) l(t) l(t)

==±05==±(g)

Ц І \l (/+1) ц

Рис. 2.7. Граф состояний

Система уравнений Колмогорова, соответствующая этому графу, имеет вид

<2Л5>

=\{t)Pi-x (0+(/ + (/) - (МО+Их)Рі (0,

где / = 1, 2,...

Если в начальный момент времени t = 0 на предприятии не было ни одного автомобиля, то решать эту систему уравнений нужно при начальных условиях = = 0 (/ = 1, 2, ...).

t = 0 на предприятии было к автомобилей {к = 1, 2, ...), то начальные условия будут иметь вид

/>*(0) = 1,/>,(0) = 0 (/=1,2,

2. Если на предприятии может эксплуатироваться не более п автомобилей моделей одной марки, то имеет место процесс гибели и размножения с ограниченным числом состояний п, размеченный граф которого представлен на рис. 2.8.

МО МО МО МО

::: ^(s^

Ц / \х (/+1) \х п \1

Рис. 2.8. Граф состояний

Система уравнений Колмогорова для размеченного графа (рис. 2.8) имеет вид:

dt

dP»(t) dt

=х(/)рм(о+(/+1)\ІРм(о -(мо+да(о і=i,n-\ (2.16)

= Mt)Pn-i(t)-n\iP„(t).

Эту систему надо решать при начальных условиях, рассмотрен-ных выше. Решения систем уравнений (2.15) и (2.16) являются одномерными законами распределения P^t). Отыскание решений систем (2.15) и (2.16) в общем виде при произвольном виде функции X(t) представляет значительные трудности и не имеет практических приложений.

При постоянных интенсивностях потоков гибели и размножения и конечном числе состояний будет существовать стационарный режим. Система S с конечным числом состояний (п + 1), в которой протекает процесс гибели и размножения с постоянными интенсивностями потоков гибели и размножения, является простейшей эргодической системой. Размеченный граф состояний для такой системы представлен на рис. 2.9.

Предельные (финальные) вероятности состояний для простейшего эргодического процесса гибели и размножения, находящегося в стационарном режиме, определяются по следующим формулам:

ЯоХр.-.-Х^ к = 12_п. (2.17)

к

к.

Мл

мі

Ц/ М/+1

Рис. 2.9. Граф состояний

-1

(2.18)

° Ні HlH2

Правило. Вероятность &-го состояния в схеме гибели и размножения равна дроби, в числителе которой стоит произведение всех интенсивностей размножения, стоящих левее Sk, а в знаменателе — произведение всех интенсивностей гибели, стоящих левее Sk, умноженной на вероятность крайнего левого состояния системы Р0.

В примере 2.4 для стационарного режима если интенсивность поступления автомобилей постоянная (X(t) = Л = const), то финальные вероятности состояний при условии, что нет ограничений на число автомобилей на предприятии, равны:

(2.19)

х и

А =

к\

(2.20)

При этом математическое ожидание числа эксплуатируемых ав-томобилей равно его дисперсии:

(2.21)

M[A(t)] = D[A(t)] = -.

М-

Если существует ограничение по числу автомобилей на предприятии (не более я), ТО финальные вероятности равны

(2.22)

¦У*

" і *=0

X

где а = —.

где к = 0,1,2, ..., п.

Математическое ожидание числа эксплуатируемых автомобилей в стационарном режиме

п

(2.24)

M[A(t)]= 1 к-Рк.

Пример 2.5. В состав ЭВМ входят четыре накопителя на магнитных дисках (НМД). Бригада в составе четырех человек обслуживающего персонала проводит профилактический ремонт каждого диска. Суммарный поток моментов окончания ремонтов для всей бригады — пуассоновский с интенсивностью X(t). После окончания ремонта диск проверяется; с вероятностью Р он оказывается работоспособным (время проверки мало, и им можно пренебречь по сравнению со временем профилактики). Если диск оказался неработоспособным, то вновь проводится его профилактика (время на которую не зависит от того, проводилась ли она ранее) и т.д. В начальный момент все НМД нуждаются в профилактиче-ском ремонте .

Требуется:

построить граф состояний для системы S (четыре НМД);

написать дифференциальные уравнения для вероятностей состояний;

найти математическое ожидание числа дисков Мх, успешно прошедших профилактику к моменту т.

Решение

1. Граф состояний показан на рис. 2.10, в котором

S0 — все четыре НМД нуждаются в профилактическом ремонте;

S{ — один НМД успешно прошел профилактику, а три НМД нуждаются в профилактическом ремонте;

S2 — два НМД успешно прошли профилактику, а два нуждаются в профилактическом ремонте;

63 — три НМД успешно прошли профилактику, один нуждается в профилактическом ремонте;

S4 — все четыре НМД успешно прошли профилактику.

pUt) put) put) put) ® >@

Рис. 2.10. Граф состояний системы

Каждый профилактический ремонт успешно заканчивается с вероятностью р, что равносильно /^-преобразованию потока окончаний ремонтов, после которого он остается пуассоновским, но с интенсивностью pX(t). В этом примере мы имеем дело с процессом чистого размножения с ограниченным числом состояний.

Уравнения Колмогорова имеют следующий вид:

^---pHWY, ^- = pX{t){P1(t)-Pi(t))\

Начальные условия /^(0) = 1; Pj(0) = ... = Р4(0) = 0. При постоянной интенсивности X(t) = X и вероятности состояний определяются по следующим формулам:

Л)(0 = Л(0 = ^pte~Xpt\

P2(t) = ^e^<; (2.26)

а (о=і- і т.

/=0

Математическое ожидание числа дисков, успешно прошедших профилактику к моменту т, равно:

Mx^iPi(t) + nPn(t)9 (2.27)

/=0

где /7 = 4.

Пример 2.6. Рассмотрим производство автомобилей на заводе. Поток производимых автомобилей — нестационарный пуассонов- ский с интенсивностью X(t). Найдем одномерный закон распределения случайного процесса X(t) — число выпущенных автомобилей к моменту времени если в момент t = О начат выпуск автомобилей.

Решение

Очевидно, что здесь процесс чистого размножения без ограничения на число состояний, при этом АД/) = А(/), так как интенсивность выпуска автомобилей не зависит от того, сколько их уже выпущено. Граф состояний такого процесса показан на рис, 2.11.

т т т

—... (?) >(?)... (О—

Рис. 2.11. Граф состояний

Одномерный закон распределения случайного процесса X(t) для графа, изображенного на рис. 2.11, определяется следующей систе-мой уравнений Колмогорова:

=-йот+WM (о, <=і, 2,....

Так как число выпущенных автомобилей X(t) на любой фиксированный момент t распределено по закону Пуассона с параметром

a{t)='\X{t)dt, о

= Ъ = № = / = 0, 1, 2, ... .

M[X(t)] = D[X(t)] = a{t).

Рассмотренный в этом примере процесс X(t) называется неоднородным процессом Пуассона. Если интенсивность \(t) = X = const, то

получим однородный процесс Пуассона. Для такого процесса при

/>о(0) = 1, Л(0) = 0 (/ > 0)

= = = / = 0, 1, 2, ... .

Л

Характеристиками процесса Пуассона будут M[X(t)] = D[X(t)] = Xt.