2.1. Основные понятия марковских процессов
Случайная функция X{t), аргументом которой является время, называется случайным процессом.
Марковские процессы являются частным видом случайных процессов.
Особое место марковских процессов среди других классов случайных процессов обусловлено следующими обстоятельствами: для марковских процессов хорошо разработан математический аппарат, позволяющий решать многие практические задачи; с помощью марковских процессов можно описать (точно или приближенно) поведение достаточно сложных систем.Определение. Случайный процесс, протекающий в ка-кой-либо системе S, называется марковским (или процессом без последействия), если он обладает следующим свойством: для любого момента времени /0 вероятность любого состояния системы в будущем (при t > /0) зависит, только от ее состояния в настоящем (при / = /0) и не зависит от того, когда и каким образом система S пришла в это состояние.
Классификация марковских процессов. Классификация марковских случайных процессов производится в зависимости от непрерывности или дискретности множества значений функции X(t) и параметра
Различают следующие основные виды марковских случайных процессов:
с дискретными состояниями и дискретным временем (цепь Маркова);
с непрерывными состояниями и дискретным временем (марковские последовательности);
с дискретными состояниями и непрерывным временем (непрерывная цепь Маркова);
с непрерывным состоянием и непрерывным временем.
В данной работе будут рассматриваться только марковские процессы с дискретными состояниями Sb S2, Sn.
Ц)аф состояний. Марковские процессы с дискретными состояниями удобно иллюстрировать с помощью так называемого графа состояний (рис. 2.1), где кружками обозначены состояния Si, S2, ... системы S, а стрелками — возможные переходы из состояния в состояние. На графе отмечаются только непосредственные переходы, а не переходы через другие состояния. Возможные задержки в прежнем состоянии изображают «петлей», т. е. стрелкой, направленной из данного состояния в него же. Число состояний системы может быть как конечным, так и бесконечным (но счет-ным). Пример графа состояний системы S представлен на рис.2.1.