Циклический подкласс

Цикли́ческие подкла́ссы — подмножества неразложимого периодического класса цепи Маркова такие, что цепь проходит их один за другим по порядку.

Теорема

Пусть дана цепь Маркова с дискретным временем, дискретным пространством состояний и матрицей переходных вероятностей . Пусть  — неразложимый класс состояний с периодом . Тогда существует разбиение множества : , то есть

такое, что

.

Замечание

Таким образом внутри любого неразложимого периодического класса цепь Маркова описывает путь:

,

где  — индекс начального подмножества.

Определение

Построенные таким образом подмножества называются цикли́ческими подкла́ссами.

Цепь внутри циклического подкласса

Очевидно имеем:

,

то есть через каждые шагов цепь возвращается в тот же циклический подкласс. Тогда для любого фиксированного можно построить новую цепь Маркова со множеством состояний и матрицей переходных вероятностей . Эта цепь будет неразложимой и апериодичной. Таким образом изучение многих вопросов поведения цепи Маркова сводится к случаю апериодической неразложимой цепи.