Возвратное состояние

Возвратное состояние — это состояние марковской цепи, посещаемое ею бесконечное число раз.

Определение

Пусть дана однородная цепь Маркова с дискретным временем { X n } n ≥ 0 {displaystyle {X_{n}}_{ngeq 0}} . Пусть

f i i ( n ) = P ( X n = i , X k ≠ i , k = 1 , … , n − 1 ∣ X 0 = i ) {displaystyle f_{ii}^{(n)}=mathbb {P} (X_{n}=i,;X_{k} ot =i,,k=1,ldots ,n-1mid X_{0}=i)}

— вероятность, выйдя из состояния i {displaystyle i} , вернуться в него ровно за n {displaystyle n} шагов. Тогда

f i i = ∑ n = 1 ∞ f i i ( n ) {displaystyle f_{ii}=sum limits _{n=1}^{infty }f_{ii}^{(n)}}

— вероятность, выйдя из состояния i {displaystyle i} , вернуться в него (за конечное или бесконечное время).

Состояние i {displaystyle i} называется возвратным (рекуррентным), если f i i = 1 {displaystyle f_{ii}=1} . В противном случае состояние называется невозвратным (транзиентным).

Критерий возвратности

Состояние i {displaystyle i} является возвратным тогда и только тогда, когда выполнено любое из следующих условий:

∑ n = 1 ∞ p i i ( n ) = ∞ {displaystyle sum limits _{n=1}^{infty }p_{ii}^{(n)}=infty } , где p i i ( n ) = P ( X n = i ∣ X 0 = i ) {displaystyle p_{ii}^{(n)}=mathbb {P} (X_{n}=imid X_{0}=i)} .

P ( lim sup n → ∞ { X n = i } ∣ X 0 = i ) = 1 {displaystyle mathbb {P} left(limsup limits _{n o infty }{X_{n}=i}mid X_{0}=i ight)=1} .

Соответственно, состояние i {displaystyle i} невозвратно тогда и только тогда, когда выполнено любое из условий:

∑ n = 1 ∞ p i i ( n ) < ∞ {displaystyle sum limits _{n=1}^{infty }p_{ii}^{(n)}<infty } .

P ( lim sup n → ∞ { X n = i } ∣ X 0 = i ) = 0 {displaystyle mathbb {P} left(limsup limits _{n o infty }{X_{n}=i}mid X_{0}=i ight)=0} .

Время возвращения

Предположим, что X 0 = i {displaystyle X_{0}=i} почти всюду, и определим случайную величину T i {displaystyle T_{i}} , равную времени первого возвращения в состояние i {displaystyle i} , то есть

T i = inf { n ≥ 1 ∣ X n = i } {displaystyle T_{i}=inf{ngeq 1mid X_{n}=i}} .

Тогда T i {displaystyle T_{i}} имеет дискретное распределение, задаваемое функцией вероятности

P ( T i = n ) = f i i ( n ) {displaystyle mathbb {P} (T_{i}=n)=f_{ii}^{(n)}} .

Возвратное состояние i {displaystyle i} называется положительным, если

E [ T i ] = ∑ n = 1 ∞ n f i i ( n ) < ∞ {displaystyle mathbb {E} [T_{i}]=sum limits _{n=1}^{infty }nf_{ii}^{(n)}<infty } ,

и нулевым, если

E [ T i ] = ∞ {displaystyle mathbb {E} [T_{i}]=infty } .

Возвратность неразложимого класса

• Если состояния i {displaystyle i} и j {displaystyle j} сообщаются, и i {displaystyle i} — возвратно, то состояние j {displaystyle j} также возвратно.
• Более того если состояние i {displaystyle i} положительно, то и состояние j {displaystyle j} также положительно.

Таким образом возвратность и положительность — свойство неразложимого класса. Если Марковская цепь неразложима, то говорят о её возвратности и положительности.