Como se calcula a probabilidade de transição em duas etapas de um estado i para j em uma cadeia de Markov?

Multiplicando a i-ésima linha de P pela j-ésima coluna de P (produto escalar).

Explicação:
O elemento (i,j) de \(P^2\) é dado por \( (P^2)_{ij}=\sum_{k} P_{ik}P_{kj}\).
Isso corresponde exatamente ao produto escalar entre a linha i de P e a coluna j de P.

Exemplo:
Considere \(P=\begin{bmatrix}0.8 & 0.1 & 0.1\\[4pt]0.3 & 0.4 & 0.3\\[4pt]0.2 & 0.5 & 0.3\end{bmatrix}\).
Probabilidade de ir do estado 2 para o estado 1 em duas etapas: usar a linha 2 e a coluna 1:
\(\text{linha}_2=(0.3,\,0.4,\,0.3),\quad \text{coluna}_1=(0.8,\,0.3,\,0.2)^T\).
Calcule: \((P^2)_{21}=0.3\cdot0.8+0.4\cdot0.3+0.3\cdot0.2=0.24+0.12+0.06=0.42.\)