在概率论和统计学中，马尔科夫链是一种用来描述系统状态的随机过程。当系统处于某一状态时，它在下一个时刻将转移到另一个状态的概率只取决于当前状态，而与系统过去的历史无关，这种性质称为马尔科夫性。两状态马尔科夫链是最简单的马尔科夫链之一，它由两个状态组成，通常标记为状态0和状态1。
基本概念
状态转移概率
在两状态马尔科夫链中，状态转移概率矩阵 ( P ) 是一个 ( 2 \times 2 ) 的矩阵，其元素 ( p_{ij} ) 表示从状态 ( i ) 转移到状态 ( j ) 的概率。矩阵 ( P ) 如下所示：
[ P = \begin{bmatrix} p{00} & p{01} \ p{10} & p{11} \end{bmatrix} ]
其中：
- ( p_{00} ) 是从状态0转移到状态0的概率。
- ( p_{01} ) 是从状态0转移到状态1的概率。
- ( p_{10} ) 是从状态1转移到状态0的概率。
- ( p_{11} ) 是从状态1转移到状态1的概率。
初始状态概率
初始状态概率向量 ( \pi ) 是一个 ( 2 ) 维向量，表示系统在开始时处于每个状态的初始概率。向量 ( \pi ) 如下所示：
[ \pi = \begin{bmatrix} \pi_0 \ \pi_1 \end{bmatrix} ]
其中：
- ( \pi_0 ) 是系统在开始时处于状态0的概率。
- ( \pi_1 ) 是系统在开始时处于状态1的概率。
预测未来状态
使用初始状态概率向量 ( \pi ) 和状态转移概率矩阵 ( P )，我们可以预测系统在未来的状态分布。具体来说，如果系统在时刻 ( t ) 处于状态 ( i )，那么在时刻 ( t+1 ) 处于状态 ( j ) 的概率可以通过以下公式计算：
[ P(X_{t+1} = j \mid Xt = i) = \sum{k=0}^{1} p{ik} P(X{t+1} = j \mid X_t = k) ]
稳态分布
如果存在一个概率分布 ( \pi )，使得从该分布出发，经过足够长的时间后，系统将稳定在某个状态的概率分布，那么这个分布称为稳态分布。对于两状态马尔科夫链，稳态分布可以通过以下方程求解：
[ \pi = \pi P ]
解这个方程可以得到稳态分布 ( \pi )，它表示系统最终将处于每个状态的长期概率。
计算方法
状态转移概率矩阵
首先，我们需要根据给定的状态转移概率计算状态转移概率矩阵 ( P )。
初始状态概率向量
根据系统初始状态，计算初始状态概率向量 ( \pi )。
预测未来状态
使用初始状态概率向量 ( \pi ) 和状态转移概率矩阵 ( P )，通过迭代计算未来状态的分布。
稳态分布
通过求解方程 ( \pi = \pi P )，找到稳态分布 ( \pi )。
示例
假设一个两状态马尔科夫链的状态转移概率矩阵 ( P ) 和初始状态概率向量 ( \pi ) 如下：
[ P = \begin{bmatrix} 0.8 & 0.2 \ 0.1 & 0.9 \end{bmatrix}, \quad \pi = \begin{bmatrix} 0.5 \ 0.5 \end{bmatrix} ]
我们可以通过迭代计算系统在未来的状态分布，直到达到稳态分布。例如，在时刻 ( t = 0 )，系统处于状态0的概率为 0.5，处于状态1的概率也为 0.5。在时刻 ( t = 1 )，我们可以使用以下公式计算状态分布：
[ \pi_1 = \pi P = \begin{bmatrix} 0.5 \ 0.5 \end{bmatrix} \begin{bmatrix} 0.8 & 0.2 \ 0.1 & 0.9 \end{bmatrix} = \begin{bmatrix} 0.5 \times 0.8 + 0.5 \times 0.1 \ 0.5 \times 0.2 + 0.5 \times 0.9 \end{bmatrix} = \begin{bmatrix} 0.45 \ 0.55 \end{bmatrix} ]
重复这个过程，直到系统达到稳态分布。在本例中，稳态分布为 ( \pi = \begin{bmatrix} 0.4545 \ 0.5455 \end{bmatrix} )。这意味着在长期来看，系统处于状态0的概率约为 0.4545，处于状态1的概率约为 0.5455。