马尔可夫链

定义

马尔可夫链（Markov Chain）是一种随机过程，核心特性是无记忆性（Memorylessness）：系统的下一个状态只取决于当前状态，与过去所有历史无关。形式化地，对于任意时刻 n 和状态 i、j：

$$P(X_{n+1} = j | X_n = i, X_{n-1} = i_{n-1}, ...) = P(X_{n+1} = j | X_n = i)$$

详细说明

历史背景

1905年，俄国数学家 Andrei Markov 与 Pavel Nekrasov 展开学术争论。Nekrasov 主张大数定律成立意味着事件必须独立，进而用数学为"自由意志"辩护。Markov 通过分析《叶甫盖尼·奥涅金》的字母序列（元音/辅音），证明依赖性不等于非概率性——字母的出现依赖于前一个字母（元音后较少接元音），但系统整体依然收敛到稳定分布。Markov 由此提出马尔可夫链，证明独立性和自由意志都不是概率论的前提。

数学结构

马尔可夫链由以下要素定义：

• 状态空间（State Space）：所有可能状态的集合
• 转移概率（Transition Probabilities）：从状态 i 转移到状态 j 的概率 $p_{ij}$，构成转移矩阵 P
• 初始分布（Initial Distribution）：系统在时刻 0 的状态分布

稳态分布

马尔可夫链的核心结论是：对于满足不可约性（irreducibility）和非周期性（aperiodicity）的马尔可夫链，无论初始分布如何，经过足够多步后，系统会收敛到唯一的稳态分布（Stationary Distribution） $\pi$，满足：

$$\pi = \pi P$$

这就是为什么 PageRank 中随机网民在网页间游走最终会收敛到每个页面的稳定访问概率。

应用领域

1. 物理学：布朗运动、统计力学
2. 计算机科学：PageRank 算法、隐马尔可夫模型（HMM）
3. 生物学：种群遗传学、分子动力学
4. 金融学：信用评级转移、期权定价
5. 自然语言处理：语言模型、词性标注
6. 排队论：服务系统建模

与其他概念的关系

• 大数定律：马尔可夫证明独立不是大数定律的必要条件
• 蒙特卡洛方法：Ulam 和 von Neumann 用马尔可夫链模拟中子行为，发明了蒙特卡洛方法
• PageRank：PageRank 将网页超链接建模为马尔可夫链，随机游走者的稳定分布即页面重要性
• 注意力机制：现代 LLM 在马尔可夫链基础上加入注意力，但自回归语言模型仍依赖马尔可夫性质
• 信息熵：Shannon 发展马尔可夫思想研究信息编码

来源

• 这个数学模型（几乎）能预测宇宙万物