马尔可夫链与马尔可夫过程有什么区别？

16

马尔可夫链与马尔可夫过程有什么区别？

我正在阅读有冲突的信息：有时，定义是基于状态空间是离散的还是连续的，有时是基于时间是连续的还是离散的。

如果状态空间是离散的（即有限的或可数的空间）是离散的（即有限的或可数的），则马尔可夫过程称为马尔可夫链。

马尔可夫过程是马尔可夫链的连续时间版本。

或者可以同义地使用马尔可夫链和马尔可夫过程，规定时间参数是连续的还是离散的，以及状态空间是连续的还是离散的。

2017年3月4日更新：https：//www.quora.com/Can-I-use-the-words-Markov-process-and-Markov-chain-interchangeably提出了相同的问题

terminology stochastic-processes markov-process

— 弗兰克·德农库特
source

1

以我的经验，第一个定义是错误的。马尔可夫链通常用于从后验分布（MCMC）进行采样的情况下。这些后验可以在有限状态空间或连续状态空间中定义；因此第一个定义可能不正确。第二个更有意义。但是，我认为两者之间并没有太大区别，因为我经常看到短语“连续时间马尔可夫链”。

— Greenparker

1

我记得我从教科书中学到的是markov过程是最通用的术语，而markov链是时间离散和状态离散的特例。

— Haitao Du

8

从Meyn和Tweedie撰写的“马尔可夫链与随机稳定性”的序言到第一版：

我们在这里处理马尔可夫链。尽管Doob和Chung [99,71]最初尝试为具有离散和连续时间参数的可数空间演化的系统保留该术语，但使用的马尔可夫链似乎有所减少（例如，参见Revuz [326]）。离散时间，无论他们想要什么空间；这就是我们在此描述的系统。

编辑：我的参考文献引用的参考文献分别是：

99：JL杜布 随机过程。约翰·威利父子出版社，纽约，1953年

71：钟国荣 具有平稳转移概率的马尔可夫链。柏林，Springer-Verlag，第二版，1967年。

326：D。Revuz 马尔可夫链。北荷兰省，阿姆斯特丹，第二版，1984年。

— 泰勒
source

6

随机过程分类的一种方法是基于time parameter（离散或连续）和state space（离散或连续）的性质。这导致了四类随机过程。

如果state space随机过程是离散的，则无论该过程time parameter是离散的还是连续的，该过程通常称为链。

如果随机过程具有马尔可夫性质，而与时间参数（离散或连续）和状态空间（离散或连续）的性质无关，则称其为马尔可夫过程。因此，我们将有四类马尔可夫过程。

甲continuous time parameter，discrete state space具有马氏性随机过程被称为连续参数的马尔可夫链（CTMC） 。

甲discrete time parameter，discrete state space具有马氏性随机过程被称为离散参数马尔可夫链（DTMC） 。

同样，我们可以有另外两个马尔可夫过程。

更新2017-03-09：

Every independent increment process is a Markov process.

Poisson process具有独立增量属性的是Markov process时间参数是连续的且状态空间是离散的。

Brownian motion process具有独立增量属性的是Markov process具有连续时间参数和连续状态空间的过程。

— LVRao
source