什么是马尔可夫链？

我目前正在阅读一些有关马尔可夫链集总的文章，但我看不到马尔可夫链与普通有向加权图之间的区别。

例如，在文章“ 马尔可夫链中的最佳状态空间集总”中，它们提供了CTMC（连续时间马尔可夫链）的以下定义：

我们通过转换率矩阵考虑状态空间为的有限CTMC， 其转换速率矩阵为 。$(\mathcal{S}, Q)$$\mathcal{S} = \{x_1, x_2, \ldots, x_n\}$$Q: \mathcal{S} \times \mathcal{S} \to \mathbb{R}^+$

他们根本没有提到马尔可夫特性，实际上，如果边缘的权重代表概率，那么我相信马尔可夫特性微不足道，因为该概率仅取决于链的当前状态，而不取决于导致链的路径。对它。

在关于集总性的关系属性的另一篇文章中，马尔可夫链的定义类似：

马尔可夫链将表示为三元组 ，其中是的有限状态集，是表示从一种状态到另一种状态的概率的转移概率矩阵，而是代表系统在特定状态下启动的可能性的初始概率分布。$M$$(S, P, \pi)$$S$$M$$P$$\pi$

同样，没有提及过去或未来或独立。

第三篇论文《简单O（m logn）时间马尔可夫链集总法》中，他们不仅从未声明边缘的权重是概率，而且甚至说：

在许多应用中，值是非负的。但是，我们不做这个假设，因为在某些应用中故意将选择为，这通常使其为负数。$W(s, s')$$W(s, s)$$-W(s, S \setminus \{s\})$

而且，有人指出，集总应该是减少状态数量同时保持Markov属性的一种方法（通过将“等效”状态聚合为更大的状态）。但是，对我来说，这似乎只是在简单地对概率求和，甚至不保证从聚合状态到聚合状态的跃迁的概率在范围内。那么，集总实际上保留了什么？$[0,1]$

因此，我看到两种可能性：

• 我不明白什么是马尔可夫链，或者
• 在这些论文中使用术语马尔可夫链是伪造的

有人可以澄清情况吗？

看起来确实有不同的社区在使用该术语，它们的含义千差万别。从我认为的这3篇文章看来，马尔可夫特性显得微不足道或毫无用处，而在另一类论文中，它看起来却很基础。

甲连续时间马尔可夫链可以被表示为具有恒定的非负的边权重的有向图。有节点的有向图的恒定边权重的等价表示为 ×矩阵。的马尔可夫性质（即未来的状态仅依赖于当前状态）是隐含在恒定边缘权重（或矩阵中的常数项）。 隐性手段暗含。数学家将其用作委婉语，意思是“您应该自己证明它”。N × $N$$N \times N$

但是第一篇论文定义了与连续时间马尔可夫链一致的符号，有时也称为马尔可夫过程，而第二篇论文定义了与离散时间马尔可夫链一致的符号。他们说

$P$是表示从一种状态转换为另一种状态的概率的转换概率矩阵，是表示系统在某种状态下启动的可能性的初始概率分布。[重点添加]$\pi$

他们假设矩阵随时间是恒定的（因此暗示了马尔可夫性质）。术语概率中隐含的事实是，每个常数都在范围内，每一列中的项之和为，中的项之和为。P 1 π $[0,1]$$P$$1$$\pi$$1$

我看不懂第三篇论文，它是付费的。如果要求矩阵每一列中的项的总和为1，则它们是概率，它们在谈论离散时间马尔可夫链。如果每一列中的条目可以求和为任意数，则这些条目代表的是速率而不是概率，它们正在谈论连续时间马尔可夫链。

连续时间马尔可夫链与离散时间马尔可夫链不同。在连续时间马尔可夫链中，边缘权重不代表概率，而是过渡率。边缘权重必须为非负数，但可以任意大，并且边缘的权重可以总计为任何非负数。该总和不需要为。$1$

对于连续时间和离散时间马尔可夫链，恒定的边权重（或等效地，过渡矩阵中的恒定项）都隐含着马尔可夫属性。

马尔可夫链有两种形式：连续时间和离散时间。

连续时间马尔可夫链（CTMC）和离散时间马尔可夫链（DTMC）均表示为有向加权图。

对于DTMC而言，过渡通常需要一个单位的“时间”。结果，对于弧上的权重，别无选择-如果您处于“ i”，则将概率设为“ j”。

对于CTMC，任意两个状态之间的过渡时间必须由指数随机变量给定。这是CTMC和DTMC之间的主要区别：DTMC始终具有单位转换时间。CTMC具有随机的过渡时间。

对于CTMC，通常是根据从源到目的地的指数随机变量的比率将权重放到弧上。那就是-惯例是将汇率放在弧线上，而不是概率。

负利率

尽管我记得所有的CTMC都以正率表示，但CTMC分析中确实出现了负率。

假设我们处于状态A，如下所示连接到B，C和D。

A-> B（从 B 到 A 的比率为负）A-> C（从 C 到 A 的比率为负）D-> A（从 D 到 A 的比率为正）

这可能与您的论文所指的不完全相同。我提出来的是，如果有人使用适当的约定，负权重不一定是荒谬的。

马尔可夫物业

对于DTMC，您是正确的。markov属性很容易满足。对于CTMC，满足markov属性，因为过渡是由指数随机变量（“无内存”）给出的。如果转换不是由指数随机变量给出的（例如相反，它们是一致的），那么我们将讨论“半马尔可夫链”或“半马尔可夫过程”。