什么是马尔可夫链？
我目前正在阅读一些有关马尔可夫链集总的文章，但我看不到马尔可夫链与普通有向加权图之间的区别。 例如，在文章“ 马尔可夫链中的最佳状态空间集总”中，它们提供了CTMC（连续时间马尔可夫链）的以下定义： 我们通过转换率矩阵考虑状态空间为的有限CTMC， 其转换速率矩阵为 。(S,Q)(S,Q)(\mathcal{S}, Q)S={x1,x2,…,xn}S={x1,x2,…,xn}\mathcal{S} = \{x_1, x_2, \ldots, x_n\}Q:S×S→R+Q:S×S→R+Q: \mathcal{S} \times \mathcal{S} \to \mathbb{R}^+ 他们根本没有提到马尔可夫特性，实际上，如果边缘的权重代表概率，那么我相信马尔可夫特性微不足道，因为该概率仅取决于链的当前状态，而不取决于导致链的路径。对它。 在关于集总性的关系属性的另一篇文章中，马尔可夫链的定义类似： 马尔可夫链将表示为三元组 ，其中是的有限状态集，是表示从一种状态到另一种状态的概率的转移概率矩阵，而是代表系统在特定状态下启动的可能性的初始概率分布。MMM(S,P,π)(S,P,π)(S, P, \pi)SSSMMMPPPππ\pi 同样，没有提及过去或未来或独立。 第三篇论文《简单O（m logn）时间马尔可夫链集总法》中，他们不仅从未声明边缘的权重是概率，而且甚至说： 在许多应用中，值是非负的。但是，我们不做这个假设，因为在某些应用中故意将选择为，这通常使其为负数。W(s,s′)W(s,s′)W(s, s')W(s,s)W(s,s)W(s, s)−W(s,S∖{s})−W(s,S∖{s})-W(s, S \setminus \{s\}) 而且，有人指出，集总应该是减少状态数量同时保持Markov属性的一种方法（通过将“等效”状态聚合为更大的状态）。但是，对我来说，这似乎只是在简单地对概率求和，甚至不保证从聚合状态到聚合状态的跃迁的概率在范围内。那么，集总实际上保留了什么？[0,1][0,1][0,1] 因此，我看到两种可能性： 我不明白什么是马尔可夫链，或者 在这些论文中使用术语马尔可夫链是伪造的 有人可以澄清情况吗？ 看起来确实有不同的社区在使用该术语，它们的含义千差万别。从我认为的这3篇文章看来，马尔可夫特性显得微不足道或毫无用处，而在另一类论文中，它看起来却很基础。