具有条件转移概率的马尔可夫模型

首先，让我预先承认，我对统计和数学的了解不如我所希望的那样。有人可能会说只有足够的知识才有危险。：DI抱歉，如果我没有正确使用术语。

我正在尝试对系统从一种状态转换为另一种状态的概率进行建模。一个简单的马尔可夫模型是一个好的开始。（状态集，初始状态概率集，状态之间的转移概率集。）

但是，我正在建模的系统要复杂得多。导致在时间T进入状态的转移概率最有可能取决于除T-1处的状态以外的变量。例如，当阳光明媚时，S1-> S2的转换概率可能为40％，但是在下雨时，S1-> S2的转换概率为80％。

评论者问题的其他信息：

1. 状态是可观察的。
2. 只有5-10个州。
3. 尽管最终模型肯定会少于这个，但目前我们大约要研究30个协变量。
4. 一些协变量是连续的，其他是离散的。

三个问题：

1. 如何将条件转移概率纳入我的马尔可夫模型中？
2. 或者，是否有我应该完全从另一个角度来解决这个问题？
3. 另外，我应该在线搜索哪些关键字/概念以了解更多信息？

我已经在网上搜索“带有条件转移概率的马尔可夫模型”之类的东西，但是到目前为止，没有任何东西让我打耳光，说：“这是你的答案，假人！”

感谢您的帮助和耐心等待。

您始终可以拥有二阶或更高阶的马尔可夫链。在这种情况下，您的模型已准备就绪，其中包括所有概率转换信息。您可以检查动态贝叶斯网络，它是在机器学习中经常使用的马尔可夫链的图形化模型概括。

我相信您正在寻找的是Maxent Markov模型。

或者您可以使用Maxent Markov模型的一般化（如果我理解正确的话），称为条件随机场。

我在问自己同样的问题，是否真的只需要根据州的状态来模拟结果 $T_1$和协变量，您可能会发现R中的msm包很有用。

该软件包似乎非常适合建模随时间变化的协变量对分类结果之间的转换的影响。如果您确实确实需要一个更高阶的链，这将无济于事，但是根据您的原始问题，情况似乎并非如此。