Questions tagged «markov-process»

我有4个状态的全套序列（准确地说是432个观察值）A−DA−DA-D：例如 Y=⎛⎝⎜⎜⎜⎜AB⋮BCA⋮CDA⋮ADC⋮DBA⋮AA−⋮BC−⋮A⎞⎠⎟⎟⎟⎟Y=(ACDDBACBAACA−−⋮⋮⋮⋮⋮⋮⋮BCADABA)Y=\left(\begin{array}{c c c c c c c} A& C& D&D & B & A &C\\ B& A& A&C & A&- &-\\ \vdots&\vdots&\vdots&\vdots&\vdots&\vdots&\vdots\\ B& C& A&D & A & B & A\\ \end{array}\right) 编辑：观察序列的长度不相等！这会改变什么吗？ 有没有一种方法可以在Matlab或R或类似程序中计算转换矩阵？我认为HMM软件包可能会有所帮助。有什么想法吗？Pij(Yt=j|Yt−1=i)Pij(Yt=j|Yt−1=i)P_{ij}(Y_{t}=j|Y_{t-1}=i) 例如：估计马尔可夫链概率

16 r  matlab  markov-process 

马尔可夫链与马尔可夫过程有什么区别？ 我正在阅读有冲突的信息：有时，定义是基于状态空间是离散的还是连续的，有时是基于时间是连续的还是离散的。 本文档的幻灯片20： 如果状态空间是离散的（即有限的或可数的空间）是离散的（即有限的或可数的），则马尔可夫过程称为马尔可夫链。 http://www.win.tue.nl/~iadan/que/h3.pdf： 马尔可夫过程是马尔可夫链的连续时间版本。 或者可以同义地使用马尔可夫链和马尔可夫过程，规定时间参数是连续的还是离散的，以及状态空间是连续的还是离散的。 2017年3月4日更新：https：//www.quora.com/Can-I-use-the-words-Markov-process-and-Markov-chain-interchangeably提出了相同的问题

16 terminology  stochastic-processes  markov-process 

我的基本问题是：如何从不正确的分布中抽样？从不正确的分布中取样甚至有意义吗？ 西安的评论在某种程度上解决了这个问题，但我正在寻找有关此问题的更多详细信息。 更特定于MCMC： 在谈论MCMC和阅读论文时，作者强调要获得适当的后验分布。有著名的Geyer（1992）论文，作者忘了检查他们的后验是否正确（否则是一篇出色的论文）。 但是，假设我们有一个似然和不适当的先验分布使得所得后也不合适，并且MCMC从分发用于样品。在这种情况下，样本表明什么？此样本中有任何有用的信息吗？我知道这里的马尔可夫链就是瞬态的或零循环的。如果是零循环，是否有任何积极的收获？θF（x | θ ）F（X|θ）f(x|\theta)θθ\theta 最后，在Neil G 在这里的回答中，他提到了 您通常可以从后方取样（使用MCMC），即使操作不当也是如此。 他提到这种采样在深度学习中很常见。如果这是真的，那有什么意义呢？

15 distributions  bayesian  mcmc  markov-process  improper-prior 

我正在尝试使用SAS了解马尔可夫链。我了解到，马尔可夫过程是未来状态仅取决于当前状态而不取决于过去状态的过程，并且存在一个转移矩阵来捕获从一种状态到另一种状态的转移概率。 但是后来我碰到了这个术语：Markov Chain Monte Carlo。我想知道的是，马尔可夫链蒙特卡洛是否与我上面描述的马尔可夫过程有关？

15 probability  simulation  mcmc  monte-carlo  markov-process 

强化学习：简介。 理查德·萨顿（Richard S.Sutton）和安德鲁·G·巴托（Andrew G.Barto）（c）2012年第二版，第67-68页。 解决强化学习任务，粗略地讲，是找到一种从长远来看会获得很多回报的政策。对于有限的MDP，我们可以通过以下方式精确定义最佳策略。值函数定义了对策略的部分排序。策略被定义为优于或等于政策如果它的预期收益大于或等于的，所有状态。换句话说，对于且仅对于所有，仅当。总有至少一项策略优于或等于所有其他策略。这是一个最佳策略。ππ\piπ′π′\pi'π′π′\pi'π≥π′π≥π′\pi \geq \pi'vπ(s)≥vπ′(s)vπ(s)≥vπ′(s)v_\pi(s) \geq v_{\pi'}(s)s∈Ss∈Ss \in \mathcal{S} 为什么总是至少有一项政策优于或等于所有其他政策？

15 markov-process  reinforcement-learning 

我正在听一些与MCMC有关的讲座。但是，我找不到如何使用它的好例子。谁能给我一个具体的例子。我所看到的是它们运行着一个马尔可夫链，并说其平稳分布是所需的分布。 我想要一个很好的例子，其中难以从中获取所需的分布。因此，我们创建了一个马尔可夫链。我想知道如何选择过渡矩阵，以便其马尔可夫链的平稳分布成为目标分布

14 probability  bayesian  mcmc  markov-process 

我正在寻找一种通用，干净，快速（即使用C ++例程）的R包，用于使用Euler-Maruyama方案，Milstein方案（或任何其他方案）模拟非均匀非线性扩散（如（1））的路径。这注定要嵌入到更大的估计代码中，因此值得优化。 dXt=f(θ,t,Xt)dt+g(θ,t,Xt)dWt,(1)(1)dXt=f(θ,t,Xt)dt+g(θ,t,Xt)dWt,dX_t = f(\theta, t, X_t)\, dt + g(\theta, t, X_t)\, dW_t, \tag{1} 与标准布朗运动。 WtWtW_t

13 r  simulation  stochastic-processes  markov-process 

给定时间序列，估计MC转换矩阵的常用方法是什么？ 有R功能可以做到这一点吗？

12 markov-process 

我想我了解详细的平衡条件的方程，该方程表明对于转移概率和平稳分布π，如果q （x | y ）π （y ）= q （y | x ）π （X ），qqqππ\piq（x | y）π（y）= q（y| x）π（x ），q(x|y)π(y)=q(y|x)π(x),q(x|y)\pi(y)=q(y|x)\pi(x), 如果我将其重述为： q（x | y）q（y| X）= π（x ）π（y）。q(x|y)q(y|x)=π(x)π(y).\frac{q(x|y)}{q(y|x)}= \frac{\pi(x)}{\pi(y)}. 基本上，从状态转换到状态y的概率应与它们的概率密度之比成正比。Xxxÿyy

12 probability  mcmc  markov-process 

我正在努力在神经网络和图形模型之间建立数学联系。 在图形模型中，这个想法很简单：概率分布根据图中的派系分解，势通常为指数族。 神经网络是否有等效的推理？能否用受限的玻尔兹曼机或CNN表示单位（变量）上单位（变量）随其能量或单位之间能量乘积的概率分布？ 另外，概率分布是否由指数族的RBM或深度信仰网络（例如带有CNN）建模？ 我希望找到一种文本，这些文本以约旦和温赖特（Jordan＆Wainwright）的图形模型，图形族，指数族和变分推论对图形模型所做的相同方式，来形式化这些现代神经网络和统计之间的联系。任何指针都很棒。

12 neural-networks  markov-process  graphical-model  deep-learning  deep-belief-networks 

我有一些很难理解的马尔可夫链财产束缚。 所谓不可简化是指随机过程可以“从任何状态进入任何状态”。 但是，什么定义了它可以从状态进入状态还是不能进入状态？Ĵ一世iiĴjj 在维基百科页面给出了形式化： 状态Ĵjj是可访问的（写入i → ji→ji\rightarrow j）从状态一世ii，如果存在整数ñ我Ĵ> 0nij>0n_{ij}>0 ST P（Xñ我Ĵ= j | X 0= i ）= p（n我Ĵ）我Ĵ> 0P(Xnij=j | X0=i)=pij(nij)>0P(X_{n_{ij}}=j\space |\space X_0=i)=p_{ij}^{(n_{ij})} >0 那么交流是如果i → ji→ji\rightarrow j和j → 我j→ij \rightarrow i。 从这些不可还原性以某种方式得出。

12 stochastic-processes  markov-process 

我有一个用于模拟某些过程的时间序列的随机模型。我对将一个参数更改为特定值的效果感兴趣，并希望显示时间序列（例如模型A和模型B）与某种基于仿真的置信区间之间的差异。 我一直在简单地运行来自模型A的一堆模拟和来自模型B的一堆模拟，然后在每个时间点减去中值以找到整个时间的中值差。我使用相同的方法来找到2.5和97.5分位数。这似乎是一种非常保守的方法，因为我没有共同考虑每个时间序列（例如，每个点在以前和将来都被认为独立于所有其他时间点）。 有一个更好的方法吗？

11 time-series  predictive-models  markov-process 

我想解决Euler 213项目，但不知道从哪里开始，因为我是统计学领域的外行，请注意，需要准确的答案才能使用蒙特卡洛方法。您能推荐一些统计主题供我阅读吗？请不要在此处发布解决方案。 马戏团 一个30×30的正方形网格包含900条跳蚤，最初是每平方跳蚤。敲响钟声时，每条跳蚤会随机跳至相邻的正方形（通常有4种可能性，但网格边缘或角落处的跳蚤除外）。 铃响50次后，预计空置正方形数是多少？将答案四舍五入到小数点后六位。

11 self-study  monte-carlo  markov-process 

给定一个具有的（观察到的）时间序列，是否存在统计检验用于检验（即马尔可夫属性）？XtXtX_tXt∈{1,...,n}Xt∈{1,...,n}X_t\in\{1,...,n\}P(Xt|Xt−1,Xt−2,...,X1)=P(Xt|Xt−1)P(Xt|Xt−1,Xt−2,...,X1)=P(Xt|Xt−1)P(X_t|X_{t-1},X_{t-2},...,X_1)=P(X_t|X_{t-1})

11 time-series  hypothesis-testing  markov-process 

我目前正在网站上进行分析，这要求我创建一个决策树图，以显示人们到达网站时可能采取的路线。我正在处理一个data.frame从首页开始显示所有客户到站点的路径的。例如，客户可以采用以下路径： Homepage - pg 1 Kitchen Items page - pg 2 Pots and Pans page - pg 3 因此该客户将进行3页的旅程。我想在R中尝试做的是结合所有客户路径，从而按照站点上的某个路径为客户分配概率。例如，如果我检查所有路径，我会发现34％的到达首页的人进入了“厨房用品页面”。R有这个设施吗？ 我已经通过rpart和partykit软件包查找了不同的方法，但是它们似乎没有任何帮助。 任何朝着正确方向前进的方向都非常感谢！

10 r  probability  data-visualization  markov-process