Questions tagged «dynamic-programming»

3
最佳控制失败时(?)
为了“提出我的问题”,我必须首先解决一个模型。我将省略一些步骤,但是仍然会不可避免地使这篇文章变得很长-因此这也是对这个社区是否喜欢这种问题的一种测试。 在开始之前,我澄清一下,这看起来似乎完全像一个连续的标准新古典主义增长模型,但事实并非如此:它与一个个体有关,该个体不“代表”他周围经济中的任何人,未建模。这里的框架是“将最优控制应用于单个个体的最大化问题”。这是关于最佳控制解决方案框架和方法本身。 我们解决了一个小商人的跨期效用最大化问题,这个小商人拥有自己公司的资本,而他在一个完全竞争的劳动力市场中购买劳务,并且在一个完全竞争的商品市场中出售产品(新鲜甜甜圈)。我们在连续时间内设定模型,没有不确定性(社会经济条件稳定),并且视野无限(商人设想他将来会连续复制很多): maxc,ℓ,k∫∞0e−ρtlncdts.t.k˙=f(k,ℓ)−wℓ−δk−climt→∞e−ρtλ(t)k(t)=0maxc,ℓ,k∫0∞e−ρtln⁡cdts.t.k˙=f(k,ℓ)−wℓ−δk−climt→∞e−ρtλ(t)k(t)=0\max_{c,\ell,k}\int_0^{\infty}e^{-\rho t}\ln c\,\text{d}t\\ \text{s.t.}\;\; \dot k = f(k,\ell) - w\ell - \delta k - c\\ \lim_{t\rightarrow \infty}e^{-\rho t}\lambda(t) k(t) = 0 其中ccc是商人的消费,lncln⁡c\ln c是消费的瞬时效用,ρ>0ρ>0\rho>0是纯时间偏好的比率,kkk是公司的资本,δδ\delta是资本折旧率,而f(k,ℓ)f(k,ℓ)f(k,\ell)是企业的生产功能。初始资本水平为k0k0k_0。商人自己在企业中的职业被纳入资本。生产函数是新古典的标准(规模收益不变,边际产品为正,第二部分为负,稻田条件)。约束条件是资本的运动定律,以及使用当前值乘数的横向条件。 设置当前值哈密顿 H^=lnc+λ[f(k,ℓ)−wℓ−δk−c]H^=ln⁡c+λ[f(k,ℓ)−wℓ−δk−c]\hat H = \ln c +\lambda[f(k,\ell) - w\ell - \delta k - c] 我们计算一阶条件 ∂H^∂c=0⇒1c=λ⇒c˙c=−λ˙λ∂H^∂c=0⇒1c=λ⇒c˙c=−λ˙λ\frac {\partial \hat H}{\partial c} = 0 \Rightarrow \frac …

1
求解Hamilton-Jacobi-Bellman方程;最佳化所必需和充分的?
考虑下面的微分方程 其中 是状态,u是控制变量。该解决方案由 \ begin {align} x(t)= x_0 + \ int ^ t_0f(x(s),u(s))ds给出。\ end {align} ,其中x_0:= x(0)是给定的初始状态。 Xù X (吨)= X 0 + ∫ 吨0 ˚F (X (小号),ù (小号))d 小号。x0:=x(0)x˙(t)=f(x(t),u(t))x˙(t)=f(x(t),u(t))\begin{align} \dot x(t)=f(x(t),u(t)) \end{align}xxxuuux(t)=x0+∫t0f(x(s),u(s))ds.x(t)=x0+∫0tf(x(s),u(s))ds.\begin{align} x(t)=x_0 + \int^t_0f(x(s),u(s))ds. \end{align}x0:=x(0)x0:=x(0)x_0:=x(0) 现在考虑以下程序 s.t. V(x0):=maxu∫∞0e−ρtF(x(t),u(t))dtx˙(t)=f(x(t),u(t))x(0)=x0V(x0):=maxu∫0∞e−ρtF(x(t),u(t))dts.t. x˙(t)=f(x(t),u(t))x(0)=x0\begin{align} &V(x_0) := \max_u \int^\infty_0 e^{-\rho t}F(x(t),u(t))dt\\ s.t.~&\dot x(t)=f(x(t),u(t))\\ &x(0) …


1
猜猜并验证
在动态编程中,不确定系数的方法有时称为“猜测和验证”。我定期听到有人可能会做出典型的猜测。 我特别看到 V(k)=A+Bln(k)V(k)=A+Bln⁡(k)V(k) = A + B\ln(k) V(k)=Bk1−σ1−σV(k)=Bk1−σ1−σV(k) = \frac{Bk^{1-\sigma}}{1-\sigma} 前者适用于日志实用程序,而后者与CRRA首选项相关。 还存在其他规范的猜测,这些猜测通常与返回函数的特定形式相关联吗? 编辑:对于那些不熟悉动态程序的人,我们在这里要做的是为系数(例如 和)提供封闭形式。为了简化起见,函数方程通常采用通用形式,其中g(\ cdot,\ cdot)描述状态变量k的演变。从本质上讲,今天处于状态k的值取决于今天的返回函数F(k,u)和明天k的某些折扣值\ beta V \ bigl(g(k,u)\ bigr)。 üAAABBBV(k)=max{F(k,u)+βV(g(k,u))}V(k)=max{F(k,u)+βV(g(k,u))}V(k) = \max\bigl\{F(k,u) +\beta V\bigl(g(k,u)\bigr)\bigr\}g(⋅,⋅)g(⋅,⋅)g(\cdot,\cdot)kkkkkkF(k,u)F(k,u)F(k,u)kkkβV(g(k,u))βV(g(k,u))\beta V\bigl(g(k,u)\bigr)uuu 表示您认为影响回报的任何其他非状态变量。 有时可能会得到V(k)的闭式解V(k)V(k)V(k)(...注:由于右侧是最大量,所以我们不仅仅求解V(k)V(k)V(k))。这通常涉及了解返回函数F(k,u)F(k,u)F(k,u),然后猜测V(k)的函数形式V(k)V(k)V(k)。然后,我们可以迭代查看我们的猜测是否得出V(k)的闭式解V(k)V(k)V(k)。特别是,这将包括猜测中系数的封闭形式(因此,不确定的系数方法)。

0
动态编程:验证原理
考虑的大风蛋糕问题,因此问题变为:u(c)=log(c)u(c)=log(c)u(c) = log(c)maxx∑t=0∞βtlog(xt−xt+1)sub0<xt+1≤xt,x0>0 givenmaxx∑t=0∞βtlog(xt−xt+1)sub0<xt+1≤xt,x0>0 given\max_{x}\sum_{t=0}^{\infty} \beta^{t}log(x_t-x_{t+1})\: sub\: 00\ given 很容易证明函数v:(0,x0]→Rv:(0,x0]→Rv:(0,x_0]\rightarrow\mathbb{R}由v(x)=A+Blog(x)v(x)=A+Blog(x)v(x)=A+B\:log(x),其中A=β(1−β)2logβ+11−βlog(1−β)A=β(1−β)2logβ+11−βlog(1−β)A=\frac{\beta}{(1-\beta)^2}log\beta+\frac{1}{1-\beta}log(1-\beta)和B=11−βB=11−βB=\frac{1}{1-\beta}是Bellman的解决方案我也知道这是蛋糕问题的值函数,但不符合经典的验证原理,即limt→+∞βtv(xt)=0limt→+∞βtv(xt)=0\lim_{t \to +\infty} \beta^tv(x_t) = 0。 我应该如何继续实际证明v(x)v(x)v(x)是问题的价值函数?
By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.