Questions tagged «optimization»

该标签用于询问有关（约束或无约束）函数最小化或最大化的方法的问题。

1
线搜索和信任区域算法的尺度不变性
在Nocedal＆Wright的有关数值优化的书中，第2.2节（第27页）中有一条语句：“一般而言，对于线搜索算法而言，保留比例不变性要比对信任区域算法要容易得多”。在同一部分中，他们讨论使用新变量，这些变量是原始变量的缩放版本，可以同时帮助行搜索和信任区域。另一种方法是预处理。对于信任区域方法，预处理等效于具有椭圆形信任区域，因此可提供尺度不变性。但是，对于行搜索的预处理，类似的直觉尚不清楚。线搜索以哪种方式更适合尺度不变性？有一些实际考虑吗？ 另外，我对信任区域方法的预处理有疑问。对于病情严重的问题，好的预处理器会减少外部Newton迭代和内部CG迭代的次数，还是仅减少后者？由于信任区域在原始空间中为椭圆形，因此良好的预处理器应会导致椭圆形更好地匹配景观。我认为这可能会迫使算法朝更好的方向发展，从而减少外部牛顿迭代的次数。这是正确的吗？
2
了解pde约束优化的伴随方法的成本
我正在尝试了解基于伴随的优化方法如何用于PDE约束优化。特别是，我试图理解为什么伴随方法对于设计变量数量大而“方程式数量小”的问题更有效。 我的理解： 请考虑以下PDE约束优化问题： minβ I(β,u(β))s.t.R(u(β))=0minβ I(β,u(β))s.t.R(u(β))=0\min_\beta \text{ } I(\beta,u(\beta))\\ s.t. R(u(\beta))=0 其中是向量设计变量β和取决于设计变量的场变量未知数u （β ）的向量的（足够连续的）目标函数，而R （u ）是PDE的残差形式。IIIββ\betau(β)u(β)u(\beta)R(u)R(u)R(u) 显然，我们可以将I和R的第一个变体设为 δ一世= ∂一世∂βδβ+ ∂一世∂üδüδ一世=∂一世∂βδβ+∂一世∂üδü\delta I = \frac{\partial I}{\partial \beta}\delta\beta + \frac{\partial I}{\partial u}\delta u δR = ∂[R∂βδβ+ ∂[R∂üδu = 0δ[R=∂[R∂βδβ+∂[R∂üδü=0\delta R = \frac{\partial R}{\partial \beta}\delta\beta + \frac{\partial R}{\partial u}\delta u = 0 引入拉格朗日乘数的向量，目标函数的变化可以写成λλ\lambda δ一世= …
11 optimization  pde 
3
优化只能评估的未知函数？
给定一个未知函数，我们可以在它的域中的任意点求值，但是没有表达式。换句话说，f对我们来说就像一个黑匣子。F：Rd→ Rf:Rd→Rf:\mathbb R^d \to \mathbb RFff 找到的最小化器的问题的名字是什么？有哪些方法？Fff 寻找方程的解的问题的名字是什么？有哪些方法？F（x ）= 0f(x)=0f(x)=0 另外，在上述两个问题，它是一个好主意，内插或配合到f的一些评价：使用函数克θ与已知形式和参数θ要确定，然后最小化克θ或发现其根源？（x一世，˚F（x一世）），i = 1 ，… ，n(xi,f(xi)),i=1,…,n(x_i, f(x_i)), i=1, \dots, nGθgθg_\thetaθθ\thetaGθgθg_\theta 感谢致敬！
1
伸出的零空间
给出了系统其中甲∈ [R Ñ × Ñ，我读的是，在壳体的Jacobi迭代用作解算器，该方法将不收敛，如果b具有在零空间非零分量甲。因此，如果b具有一个跨越A的零空间的非零分量，那么雅可比方法将是一个非收敛的形式上的形式化说法？我想知道如何将其数学形式化，因为正交于零空间的部分解决方案确实会收敛。Ax=b,Ax=b,Ax=b,A∈Rn×nA∈Rn×nA\in\mathbb{R}^{n\times n}bbbAAAbbbAAA 因此，通过在每个迭代中投影的零空间，它会收敛（或？）。AAA ...... 我特别感兴趣的情况下 其中大号是与由向量所跨越的零空间的对称拉普拉斯矩阵1 ñ = [ 1 ... 1 ] Ť ∈ [R Ñ，和b具有零在组分L的零空间，J b = b ，其中J = I − 1Lx=b,Lx=b,Lx=b,LLL1n=[1…1]T∈Rn1n=[1…1]T∈Rn1_n=[1\dots 1]^T\in\mathbb{R}^nbbbLLLJb=b,Jb=b,Jb=b,是中心矩阵。这是否意味着每个Jacobi迭代将投影L的零空间，即每个迭代将居中？我要问的是，从那时起，就不需要从Jacobi迭代中投影L的零空间（或者换句话说，将迭代的中心）。J=I−1n1n1TnJ=I−1n1n1nTJ=I-\frac{1}{n}1_n1_n^TLLLLLL
1
计算线性回归问题的标准误差而无需计算逆
是否有一个更快的方法来计算标准误差为线性回归问题，不是通过反相？在这里，我假设我们有回归：X′XX′XX'X y=Xβ+ ε ，ÿ=Xβ+ε，y=X\beta+\varepsilon, 其中是n × k矩阵，y是n × 1向量。XXXÑ × ķñ×ķn\times kÿÿyn × 1ñ×1个n\times 1 为了找到最小二乘问题的解决方案是不现实的与做任何事情，你可以在矩阵使用QR或SVD分解X直接。或者，您可以使用渐变方法。但是标准错误呢？我们真的只需要对角线（X ' X ）- 1（自然LS解计算的标准误差的估计ε）。有没有用于标准误差计算的特定方法？X′XX′XX'XXXX（X′X）− 1（X′X）-1个(X'X)^{-1}εε\varepsilon
2
梯度下降和共轭梯度下降
对于一个项目，我必须实现这两种方法并比较它们在不同功能上的执行方式。 看来共轭梯度法是要解决的线性方程组 Ax=bAx=b A\mathbf{x} = \mathbf{b} 其中是对称，正定和实数的n×n矩阵。AAA 另一方面，当我阅读有关梯度下降的文章时，我看到了Rosenbrock函数的示例，即 f(x1,x2)=(1−x1)2+100(x2−x21)2f(x1,x2)=(1−x1)2+100(x2−x12)2 f(x_1,x_2) = (1-x_1)^2+100(x_2-x_1^2)^2 如我所见，我无法使用共轭梯度法解决此问题。还是我想念什么？
2
小范数调整的特征向量
我有一个变化缓慢的数据集，我需要跟踪其协方差矩阵的特征向量/特征值。 我一直在使用scipy.linalg.eigh，但是它太贵了，并且它没有使用我已经进行了分解的事实，该分解只是稍微不正确。 谁能建议一种更好的方法来解决此问题？
4
具有矩阵约束的线性规划
我有一个类似于以下内容的优化问题 minJ,Bs.t.∑ij|Jij|MJ+BY=XminJ,B∑ij|Jij|s.t.MJ+BY=X \begin{array}{rl} \min_{J,B} & \sum_{ij} |J_{ij}|\\ \textrm{s.t.} & MJ + BY =X \end{array} 在这里，我的变量是矩阵 JJJ和BBB，但是整个问题仍然是线性程序。其余变量是固定的。 当我尝试将此程序输入我最喜欢的线性编程工具时，遇到了一些麻烦。即，如果我以“标准”线性程序形式编写此代码，则参数矩阵MMM和YYY最终会重复一遍（每X列一次XXX）。 是否有可以处理上述形式的优化的算法和/或程序包？现在我内存不足，因为MMM和YYY必须被复制很多次！
3
最大化未知噪声功能
我感兴趣的最大化函数，其中θ ＆Element; [R p。F（θ）f(θ)f(\mathbf \theta)θ∈Rpθ∈Rp\theta \in \mathbb R^p 问题是我不知道函数或其派生类的解析形式。我能做的唯一的事情是评价功能的逐点，通过在插入值，并获得噪声估计˚F（θ *），在这一点上。如果我愿意，我可以减少这些估计的可变性，但是我必须支付增加的计算成本。 θ∗θ∗\theta_*f^(θ∗)f^(θ∗)\hat{f}(\theta_*) 到目前为止，这是我尝试过的： 具有有限差异的随机最陡下降：它可以工作，但需要大量的调整（例如，增益序列，比例因子），并且通常非常不稳定。 模拟退火：它可以工作并且可靠，但是需要大量功能评估，因此我发现它相当慢。 因此，我想就在这种情况下可以使用的替代优化方法提出建议/想法。我将问题尽可能地笼统，以鼓励来自与我不同的研究领域的建议。我必须补充一点，我对一种可以使我估计收敛时的黑森州的方法非常感兴趣。这是因为我可以用它来估计参数的不确定性。否则，我将不得不在最大值附近使用有限的差异来获得估计值。θθ\theta
4
具有线性约束的凸函数最大化（凹函数最小化）
问题是 最大f（x） 服从 A x = b最大值F（X） 服从 一个X=b\max f(\mathbf{x}) \text{ subject to } \mathbf{Ax} = \mathbf{b} 其中F（x）= ∑ñ我= 11 + x4一世（∑ñ我= 1X2一世）2----------√F（X）=∑一世=1个ñ1个+X一世4（∑一世=1个ñX一世2）2f(\mathbf{x}) = \sum_{i=1}^N\sqrt{1+\frac{x_i^4}{(\sum_{i=1}^{N}x_i^2)^2}}， x =[ x1个，X2，。。。，Xñ]Ť∈ [Rñ× 1X=[X1个，X2，。。。，Xñ]Ť∈[Rñ×1个\mathbf{x} = [x_1,x_2,...,x_N]^T \in \mathbb{R}^{N\times 1}和 甲 ∈ ř中号× N一个∈[R中号×ñ\mathbf{A} \in \mathbb{R}^{M\times N} 我们可以看到F（。）F（。）f(.)的形式为1 + ÿ2-----√1个+ÿ2\sqrt{1+y^2}，它是一个凸函数。 还可以证明f（。）在[\ sqrt {2}，2]中是有界的[ 2–√，2 ][2，2][\sqrt{2}, …
2
在Python中为SVM计算Lagrange系数
我试图用Python 编写完整的SVM实现，但是在计算Lagrange系数时遇到一些问题。 首先让我重新叙述一下我从算法中了解的内容，以确保我走在正确的道路上。 如果是一个数据集和ÿ 我 ∈ { - 1 ，1 }是的类别标签X 我，然后∀ 我，ÿ 我（瓦特Ť X 我 + b ）≥ 1x1,x2,...,xnx1,x2,...,xnx_1, x_2, ..., x_nyi∈{−1,1}yi∈{−1,1}y_i \in \{-1, 1\}xixix_i∀i,yi(wTxi+b)≥1∀i,yi(wTxi+b)≥1\forall i, y_i(w^Tx_i + b) \geq 1 因此，我们只需要解决一个优化问题即可 ∥w∥2‖w‖2\|w\|^2 服从yi(wTxi+b)≥1yi(wTxi+b)≥1y_i(w^Tx_i + b) \geq 1 就拉格朗日系数而言，这转化为找到，和和最小化：wwwbbbα=(α1,α2,...αn)≠0α=(α1,α2,...αn)≠0\alpha=(\alpha_1, \alpha_2, ... \alpha_n) \neq0≥0≥0\geq0L(α,w,b)=12∥w∥2−∑αi(yi(wTx+b)−1)L(α,w,b)=12‖w‖2−∑αi(yi(wTx+b)−1)L(\alpha, w, b) = \frac12 \|w\|^2 - …
2
（元）启发式方法的含义
为了优化，请参阅Wikipedia： 在计算机科学中，元启发法指的是一种计算方法，该方法通过反复尝试针对给定的质量度量来改进候选解决方案来优化问题。元启发法很少或根本没有假设要优化的问题，并且可以搜索很大范围的候选解。但是，元启发法不能保证找到最佳解决方案。许多元启发法实现某种形式的随机优化。 其他与元启发式具有相似含义的术语是：无导数，直接搜索，黑盒或实际上只是启发式优化器。关于该主题已经出版了几本书和调查论文。 我想知道如何判断优化方法是否是元启发式的？例如， （1）线性规划元启发式的单纯形法吗？ （2）是否存在大多数非线性编程方法，例如梯度下降，拉格朗日乘数方法，罚分方法，内点方法（屏障方法），元启发式方法？ （3）是否所有无梯度方法（例如Nelder–Mead方法或下坡单纯形方法）都属于启发式方法？ 什么不是元启发式优化方法？ 从Wikipedia上更一般地（超越优化）解决问题的技术： 启发式是指用于解决问题，学习和发现的基于经验的技术。如果无法进行详尽的搜索，则可以使用启发式方法来加快找到令人满意的解决方案的过程。此方法的示例包括使用经验法则，有根据的猜测，直观的判断或常识。 准确地说，启发法是使用易于访问但宽松的信息来控制人类和机器中问题解决的策略。 我想知道如何理解“启发式”的含义吗？ 如何判断“解决问题，学习和发现”技术是否具有启发性？ 什么是非启发式的“解决问题，学习和发现”技术？ 谢谢并恭祝安康！
4
具有框约束的非线性最小二乘法
推荐什么方法来做非线性最小二乘法min Σ è [R [R一世（p ）2∑erri(p)2\sum err_i(p)^2，且有盒约束升ØĴ&lt; = pĴ&lt; = ħ 我Ĵloj&lt;=pj&lt;=hijlo_j <= p_j <= hi_j？在我看来（愚蠢地赶到）可以使框约束成为二次方，并且将 ∑一世Ë [R [R一世（p ）2+ C* ∑Ĵ吨ù b （pĴ，升ØĴ，^ h 我Ĵ）2∑ierri(p)2+C∗∑jtub(pj,loj,hij)2 \sum_i err_i(p)^2 + C * \sum_j tub( p_j, lo_j, hi_j )^2 其中t u b （x ，l o ，h i ）tub(x,lo,hi)tub( x, lo, hi )是形状为\___ …
By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.