Questions tagged «optimization»

我有一个与此帖子类似的提法问题，但有一些明显的区别： 有什么简单的方法可以自适应地采样2D函数？ 就像那篇文章： 我有一个，对该函数的评估计算起来有些昂贵F（x ，y）f(x,y)f(x,y) 与那篇文章不同： 我并不对函数的精确值感兴趣，而只是对函数的单个等值线感兴趣。 我可以对函数的自相关以及因此的平滑度做出重要的断言。 有没有一种智能的方法来逐步执行/对该功能进行采样并找到该轮廓？ 更多信息 该函数是的计算Haralick特点在周围的点，通过某种分类器/回归的软分类pixles。其输出是一个浮点数，该数字指示该点所属的纹理/材料。这个数字的缩放比例可以是估计的类概率（SoftSVM或统计方法等），也可以是非常简单的东西，例如线性/逻辑回归的输出。与从图像中提取特征所需的时间相比，分类/回归是准确且便宜的。ñNN 围绕统计信息意味着该窗口通常在对重叠区域进行采样，因此附近的采样之间存在显着的相关性。（我什至可以用数字/符号方式表示）因此，可以将其视为的更复杂函数，其中较大的将给出与邻域更相关的估计（高度相关），并且较小的将给出更多的变量，但更多的局部估计。 f （x ，y ，N ）N NñNNF（x ，y，N）f(x,y,N)f(x, y, N)ñNNñNN 我尝试过的事情： 蛮力计算-效果很好。常数 95％正确分割。之后使用任何标准方法绘制轮廓，结果看起来都很棒。这需要永远。我可以简化基于每个样本计算的特征，但是理想情况下，我希望避免这种情况，以使此代码对具有差异的纹理在特征空间的不同部分显示的图像保持通用。 ñNN 哑步-在每个方向上采取单个像素“步”，并根据与等值线值的接近程度来选择要移动的方向。仍然相当慢，它将忽略等值线的分叉。同样，在具有平坦渐变的区域中，它会“漂移”或自身重回。 我想我想做第一个链接中建议的细分，但要修剪一些框，以限制感兴趣的等值线。我觉得我也应该能够利用，但是我不确定该如何处理。 ññN

10 optimization  image-processing 

（广义）几何规划与一般凸规划有何不同？ 几何程序可以转换为凸程序，并且通常通过内点法求解。但是，将问题直接表述为凸程序并通过内点法解决该问题有什么好处呢？ 几何程序类别是否仅构成凸程序类别的子集，可以通过内点方法特别有效地求解？还是简单的优势就是可以轻松地以计算机可读形式指定通用几何程序。 另一方面，是否存在不能通过几何程序合理逼近的凸程序？

10 optimization  convex-optimization 

据我了解，通过选择参数并使用（准）Gauss-Seidel迭代和上一个时间步长的值的线性组合来进行连续过度松弛是有效的…… 0≤ω≤20≤ω≤20\leq\omega\leq2 uk+1=(ω)ugsk+1+(1−ω)ukuk+1=(ω)ugsk+1+(1−ω)uk{u}^{k+1} = (\omega){u_{gs}}^{k+1} + (1-\omega)u^{k} 我之所以说“准”，是因为包括随时根据此规则更新的最新信息。（请注意，在，这正是高斯塞德尔）。 ω=1ugsk+1ugsk+1{u_{gs}}^{k+1}ω=1ω=1\omega=1 无论如何，我已经读到最优选择（这样迭代的收敛速度比其他任何方法都快）在空间分辨率接近零时针对泊松问题接近2。其他对称的，对角占优的问题是否存在类似的趋势？也就是说，有没有一种方法可以在不将其嵌入到自适应优化方案中的情况下最佳地选择omega？对于其他类型的问题，还有其他启发式方法吗？松弛不足（）最适合哪种问题？ω &lt; 1ωω\omegaω&lt;1ω&lt;1\omega<1

10 linear-algebra  optimization  iterative-method 

如果只能提供数值梯度，使用基于梯度的优化算法是否毫无意义？如果不是，为什么对优化库本身执行有限微分很简单，那么为什么要首先提供一个数值梯度呢？ [编辑] 需要澄清的是，我的问题的确比一般的应用更笼统。尽管我的应用领域恰好是各种统计框架下的似然优化。 我与自动区分的问题在于，似乎总是有一个陷阱。要么AD库无法传播到外部库调用（例如BLAS），要么您不得不如此大刀阔斧地改写工作流程，以致于难以处理……尤其是在使用类型敏感语言的情况下。我对AD的了解完全是另外一个问题。但是我想相信！ 我想我需要更好地提出我的问题，但是我做的很糟糕。如果可以选择使用无导数优化算法或基于导数的优化算法，但需要注意的是，我只能给它一个数值梯度，平均而言哪一个更好？

9 optimization 

我有一个客观的功能 EEE 取决于一个值 ϕ(x,t=1.0)ϕ(x,t=1.0)\phi(x, t = 1.0)，在哪里 ϕ(x,t)ϕ(x,t)\phi(x, t)是PDE的解决方案。我正在优化EEE在PDE 的初始条件下通过梯度下降：ϕ(x,t=0.0)ϕ(x,t=0.0)\phi(x, t = 0.0)。也就是说，我更新ϕ(x,t=0.0)ϕ(x,t=0.0)\phi(x, t = 0.0)然后必须集成PDE以计算我的残差。这就是说，如果我要对梯度下降步长进行线搜索（称它为αα\alpha），对于的每个潜在值 αα\alpha 我将不得不重新整合PDE。 就我而言，这将是非常昂贵的。自适应梯度下降步长还有另一种选择吗？ 我不仅在这里寻找数学原理的方案（尽管如果有的话当然会更好），但对通常比静态步长更好的任何事物都会感到满意。 谢谢！

9 optimization  pde  conjugate-gradient 

我正在执行行搜索，作为准牛顿BFGS算法的一部分。在行搜索的第一步中，我使用三次插值法将其移近局部最小化器。 让 F：R → R ，f∈C1个f:R→R,f∈C1f : R \rightarrow R, f \in C^1是感兴趣的功能。我想找到一个X∗x∗x^* 这样 f′(x∗)≈0f′(x∗)≈0f'(x^*) \approx 0。 让 f(xk)f(xk)f(x_k)， f′(xk)f′(xk)f'(x_k)， f(xk+1)f(xk+1)f(x_{k+1}) 和 f′(xk+1)f′(xk+1)f'(x_{k+1})被知道。还假设0≤xk&lt;x∗&lt;xk+10≤xk&lt;x∗&lt;xk+10\le x_k<x^*<x_{k+1}。我适合三次多项式Q(x)=ax3+bx2+cx+dQ(x)=ax3+bx2+cx+dQ(x)=ax^3+bx^2+cx+d 以便 Q(0)=f(xk)Q(0)=f(xk)Q(0)=f(x_k)， Q′(0)=f′(xk)Q′(0)=f′(xk)Q'(0)=f'(x_k)， Q(xk+1−xk)=f(xk+1)Q(xk+1−xk)=f(xk+1)Q(x_{k+1}-x_{k})=f(x_{k+1}) 和 Q′(xk+1−xk)=f′(xk+1)Q′(xk+1−xk)=f′(xk+1)Q'(x_{k+1}-x_{k})=f'(x_{k+1})。 我求解二次方程： (1):Q′(x∗−xk)=0(1):Q′(x∗−xk)=0(1): Q'(x^*-x_k) = 0 为了我的追寻 x∗x∗x^* 使用封闭式解决方案。 上面的方法在大多数情况下效果很好，除了 f(x)=O(x2)f(x)=O(x2)f(x)=\mathcal{O}(x^2) 作为封闭式解决方案 (1)(1)(1) 除以 aaa 变得非常接近或完全 000。 我的解决方案是看 aaa 如果它“太小”，只需对二次多项式的极小值采用封闭形式的解 Q2(x)=bx2+cx+dQ2(x)=bx2+cx+dQ_2(x)=bx^2+cx+d …

9 optimization  numerical-analysis  interpolation 

请原谅冗长的问题，它只需要一些解释就可以解决实际问题。那些熟悉上述算法的人可能会直接跳到第一个单纯形标签。 为了解决最小绝对偏差问题（又称优化），Barrodale-Roberts算法是一种特殊用途的单纯形法，只需很少的存储和计算工作即可找到合适的最小值。L1L1L_1 我的算法实现以一个简单的示例终止，直到达到适当的最小值为止。但是，可能让我首先以更详细的方式陈述问题： 给定数据，L_1优化会尝试找到最小化 \ sum_ {i = 1} ^ n | y_i-f（x_i）|的c \ in m 。\ quad \ text {with} \ quad f（x）：= A_x \ cdot \ phi 其中A_x是n \ times m矩阵，在某种程度上取决于x。这个问题可以说成是线性程序，因此可以使用类单纯形方法解决。(xi,yi)(xi,yi)(x_i,y_i)L1L1L_1c∈mc∈mc\in m∑i=1n|yi−f(xi)|withf(x):=Ax⋅ϕ∑i=1n|yi−f(xi)|withf(x):=Ax⋅ϕ \sum_{i=1}^n |y_i-f(x_i)| \quad\text{with}\quad f(x):=A_x\cdot \phi AxAxA_xn×mn×mn\times mxxx Barrodale和Roberts建议对单形方法进行一种（显然广泛使用的）修改，该方法使用L1L1L_1问题的特殊结构从根本上简化了单形方法。最值得注意的是，这是一种最佳解决方案，它至少对给定数据点的rank(A)rank⁡(A)\mathop{rank}(A)进行插值。具有Jstor访问权限的用户可以在这里找到相应的文章。 Lei和Anderson在2002年提出了一个小的修改方案，该修改方案应增加数值稳定性，从而克服单纯形算法的已知问题。 基本上，该算法假定您从一组必须进行插值的给定点开始，使用给定的过程构建单纯形表，然后使用Barrodale和Roberts的规则来确定要更改的基础变量，从而修改一组近似的数据点。 巴罗代尔和罗伯茨举了一个小例子，我试图重现。它试图通过函数逼近点。使用以下精简单纯形表完成其算法：{(1,1),(2,1),(3,2),(4,3),(5,2)}{(1,1),(2,1),(3,2),(4,3),(5,2)}\{(1,1), (2,1), (3,2), (4,3), (5,2)\}a1+a2xa1+a2xa_1+a_2x Basisb1v2b2u4v5Marginal …

9 optimization  linear-programming 

是否有合理便宜的方法来解决大型，密集，低等级的分配问题 最高π∑一世一个π我，我maxπ∑iAπi,i\max_\pi \sum_i A_{\pi i,i}，其中遍历所有permutations.of 1：n？ππ\pi1 ：n1:n1:n 这里一个AA是低秩r的n × nn×nn\times n × n矩阵。典型大小为 n = 10000 ~~（可能更大），r = 15。[Rrrn = 10000 n=10000 n=10000~~r = 15r=15r=15

9 optimization 

我正在努力改善某些人口统计建模软件的优化过程，以便它可以更好地使人口统计模型适合数据。我们想减少优化时间。 评估我们的目标函数所需的时间变化很大，具体取决于输入值。评估目标函数的时间与输入之间的关系是已知的。我想知道是否有任何优化方法在选择要评估的点时考虑目标函数的相对时间成本。 谢谢！ 更新： 按照保罗的要求，以下是此特定目标函数的一些显着特征： 参数数量适中（〜12ish） 我们的问题是非凸的，或者至少在目标函数表面上存在狭窄而平坦的“脊”。现在，我们正在使用来自不同角度的多种优化来处理此问题，但我们希望做得更好。 尽管我们只能计算导数的有限差分近似值，但目标函数相当平滑。 评估成本也是参数值的平滑函数，并且可以预测。粗略地说，对于每个参数，评估的成本在范围的一端较高，而在另一端较低。因此，我们有很多区域要花大量钱来评估参数，但是我们知道它们在哪里。

9 optimization 

我正在尝试实现Broyden-Fletcher-Goldfarb-Shanno方法来查找函数的最小值。我需要两个初始猜测＆x_0和一个初始Hessian矩阵近似B_0。我对B_0的唯一要求是，如果Hessian是对称正定的，则B_0也应如此。查看维基百科，我发现典型的初始近似值为B_0 = I（单位矩阵）。这始终是一个好的初始B_0吗？有什么理由让我想选择除我以外的其他任何东西？满足相同矩阵特性的B的其他选择会极大地影响该方法的收敛性吗？ x−1x−1x_{-1}x0x0x_0B0B0B_0B0B0B_0B0B0B_0B0=IB0=IB_0=IB0B0B_0III

9 optimization  algorithms 

在翻阅几本教科书时，我注意到在行搜索期间最初将最小值括起来的问题往往是事后才想到的（至少在我的大学课本中）。是否存在针对此类问题的完善技术或最佳实践，或者解决方案通常取决于应用程序？谁能推荐有关该主题的一些参考资料？

9 optimization  reference-request 

爬山似乎是进行优化的强大工具。但是，如何生成解决方案的“邻居”总是让我感到困惑。 例如，我正在优化解决方案 (x1,x2,x3)(x1,x2,x3)(x_1, x_2, x_3)。这里x1x1x_1 在范围内 (0,0.1)(0,0.1)(0, 0.1)， x2x2x_2 在范围内 (0,100)(0,100)(0, 100)， x3x3x_3 在范围内 (0,1000000)(0,1000000)(0, 1000000)。生成“邻居”的最佳方法是什么？我在这里不能真正选择“步长”，因为步长为1对x1x1x_1，但对 x3x3x_3。 在爬山算法中生成“邻居”的最佳通用方法是什么？

9 algorithms  optimization 

我正在尝试优化水箱中的流量分配器，以使任何横截面上的速度和温度分布相对均匀。我可以调整许多参数以达到最大的横截面均匀性，例如进气管的数量，其位置，方向和方向。我知道我可以创建许多不同的几何形状并分别测试每个几何形状，但这非常耗时。我希望能够编写一个程序，该程序可以一次（并行）迭代地测试多个案例，并根据先前的结果自适应地选择一组新的几何来进行测试。我怎样才能最好地做到这一点？

9 optimization 

我想知道“搜索方法”和“优化方法”之间有什么区别和关系？ 特别是在解决优化问题时？我强调解决优化问题的上下文，因为我想搜索方法不仅用于解决优化问题，而且还用于非优化问题？ 我的困惑来自以下事实： 有一些名为“ xxx搜索”的优化方法，例如 本地搜索，随机搜索 ...。“搜索”实际上是什么意思？我想知道是否存在不是“搜索”的优化方法？ 同样在《Spall的随机搜索和优化简介》这本书中，我不太了解“搜索”和“优化”在标题和内容上的区别。如果含义相同，为什么需要区分“搜索”和“优化”？还是“优化”是指随机的优化任务/问题而不是优化方法，而不是“搜索”是指解决优化任务/问题的方法？ 此外，在搜索和优化方面没有免费的午餐可以再次区分搜索和优化。 谢谢并恭祝安康！

9 optimization 

假定以下线性系统为 ，其中是已知为正定的加权Laplacian ，其一维零空间跨度为，的平移方差，即不会改变函数值（其导数为）。的唯一正项在其对角线上，这是负非对角线项的绝对值的总和。Lx=c,(1)(1)Lx=c,Lx=c,\tag1LLLsemi−semi−semi-1n=(1,…,1)∈Rn1n=(1,…,1)∈Rn1_n=(1,\dots,1)\in\mathbb{R}^nx∈Rnx∈Rnx\in\mathbb{R}^{n}x+a1nx+a1nx+a1_n(1)(1)(1)LLL 我发现一个高引用率在该领域的学术工作，虽然是对角占优，仍然可以安全使用，如共轭梯度，高斯-塞德尔，雅可比，的方法来解决。的理由是，由于平移不变的，一个是安全的一个固定点（例如，移除第一行和列和从第一个条目），从而转换到一个对角占优矩阵。无论如何，用以的完整形式求解原始系统。LLLnot strictlynot strictlynot~strictly(1)(1)(1)LLLcccLLLstrictlystrictlystrictly(1)(1)(1)L∈Rn×nL∈Rn×nL\in\mathbb{R}^{n\times n} 这个假设是正确的吗？如果是，替代的理由是什么？我试图了解方法的收敛性如何。 如果Jacobi方法与收敛，那么关于迭代矩阵的谱半径，在是对角矩阵且对角线中有对角矩阵，有什么状态？是，因此从一般的收敛担保不同的？我问这个，因为的特征值对角线上带有拉普拉斯矩阵应当在范围内。(1)(1)(1)ρρ\rhoD−1(D−L)D−1(D−L)D^{-1}(D-L)DDDLLLρ(D−1(D−L)≤1ρ(D−1(D−L)≤1\rho(D^{-1}(D-L)\leq1ρ(D−1(D−L))&lt;1ρ(D−1(D−L))&lt;1\rho(D^{-1}(D-L))<1D−1LD−1LD^{-1}L[0,2][0,2][0, 2] 从原始作品来看： .................................................... 在每次迭代中，我们通过求解以下线性系统来计算新的布局（x（t +1），y（t + 1））： 在不失一般性的前提下，我们可以固定以下位置之一传感器（利用局部应力的平移自由度）并获得严格对角的主导矩阵。因此，我们可以安全地使用Jacobi迭代来求解（8）L⋅x(t+1)=L(x(t),y(t))⋅x(t)L⋅y(t+1)=L(x(t),y(t))⋅y(t)(8)(8)L·x(t+1)=L(x(t),y(t))·x(t)L·y(t+1)=L(x(t),y(t))·y(t) L · x(t + 1) = L(x(t),y(t)) · x(t) \\ L · y(t + 1) = L(x(t),y(t)) · y(t) \tag 8 ................................................... 在上文中，“迭代”的概念与底层最小化过程有关，不要与Jacobi迭代相混淆。因此，该系统由Jacobi（迭代）求解，然后将该解决方案购买到（8）的右侧，但是现在进行底层最小化的另一次迭代。我希望这可以澄清问题。 请注意，我发现哪个迭代线性求解器对正半定矩阵收敛？，但正在寻找更详尽的答案。

9 linear-algebra  optimization  iterative-method  matrix  linear-solver