Questions tagged «machine-learning»

3
欧氏距离（八度）
我想知道是否存在一种快速方法来计算八度中两个向量的欧几里得距离。似乎没有特殊的功能，所以我应该只使用带有的公式sqrt吗？
3
Matlab神经网络工具箱的Python OSS替代品。有什么比较吗？
我希望自己的科研工作独立于商业软件。我发现对像Matlab这样的商业软件包及其工具箱的依赖性不理想，因为我不知道将来是否可以使用Matlab，并且因为我不喜欢这种语言。因此，我正在寻找替代方案。 幸运的是，我精通Python（并且我很喜欢这种语言），并且通过NumPy，SciPy，Matplotlib，Basemap和NetCDF读写例程，它可以满足我的大多数需求。大多数-当我需要使用前馈多层感知器（例如使用人工神经网络）来训练卫星检索时，我仍然回到Matlab。 与开源软件不同寻常的是，有不止一个软件包可以执行神经网络。不止一个： 不久前，我尝试了“用于神经网络的瑞士军刀” PyBrain，但在短时间内（开发时间和运行时间）都没有获得令人满意的结果。也许我没有尽力而为，或者它并不是真正针对我的实际需求。 刚才我发现有一个名为Neurolab的程序包，它看起来很有前途：一个简单而强大的Python神经网络库，带有一个MATLAB的API，例如Neural Network Toolbox（NNT）。 有FFnet，快速和易于使用的前馈Python的神经网络培训解决方案 有simplenn 有Peach，一个用于计算智能和机器学习的库 有Python绑定到FANN的快速人工神经网络库，描述为在这个StackOverflow的职位事实上的标准。 可能还有其他人。 是否有人根据易用性，速度等标准，对不同的选项进行了比较？我自己的用例是卫星检索，例如，拟合许多变量的强非线性函数。我非常一个用户神经网络的; 我对研究他们的内部运作方式不感兴趣。 有关Stats.SE的这个问题是相关的，但重点不同。
5
在非常大的稀疏矩阵上应用PCA
我正在使用R进行文本分类任务，并获得了文档项矩阵，其大小为22490 x 120,000（只有400万个非零条目，少于1％的条目）。现在，我想通过使用PCA（主成分分析）来减少尺寸。不幸的是，R无法处理这个庞大的矩阵，因此我将这个稀疏矩阵存储在“矩阵市场格式”的文件中，希望使用其他技术来进行PCA。 因此，任何人都可以给我一些有用的库（无论使用哪种编程语言）的提示，这些库可以轻松地使用此大规模矩阵进行PCA，或者由我自己进行长期的PCA，换句话说，首先要计算协方差矩阵，然后然后计算协方差矩阵的特征值和特征向量。 我想要的是计算所有PC（120,000），并仅选择占90％方差的前N个PC。显然，在这种情况下，我必须给先验阈值以将一些非常小的方差值设置为0（在协方差矩阵中），否则，协方差矩阵将不会稀疏，其大小将为120,000 x 120,000，即一台机器无法处理。同样，载荷（特征向量）将非常大，应以稀疏格式存储。 非常感谢您的帮助！ 注意：我使用的机器具有24GB RAM和8个CPU内核。
2
在Python中为SVM计算Lagrange系数
我试图用Python 编写完整的SVM实现，但是在计算Lagrange系数时遇到一些问题。 首先让我重新叙述一下我从算法中了解的内容，以确保我走在正确的道路上。 如果是一个数据集和ÿ 我 ∈ { - 1 ，1 }是的类别标签X 我，然后∀ 我，ÿ 我（瓦特Ť X 我 + b ）≥ 1x1,x2,...,xnx1,x2,...,xnx_1, x_2, ..., x_nyi∈{−1,1}yi∈{−1,1}y_i \in \{-1, 1\}xixix_i∀i,yi(wTxi+b)≥1∀i,yi(wTxi+b)≥1\forall i, y_i(w^Tx_i + b) \geq 1 因此，我们只需要解决一个优化问题即可 ∥w∥2‖w‖2\|w\|^2 服从yi(wTxi+b)≥1yi(wTxi+b)≥1y_i(w^Tx_i + b) \geq 1 就拉格朗日系数而言，这转化为找到，和和最小化：wwwbbbα=(α1,α2,...αn)≠0α=(α1,α2,...αn)≠0\alpha=(\alpha_1, \alpha_2, ... \alpha_n) \neq0≥0≥0\geq0L(α,w,b)=12∥w∥2−∑αi(yi(wTx+b)−1)L(α,w,b)=12‖w‖2−∑αi(yi(wTx+b)−1)L(\alpha, w, b) = \frac12 \|w\|^2 - …
2
RBF内核矩阵是否趋向于病态？
我使用RBF内核函数来实现一种基于内核的机器学习算法（KLPP），得到的内核矩阵 KKK K(i,j)=exp(−(xi−xj)2σ2m)K(i,j)=exp⁡(−(xi−xj)2σm2)K(i,j)= \exp\left({\frac{-(x_{i}-x_{j})^2}{ \sigma_{m}^2}}\right) 被证明病得很重条件。L2-范数的条件数为1017−10641017−106410^{17}-10^{64} 有什么办法使它适应良好吗？我猜想参数需要调整，但我不知道该怎么精确。σσ \sigma 谢谢！
2
机器学习在计算流体动力学中的应用
背景： 对于一门课程，我仅为2d Navier-Stokes建立了一个可行的数值解决方案。这是盖子驱动型腔流动的解决方案。但是，本课程讨论了用于空间离散化和时间离散化的许多模式。我还参加了更多关于NS的符号操作课程。 处理解析/符号方程从PDE到有限差分的一些数值方法包括： 欧拉FTFS，FTCS，BTCS 松懈 中点跳蛙 Lax-Wendroff 麦克科马克 偏移网格（空间扩散允许信息传播） TVD 在我看来，当时这些似乎是“插入名称找到了一个方案并且它确实起作用了”。其中许多来自“大量硅”时代之前。它们都是近似值。在极限中。从理论上讲，导致了PDE。 虽然直接数值模拟（DNS）很有趣，而且雷诺平均Navier-Stokes（RANS）也很有趣，但它们是计算上易于理解并完全表示现象之间连续体的两个“端点”。内部存在多种方法。 我曾让CFD教授在演讲中说，大多数CFD求解器会绘制漂亮的图片，但是在大多数情况下，这些图片并不代表现实，要获得能够解决问题的求解器解决方案可能会非常艰巨且需要大量工作确实代表了现实。 开发的顺序（据我所知，并不详尽）是： 从控制方程开始-> PDE的 确定您的空间和时间离散化->网格和FD规则 适用于包括初始条件和边界条件的领域 求解（矩阵求逆上有很多变化） 执行总体现实检查，以适合已知解决方案等。 根据分析结果建立一些更简单的物理模型 测试，分析和评估 迭代（跳回到步骤6、3或2） 想法： 我最近一直在使用CART模型，倾斜树，随机森林和渐变增强树。它们遵循更多的数学推导规则，而数学则驱动树的形状。他们努力使离散化的表格变得更好。 尽管这些人为创建的数值方法有些奏效，但仍需要大量的“伏都教”以将其结果与要建模的物理现象联系起来。通常，模拟并不能完全替代实际测试和验证。容易使用错误的参数，或者无法解决实际环境中几何形状或应用程序参数的变化。 问题： 是否有任何方法可以让问题的性质定义 适当的离散化，时空差分方案，初始条件或解决方案？ 高清晰度解决方案与机器学习技术相结合，是否可以用于形成步长更大但保持收敛性，准确性等的差分方案？ 所有这些方案都是可访问的“人类易处理的派生”-它们具有少量要素。是否有一个包含数千个元素的差异化方案能做得更好？它是如何衍生的？ 注意：我将在一个单独的问题中继续进行经验初始化和经验推导（相对于分析而言）。 更新： 利用深度学习来加速格子玻尔兹曼流。使特定情况的速度提高约9倍 O. Hennigh（新闻中）。Lat-Net：使用深度神经网络的压缩格子Boltzmann流动模拟。取自：https : //arxiv.org/pdf/1705.09036.pdf 使用代码回购（我认为）：https : //github.com/loliverhennigh/Phy-Net 与GPU和相同的硬件相比，它比GPU快大约2个数量级，比GPU快4个数量级，或快大约O（10,000x）。 Guo，X.，Li，W.＆Ioiro，F.用于稳定流逼近的卷积神经网络。取自：https : //autodeskresearch.com/publications/convolutional-neural-networks-steady-flow-approximation 大约20年前研究过该主题的其他人： Muller，S.，Milano，M.和Koumoutsakos P.机器学习算法在流建模和优化中的应用 湍流研究中心年度研究摘要1999摘自：https …
2
预测密集线性代数的运行时间
我想为使用特定库的特定体系结构上的密集线性代数运算预测运行时间。我想学习一个近似函数的模型 Fop::Fop::F_{op} \;::\; 输入尺寸→→ \rightarrow 运行 用于矩阵乘法，逐元素加法，三角求解等操作。 我怀疑一旦您超出了可以轻松容纳在缓存中的问题大小，由于这些操作的规律性，这些运行时大部分都是可预测的。 问题： 这个假设现实吗？运行时功能可能几乎是确定性的吗？ 我可以假定该函数的输入项大小是多项式吗？（即，我希望密集矩阵乘法看起来像αn×k×mαn×k×m\alpha n\times k\times m 对于 Ank×BkmAnk×BkmA_{nk}\times B_{km} 和 αα\alpha 一些标量系数） 是否在某处对此已有工作？ 我目前的计划是使用 L1L1L_1正则化。还有其他建议吗？ 编辑：明确地说，我在寻找运行时，而不是FLOP或其他任何常见的性能指标。我愿意将自己局限于一种特定的体系结构。
By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.