出色的算法，机器学习和线性代数

我教授一门高级算法课程，并且希望包括一些与机器学习相关的主题，这将使我的学生感兴趣。结果，我想听听人们对机器学习中当前最有趣/最伟大的算法结果的看法。潜在的棘手约束是，学生将不会对线性代数或机器学习中的其他主要主题有任何特定的先前知识。

这的确使他们兴奋，并使他们知道ML对于算法专家来说是一个潜在的令人兴奋的研究领域。

编辑：这是最后一年的本科课程（因为我们主要在英国没有研究生课程）。他们将事先至少完成一门基本算法课程，并且大概在其中做得很好，从而选择了高级后续课程。当前的高级课程提纲中包含诸如完美哈希，Bloom过滤器，van Emde Boas树，线性程序等的主题。我不打算在ML上专门花费一堂以上的讲座，但如果某门课程与一门算法课程和一门ML确实相关，那么当然也可以包括在内。

您可以涵盖升压。它非常聪明，易于实现，在实践中得到了广泛使用，并且不需要了解很多先决知识。

如果您只想在一次讲座中激发他们的胃口，那么介绍一个功能强大的应用程序可能会最令人兴奋。例如，支持向量机和其他机器学习算法在化学信息学中用于药物发现。

学习问题本质上是：给定某种行为，我们希望一种化学物质表现出来，通过从具有相似（或不相似）行为的已知结构的数据库中推导该行为，设计出一种表现该行为的结构。学习上的问题更加艰巨：新药在全球结构上必须与先前已知的药物“相距甚远”，才能建立专利产业。

一种来源是聚类方法及其在计算化学中的应用。

K-Means和KNN非常强大，除了计算点的距离外不需要任何线性代数。

Christopher Bishop（位于MSR）的“神经网络与机器学习”的第二部分介绍了ML中的算法。Bishop的教科书通常用于研究生（以及后来的本科生）教科书，并且编写得非常好。

该算法使用图最小割来仅使用少量标记样本对大量未标记样本进行分类。

它的本科生友好。我已经向一些随机选择的本科生解释了这一点，他们理解了。

参考： Blum，A.和Chawla，S.（2001）。使用图最小切向标记和未标记的数据学习。

youtube上算法的自提升可视化。

我看到没有提到期望最大化（EM），并且肯定在前10名中“期望最大”：http : //www.cs.uvm.edu/~icdm/algorithms/10Algorithms-08.pdf。

强化学习算法（尤其是Q-Learning和SARSA）很容易理解，并且对于解决某些学习问题非常有力。除了收敛证明和收敛速度，他们不需要线性代数的任何高级知识。

您可以使用Littman等人的著名调查：http : //www.cs.cmu.edu/afs/cs/project/jair/pub/volume4/kaelbling96a-html/rl-survey.html

您可以介绍一些经典算法或直观算法。

例如，C4.5和CART是经典的决策树算法。

您还可以介绍一些合奏方法（例如AdaBoost（Boosting），Bagging），这些方法在实际应用中具有很好的性能。

此外，深度学习也是一个很好的话题，因为它非常热门。

本地贝叶斯和贝叶斯网络，决策树算法比从中性网络或svm开始更容易可视化

基因编程真的很棒。它利用了生物学的启发，可以应用于许多问题（例如n皇后问题和TSP）。

它不需要深厚的数学技能。

编辑：它只需要一种方法来估计潜在的解决方案。例如，它可以用于猜测一系列数字后面的规则，找到多元问题的最小值/最大值，并搜索巨大的参数空间。当您对最佳解决方案不感兴趣时​​，但是当有足够好的解决方案时，它就很适合。我相信这已被用来寻找良好的游戏策略（《星际争霸2》中的建造订单，以及《马里奥》中的最佳游戏）。