什么是理解在线学习的良好参考？

具体来说，我要求提供资源以学习有关机器学习系统的知识，这些系统可以在操作过程中更新各自的信念网络（或同等的信念网络）。我什至遇到了一些，尽管我没有为它们添加书签。

就像您想象的那样，在互联网上搜索是一个相当具有挑战性的话题。

大多数在线学习算法均来自以下至少一种：

• 感知器

  最先进的感知器是被动攻击算法，结构化感知器及其许多变体。

• 温诺

  Winnow已被重新构造为指数梯度法，也可以应用于结构化问题。还有直接处理L1正则化（以确保稀疏性）的变体，例如SMIDAS。

• 随机梯度下降

  随机梯度下降是指将在线优化应用于可能的批次问题时。最先进的算法是Leon Bottou的LaSVM和Pegasos，在这种情况下可以轻松地训练许多神经网络算法。有关许多示例，请参见theano教程。在线EM可能适合这里。

• 粒子过滤

  这也称为rao-blackwellized推理，它使您可以在收到更多数据时更新图形/概率模型。在线主题模型和SMC上的NIPS教程就是一些很好的例子。

在线学习还存在一些更广泛的问题，例如在线到批处理的转换，带有内核的在线学习的预算技术（例如本文，本文和本文），泛化边界的许多不同风味，稀疏性（以及我上面引用的SMIDAS论文），散列以节省内存以及许多其他问题。

Avrim Blum是一个很棒的调查报告，我建议从以下内容开始：“机器学习中的在线算法” http://www.cs.cmu.edu/~avrim/Papers/survey.ps

如果您正在寻找有关在线学习背后的理论的信息，Cesa-Bianchi和Lugosi的书是不错的参考。

Yoram Singer和Shai Shalev Shwartz在ICML 2008上有一个很好的教程，介绍了在线学习的理论和实践。

机器学习-课程资料-斯坦福大学 http://www.stanford.edu/class/cs229/materials.html

机器学习和人工智能视频讲座 http://freescienceonline.blogspot.com/2007/07/machine-learning-and-artificial.html

高斯机器学习流程 http://www.gaussianprocess.org/gpml/