从庞大的数据集中学习的方法？

基本上，有两种学习大型数据集的常用方法（当您面临时间/空间限制时）：

1. 作弊:)-仅使用“可管理”子集进行训练。由于收益递减规律，准确性的损失可以忽略不计-模型的预测性能通常在将所有训练数据纳入模型之前就已经趋于平缓。
2. 并行计算-将问题分解为较小的部分，并在单独的计算机/处理器上解决每个问题。虽然您需要算法的并行版本，但是好消息是，许多常见算法自然是并行的：最近邻居，决策树等。

还有其他方法吗？何时使用它们有什么经验法则吗？每种方法的缺点是什么？

流挖掘是一个答案。也称为：

• 数据流挖掘
• 在线学习

• 大规模在线学习

  而不是将所有数据集存储在内存中并从中进行训练。他们将其块放入内存中，并从这些块流中训练分类器/集群。请参阅以下链接。

• 来自维基百科的Data_stream_mining。

• MOA：大规模在线分析

  • 文章
  • 用Java编写的工具，能够使用weka算法
  • 书

• 斯坦福大学，《海量数据集的挖掘》。它使用MapReduce作为工具。

• videolectures.net中的视频。搜索该站点中存在类似的视频。

  • 数据流挖掘的最新技术
  • 挖掘海量数据集

不仅可以使用一个子集，还可以像微型批量学习中那样使用多个子集（例如，随机梯度下降）。这样，您仍将使用所有数据。

像打包或混合之类的集合体-不会浪费任何数据，问题会自动变得微不足道，并且可能会显着提高准确性/稳健性。