MongoDB选择索引列上的count（distinct x）-计算大型数据集的唯一结果

Question 1

我已经阅读了几篇文章和示例，还没有找到在MongoDB中进行此SQL查询的有效方法（那里有数百万个行数文件）

第一次尝试

（例如，来自这个几乎重复的问题-Mongo是否等同于SQL的SELECT DISTINCT？）

db.myCollection.distinct("myIndexedNonUniqueField").length

显然我遇到了这个错误，因为我的数据集很大

Thu Aug 02 12:55:24 uncaught exception: distinct failed: {
        "errmsg" : "exception: distinct too big, 16mb cap",
        "code" : 10044,
        "ok" : 0
}

第二次尝试

我决定尝试做一个小组

db.myCollection.group({key: {myIndexedNonUniqueField: 1},
                initial: {count: 0}, 
                 reduce: function (obj, prev) { prev.count++;} } );

但是我却得到了这个错误信息：

exception: group() can't handle more than 20000 unique keys

第三次尝试

我还没有尝试过，但是有一些建议涉及 mapReduce

例如

这一个如何在mongodb中进行区分和分组？（不接受，答案作者/ OP未对其进行测试）
这个由功能划分的MongoDB组（似乎类似于“第二次尝试”）
这个http://blog.emmettshear.com/post/2010/02/12/Counting-Uniques-With-MongoDB
这个https://groups.google.com/forum/?fromgroups#!topic/mongodb-user/trDn3jJjqtE
这个http://cookbook.mongodb.org/patterns/unique_items_map_reduce/

也

似乎在GitHub上有一个pull请求，修复了.distinct提及该方法只应返回一个计数的方法，但它仍处于打开状态：https : //github.com/mongodb/mongo/pull/34

但是在这一点上，我认为值得在这里问一下，关于该主题的最新信息是什么？我应该转移到SQL或另一个NoSQL DB以获得不同的计数吗？还是有一种有效的方法？

更新：

对MongoDB官方文档的评论并不令人鼓舞，这是正确的吗？

http://www.mongodb.org/display/DOCS/Aggregation#comment-430445808

更新2：

似乎新的Aggregation Framework回答了上述评论...（MongoDB 2.1 / 2.2及更高版本，提供开发预览，不适用于生产）

http://docs.mongodb.org/manual/applications/aggregation/

Question 2

1）最简单的方法是通过聚合框架。这需要两个“ $ group”命令：第一个按不同的值分组，第二个对所有不同的值进行计数

pipeline = [ 
    { $group: { _id: "$myIndexedNonUniqueField"}  },
    { $group: { _id: 1, count: { $sum: 1 } } }
];

//
// Run the aggregation command
//
R = db.runCommand( 
    {
    "aggregate": "myCollection" , 
    "pipeline": pipeline
    }
);
printjson(R);

2）如果要使用Map / Reduce做到这一点，则可以。这也是一个分为两个阶段的过程：在第一阶段，我们将构建一个新集合，其中包含键的每个不同值的列表。在第二个中，我们对新集合执行count（）。

var SOURCE = db.myCollection;
var DEST = db.distinct
DEST.drop();


map = function() {
  emit( this.myIndexedNonUniqueField , {count: 1});
}

reduce = function(key, values) {
  var count = 0;

  values.forEach(function(v) {
    count += v['count'];        // count each distinct value for lagniappe
  });

  return {count: count};
};

//
// run map/reduce
//
res = SOURCE.mapReduce( map, reduce, 
    { out: 'distinct', 
     verbose: true
    }
    );

print( "distinct count= " + res.counts.output );
print( "distinct count=", DEST.count() );

请注意，您无法返回内联映射/缩小的结果，因为这可能会超出16MB的文档大小限制。您可以将计算结果保存在集合中，然后对集合的大小进行count（）运算，也可以从mapReduce（）的返回值中获取结果数。

Question 3

db.myCollection.aggregate( 
   {$group : {_id : "$myIndexedNonUniqueField"} }, 
   {$group: {_id:1, count: {$sum : 1 }}});

直接得出结果：

db.myCollection.aggregate( 
   {$group : {_id : "$myIndexedNonUniqueField"} }, 
   {$group: {_id:1, count: {$sum : 1 }}})
   .result[0].count;

Question 4

以下解决方案为我工作

db.test.distinct（'user'）; [“ alex”，“ England”，“ France”，“ Australia”]

db.countries.distinct（'country'）。length 4