在哪里可以找到大型文本语料库？[关闭]

16

我正在寻找要下载的大型（> 1000）文本语料库。最好是带有国际新闻或某种报道。我只找到一个拥有专利的产品。有什么建议么？

dataset

— Dimitar Vouldjeff
source

该话题似乎不在主题之列。参见meta.stats.stackexchange.com/questions/1032/…。

— ub

这个问题似乎离题，因为它是关于寻找数据集，而不是进行统计分析

— 彼得·弗洛姆-恢复莫妮卡

2

嗯，这很尴尬，因为此问答非常有用。

— 秀节目Bob

@guaka，请勿对此类旧帖子进行此类细微修改，尤其是已关闭的帖子。的确，我们的风格偏好不是“感谢”，但对于这个较小的事物，我们将保留它。

— gung-恢复莫妮卡

9

Wikileaks文本不适合您吗？

— 阿达莫
source

但是我怎么能以.txt

— 格式

6

什么维基？这是我可以找到的最新数据库转储：http : //dumps.wikimedia.org/enwikinews/20111120/

您可能需要“所有页面，仅当前版本。”版本。

— 猛龙
source

这不再起作用。

— vy32

转储链接不再起作用。按地区

— 划分的

6

路透社文本语料库是该领域的经典著作，可以在这里找到

— 富有的人
source

它不是最有趣的（或多样化的）语料库。该许可相对于Wikileaks（美国公共领域的文档）或wikinews也具有限制性。

— 阿里德尔2013年

@ariddell我同意，但是它在NLP入门示例中很常用，它足够大，可以用于学习，但是足够小，可以在好的笔记本电脑上进行分析。

— richiemorrisroe

3

http://endb-consolidated.aihit.com/datasets.htm 包含有文字描述的1万家公司

— 尤里
source

目前已过时

— Quonux

1

如果新近性不是问题，可以尝试

http://www.infochimps.com/datasets/20-newsgroups-dataset-de-duped-version

而且infochimp中还有其他许多类似的数据集，具体取决于您的预算。

问候，安迪。

— 德拉劳
source

这不再起作用

— vy32

1

如果您想要预先计算的n-gram，则可以尝试使用Google图书档案：

http://books.google.com/ngrams/datasets

— tdc
source

这个怎么用？

— 快乐编码