远程监督,自我训练,自我监督学习与弱监督之间有什么区别吗?


12

从我读到的内容:


远距离监督

A Distant supervision algorithm usually has the following steps: 
1] It may have some labeled training data 
2] It "has" access to a pool of unlabeled data 
3] It has an operator that allows it to sample from this unlabeled 
   data and label them and this operator is expected to be noisy in its labels 
4] The algorithm then collectively utilizes the original labeled training data
    if it had and this new noisily labeled data to give the final output.

自我训练

在此处输入图片说明


自学 Yates,Alexander等人,“ Textrunner:网络上的开放信息提取。”人类语言技术论文集:计算语言学协会北美分会年会:示范。计算语言学协会, 2007.):

学习者分两步操作。首先,它会自动将自己的训练数据标记为肯定或否定。其次,它使用此标记的数据来训练朴素贝叶斯分类器。


弱监督(霍夫曼,拉斐尔等人。“基于知识的弱监督,用于重叠关系的信息提取。”计算语言学协会第四十九届年会论文集:人类语言技术,第1卷。计算语言学协会,2011年):

一种更有前景的方法,通常称为“弱”或“远程”监管,它通过试探性地将数据库的内容与相应的文本进行匹配来创建自己的训练数据。


在我看来,这一切都是一样的,除了自我训练似乎略有不同之外,因为标记试探法是经过训练的分类器,并且在标记阶段和分类器训练阶段之间存在一个循环。但是,姚明,利敏,塞巴斯蒂安·里德尔和安德鲁·麦卡勒姆。“ 没有标记数据的跨文档的集体提取。 ”《自然语言处理中的经验方法的2010年会议论文集》。计算语言学协会,2010年。声称远程监督==自我培训==弱监督。

另外,还有其他同义词吗?


有趣的问题。这可能属于数据科学吗?
goangit 2014年

@goangit可能就像这个网站的大部分内容一样;)
Franck Dernoncourt 2014年

Answers:


7

您提供的所有不同术语有两个方面:1]获取训练数据的过程2]训练算法f

f

传统上,在任何有关监督学习的机器学习论文中,都会发现该论文隐含地假设训练数据是可用的,并且对于它的价值,通常会假设标签是精确的,并且标签中没有歧义。在训练数据中提供给实例的数据。但是,在远程/弱监督文件中,人们意识到他们的训练数据具有不正确的标签,并且他们通常希望在工作中着重指出的是,尽管使用不精确的标签存在明显的缺点,但他们仍能获得良好的结果(并且他们可能有其他算法方法为了克服不精确标签的问题,可以通过附加的过滤过程等来实现,通常,论文希望强调这些附加的过程非常重要和有用。这引起了术语“弱” 或“远”表示训练数据上的标签不准确。请注意,这不一定会影响分类器的学习方面。这些人使用的分类器仍然隐式地假设标签是精确的,并且训练算法几乎没有改变。

在另一方面,自我训练在某种意义上是特别的。正如您已经观察到的,它从自己的分类器中获取标签,并且有一些反馈回路需要更正。通常,我们在“归纳”算法的稍大范围内研究监督分类器,其中学习到的分类器是根据有关整个数据的训练数据得出的归纳推断。人们研究了另一种形式,我们称为转导推理,其中一般的归纳推理不是算法的输出,而是该算法将训练数据和测试数据共同作为输入并在测试数据上产生标签。但是,人们想出了为什么不在归纳学习中使用归纳推理来获得具有较大训练数据的分类器的原因。

希望我不再让您感到困惑,请随时发表评论,并在必要时要求更多说明。

[1]可能有用-http: //www.is.tuebingen.mpg.de/fileadmin/user_upload/files/publications/pdf2527.pdf


谢谢,您的回答很有趣!自我学习怎么样?与远/弱监督一样吗?
Franck Dernoncourt,2014年

1
是。我没有特别看到自我学习与远程/弱监督之间的区别,因为标签是从不精确的来源中单独获得的,然后输入到有监督的分类器中。
TenaliRaman 2014年
By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.