“转移学习”和“领域适应”之间有什么区别？

19

“转移学习”和“领域适应”之间有什么区别吗？

我不了解上下文，但是我的理解是，我们有一些数据集1并对其进行训练，之后我们又有了另一个数据集2，我们希望针对该数据集2适应我们的模型而无需从头进行重新训练，为此我们需要进行“转移学习”和“域自适应”有助于解决此问题。

根据卷积神经网络领域：

  • “转移学习”是指“微调” [1]

  • 在这种情况下，[2]是不受监督的，但是“域自适应”是否应始终不受监督？

deep-learning  terminology  conv-neural-network  transfer-learning  domain-adaptation 
— 格洛姆
source
3
Pan等人对迁移学习的调查 Al，2009年提供了一些见解。他们将领域适应归类为转移学习的一种。
— kedarps '17

Answers:

13

似乎在研究人员之间关于“转移学习”和“领域适应”之间的区别存在分歧。

从{0}起：

域适应的概念与迁移学习密切相关。转移学习是一个通用术语，是指涉及不同任务或领域的一类机器学习问题。在文献中，还没有转移学习的标准定义。在某些论文中，它可以与领域适应互换。

来自{1}：

在此处输入图片说明

参考文献：

— 弗兰克·德农库特
source
10

根据Hal Daume的文章[1]：

标准分类设置是输入分布p（X）和标签分布p（Y | X）。领域适应：当p（X）在训练和测试之间改变时。转移学习：当p（Y | X）在训练和测试之间改变时。

换句话说，在DA中，输入分布发生了变化，但标签保持不变。在TL中，输入分布保持不变，但标签改变。

  1. https://nlpers.blogspot.com/2007/11/domain-adaptation-vs-transfer-learning.html （镜像）
— 拉胡尔·贾（Rahul Jha）
source
欢迎使用交叉验证！请花一点时间查看我们的行程。最好是答案是独立的，并带有适当的引用。如果您要使用链接中的信息来为问题提供合理的答案，并提供链接以供进一步阅读，则答案将大大改善。
— Tavrock
1
p（ÿ|X）p（X）
我同意@caveman。对于许多转移学习方案来说就是如此。
— pir
2

在有关迁移学习的所有文献中，存在许多术语不一致之处。诸如转移学习和领域适应之类的短语用于指代相似的过程。域适应是一种或多种源域适应过程，用于传递信息的手段来提高目标学习者的表现。域适应过程尝试更改源域，以使源的分布更接近目标的分布。在“域适应”设置中，源域和目标域具有不同的边际分布p（X）。根据Pan的调查，转移学习是一个广义的术语，也可以包括源域和目标域的条件分布p（Y | X）存在差异的情况。相反，

  1. https://nlpers.blogspot.com/2007/11/domain-adaptation-vs-transfer-learning.html
— 克里斯托斯·卡拉萨洛斯（Christos Karatsalos）
source
是否可以为“潘氏调查”添加引文？我认为这将使该答案对将来的读者更有用。
— 银鱼
潘，辛诺·嘉琳和杨强。“关于迁移学习的调查。” IEEE Transactions on Knowledge and Data Engineering 22，否。10（2010）：1345-1359。Scholar.google.com/…；citeseerx.ist.psu.edu/viewdoc/...
— 克里斯托Karatsalos
By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.