贝叶斯网络,神经网络,决策树和Petri网之间的区别


Answers:


27

哇,真是个大问题!答案的简短形式是,仅因为您可以使用图表上相似的视觉表示形式来表示两个模型,但这并不意味着它们甚至在结构,功能或哲学上都遥遥相关。我不熟悉FCM或NF,但可以与其他人交谈。

贝叶斯网络

在贝叶斯网络中,图形表示模型中不同变量的条件相关性。每个节点代表一个变量,每个有向边代表一个条件关系。本质上,图形模型是链规则的可视化。

神经网络

在神经网络中,每个节点都是一个模拟的“神经元”。神经元实质上是开或关,其激活由网络的先前“层”中每个输出的值的线性组合确定。

决策树

假设我们使用决策树进行分类。该树从本质上为我们提供了描述应如何对观察结果进行分类的流程图。我们从树的根部开始,最终到达的叶确定了我们预测的分类。

如您所见,这三个模型除了可以用方框和箭头表示之外,基本上根本没有任何关系。


1
除了理论之外,决策树是否还通过分散数据来处理变量之间的依赖关系?我是机器学习领域的新手,并且对直观地了解在哪种情况下使用哪种算法更感兴趣。对我来说,当您知道变量之间的确切关系时,您将使用贝叶斯网络;而当您猜测某些变量可能依赖于其他变量却不确切知道哪个变量时,则将使用决策树。想知道这是否正确,或者是否可以更详细地解释贝叶斯网络和决策树的适用性。
迪帕克·阿加瓦尔

我真的认为答案应该指出不同之处和相似之处,以勾勒出更大的图景,并指出“这三个模型实际上根本没有任何关系”只是错误的。与BN的生成方法相比,决策树和神经网络采用相同的判别方法。其他两个代表函数,而贝叶斯网络则代表广义函数(分布),...
Lejafar

1
您在此处进行的描述性区分与生成性区分是错误的。神经网络可用于构建生成模型。以GAN为例。我的回答足够了,因为问题可以归结为“这些模型以相似的方式在视觉上表示,这是否意味着它们在结构上相似?” 我解释了这些图形表示如何编码非常不同的信息。
大卫·马克思

1
随时添加您自己的答案。
大卫·马克思

2
@Lejafar,请勿使用修改内容来更改他人答案的内容。如果您不同意答案,请发表评论,投票或发表自己的答案。
gung-恢复莫妮卡

5

很容易证明(参见Daphne Koller的课程),逻辑回归是条件随机字段的受限版本,它是无向图形模型,而贝叶斯网络是有向图形模型。然后,逻辑回归也可以看作是单层感知器。我认为这是贝叶斯网络和神经网络之间唯一的联系(非常松散)。

我尚未找到您询问的其他概念之间的链接。


2
欢迎来到该网站,并感谢您的贡献。您能详细说明一下这一点吗?目前,这只是一个对人们来说并不明显的主张。该信息可能在链接上,但是我们希望即使链接失效后该线程也能保持信息量。
gung-恢复莫妮卡

你好谢谢!我不确定这个解释应该有多精细(达芙妮至少需要半个小时才能准备好证明),我也不是特别新鲜,但是总体思路是逻辑模型是的简化版本Gibbs分布,这又是CRF的基础。
Octavia-Maria Șulea '16

1
crf是什么意思?crf =条件随机字段吗?
泰德·泰勒

2

@David Marx的出色回答。我一直在想,分类/回归树和贝叶斯网络之间有何区别?一个基于熵,可根据不同的预测变量将结果分类为类,另一个基于条件独立性和概率参数估计值构建图形网络。

我觉得与回归/决策树相比,构建贝叶斯网络的方法不同。用于结构学习的算法,使用模型的目标以及模型的推理能力是不同的。

基于分数和基于约束的方法可以与决策树系列中的信息获取标准相提并论。


1

首先,我们试图说明试图通过这些方法解决的问题的性质。如果问题很简单(多项式或NP完整),我们已经准备好通过将公理沿着逻辑规则进行简单组合来插入可以提供确定性答案的算法。但是,如果不是这种情况,我们将不得不依靠一种推理方法,其中,我们尝试将问题视为异构问题并将其插入网络,节点是评估,边缘是组件之间的路径。 。

在任何一种基于网络的推理中,我们都不会根据线性流中的逻辑规则,通过使用抽象概括和组合来进行演绎推理,而是解决基于不同方向上的推理传播的问题,从而解决一次在一个节点上出现问题,可以在以后发现与任何节点有关的新事实时进行改进。现在让我们看看这些技术中的每一种如何以自己的方式来解决问题。

神经网络: 神经网络是一个黑匣子,人们相信(永远无法从系统外部验证)简单节点之间的连接是通过反复的外部增强而形成和强调的。它以Connectionsitic范式处理该问题。该问题可能已经解决,但是几乎没有解释性的方式。现在,由于忽视了解释性问题,神经网络能够快速产生结果,因此被广泛使用。

贝叶斯网络: 贝叶斯网络是一个有向无环图,它更像流程图,只是流程图可以具有循环回路。与流程图不同,贝叶斯网络可以有多个起点。它基本上跟踪了事件在多个歧义点之间的传播,其中事件在路径之间的概率差异很大。显然,在网络中的任何给定点,该节点被访问的概率取决于先前节点的联合概率。贝叶斯网络与神经网络的不同之处在于,它是显式推理,即使是概率性的,因此也可以基于每个步骤在合法值内重新访问和修改,从而具有多个稳定状态,就像算法一样。这是一种可靠的概率推理方法,但是它涉及概率的编码,

决策树: 决策树还是一个网络,更像流程图,它比神经网络更接近贝叶斯网络。每个节点比神经网络具有更多的智能,可以通过数学或概率评估来确定分支。这些决策是基于可能发生的事件的频率分布的简单评估,其中决策是概率性的。但是,在贝叶斯网络中,该决定基于指向事件已发生的“证据”的分布,而不是事件本身的直接观察。

举例 例如,如果我们要预测一只食人虎在喜马拉雅山某些村庄中的移动,而该村庄恰好在某些老虎保护区的边缘,则可以采用以下两种方法对它进行建模:

在决策树中,我们将依靠专家估计,是老虎会在开阔田野之间做出选择,还是河流会在后者上做出选择。在贝叶斯网络中,我们通过哈巴狗痕迹追踪老虎,但其推理方式承认这些哈巴狗痕迹可能是常规巡逻其领土的某些其他类似大小的老虎的痕迹。如果要使用神经网络,则通常必须使用老虎的各种行为特征来反复训练模型,例如其对游泳的偏爱,对开阔地域的偏爱,对开阔地带的偏爱,避免人类居住的环境,以便允许网络在老虎可能采取的整个过程中进行推理。


0

关于图形模型,Petri Net形式化了系统行为。它与前面提到的其他模型有很大的不同,所有这些模型都与判断的形成方式有关。

值得一提的是,大多数引用的名称都指定了相当广泛的AI概念,这些概念通常会融合在一起:例如,您可以使用神经网络来构建决策树,而神经网络本身(如之前讨论的那样)可能取决于贝叶斯算法。推理。


-3

这是一个很好的问题,我一直在问自己同样的问题。神经网络有两种以上,似乎先前的答案针对的是竞争性类型,而贝叶斯网络似乎与前馈,反向传播(FFBP)类型而非竞争性类型相似。实际上,我会说贝叶斯网络是FFBP的推广。因此,FFBP是贝叶斯网络的一种,并且以类似的方式工作。

By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.