从MultiOutputClassifier了解predict_proba

我正在scikit-learn网站上跟踪此示例，以使用随机森林模型执行多输出分类。

from sklearn.datasets import make_classification
from sklearn.multioutput import MultiOutputClassifier
from sklearn.ensemble import RandomForestClassifier
from sklearn.utils import shuffle
import numpy as np

X, y1 = make_classification(n_samples=5, n_features=5, n_informative=2, n_classes=2, random_state=1)
y2 = shuffle(y1, random_state=1)
Y = np.vstack((y1, y2)).T

forest = RandomForestClassifier(n_estimators=10, random_state=1)
multi_target_forest = MultiOutputClassifier(forest, n_jobs=-1)
multi_target_forest.fit(X, Y).predict(X)

print(multi_target_forest.predict_proba(X))

由此predict_proba我得到2个5x2数组：

[array([[ 0.8,  0.2],
       [ 0.4,  0.6],
       [ 0.8,  0.2],
       [ 0.9,  0.1],
       [ 0.4,  0.6]]), array([[ 0.6,  0.4],
       [ 0.1,  0.9],
       [ 0.2,  0.8],
       [ 0.9,  0.1],
       [ 0.9,  0.1]])]

我真的很期待n_sample通过n_classes矩阵。我正在努力了解这与存在的类的概率之间的关系。

该文档的predict_proba状态：

形状数组= [n_samples，n_classes]，或者如果n_outputs> 1，则由n_outputs组成的数组列表。

输入样本的分类概率。类的顺序与属性classes_中的顺序相对应。

我想我的描述中有后者，但我仍在努力理解这与我的课堂概率有何关系。

此外，当我尝试访问模型的classes_属性时，forest我得到了，AttributeError而该属性在上不存在MultiOutputClassifier。如何将类与输出关联？

print(forest.classes_)

AttributeError: 'RandomForestClassifier' object has no attribute 'classes_'

假设目标为（0,1），则分类器将输出维度为（N，2）的概率矩阵。第一个索引是指数据属于类别0的概率，第二个索引是指数据属于类别1的概率。

这两个总和为1。

然后可以通过以下方式输出结果：

probability = model.predict_proba(X)[:,1]

如果您有k个类别，则输出为（N，k），则必须指定所需类别的概率。

在中MultiOutputClassifier，您将两个输出视为单独的分类任务；从您链接的文档中：

该策略包括为每个目标配备一个分类器。

因此，结果列表中的两个数组分别代表两个分类器/因变量。然后，这些数组是@ chrisckwong821提到的二进制分类输出（列的类别为0类，概率为1类），但每个问题对应一个。

换句话说，的返回值predict_proba将是一个列表，该列表的长度等于您的宽度y，即n_outputs您的情况2。您从predict_proba文档参考中引述的内容，在文档中n_outputs对此进行了介绍fit：

fit(self, X, y[, sample_weight])

y ：（稀疏）类似数组的形状 (n_samples, n_outputs)

对于第一个问题：

第一个5x2数组为您提供了分类在第一类中的5个测试样本的概率。此外，此5x2数组的第一列告诉您“测试样本未归为第一类的概率”，此5x2数组的第二列告诉您“测试样本未归为第一类的概率” ”。

同样，第二个5x2数组为您提供第二类测试样本的分类概率。

如果要进行检查，可以将这些数组中的值与中的结果进行对比predict。

有时，返回predict_proba可能会给您一个包含Nx1数组和Nx2数组的列表。如果是这样，则没有测试数据被归类为代表这些类的Nx1阵列。