在机器学习中，为什么使用上标而不是下标？

我正在通过Coursera上Andrew Ng的机器学习课程。对于方程式，使用上标代替下标。例如，在以下等式中，使用代替： $x^{(i)}$ $x_i$

$J(\theta_0, \theta_1) = \frac{1}{2m} \sum\limits_{i=1}^{m}{(h_\theta(x^{(i)}) - y^{(i)})^2}$

显然，这是惯例。我的问题是为什么要使用上标而不是下标？上标已用于求幂。当然，通过注意括号是否存在，我似乎能够区分上标和取幂用例，但这仍然令人困惑。

machine-learning notation

— ent
source

我怀疑这可能是因为某些计算机科学人员不精通标准数学符号，因此他们会自己编写符号。精算师有时也会这样做，当您遇到更复杂的概念时，这会令人沮丧。

— rocinante 2016年

是i在数据集大小上还是在向量元素上建立索引x？如果是前者，那是完全标准的。如果是后者，那完全是非标准的。之所以使用上标，是因为有时您希望使用下标来引用向量的元素。

— Rex Kerr

@rocinante大声笑不，这是因为下标已用于索引向量。

— Neil G

@rocinante这是很自以为是的。关于逆向量/ 爱因斯坦表示法呢？

— Will Vousden

@rocinante我必须向其他人表示赞同，强调您的措词很不幸。我们都有将本地和熟悉的标准视为标准的趋势。

— 尼克·考克斯

Answers:

如果表示矢量然后是用于一个标准的符号的第坐标，即， $x$ $x \in \mathbb R^m$ $x_i$ $i$ $x$

x = (x_{1}, x_{2}, \dots, x_{m}) \in R^{m} .

$x = (x_1, x_2, \ldots, x_m)\in\mathbb R^m.$

如果您有这样的向量的集合，您将如何表示第个向量？您不能写，这具有其他标准含义。因此，有时人们会写，这就是为什么吴安德（Andrew Ng）这么做的原因。 $n$ $i$ $x_i$ $x^{(i)}$

即

x^{(1)} = (x_{1}^{(1)}, x_{2}^{(1)}, \dots, x_{m}^{(1)}) \in R^{m} x^{(2)} = (x_{1}^{(2)}, x_{2}^{(2)}, \dots, x_{m}^{(2)}) \in R^{m} \dots x^{(n)} = (x_{1}^{(n)}, x_{2}^{(n)}, \dots, x_{m}^{(n)}) \in R^{m} .

$\begin{equation} x^{(1)} = (x_1^{(1)}, x_2^{(1)}, \ldots, x_m^{(1)}) \in \mathbb R^m\\ x^{(2)} = (x_1^{(2)}, x_2^{(2)}, \ldots, x_m^{(2)}) \in \mathbb R^m\\ \ldots \\ x^{(n)} = (x_1^{(n)}, x_2^{(n)}, \ldots, x_m^{(n)}) \in \mathbb R^m.\\ \end{equation}$

— 变形虫说恢复莫妮卡
source

我不同意，但是经常使用

，即重复测量。

x_{i j}

$x_{ij}$

— Cliff AB

是的，但是

等于我的

；

等于多少？

x_{i j}

$x_{ij}$

x_{j}^{(i)}

$x^{(i)}_j$

x^{(i)}

$x^{(i)}$

— 变形虫说莫妮卡（Monica）恢复

是的，这是一个优势。我想

有时使用，但是这可能与

混淆。

x_{i .}

$x_{i.}$

\sum_{j = 1}^{n} x_{i j} / m

$\sum_{j= 1}^n x_{ij}/m$

— Cliff AB

如果您希望对矩阵进行迭代，则

似乎是最直观的方法。因此，当从向量移到矩阵时，符号保持一致。

x_{m n}^{(i)}

$x_{mn}^{(i)}$

— josh 2016年

@JAB是的，这是为了使符号更明确（如您所说的“类型提示”）。当然，可以同意将

用于第

个矢量，将

用于第

个矢量的第

个元素。可能有多种约定，这只是其中之一。我什至没有说这是最好的，只是在解释其背后的理由。

x_{i}

$x_i$

i

$i$

x_{i j}

$x_{ij}$

j

$j$

i

$i$

— 变形虫说莫妮卡（Monica）恢复

如您所述，我相信超级脚本的使用在机器学习文献中并不常见。我必须查看Ng的课程笔记以进行确认，但是如果他把它放在那儿，我会说他将是这种表达方式泛滥的根源。这是可能的。无论哪种方式，不要太客气，但我认为许多在线课程的学生都不会发表有关机器学习的文献，因此这种表示法在实际文献中不是很常见。毕竟，这些都是机器学习的入门课程，而不是博士学位级别的课程。

超级脚本非常常见的是表示使用超级脚本进行算法的迭代。例如，您可以将Newton方法的迭代编写为

$\theta^{(t+1)} = \theta^{(t)} - H(\theta^{(t)}) ^{-1} \nabla \theta^{(t)}$

其中是Hessian和是梯度。 $H(\theta^{(t)})$ $\nabla \theta^{(t)}$

（...是的，由于黑森州矩阵的求逆，这并不是实现牛顿方法的最佳方法...）

这里，表示的值在迭代。据我所知，这是超级脚本的最常见（但并非唯一）用法。 $\theta^{(t)}$ $\theta$ $t^{th}$

编辑： 澄清一下，在最初的问题中，似乎暗示在ML表示法中，等同于统计的表示法。在我的回答中，我指出这在机器学习文献中并不普遍。这是真的。然而，如由@amoeba指出，有很多在ML文献数据上标符号的，但是在这些情况下通常不意味着单个载体的观测。 $x^{(i)}$ $x_i$ $x^{(i)}$ $i^{th}$ $x$

— 悬崖AB
source

使用括号/括号上标进行迭代计数（在广泛的领域中普遍使用的一种表示法）的冲突是非常重要的。

— Glen_b-恢复莫妮卡

它通常也用于指示训练集中样本的索引，这与迭代类似，但并不完全相同，因为您通常最终会遍历训练集多次。

— Rex Kerr

我也看到迭代计数使用下标（指出

），以及在管线（

）。这就是为什么在使用一些特定的符号时，我通常会在开始时就消除歧义（例如说“在以下系列中，等等等等”，然后进行数学计算）。因此，无论使用什么符号，读者都可以（希望）理解潜在歧义情况的含义，而不必基于他们所知道的约定来猜测。

a_{n + 1} = a_{n} + 1

$a_{n+1} = a_n + 1$

a (n + 1) = a (n) + 1

$a(n+1) = a(n) + 1$

— JAB

(x > 0)

$(x > 0)$

I (x > 0)

$I(x > 0)$

I (x > 0)

$I(x > 0)$

x > 0

$x > 0$

=

$=$ ===

上标已用于求幂。

在数学中，根据字段的不同，左标和右标都使用上标。选择永远是历史遗产，仅此而已。谁首先进入该领域，就设置使用下标或上标的约定。

$f(x)^{(n)}$

$R^i_i$ $i$ $j$ $T_i^k=R_i^jC_j^k$

$^i_jB_k^l$

因此，Ng对上标的选择也纯粹是历史性的。没有真正的理由使用或不使用它们，或者更喜欢它们而不是下标。实际上，我相信这里的ML人员正在使用张量表示法。他们绝对是深谙主题，如看到此文件。

— 阿克萨卡尔族
source

：您点又如爱因斯坦符号

— 尼尔摹