为什么有限精度是机器学习中的一个问题？

您能解释什么是有限精度吗？为什么有限精度是机器学习中的一个问题？

有限精度是已四舍五入的数字的十进制表示形式。在许多情况下，这可能是必要的或适当的。例如1/3和超越数和π都具有无限的十进制表示形式。在编程语言C中，双精度值是8位，精确到大约16位数字。看这里。$e$$\pi$

http://www.learncpp.com/cpp-tutorial/25-floating-point-numbers/

为了在（有限）计算机上具体表示这些数字之一，必须进行某种折衷。我们可以将1/3到9的数字写为.333333333，小于1/3。

这些折衷与算术运算混合在一起。不稳定的算法容易出现算术错误。这就是为什么SVD通常用于计算PCA（协方差矩阵的不稳定性）的原因。

http://www.sandia.gov/~smartin/presentations/SMartin_Stability.pdf

https://zh.wikipedia.org/wiki/数值稳定

在朴素的贝叶斯分类器中，您经常会看到乘法转换为对数之和，这样就不容易出现舍入误差。

https://zh.wikipedia.org/wiki/Naive_Bayes_classifier#Multinomial_naive_Bayes

一个简单的例子：深度学习中的消失梯度问题。它主要不是有限精度问题，但这也是问题的一部分。