术语“正规化”的由来

当我向学生介绍概念时，经常会发现告诉他们术语的起源很有趣（例如，“回归”是一个有意思的起源的术语）。我还没有找到统计/机器学习中“正则化”一词的历史/背景。

那么，正则化一词的起源是什么？

— 马修·德鲁里
source

我最好的猜测是回归可以追溯到高尔顿。史蒂夫·斯蒂格勒（Steve Stigler）说，只要有人声称自己是第一个，他们就会被发现是错误的。许多人认为Efron是第一个在统计数据中创造“ bootstrap”一词的人。但是西蒙声称在1960年代初使用过它。在数学和统计中，正则化有许多不同的用途。在Wikipedia中：en.wikipedia.org/wk/Regularization_(mathematics）。

— Michael R. Chernick

这么多的方法，那么多的可能的第一。

— Michael R. Chernick

@MichaelChernick我更喜欢Tukey自举的术语“ The弹枪”，因为它可以使您摆脱任何问题，但必须将所有部分放在一起：)

— AdamO

我知道这个词自1980年代之前就已被普遍使用。蒂霍诺夫（Tikhonov），阿森宁（Arsenin）1977年写了一篇题为“不适定问题的解决方案”的文章，其中介绍了一种获得超额线性方程组平滑解的方法，后来发现该结果与里奇回归（Girard 1991）相当。我认为Tikhonov使用了“正则化方法”这个名称。我进一步认为Hastie以反映其现代用法的方式抽象了“规则化”。

— AdamO '16

诸如“序列正则化”之类的术语在数学中已经存在很长时间了（肯定是从1920年代开始），其含义与不适定问题的正则化有密切关系。我怀疑该词在数学中的使用将源于其在工程学中的使用（例如“流量正规化”）。

— Glen_b-恢复莫妮卡

Answers:

与马修·冈恩（Matthew Gunn）的贡献类似，这也不是一个真正的答案，而更像是一个可行的候选人。

我也首先听说过Tikhonov正则化中的“正则化”一词，尤其是在地球物理学中的（线性）逆问题中。有趣的是，虽然我认为这可能是由于我的学习领域（即查看我的用户名），但显然Tikhonov实际上在该领域做了很多工作！

我的直觉是，现代的“转正”的方式可能也与吉洪诺夫的工作起源。基于这种推测，我在这里的贡献分为两个部分。

第一部分是（扶手椅）历史性的（基于细读论文标题和我自己先前的偏见！）。尽管在1963年发表的论文《错误地提出问题的解决方案和正则化方法》似乎是“正则化”一词的首次使用，但我不确定这是真的。此参考在Wikipedia中被引用为

提科霍诺夫（1963）。“Орешениинекорректнопоставленныхзадачиметодерегуляризации”。Doklady Akademii Nauk SSSR。151：501-504。翻译为“错误地提出问题的解决方案和正则化方法”。苏联数学。4：1035-1038。

给人的印象是，季克霍诺夫本人至少本来是用俄语写这些作品的，所以“正规化”一词可能是后来的译者创造的。[更新：不，“регуляризации” =正则化，请参见Cagdas Ozgenc的评论。]此外，这项工作似乎是Tikhonov进行的长期研究的一部分。例如纸

提克霍诺夫（Tikhonov），安德烈（Andrey Nikolayevich）（1943）。“关于反问题的稳定性]。”Обустойчивостиобратныхзадач“。Doklady Akademii Nauk SSSR。39（5）：195–198。

表明他至少在20年前参与了相同的一般主题。但是，该时间表表明，反问题工作可能始于1963年而不是1943年。

[ 更新：1943年论文的译本表明，“ 正则性 ” 的术语在此用于指“反问题的稳定性（或反映射的连续性）”。]

我的贡献的第二部分是关于在这种情况下最初打算如何进行“正则化”的假设。通常将“规则”用作“平滑”的同义词，特别是在描述曲线和/或曲面几何形状时。在大多数地球物理应用中，理想的解决方案是对空间分布的字段进行网格估计，并使用Tikhonov正则化来强加平滑度。

（Tikhonov矩阵通常是类似于PDE矩阵的离散空间导数算子，而岭回归的恒等矩阵。这是因为对于这些网格/正向模型，正向模型矩阵的零空间趋向于包括像“棋盘模式”，将污染的结果，除非处罚;类似这样）。

更新：这些问题在我的答案说明这里。

摘要

我也对Tikhonov作为发起人投了赞成票（大概在1963年左右）
最初的应用可能是地球物理逆建模，因此术语“正则化”可能是指使生成的地图*更平滑，即“正则化”。

（*基于1943年论文的最新报价，该措辞似乎是正确的……但是出于错误的原因！相关的“地图” 不在网格和字段之间，，但是正向模型的逆映射。） $u[x]=F[\theta]$ $\theta=F^{-1}[u]$

— GeoMatt22
source

1963年的论文在俄语版中包含“正则化”标题。除非有人将其翻译成英文，然后提科霍诺夫（Tikhonov）将该标题翻译回其语音读物，否则原标题上将出现标题。“ O rehsnenii nikorrektna postavlennih zadach i metodi Regularizatsii”

— Cagdas Ozgenc

这是部分答案，部分是长评论。候选人名单不完整：

蒂霍诺夫，安德烈。“解决公式错误的问题和正则化方法。” 苏联数学。Dokl .. Vol。1963年5月。Tikhonov以Tikhonov正则化（也称为岭回归）而闻名。
物理学中有一个正则化的概念至少可以追溯到1940年代，但是我不认为与Tikhonov正则化有任何关系？（我不是物理学家。）
工程文献谈到至少可以追溯到1880年代的河流正则化（以改善航行）。

在http://books.google.com上进行搜索之前，直到1970年代，“正规化”一词在数学和物理书籍中一次又一次地出现后，才得到广泛使用。

— 马修·冈恩
source

1.绝对是候选人。但是，我不认为2.或3.与OP遵循的正则化的数学概念相对应。Wikipedia同意，他们将“正则化（数学）”和“正则化（物理学）”分开编写。

— Gordon Smyth

最简单地说，该术语在科学术语的自然演变中得以幸存，因为它抓住了该技术的核心目标：从一堆解决方案到一个不适定的问题，它选择了常规的解决方案，即

按照规则

（免费词典的定义）

例如，这也用于通用语言中，以设计木工中的光滑表面。类似地，如果规则是最小化重构信号的不平滑位的总变化（TV）（例如，通过梯度的总能量来衡量），则回归问题的解决方案将显得更规则。

$\ell_0$

— 梅杜兹
source