“拉普拉斯噪声”是什么意思?


9

我目前正在使用Laplace机制编写差分隐私算法。

不幸的是,我没有统计学背景,因此我不知道很多术语。因此,现在我对术语“ 拉普拉斯噪声”不休。为了使数据集微分私有,所有论文都只是讨论根据函数的Laplace分布添加Laplace噪声。

k(X)=f(X)+Y(X)

(k是微分私有值,f是评估函数返回的值,Y是拉普拉斯噪声)

这是否意味着我根据Wikipedia https://en.wikipedia.org/wiki/Laplace_distribution的功能从Laplace分布中创建随机变量?

Y=μb sgn(U)ln(12|U|)

更新:我从上面的函数中绘制了多达100个随机变量,但这并没有给我拉普拉斯分布(甚至不接近)。但是我认为它应该为拉普拉斯分布建模。

UPDATE2:

这些是我的定义:

(拉普拉斯机制)。给定任何函数f:N|X|Rk,拉普拉斯机制定义为:ML(x,f(·),ϵ)=f(x)+(Y1,...,Yk),其中Y是从Lap(∆f / \ epsilon)得出的iid随机变量Lap(f/ϵ)

以及:

要生成Y(X),通常的选择是使用均值为零且标度参数为((f)/ε)的拉普拉斯分布


您拥有的第二个等式是CDF,而不是PDF。您要从PDF中取样。下面是一些Python代码样品从拉普拉斯(双指数)分布(docs.scipy.org/doc/numpy-1.9.3/reference/generated/...
卢卡

1
您能否提供提及“拉普拉斯噪声”的确切参考?我猜他们的意思是将rv Y添加到X,其中Y遵循拉普拉斯分布。至于您的更新,此方法确实有效-您肯定在代码中犯了错误,或者只是您仅从中进行了 100次抽奖,如果尝试了5000次或更多,我想它将开始看起来更多“拉普拉斯” ...
蒂姆

我认为我的情节实际上看起来更像是CDF,是我在上面添加的内容以及代码。这是引号的链接:1 2-
乐天

我也看过我以前使用的代码,但我不知道为什么它会给我这样的结果。该图显示了我的代码,对于f = 1和eps = 1循环了1000次。但是,我想我的主要观点是,如果我正确理解“拉普拉斯噪声”。我可以以某种方式锻炼的代码。
乐天

Answers:


14

你是正确的,将拉普拉斯噪声的装置,为您的变量你添加变量遵循拉普拉斯分布。将其称为“ 噪音”有多种原因。首先,考虑一下信号处理,即消息是通过某个通道发送的,并且由于该通道的不完美特性,接收到的信号有噪声,因此您必须将信号与噪声隔离开。其次,在密码学中,我们还讨论伪随机噪声,而差分隐私与密码学有关。第三,在统计和机器学习中,我们还可以谈论统计噪声,统计模型包括噪声或误差项等(甚至还有一本关于预测名称的书Xÿ信号和噪音由内特·西尔弗(Nate Silver)提供。因此,我们将噪声用作歧义随机性的更精确同义词。

关于随机生成,有多种方法可以按照拉普拉斯分布绘制随机值,例如:

  1. 维基百科上描述的逆变换方法:
f <- function(n) {
   u <- runif(n, -0.5, 0.5)
   sign(u)*log(1-2*abs(u))
}
  1. 如果和是遵循指数分布的独立随机变量,遵循拉普拉斯分布üVÿ=ü-V
g <- function(n) { rexp(n)-rexp(n) }
  1. 如果遵循拉普拉斯分布,遵循指数分布,因此:ÿ|ÿ|
h <- function(n) { rexp(n)*sample(c(-1,1), n, replace = TRUE) }

在下面的图中,您可以看到使用带有伴随Laplace密度(红线)的每个函数绘制的样本的分布。105

在此处输入图片说明

为了简化示例,我使用标度= 1的标准Laplace分布,但是您可以通过使用不同的比例因子乘以结果来轻松更改结果。


谢谢!这回答了我的问题,我对“噪声”一词感到非常困惑,无法找到适当的解释。
乐天

我为我的代码绘制了直方图,看起来很不错:)
Lotte

2

拉普拉斯(Laplace)或双指数分布在某个均值附近向左和向右呈指数下降。基本上是映射到另一侧的指数。

  • 如果需要可能性,请使用指数的可能性,然后将abs()添加到观测值。对数似然仅是残差的abs(),乘以指数的比率。

  • 要进行采样,最简单的方法是从-1,1开始绘制,然后乘以指数分布的绘制,这在大多数编程语言中都是可用的。或者,如上所述,您还将找到Laplace的直接实现,但可能需要更多的搜索。

By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.