虚假相关的期望值

我们独立于正态分布绘制$N$样本，每个样本的大小为。（μ ，σ 2$n$$(\mu,\sigma^2)$

然后，从样本中选择彼此具有最高（绝对）Pearson相关性的2个样本。$N$

这种相关性的期望值是多少？

谢谢[PS这不是作业]

我发现以下文章解决了这个问题：Jiang，Tiefeng（2004）。样本相关矩阵的最大条目的渐近分布。应用概率年鉴， 14（2），865-880

$L_n = \max_{1\leq i<j\leq N} |\rho_{ij}|$$\rho_{ij}$$i$$j$$n$$i\neq j$

$$\lim_{n \to \infty} \Pr[ nL_n^2 - 4\log n + \log(\log(n)) \leq y] = \exp\left(-\frac{1}{a^2\sqrt{8\pi}}\exp(-y/2)\right) \,,$$ 其中假定存在于纸张中，是。$a = \lim_{n\to\infty} n/N$$N$$n$

显然，此结果适用于具有足够有限时刻的任何分布分布（编辑：请参见下面的@cardinal注释）。江指出，这是第一类极端价值分布。位置和比例是

$$\sigma=2,\quad\mu = 2\log\left( \frac{1}{a^2\sqrt{8\pi}} \right).$$

I型EV分布的期望值为，其中表示欧拉常数。但是，如评论中所述，分配的收敛本身并不能保证手段与限制分配的手段收敛。$\mu + \sigma \gamma$$\gamma$

如果在这种情况下可以显示这样的结果，则的渐近期望值为$n L_n^2 -4\log n + \log(\log(n))$

$$\lim_{n\to\infty} \mathbb E\left[ nL_n^2 - 4\log n + \log(\log(n)) \right] = -2\log\left(a^2\sqrt{8\pi} \right) + 2\gamma \,.$$

注意，这将给出最大平方相关的渐近期望值，而问题要求最大绝对相关的期望值。所以不是100％在那里，而是接近。

我进行了一些简短的模拟，使我认为要么1）我的模拟存在问题（可能），2）我的转录/代数存在问题（也可能），或者3）近似对我使用的和值。也许OP可以使用这种近似来权衡一些仿真结果？$n$$N$

除了@jmtroos提供的答案之外，以下是我的模拟的详细信息，并与@jmtroos对Jiang（2004）的期望的推导进行了比较，即：

$$E\left[L_n^2 \right]= \frac{1}{n} \left \{ 2\log\left( \frac{N^2}{n^2\sqrt{8\pi}} \right) + 2\gamma+ 4\log n - \log(\log(n))\right \}$$

对于较小的，此期望值似乎高于模拟值，对于较大的，此期望值似乎低于模拟值，并且随着增加，它们似乎略有不同。但是，随着的增加，差异逐渐减小，正如我们所期望的那样，正如本文所声称的那样，分布是渐近的。我已经尝试过各种。下面的模拟使用。我是R的新手，因此欢迎提出任何改进我的代码的提示或建议。$N$$N$$N$$n$$n \in [100,500]$$n=200$

set.seed(1)

ns <- 500
# number of simulations for each N

n <- 200
# length of each vector

mu <- 0
sigma <- 1
# parameters for the distribution we simulate from

par(mfrow=c(5,5))
x<-trunc(seq(from=5,to=n, length=20))
#vector of Ns

y<-vector(mode = "numeric")
#vector to store the mean correlations

k<- 1
#index for y

for (N in x) {
# loop over a range of N

    dt <- matrix(nrow=n,ncol=N)

    J <- vector(mode = "numeric")
    # vector to store the simulated largest absolute 
    # correlations for each N

    for (j in 1:ns) {
    # for each N, simulated ns times    

      for (i in 1:N) {
        dt[,i] <- rnorm(n,mu,sigma)
      }
      # perform the simulation

      M<-matrix(cor(dt),nrow=N,ncol=N)
      m <- M
      diag(m) <- NA
      J[j] <- max(abs(m), na.rm=TRUE)   
      # obtain the largest absolute correlation
      # these 3 lines came from stackoverflow
  }

    hist(J,main=paste("N=",N, " n=",n, " N(0,1)", "\nmean=",round(J[j],4))) 
    y[k]<-mean(J)
    k=k+1
}

lm1 <- lm(y~log(x))
summary(lm1)

logx_sq=log(x)^2
lm2<-lm(y~log(x)+logx_sq)
summary(lm2)
# linear models for these simulations

# Jiang 2004 paper, computation:

gamma = 0.5772
yy <- vector(mode = "numeric")
yy <- sqrt((2*log((x^2)/(sqrt(8*pi)*n^2)) + 2*gamma-(-4*log(n)+log(log(n))))/n)


plot(x,yy)
# plot the simulated correlations
points(x,y,col='red')
# add the points using the expectation