统计和大数据

我被教导，我们可以从总体中采样后以置信区间的形式生成参数估计。例如，在没有违背假设的情况下，95％的置信区间应具有95％的成功率，其中包含我们估计的总体中真实参数是什么。 即 从样本产生点估计。 产生一个范围内的值，理论上有95％的机会包含我们尝试估计的真实值。 但是，当主题变为假设检验时，步骤描述如下： 假设某个参数为原假设。 给定该原假设，则得出获得各种点估计值的可能性的概率分布。 如果原假设为真，则如果我们得到的点估计的产生时间少于5％，则拒绝原假设。 我的问题是这样的： 为了拒绝零值，是否有必要使用零值假设来产生我们的置信区间？为什么不只是执行第一个过程并获得我们对真实参数的估计（在计算置信区间时未明确使用我们的假设值），然后拒绝零假设（如果它不在此区间内）？ 从逻辑上讲，从直觉上看，这在逻辑上等效于我，但是我担心我错过了一些非常基本的东西，因为可能有这样一种教导。

9 hypothesis-testing  confidence-interval  estimation  inference 

我知道前分配时刻。我也知道我的分布是连续的，单峰的并且形状良好（看起来像伽马分布）。是否有可能：ññN 使用某种算法，从该分布生成样本，在极限条件下哪些样本将具有完全相同的矩？ 通过分析解决此问题？ 我知道，除非有无限的时刻，否则这个问题不可能有独特的解决方案。我很高兴有任何东西。 由于评论的澄清： 我不需要恢复原始发行版。在给定的时刻我需要任何东西。

9 distributions  moments 

是否有可能使两个iid rv的差异的PDF看起来像一个矩形（而不是说，如果rv取自均匀分布，则得到的三角形）。 也就是说，对于所有-1 <x <1，jk的PDF f（对于从某个分布中提取的两个iid rv）是否有f（x）= 0.5？ 除j和k的分布没有限制外，最小值为-1且最大值为1。 经过一些试验，我认为这可能是不可能的。

9 random-variable  pdf  iid 

这可能是一个有点哲学问题的，但在这里我们去：在决策理论，贝叶斯估计的风险为相对于定义为先验分布上。θ＆Element;ΘπΘθ^(x)θ^(x)\hat\theta(x)θ∈Θθ∈Θ\theta\in\Thetaππ\piΘΘ\Theta 现在，一方面，为了使真实的生成数据（即“存在”），必须是下的可能变量，例如具有非零概率，非零密度等。另一方面，是未知的，因此先验的选择，因此我们不能保证真实的是我们选择的下的可能变量。θ π θ θ πθθ\thetaθθ\thetaππ\piθθ\thetaθθ\thetaππ\pi 现在，对我来说，似乎我们不得不以某种方式选择，以使成为可能的变量。否则，某些定理将不成立。例如，最小极大值的估计将不是最不利先验的贝叶斯估计，因为我们可以通过从其域中排除周围并包括的大区域来使该先验任意地变坏。但是，很难保证确实在域中。θ θππ\piθθ\thetaθθ\thetaθθ\theta 所以我的问题是： 通常是否假定实际是的可能变量？πθθ\thetaππ\pi 可以保证吗？ 是否可以至少以某种方式检测到违反此情况的案例，所以在条件不成立时，不依赖最小定理等定理吗？ 如果不需要，为什么决策理论中的标准结果成立呢？

9 bayesian  prior  decision-theory  point-estimation 

我最近回顾了自己的时间序列知识，并意识到机器学习通常只会提前一步。 有了一步一步的预测，我的意思是进行预测，例如，如果我们有每小时的数据，请使用上午10点到上午11点的数据进行预测，而上午12点则使用12点的数据进行预测等等。 机器学习方法可以产生提前h预测吗？有了h提前预测，我的意思是，例如，假设每小时的数据，我们使用上午10点的数据进行7提前预测，以获得11,12,13,14,15,16,17的估算值。时钟。 图片示例： 有关我的主要问题，我想知道： 我没有看到任何人使用机器学习进行h提前预测的原因是什么？ 如果有一种使用机器学习的方法，它是否比ARIMA更为精确？

9 machine-learning  time-series  forecasting  arima 

介绍 我有一些参与者在两种情况下反复接触被大肠杆菌污染的表面（A =戴手套，B =不戴手套）。我想知道戴着和不戴着手套的指尖上的细菌数量之间以及接触数之间是否存在差异。这两个因素都是参与者。 实验方法： 参与者（n = 35）用同一根手指触摸每个方块一次，最多8个接触点（见图a）。 然后，我擦拭参与者的手指，并在每次接触后测量指尖上的细菌。然后，他们用一根新手指触摸不同数量的表面，以此类推，从1到8个触点（见图b）。 这是真实数据：真实数据 该数据是非正态的，因此请参见下面的细菌边际分布| NumberContacts。x ＝细菌。每个方面都是不同数量的联系人。 模型 根据使用gamma（link =“ log”）和NumberContacts的多项式的变形虫的建议，从lme4 :: glmer尝试： cfug<-glmer(CFU ~ Gloves + poly(NumberContacts,2) + (-1+NumberContacts|Participant), data=(K,CFU<4E5), family=Gamma(link="log") ) plot(cfug) 注意 Gamma（link =“ inverse”）不会说PIRLS减半未能减少偏差。 结果： cfug的拟合vs残差 qqp（resid（cfug）） 题： 是否正确定义了我的glmer模型，以纳入每个参与者的随机影响以及每个人都同时进行实验A和实验B的事实？ 加成： 参与者之间似乎存在自相关。这可能是因为没有在同一天对它们进行测试，并且细菌瓶随着时间的推移而增长和下降。有关系吗？ acf（CFU，lag = 35）显示一个参与者与另一个参与者之间的显着相关性。

9 r  anova  repeated-measures  lme4-nlme  glmm 

在Wikipedia中，给出了从频繁主义者角度来看足够统计量的最简单定义。但是，我最近遇到了一本贝叶斯书，定义为。链接中指出两者是等效的，但我不知道如何。同样，在同一页面的“其他类型的充足性”部分中，声明了两个定义在无限维空间中是不相等的...P(θ|x,t)=P(θ|t)P(θ|x,t)=P(θ|t)P(\theta|x,t)=P(\theta|t) 另外，预测性充足性与经典充分性有何关系？

9 bayesian  mathematical-statistics  sufficient-statistics 

我正在尝试建模和预测一个周期性而不是季节性的时间序列（即存在类似季节性的模式，但没有固定的时间段）。可以使用ARIMA模型来做到这一点，如“ 预测：原理和实践”第8.5节所述： 如果数据显示周期，则的值ppp很重要。为了获得环预测，有必要具有p≥2p≥2p\geq 2与对参数的一些附加条件一起。对于AR（2）模型，如果，则会发生循环行为ϕ21+4ϕ2&lt;0ϕ12+4ϕ2&lt;0\phi^2_1+4\phi_2<0。 在一般ARIMA（p，d，q）情况下，参数的这些附加条件是什么？我到处都找不到。

9 time-series  forecasting  arima  seasonality 

我遇到了以下模拟问题：给定一组已知实数的，在上的分布由 其中表示的正数。虽然我可以靶向这种分布认为大都市，黑斯廷斯样的，我不知道是否存在一个有效的直接取样，取大量的零个概率的优势，从降低算法的顺序至。{ - 1 ，1 } d P（X = （X 1，... ，X d））α （X 1 ω 1 + ... + X d ω d ）+（Ž ）+ ž O （2 d）O （d ）{ω1,…,ωd}{ω1,…,ωd}\{\omega_1,\ldots,\omega_d\}{−1,1}d{−1,1}d\{-1,1\}^dP(X=(x1,…,xd))∝(x1ω1+…+xdωd)+P(X=(x1,…,xd))∝(x1ω1+…+xdωd)+\mathbb{P}(X=(x_1,\ldots,x_d))\propto (x_1\omega_1+\ldots+x_d\omega_d)_+(z)+(z)+(z)_+zzzO （2d）Ø（2d）O(2^d)Ø （d）Ø（d）O(d)

9 simulation  algorithms  random-generation  computational-statistics  metropolis-hastings 

我最近观看了埃里克·马（Eric J. Ma）的演讲，并查看了他的博客文章，他引用了拉德福德·尼尔（Radford Neal）的观点，认为贝叶斯模型不会过拟合（但可以过拟合），并且在使用它们时，我们不需要测试集来验证它们（对于在我看来，引号似乎是在谈论使用验证集来调整参数）。老实说，这些论点并不能说服我，而且我也无权阅读这本书，因此，您能为这种说法提供更详细，更严格的论点吗？ 顺便说一句，在此同时，埃里克·马指出我讨论关于同一主题。

9 machine-learning  bayesian  cross-validation  deep-learning 

pdf通常写为，其中小写字母被视为具有该pdf 的随机变量的实现或结果。类似地，cdf被写为，其含义为。但是，在某些情况下，例如评分函数的定义以及cdf是均匀分布的推导，似乎随机变量插入了它自己的pdf / cdf中。这样，我们得到一个新的随机变量或x X F X（x ）P （X &lt; x ）X Y = f （X | θ ）Z = F X（X ）F X（X ）= P （X &lt; X ）F（x | θ ）f(x|θ)f(x|\theta)XxxXXXFX（x ）FX(x)F_X(x)P（X&lt; x ）P(X&lt;x)P(X<x)XXX ÿ= f（X| θ）Y=f(X|θ)Y=f(X|\theta)ž= FX（X）Z=FX(X)Z=F_X(X)。我不认为我们可以再称它为pdf或cdf，因为它现在本身就是一个随机变量，在后一种情况下，“解释”对我来说似乎是胡说八道。FX（X）= P（X&lt; X）FX(X)=P(X&lt;X)F_X(X)=P(X<X) 此外，在上述后一种情况下，我不确定我是否理解“随机变量的cdf遵循均匀分布”的说法。cdf是函数，不是随机变量，因此没有分布。相反，具有均匀分布的是使用代表其自己的cdf的函数转换的随机变量，但是我不明白为什么这种转换有意义。评分函数也是如此，在评分函数中，我们将一个随机变量插入表示其自己的对数似然性的函数中。 数周以来，我一直在拼搏，试图在这些转变背后找到一种直观的含义，但我被困住了。任何见识将不胜感激！

9 random-variable  pdf  cdf  intuition 

已关闭。这个问题需要更加集中。它当前不接受答案。 想改善这个问题吗？更新问题，使其仅通过编辑此帖子来关注一个问题。 2年前关闭。 我是机器学习领域的新手，但是我想尝试使用Keras实现简单的分类算法。不幸的是，我的数据很少，因此我想尝试将转移学习应用于该问题。但是，我在网上找不到任何东西，因此我想了解哪些是寻找预训练神经网络的最佳场所。您对此有何建议？哪个网站最适合于了解如何启动机器学习项目？

9 machine-learning  classification  neural-networks  transfer-learning 

我正在研究RKHS回归中的正则化与线性回归之间的差异，但是我很难理解两者之间的关键差异。 给定的输入-输出对，我想估计的函数如下 ，其中是内核函数。可以通过求解来找到 系数 其中，在某种程度上滥用符号的情况下，内核矩阵K的第i，j个条目是{\ displaystyle K（x_ {i}，x_ {j}）}。这给出 \ begin {equation} \ alpha ^ * =（K + \ lambda nI）^ {-1} Y。\ end {equation}(xi,yi)(xi,yi)(x_i,y_i)f(⋅)f(⋅)f(\cdot)f(x)≈u(x)=∑i=1mαiK(x,xi),f(x)≈u(x)=∑i=1mαiK(x,xi),\begin{equation}f(x)\approx u(x)=\sum_{i=1}^m \alpha_i K(x,x_i),\end{equation}K(⋅,⋅)K(⋅,⋅)K(\cdot,\cdot)αmαm\alpha_m我，Ĵķķ（X我，XĴ）α*=（ķ+λÑ我）-1ÿ。minα∈Rn1n∥Y−Kα∥2Rn+λαTKα,minα∈Rn1n‖Y−Kα‖Rn2+λαTKα,\begin{equation} {\displaystyle \min _{\alpha\in R^{n}}{\frac {1}{n}}\|Y-K\alpha\|_{R^{n}}^{2}+\lambda \alpha^{T}K\alpha},\end{equation}i,ji,ji,jKKKK(xi,xj)K(xi,xj){\displaystyle K(x_{i},x_{j})} α∗=(K+λnI)−1Y.α∗=(K+λnI)−1Y.\begin{equation} \alpha^*=(K+\lambda nI)^{-1}Y. \end{equation} 另外，我们可以将该问题视为正常的岭回归/线性回归问题： 分α ＆Element; [Rñ1个ñ∥ ÿ− Kα ∥2[Rñ+ λ αŤα，分α∈[Rñ1个ñ‖ÿ-ķα‖[Rñ2+λαŤα，\begin{equation} {\displaystyle \min …

9 regression  generalized-linear-model  regularization  kernel-trick  rbf-kernel 

我遇到了所谓的“精确测试”或“置换测试”的自相矛盾行为，其原型是费舍尔测试。这里是。 想象一下，您有两组，每组400个人（例如400名对照vs 400例），以及一个具有两种模式（例如暴露/未暴​​露）的协变量。在第二组中只有5个暴露的个体。Fisher测试是这样的： &gt; x &lt;- matrix( c(400, 395, 0, 5) , ncol = 2) &gt; x [,1] [,2] [1,] 400 0 [2,] 395 5 &gt; fisher.test(x) Fisher's Exact Test for Count Data data: x p-value = 0.06172 (...) 但是现在，第二组（病例）存在某种异质性，例如疾病的形式或募集中心。它可以分为4组，每组100个人。这样的事情可能会发生： &gt; x &lt;- matrix( c(400, 99, 99 , 99, 98, …

9 power  permutation-test  fishers-exact 

我想了解汉密尔顿·蒙特卡洛（HMC）的内部工作原理，但是当我们用Metropolis-Hasting提案取代确定性时间积分时，无法完全理解该部分。我正在阅读Michael Betancourt撰写的引人入胜的入门论文《哈密尔顿蒙特卡洛概念概论》，因此我将沿用其中的相同符号。 背景 马尔可夫链蒙特卡洛（MCMC）的总体目标是逼近目标变量的分布。π(q)π(q)\pi(q)qqq HMC的想法是引入辅助的“动量”变量以及与建模为“位置” 的原始变量结合。位置-动量对形成一个扩展的相空间，可以用哈密顿动力学来描述。联合分布可以用微规范分解来表示：pppqqqπ(q,p)π(q,p)\pi(q, p) π(q,p)=π(θE|E)π(E)π(q,p)=π(θE|E)π(E)\pi(q, p) = \pi(\theta_E | E) \hspace{2pt} \pi(E)， 其中表示给定能级上的参数，也称为典型集合。参见图21和图22进行说明。θEθE\theta_E(q,p)(q,p)(q, p)EEE 原始的HMC程序包括以下两个交替步骤： 在能量水平之间执行随机过渡的随机步骤，以及 确定性步骤，沿着给定的能量水平执行时间积分（通常通过跳跃式数值积分实现）。 在本文中，有人认为越级跳跃（或辛积分器）具有小的误差，会引入数值偏差。因此，与其将其视为确定性步骤，不如将其转变成Metropolis-Hasting（MH）提案以使该步骤成为随机步骤，并且所产生的过程将从分布中产生确切的样本。 MH提案将执行步越级操作，然后反转动量。然后，该提案将以以下接受概率被接受：LLL a(qL,−pL|q0,p0)=min(1,exp(H(q0,p0)−H(qL,−pL)))a(qL,−pL|q0,p0)=min(1,exp⁡(H(q0,p0)−H(qL,−pL)))a (q_L, -p_L | q_0, p_0) = min(1, \exp(H(q_0,p_0) - H(q_L,-p_L))) 问题 我的问题是： 1）为什么将确定性时间积分转换为MH提议的这种修改会消除数值偏差，以使生成的样本完全符合目标分布？ 2）从物理学的角度来看，能量在给定的能量水平上是守恒的。这就是为什么我们能够使用汉密尔顿方程的原因： dqdt=∂H∂p,dpdt=−∂H∂qdqdt=∂H∂p,dpdt=−∂H∂q\dfrac{dq}{dt} = \dfrac{\partial H}{\partial p}, \hspace{10pt} \dfrac{dp}{dt} = -\dfrac{\partial H}{\partial q}。 从这个意义上说，能量在典型集合上的任何地方都应该恒定，因此应当等于。为什么在能量上存在差异，可以构造接受概率？H(q0,p0)H(q0,p0)H(q_0, p_0)H(qL,−pL)H(qL,−pL)H(q_L, …

9 mcmc  monte-carlo  hmc