统计和大数据 probability

1

我有两个随机变量，αi∼iid U(0,1),i=1,2αi∼iid U(0,1),i=1,2\alpha_i\sim \text{iid }U(0,1),\;\;i=1,2，其中是均匀的分布0-1。U(0,1)U(0,1)U(0,1) 然后，这些产生一个过程，说： P(x)=α1sin(x)+α2cos(x),x∈(0,2π)P(x)=α1sin⁡(x)+α2cos⁡(x),x∈(0,2π)P(x)=\alpha_1\sin(x)+\alpha_2\cos(x), \;\;\;x\in (0,2\pi) 现在，我想知道对于给定的，的理论上75％的分位数是否存在的闭式表达式。 -我想我可以用计算机和许多实现来做到这一点，但我更喜欢封闭形式-。F−1(P(x);0.75)F−1(P(x);0.75)F^{-1}(P(x);0.75)P(x)P(x)P(x)x∈(0,2π)x∈(0,2π)x\in(0,2\pi)P(x)P(x)P(x)

16 distributions probability stochastic-processes

5

自学概率论书籍

有什么好书可以解释概率论的重要概念，例如概率分布函数和累积分布函数吗？请避免引用约翰·赖斯（John Rice）的“数学统计和数据分析”之类的书籍，这些书籍从简单的置换概念开始，然后突然（在第二章中）假设真实计算，多重和表面积分知识开始飞跃，并开始描述CDF和PDF并以3维图形进行说明。一个问题是如何连接一切。我正在寻找自学书籍，任何与“实用人的微积分”类别相同的书籍都会有很大的帮助。

16 probability self-study distributions references theory

1

推导概率密度函数变量的变化？

在书本模式识别和机器学习（公式1.27）中， pÿ（y）= pX（x ）∣∣∣dXdÿ∣∣∣= pX（克（y））| G′（y）|pÿ（ÿ）=pX（X）|dXdÿ|=pX（G（ÿ））|G′（ÿ）|p_y(y)=p_x(x) \left | \frac{d x}{d y} \right |=p_x(g(y)) | g'(y) | 其中x=g(y)x=g(y)x=g(y)，px(x)px(x)p_x(x)，是pdf对应于py(y)py(y)p_y(y)相对于所述变量的变化。这些书说，这是因为在观察范围内的下降(x,x+δx)(x,x+δx)(x, x + \delta x)会，为小值δxδx\delta x，转化为范围(y,y+δy)(y,y+δy)(y, y + \delta y)。这是如何正式得出的？来自Dilip Sarwate的更新仅当GGg是严格单调递增或递减函数时，结果才成立。一些小修改以LV Rao的答案因此，如果gP（是≤ ÿ）= P（克（X）≤ ÿ）= { P（X≤ 克− 1（y）），P（X≥ 克− 1（y）），如果g 单调增加如果g 单调递减P（ÿ≤ÿ）=P（G（X）≤ÿ）={P（X≤G-1（ÿ）），如果 G 单调增加P（X≥G-1（ÿ）），如果 G 单调递减 \begin{equation} …

16 machine-learning probability self-study derivative jacobian

4

为什么P（A，B | C）/ P（B | C）= P（A | B，C）？

16 probability conditional-probability

2

置信区间的解释

注意：如果这是重复的事，请提前致歉，我在搜索中没有找到类似的q 假设我们有一个真实的参数p。置信区间C（X）是RV，包含95％的时间。现在假设我们观察X并计算C（X）。常见的答案似乎是将其解释为“有95％的机会包含p”是不正确的，因为它“要么包含p，要么不包含p”。但是，比方说，我从一个洗过的纸牌的顶部挑选一张卡片，并将其面朝下。凭直觉，我认为这张卡成为黑桃王牌的概率为1/52，即使实际上“不是黑桃王牌”。为什么我不能将这种推理应用于置信区间示例？或者，如果说卡的“概率”是黑桃的王牌是没有意义的，因为它是“是或不是”，那么我仍然会以51：1的概率说它不是黑桃的王牌。还有另一句话来描述此信息吗？这个概念与“概率”有何不同？编辑：从贝叶斯概率的解释中，也许更清楚一点，如果我被告知随机变量包含p的95％的时间，那么给定该随机变量的实现（并且没有其他要限制的信息）是正确地说随机变量有95％的概率包含p？编辑：同样，从概率论的概率解释来看，假设频率论者同意不说“置信区间包含p的概率为95％”之类的话。对于常客来说，拥有置信区间包含p的“置信度”是否仍然合乎逻辑？令alpha为显着性水平，令t = 100-alpha。K（t）是置信区间包含p的常客的“置信度”。K（t）应该在t中增加是有道理的。当t = 100％时，常客应该确定（根据定义）置信区间包含p，因此我们可以归一化K（1）=1。类似地，K（0）=0。大概K（0.95）在0和1，并且K（0.999999）更大。频率论者会认为K与P（概率分布）不同吗？

16 probability confidence-interval

2

哪种表示法以及为什么：，，或

这些仅仅是样式惯例（斜体还是非斜体），或者这些符号的含义存在实质性差异？在这个问题上是否还有其他表示“ 概率 ” 的符号？

16 probability notation

2

为什么将边际分布/边际概率描述为“边际”？

边际通常指的是很小的影响，是指更大的系统之外的东西。它往往会削弱所谓“边际”的重要性。那么，这如何适用于随机变量子集的概率呢？假设单词因其含义而被使用可能在数学中是一个冒险的命题，所以我知道这里不一定有答案，但是有时此类问题的答案可以帮助您获得真正的见识，因此我为什么我问。

15 probability terminology

5

为什么？

15 probability bayesian

2

说一个事件“最终发生”是什么意思？

考虑初始状态为的整数的一维随机游动：žZ\mathbb{Z} X ∈ žx∈Zx\in\mathbb{Z} 小号Ñ = X + Ñ Σ我= 1 ξ 我Sn=x+∑i=1nξi\begin{equation} S_n=x+\sum^n_{i=1}\xi_i \end{equation} 其中增量是IID，使得。ξ 我ξi\xi_i P { ξ 我 = 1 } = P { ξ 我 = - 1 } = 12P{ξi=1}=P{ξi=−1}=12P\{\xi_i=1\}=P\{\xi_i=-1\}=\frac{1}{2} 可以证明（1） P x { S n 最终达到+1 } = 1Px{Sn reaches +1 eventually}=1\begin{equation} P^x{\{S_n \text{ …

15 probability terminology stochastic-processes randomness random-walk

4

梯度提升机的精度随着迭代次数的增加而降低

我正在通过caretR中的程序包尝试使用梯度增强机算法。使用一个小的大学录取数据集，我运行了以下代码： library(caret) ### Load admissions dataset. ### mydata <- read.csv("http://www.ats.ucla.edu/stat/data/binary.csv") ### Create yes/no levels for admission. ### mydata$admit_factor[mydata$admit==0] <- "no" mydata$admit_factor[mydata$admit==1] <- "yes" ### Gradient boosting machine algorithm. ### set.seed(123) fitControl <- trainControl(method = 'cv', number = 5, summaryFunction=defaultSummary) grid <- expand.grid(n.trees = seq(5000,1000000,5000), interaction.depth = 2, shrinkage = …

15 machine-learning caret boosting gbm hypothesis-testing t-test panel-data psychometrics intraclass-correlation generalized-linear-model categorical-data binomial model intercept causality cross-correlation distributions ranks p-value z-test sign-test time-series references terminology cross-correlation definition probability distributions beta-distribution inverse-gamma missing-data paired-comparisons paired-data clustered-standard-errors cluster-sample time-series arima logistic binary-data odds-ratio medicine hypothesis-testing wilcoxon-mann-whitney unsupervised-learning hierarchical-clustering neural-networks train clustering k-means regression ordinal-data change-scores machine-learning experiment-design roc precision-recall auc stata multilevel-analysis regression fitting nonlinear jmp r data-visualization gam gamm4 r lme4-nlme many-categories regression causality instrumental-variables endogeneity controlling-for-a-variable

1

统计算法开发人员候选人有哪些好的面试问题？

我正在就统计/机器学习/数据挖掘上下文中的算法开发人员/研究人员的位置采访人们。我正在寻找问题，以明确确定候选人对基础理论的熟悉程度，理解程度和灵活度，例如期望和方差的基本属性，一些常见分布等。我当前需要解决的问题是：“有一个未知量，我们想估计。为此，我们有估计器，在给定，它们都是无偏且独立的，并且每个都有一个已知的方差，每个方差都不同。找到最优估计量，该方差是无偏的且方差最小。”XXXY1,Y2,…,YnY1,Y2,…,YnY_1, Y_2, \ldots, Y_nXXXσ2iσi2\sigma_i^2Y=f(Y1,…,Yn)Y=f(Y1,…,Yn)Y=f(Y_1,\ldots, Y_n) 我希望任何认真的候选人都可以轻松地处理它（给了一些时间进行计算），但是令我惊讶的是，据称来自相关领域的候选人竟然没有取得最小的进步。因此，我认为这是一个很好的，有区别的问题。这个问题的唯一问题是它仅仅是一个。还有什么其他问题可以使用呢？另外，在哪里可以找到此类问题的集合？

15 machine-learning probability distributions

2

预计每一次出现3次之前，掷骰子的次数

在每侧出现3次之前，必须掷骰子的预期次数是多少？这个问题是在新西兰的小学提出的，并通过模拟解决了。该问题的解析解决方案是什么？

15 probability multinomial negative-binomial coupon-collector-problem

2

PAC学习理论是什么意思？

我是机器学习的新手。我正在学习一门机器学习课程（斯坦福大学），但我不理解该理论的含义及其实用性。我想知道是否有人可以为我详细介绍这一理论。该理论基于该方程式。

15 machine-learning probability pac-learning

1

无需更换即可绘制时预期的不同颜色数

考虑一个包含球的不同颜色的，其中是球在个球中的比例（）。我从骨灰盒中取出了球而没有替换，然后查看绘制的球中不同颜色的数字。根据分布合适属性，对作为函数的期望是什么？P p 我我Ñ Σ 我p 我 = 1 ñ ≤ ÑNNNPPPpipip_iiiiNNN∑ipi=1∑ipi=1\sum_i p_i = 1n≤Nn≤Nn \leq Nγ Ñ / Ñ pγγ\gammaγγ\gamman/Nn/Nn/Npp\mathbf{p} 给出更多的见解：如果对所有且，那么我将始终准确看到种颜色，即。否则，可以证明的期望是。对于固定的和，当均匀时，乘以的因子似乎最大。可能看到的不同颜色的预期数量受和熵的函数限制？p 我 = 1 / P 我Ñ γ = P （Ñ / Ñ ）γ > P （Ñ / Ñ ）P ñ ñ / Ñ p Ñ / Ñ …

15 probability expected-value coupon-collector-problem

4

如何发展条件概率的直觉？

在可以在iTunes和YouTube上找到的哈佛大学统计110：概率课程的视频讲座中，我遇到了这个问题。我试图在这里总结一下：假设我们从标准牌组中随机获得两张牌。如果我们至少有一张王牌，那么两张牌都是王牌的概率是多少？ P(both aces|have ace)=P(both aces,have ace)P(have ace)P(both aces|have ace)=P(both aces,have ace)P(have ace) P(both\ aces | have\ ace) = \frac{P(both\ aces, have\ ace)}{P(have\ ace)} 由于如果您同时拥有两个A，则意味着至少要有一个A，因此可以将交集减少为P(both aces)P(both aces)P(both\ aces) P(both aces|have ace)=P(both aces)P(have ace)P(both aces|have ace)=P(both aces)P(have ace) P(both\ aces | have\ ace) = \frac{P(both\ aces)}{P(have\ ace)} 这就是 P(both …

15 probability conditional-probability intuition

Questions tagged «probability»