Questions tagged «nonlinear-regression»

仅对响应是参数非线性函数的回归模型使用此标记。不要将此标签用于非线性数据转换。

4
神经网络中的隐藏层计算什么？
我敢肯定，很多人都会以“让我为您找到的谷歌”的链接进行回复，因此我想说的是我已经设法弄清楚了这一点，所以请您原谅我对此缺乏理解，但是我无法弄清楚神经网络的实际实现实际上是可行的。 我了解输入层以及如何对数据进行规范化，也了解偏差单位，但是当涉及到隐藏层时，该层中的实际计算是什么，以及它如何映射到输出中就有点模糊了。我已经看到了在隐藏层中带有问号的图，布尔函数（例如AND / OR / XOR），激活函数以及映射到所有隐藏单元的输入节点，以及每个映射到仅几个隐藏单元的输入节点，等等。我只是在实践方面有几个问题。当然，像您向孩子解释那样，对整个神经网络过程的简单解释将非常棒。 隐藏层中进行了哪些计算？ 这些计算如何映射到输出层？ 输出层如何工作？从隐藏层反规范化数据？ 为什么输入层中的某些层连接到隐藏层，而有些却没有呢？
3
为什么多项式回归被视为多元线性回归的特例？
如果多项式回归建模非线性关系，那么如何将其视为多元线性回归的特殊情况？ Wikipedia指出：“尽管多项式回归将非线性模型拟合到数据中，但作为统计估计问题，它是线性的，这是因为在估计的未知参数中回归函数是线性的从数据中。”E(y|x)E(y|x)\mathbb{E}(y | x) 如果参数是 2 阶项的系数，则多项式回归如何在未知参数中线性化？≥≥\ge
1
从lmer模型计算效果的可重复性
我刚刚碰到了这篇论文，该论文描述了如何通过混合效应建模来计算测量的可重复性（又称可靠性，又称类内相关性）。R代码为： #fit the model fit = lmer(dv~(1|unit),data=my_data) #obtain the variance estimates vc = VarCorr(fit) residual_var = attr(vc,'sc')^2 intercept_var = attr(vc$id,'stddev')[1]^2 #compute the unadjusted repeatability R = intercept_var/(intercept_var+residual_var) #compute n0, the repeatability adjustment n = as.data.frame(table(my_data$unit)) k = nrow(n) N = sum(n$Freq) n0 = (N-(sum(n$Freq^2)/N))/(k-1) #compute the adjusted repeatability Rn = …
28 mixed-model  reliability  intraclass-correlation  repeatability  spss  factor-analysis  survey  modeling  cross-validation  error  curve-fitting  mediation  correlation  clustering  sampling  machine-learning  probability  classification  metric  r  project-management  optimization  svm  python  dataset  quality-control  checking  clustering  distributions  anova  factor-analysis  exponential  poisson-distribution  generalized-linear-model  deviance  machine-learning  k-nearest-neighbour  r  hypothesis-testing  t-test  r  variance  levenes-test  bayesian  software  bayesian-network  regression  repeated-measures  least-squares  change-scores  variance  chi-squared  variance  nonlinear-regression  regression-coefficients  multiple-comparisons  p-value  r  statistical-significance  excel  sampling  sample  r  distributions  interpretation  goodness-of-fit  normality-assumption  probability  self-study  distributions  references  theory  time-series  clustering  econometrics  binomial  hypothesis-testing  variance  t-test  paired-comparisons  statistical-significance  ab-test  r  references  hypothesis-testing  t-test  normality-assumption  wilcoxon-mann-whitney  central-limit-theorem  t-test  data-visualization  interactive-visualization  goodness-of-fit 
3
如何分辨线性和非线性回归模型之间的区别？
我正在阅读有关非线性回归SAS Non Linear的以下链接。通过阅读第一部分“非线性回归与线性回归”，我的理解是下面的方程实际上是线性回归，对吗？如果可以，为什么？ y=b1x3+b2x2+b3x+cy=b1x3+b2x2+b3x+cy = b_1x^3 + b_2x^2 + b_3x + c 我是否也了解非线性回归中的多重共线性不是问题？我知道多重共线性可能是线性回归中的一个问题，因此，如果上述模型实际上是线性回归，那么肯定会存在多重共线性吗？
2
形式为
我有一个来自网络讨论论坛的统计数据集。我正在查看一个主题期望得到的答复数量的分布。特别是，我创建了一个数据集，该数据集包含主题答复计数列表，然后包含具有该答复数目的主题计数。 "num_replies","count" 0,627568 1,156371 2,151670 3,79094 4,59473 5,39895 6,30947 7,23329 8,18726 如果我将数据集绘制在对数-对数图上，那么我得到的基本上是一条直线： （这是一个Zipfian分布）。Wikipedia告诉我，对数对数图上的直线表示可以用形式的单项式建模的函数。实际上，我已经关注了这样的功能：ÿ= 一个Xķÿ=一种Xķy = ax^k lines(data$num_replies, 480000 * data$num_replies ^ -1.62, col="green") 我的眼球显然不如R准确。那么如何使R更精确地适合我的模型参数呢？我尝试了多项式回归，但是我不认为R试图将指数作为参数拟合-我想要的模型的专有名称是什么？ 编辑：谢谢大家的回答。如建议的那样，我现在使用以下配方针对输入数据的日志拟合线性模型： data <- read.csv(file="result.txt") # Avoid taking the log of zero: data$num_replies = data$num_replies + 1 plot(data$num_replies, data$count, log="xy", cex=0.8) # Fit just the first 100 …
1
引导程序分布的标准误差的使用
（如果需要，请忽略R代码，因为我的主要问题是与语言无关） 如果我想看一个简单统计量的可变性（例如：均值），我知道我可以通过以下理论来做到这一点： x = rnorm(50) # Estimate standard error from theory summary(lm(x~1)) # same as... sd(x) / sqrt(length(x)) 或使用类似的引导程序： library(boot) # Estimate standard error from bootstrap (x.bs = boot(x, function(x, inds) mean(x[inds]), 1000)) # which is simply the standard *deviation* of the bootstrap distribution... sd(x.bs$t) 但是，我想知道的是，在某些情况下查看引导程序分布的标准错误是否有用/有效？我正在处理的情况是一个相对嘈杂的非线性函数，例如： # Simulate dataset set.seed(12345) …
2
nls中具有正确起始值的奇异梯度误差
我正在尝试将线+指数曲线拟合到一些数据。首先，我尝试对一些人工数据执行此操作。该函数为： 它实际上是具有线性截面的指数曲线，以及附加的水平移位参数（m）。但是，当我使用R 函数时，即使使用的参数与最初生成数据时使用的参数相同，也会出现可怕的“ 初始参数估计时的奇异梯度矩阵 ”错误。 我尝试了不同的算法，不同的起始值并尝试使用y=a+b⋅r(x−m)+c⋅xy=a+b⋅r(x−m)+c⋅xy=a+b\cdot r^{(x-m)}+c\cdot xnls()optim最小化剩余平方和，无济于事。我已经读到，可能的原因可能是公式的参数设置过高，但我不认为是（是吗？） 有人对此问题有建议吗？还是这只是一个尴尬的模型？ 一个简短的例子： #parameters used to generate the data reala=-3 realb=5 realc=0.5 realr=0.7 realm=1 x=1:11 #x values - I have 11 timepoint data #linear+exponential function y=reala + realb*realr^(x-realm) + realc*x #add a bit of noise to avoid zero-residual data jitter_y = jitter(y,amount=0.2) testdat=data.frame(x,jitter_y) …
2
拟合R中逻辑增长曲线的最轻松方法是什么？
对于Google来说，这不像其他事情那么容易，因为要明确地说，我并不是在使用回归来预测分类变量的意义上谈论逻辑回归。 我说的是将逻辑增长曲线拟合到给定的数据点。具体来说，是1958年至2012年的给定年份，y是x年11月的估计全球CO2 ppm（百万分之二氧化碳）。XXxÿÿyXXx 目前，它正在加速发展，但必须稳定下来。所以我想要一条逻辑曲线。 我还没有找到一个相对简单的方法来做到这一点。
3
是什么使神经网络成为非线性分类模型？
我正在尝试了解非线性分类模型的数学含义： 我刚刚读了一篇文章，谈论神经网络是一种非线性分类模型。 但是我才意识到： 第一层： h1=x1∗wx1h1+x2∗wx1h2h1=x1∗wx1h1+x2∗wx1h2h_1=x_1∗w_{x1h1}+x_2∗w_{x1h2} h2=x1∗wx2h1+x2∗wx2h2h2=x1∗wx2h1+x2∗wx2h2h_2=x_1∗w_{x2h1}+x_2∗w_{x2h2} 后续层 y=b∗wby+h1∗wh1y+h2∗wh2yy=b∗wby+h1∗wh1y+h2∗wh2yy=b∗w_{by}+h_1∗w_{h1y}+h_2∗w_{h2y} 可以简化为 =b'+(x1∗wx1h1+x2∗wx1h2)∗wh1y+(x1∗wx2h1+x2∗wx2h2)∗wh2y=b′+(x1∗wx1h1+x2∗wx1h2)∗wh1y+(x1∗wx2h1+x2∗wx2h2)∗wh2y=b′+(x_1∗w_{x1h1}+x_2∗w_{x1h2})∗w_{h1y}+(x_1∗w_{x2h1}+x_2∗w_{x2h2})∗w_{h2y} =b'+x1(wh1y∗wx1h1+wx2h1∗wh2y)+x2(wh1y∗wx1h1+wx2h2∗wh2y)=b′+x1(wh1y∗wx1h1+wx2h1∗wh2y)+x2(wh1y∗wx1h1+wx2h2∗wh2y)=b′+x_1(w_{h1y}∗w_{x1h1}+w_{x2h1}∗w_{h2y})+x_2(w_{h1y}∗w_{x1h1}+w_{x2h2}∗w_{h2y}) 两层神经网络只是简单的线性回归 =b′+x1∗W′1+x2∗W′2=b′+x1∗W1′+x2∗W2′=b^′+x_1∗W_1^′+x_2∗W_2^′ 这可以显示在任意数量的层上，因为任意数量的权重的线性组合还是线性的。 是什么使神经网络真正成为非线性分类模型？ 激活函数将如何影响模型的非线性？ 你能解释一下吗？
5
统计人员是否假设不能为植物浇水，还是我使用错误的搜索词进行曲线回归？
几乎所有我读到线性回归和GLM归结为：y=f(x,β)y=f(x,β)y = f(x,\beta)，其中是一个非增或非递减的函数和是你估计参数并检验假设。有数十种链接函数以及和转换，以使成为的线性函数f(x,β)f(x,β)f(x,\beta)xxxββ\betayyyxxxyyyf(x,β)f(x,β)f(x,\beta)。 现在，如果删除的非递增/非递减要求f(x,β)f(x,β)f(x,\beta)，则我仅知道两个用于拟合参数化线性化模型的选择：trig函数和多项式。两者都会在每个预测的yyy与整个集合之间造成人为的依赖性XXX，因此使其非常不稳健，除非事先有理由认为您的数据实际上是由循环或多项式过程生成的。 这不是某种神秘的边缘情况。这是水与农作物产量之间的实际常识关系（一旦田间水深足够，农作物产量将开始减少），或者是早餐时消耗的卡路里与数学测验表现之间的热量，或工厂工人的数量之间的常识关系。以及它们产生的小部件数量...简而言之，几乎在任何使用线性模型的现实生活中，数据覆盖的范围都足够大，您可以避免收益递减成负收益。 我尝试查找“凹”，“凸”，“曲线”，“非单调”，“浴缸”等术语，但我忘记了其他几个。很少有相关问题，甚至更少可用的答案。因此，实际上，如果您具有以下数据（R代码，y是连续变量x和离散变量组的函数）： updown<-data.frame(y=c(46.98,38.39,44.21,46.28,41.67,41.8,44.8,45.22,43.89,45.71,46.09,45.46,40.54,44.94,42.3,43.01,45.17,44.94,36.27,43.07,41.85,40.5,41.14,43.45,33.52,30.39,27.92,19.67,43.64,43.39,42.07,41.66,43.25,42.79,44.11,40.27,40.35,44.34,40.31,49.88,46.49,43.93,50.87,45.2,43.04,42.18,44.97,44.69,44.58,33.72,44.76,41.55,34.46,32.89,20.24,22,17.34,20.14,20.36,24.39,22.05,24.21,26.11,28.48,29.09,31.98,32.97,31.32,40.44,33.82,34.46,42.7,43.03,41.07,41.02,42.85,44.5,44.15,52.58,47.72,44.1,21.49,19.39,26.59,29.38,25.64,28.06,29.23,31.15,34.81,34.25,36,42.91,38.58,42.65,45.33,47.34,50.48,49.2,55.67,54.65,58.04,59.54,65.81,61.43,67.48,69.5,69.72,67.95,67.25,66.56,70.69,70.15,71.08,67.6,71.07,72.73,72.73,81.24,73.37,72.67,74.96,76.34,73.65,76.44,72.09,67.62,70.24,69.85,63.68,64.14,52.91,57.11,48.54,56.29,47.54,19.53,20.92,22.76,29.34,21.34,26.77,29.72,34.36,34.8,33.63,37.56,42.01,40.77,44.74,40.72,46.43,46.26,46.42,51.55,49.78,52.12,60.3,58.17,57,65.81,72.92,72.94,71.56,66.63,68.3,72.44,75.09,73.97,68.34,73.07,74.25,74.12,75.6,73.66,72.63,73.86,76.26,74.59,74.42,74.2,65,64.72,66.98,64.27,59.77,56.36,57.24,48.72,53.09,46.53), x=c(216.37,226.13,237.03,255.17,270.86,287.45,300.52,314.44,325.61,341.12,354.88,365.68,379.77,393.5,410.02,420.88,436.31,450.84,466.95,477,491.89,509.27,521.86,531.53,548.11,563.43,575.43,590.34,213.33,228.99,240.07,250.4,269.75,283.33,294.67,310.44,325.36,340.48,355.66,370.43,377.58,394.32,413.22,428.23,436.41,455.58,465.63,475.51,493.44,505.4,521.42,536.82,550.57,563.17,575.2,592.27,86.15,91.09,97.83,103.39,107.37,114.78,119.9,124.39,131.63,134.49,142.83,147.26,152.2,160.9,163.75,172.29,173.62,179.3,184.82,191.46,197.53,201.89,204.71,214.12,215.06,88.34,109.18,122.12,133.19,148.02,158.72,172.93,189.23,204.04,219.36,229.58,247.49,258.23,273.3,292.69,300.47,314.36,325.65,345.21,356.19,367.29,389.87,397.74,411.46,423.04,444.23,452.41,465.43,484.51,497.33,507.98,522.96,537.37,553.79,566.08,581.91,595.84,610.7,624.04,637.53,649.98,663.43,681.67,698.1,709.79,718.33,734.81,751.93,761.37,775.12,790.15,803.39,818.64,833.71,847.81,88.09,105.72,123.35,132.19,151.87,161.5,177.34,186.92,201.35,216.09,230.12,245.47,255.85,273.45,285.91,303.99,315.98,325.48,343.01,360.05,373.17,381.7,398.41,412.66,423.66,443.67,450.39,468.86,483.93,499.91,511.59,529.34,541.35,550.28,568.31,584.7,592.33,615.74,622.45,639.1,651.41,668.08,679.75,692.94,708.83,720.98,734.42,747.83,762.27,778.74,790.97,806.99,820.03,831.55,844.23), group=factor(rep(c('A','B'),c(81,110)))); plot(y~x,updown,subset=x<500,col=group); 您可能首先尝试进行Box-Cox转换，看看它是否具有机械意义，否则，您可能会使用具有逻辑或渐近链接函数的非线性最小二乘模型进行拟合。 因此，当您发现完整的数据集看起来像这样时，为什么要完全放弃参数模型而又回到样条线这样的黑盒方法... plot(y~x,updown,col=group); 我的问题是： 为了找到代表此类功能关系的链接功能，我应该搜索哪些术语？ 要么 为了教自己如何设计链接函数到此类函数关系或扩展当前仅用于单调响应的现有函数，我应该阅读和/或搜索什么？ 要么 哎呀，甚至什么StackExchange标签最适合此类问题！
2
非线性回归文献综述
有谁知道关于非线性回归的统计文献的好评论文章？我主要对一致性结果和渐近性感兴趣。 特别感兴趣的是模型 yit=m(xit,θ)+ϵit,yit=m(xit,θ)+ϵit,y_{it} = m(x_{it},\theta) + \epsilon_{it}, 用于面板数据。 非参数方法的兴趣不大。 也欢迎提供期刊建议。 目前，我正在阅读《计量经济学手册》中的 Amemiya（1983），但我希望能得到更多更新的信息。 Wooldridge，JM（1996）《计量经济学杂志》中的“用不同的工具为不同的方程式估计方程系统” 是一个比上述评论晚的贡献的例子，因此不包括在内。
1
如何计算非线性回归的预测范围？
Prism 的帮助页面对如何计算非线性回归的预测范围进行了以下说明。请原谅长引号，但我没有遵循第二段（它解释了的定义方式以及d Y / d P的计算方式）。任何帮助将不胜感激。G|xG|xG|xdY/dPdY/dPdY/dP 置信度和预测范围的计算是相当标准的。继续阅读有关Prism如何计算非线性回归的预测带和置信带的详细信息。 首先，让我们定义G | x，它是在特定X值下并使用所有参数的最佳拟合值的参数梯度。结果是一个向量，每个参数一个元素。对于每个参数，它定义为dY / dP，其中Y是给定特定X值和所有最佳拟合参数值的曲线的Y值，P是其中一个参数。） G'| x是转置的梯度矢量，因此它是一列而不是一行值。 Cov是协方差矩阵（上次迭代的逆Hessian）。它是一个正方形矩阵，行和列的数量等于参数的数量。矩阵中的每一项都是两个参数之间的协方差。 现在计算c = G'| x * Cov * G | x。结果是任何X值的单个数字。 置信带和预测带以最佳拟合曲线为中心，并在曲线的上方和下方延伸相等的量。 置信带在曲线的上方和下方延伸：= sqrt（c）* sqrt（SS / DF）* CriticalT（Confidence％，DF） 预测带在曲线的上方和下方进一步延伸，等于：= sqrt（c + 1）* sqrt（SS / DF）* CriticalT（Confidence％，DF）
1
附带参数问题
我总是在努力获取偶发参数问题的真正实质。我读过几次，非线性面板数据模型的固定效果估计量可能由于“众所周知的”附带参数问题而严重偏倚。 当我要求对此问题进行清晰的解释时，典型的答案是：假设面板数据在T个时间段内有N个人。如果T是固定的，则随着N的增长，协变量估计将变得有偏差。发生这种情况的原因在于，随着N的增加，干扰参数的数量会快速增长。 我将不胜感激 更精确但仍然简单的解释（如果可能） 和/或我可以使用R或Stata进行计算的具体示例。
By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.