Questions tagged «randomized-algorithms»

我正在尝试通过50个具有100个数字特征的示例训练一个梯度提升模型。XGBClassifier我的机器43秒内把手500棵树，而GradientBoostingClassifier只处理10棵（！）以1分2秒:(我没有理会试图种植500棵树，因为它会需要几个小时。我使用的是相同的learning_rate，并max_depth设置， 见下文。 是什么使XGBoost如此之快？它是否使用了sklearn家伙不知道的用于梯度增强的新颖实现方式？还是“偷工减料”并种植浅树？ ps我知道这个讨论：https : //www.kaggle.com/c/higgs-boson/forums/t/10335/xgboost-post-competition-survey，但是那里找不到答案... XGBClassifier(base_score=0.5, colsample_bylevel=1, colsample_bytree=1, gamma=0, learning_rate=0.05, max_delta_step=0, max_depth=10, min_child_weight=1, missing=None, n_estimators=500, nthread=-1, objective='binary:logistic', reg_alpha=0, reg_lambda=1, scale_pos_weight=1, seed=0, silent=True, subsample=1) GradientBoostingClassifier(init=None, learning_rate=0.05, loss='deviance', max_depth=10, max_features=None, max_leaf_nodes=None, min_samples_leaf=1, min_samples_split=2, min_weight_fraction_leaf=0.0, n_estimators=10, presort='auto', random_state=None, subsample=1.0, verbose=0, warm_start=False)

29 scikit-learn  xgboost  gbm  data-mining  classification  data-cleaning  machine-learning  reinforcement-learning  data-mining  bigdata  dataset  nlp  language-model  stanford-nlp  machine-learning  neural-network  deep-learning  randomized-algorithms  machine-learning  beginner  career  xgboost  loss-function  neural-network  software-recommendation  naive-bayes-classifier  classification  scikit-learn  feature-selection  r  random-forest  cross-validation  data-mining  python  scikit-learn  random-forest  churn  python  clustering  k-means  machine-learning  nlp  sentiment-analysis  machine-learning  programming  python  scikit-learn  nltk  gensim  visualization  data  csv  neural-network  deep-learning  descriptive-statistics  machine-learning  supervised-learning  text-mining  orange  data  parameter-estimation  python  pandas  scraping  r  clustering  k-means  unsupervised-learning 

我读到这个： 为了训练我们的神经网络，我们将每个参数W（l）ijWij（l）和每个b（l）ibi（l）初始化为接近零的小随机值（根据Normal（0，ϵ2）Normal（0 ，ϵ2）分布一些小ϵϵ，例如0.01） 从斯坦福大学深度学习教程 在第7款的BP算法 我不明白的是为什么权重或偏差的初始化应该在0左右？

13 deep-learning  stanford-nlp  randomized-algorithms 

给定艰巨的学习任务（例如高维，固有的数据复杂性），深度神经网络变得难以训练。为了缓解许多问题，可以采取以下措施： 规范化&&精选质量数据 选择其他训练算法（例如RMSprop而不是Gradient Descent） 选择较陡峭的渐变成本函数（例如，交叉熵而不是MSE） 使用不同的网络结构（例如，卷积层而不是前馈层） 我听说有一些聪明的方法可以初始化更好的权重。例如，您可以选择更好的幅度：Glorot和Bengio（2010） 对于S形单位：对具有的Uniform（-r，r）进行采样r=6Nin+Nout−−−−−−√r=6Nin+Noutr = \sqrt{\frac{6}{N_{in} + N_{out}}} 或双曲正切单元：对的Uniform（-r，r）进行采样r = 4 6ñ我ñ+ NØ ü Ť------√r=46Nin+Noutr =4 \sqrt{\frac{6}{N_{in} + N_{out}}} 有什么一致的方法可以更好地初始化权重？

10 machine-learning  neural-network  deep-learning  randomized-algorithms