Questions tagged «bigdata»

许多人以相当商业化的方式使用“ 大数据 ”一词，以表示计算中涉及大数据集，因此潜在的解决方案必须具有良好的性能。当然，大数据总是带有诸如可扩展性和效率之类的相关术语，但是究竟是什么将问题定义为大数据问题呢？ 计算是否必须与某些特定目的相关，例如数据挖掘/信息检索，或者如果数据集足够大，可以将用于一般图形问题的算法标记为大数据吗？此外，如何大是够大（如果这是可能的定义）？

86 bigdata  scalability  efficiency  performance 

R有许多针对数据分析的库（例如JAGS，BUGS，ARULES等），并在流行的教科书中提到，例如：J.Krusche，Doing Bayesian Data Analysis；B.Lantz，“用R进行机器学习”。 我已经看到将数据集视为大数据的5TB准则。 我的问题是：R是否适合大数据问题中常见的数据量？在具有如此大小的数据集的情况下使用R时，是否有策略要采用？

48 bigdata  r 

我是地球物理学的博士学位学生，并且处理大量的图像数据（数百GB，成千上万个文件）。我非常了解svn并git开始重视项目历史，并具有轻松协作并防止磁盘损坏的能力。我发现git对于进行一致的备份也非常有帮助，但是我知道git无法有效处理大量二进制数据。 在我的硕士研究中，我研究了大小相似（也包括图像）的数据集，并且在跟踪不同服务器/设备上的不同版本时遇到很多问题。通过网络分配100GB的确不是一件好事，这花了我很多时间和精力。 我知道科学界的其他人似乎也有类似的问题，但我找不到很好的解决方案。 我想使用我研究所的存储设备，所以我需要可以使用“哑”服务器的东西。我还希望在便携式硬盘上有一个额外的备份，因为我想避免在任何可能的情况下通过网络传输数百GB。因此，我需要一种可以处理多个远程位置的工具。 最后，我确实需要其他研究人员可以使用的东西，因此它不需要超级简单，但应该可以在几个小时内学习。 我已经评估了许多不同的解决方案，但似乎都不适合： svn效率低下，需要一台智能服务器 HG bigfile / largefile只能使用一个遥控器 git bigfile / media也只能使用一个远程，但是效率也不高 阁楼似乎没有对数或差异功能 bup看起来确实不错，但是需要“智能”服务器才能工作 我已经尝试过了git-annex，它可以完成我需要做的所有事情（还有更多），但是使用起来非常困难，并且没有很好的文档记录。我已经使用了几天，无法理解，所以我怀疑其他任何同事都会对此感兴趣。 研究人员如何处理大型数据集，其他研究小组正在使用什么？ 需要明确的是，我主要对其他研究人员如何处理这种情况感兴趣，而不仅仅是这个特定的数据集。在我看来，几乎每个人都应该有这个问题，但我不知道有谁解决了这个问题。我应该只保留原始数据的备份，而忘记所有这些版本控制内容吗？那是其他人在做什么吗？

46 bigdata  databases  binary  version-control 

我是R语言程序员。我也是一群被认为是数据科学家，但来自CS以外的学科的人。 在我作为数据科学家的角色中，这表现得很好，但是，由于我的职业生涯开始R并且仅对其他脚本/网络语言有基本了解，所以我在两个关键领域感到不足： 缺乏扎实的编程理论知识。 缺乏技术人员在像更快和更广泛使用的语言有竞争力的水平的C，C++并且Java，它可以被利用以提高管道和大数据计算的速度以及创建其中可以更容易地发展成快速DS /数据产品后端脚本或独立应用程序。 解决方案当然很简单-继续学习编程，这是我通过注册某些类（当前为C编程）所做的事情。 但是，既然我现在开始解决上述问题＃1和＃2，我就CC++问自己“ 像数据科学这样的语言以及对于数据科学来说，这些语言的可行性如何？ ”。 例如，我可以非常快速地移动数据并与用户进行很好的交互，但是高级回归，机器学习，文本挖掘和其他更高级的统计操作呢？ 所以。可以C完成这项工作-哪些工具可用于高级统计，ML，AI和其他数据科学领域？还是我必须放弃C通过调用R脚本或其他语言进行编程而获得的大多数效率？ 迄今为止，用C，我发现最好的资源是一个叫库鲨鱼，这使C/ C++使用支持向量机，线性回归（未非线性等先进的回归就像多项概率等）以及其他的短名单的能力（很棒）统计功能。

40 machine-learning  bigdata  statistics  programming  c 

一位有抱负的数据科学家。我对Hadoop一无所知，但是当我阅读有关数据科学和大数据的文章时，我看到了很多有关Hadoop的话题。学习Hadoop成为数据科学家绝对必要吗？

38 bigdata  apache-hadoop 

我当前正在尝试使用pandas和python打开文件以进行机器学习，这对我来说将它们全部放在DataFrame中是理想的选择。现在，该文件的大小为18GB，RAM为32GB，但是我一直遇到内存错误。 根据您的经验，可能吗？如果不是，您是否知道解决此问题的更好方法？（蜂巢表？将我的RAM的大小增加到64？创建数据库并从python访问它）

33 python  bigdata  pandas  anaconda 

我正在尝试通过50个具有100个数字特征的示例训练一个梯度提升模型。XGBClassifier我的机器43秒内把手500棵树，而GradientBoostingClassifier只处理10棵（！）以1分2秒:(我没有理会试图种植500棵树，因为它会需要几个小时。我使用的是相同的learning_rate，并max_depth设置， 见下文。 是什么使XGBoost如此之快？它是否使用了sklearn家伙不知道的用于梯度增强的新颖实现方式？还是“偷工减料”并种植浅树？ ps我知道这个讨论：https : //www.kaggle.com/c/higgs-boson/forums/t/10335/xgboost-post-competition-survey，但是那里找不到答案... XGBClassifier(base_score=0.5, colsample_bylevel=1, colsample_bytree=1, gamma=0, learning_rate=0.05, max_delta_step=0, max_depth=10, min_child_weight=1, missing=None, n_estimators=500, nthread=-1, objective='binary:logistic', reg_alpha=0, reg_lambda=1, scale_pos_weight=1, seed=0, silent=True, subsample=1) GradientBoostingClassifier(init=None, learning_rate=0.05, loss='deviance', max_depth=10, max_features=None, max_leaf_nodes=None, min_samples_leaf=1, min_samples_split=2, min_weight_fraction_leaf=0.0, n_estimators=10, presort='auto', random_state=None, subsample=1.0, verbose=0, warm_start=False)

29 scikit-learn  xgboost  gbm  data-mining  classification  data-cleaning  machine-learning  reinforcement-learning  data-mining  bigdata  dataset  nlp  language-model  stanford-nlp  machine-learning  neural-network  deep-learning  randomized-algorithms  machine-learning  beginner  career  xgboost  loss-function  neural-network  software-recommendation  naive-bayes-classifier  classification  scikit-learn  feature-selection  r  random-forest  cross-validation  data-mining  python  scikit-learn  random-forest  churn  python  clustering  k-means  machine-learning  nlp  sentiment-analysis  machine-learning  programming  python  scikit-learn  nltk  gensim  visualization  data  csv  neural-network  deep-learning  descriptive-statistics  machine-learning  supervised-learning  text-mining  orange  data  parameter-estimation  python  pandas  scraping  r  clustering  k-means  unsupervised-learning 

我有大量数据（大约8GB）。我想使用机器学习对其进行分析。因此，我认为我应该先使用SVD再使用PCA来降低数据维数以提高效率。但是，MATLAB和Octave无法加载如此大的数据集。 我可以使用哪些工具对大量数据执行SVD？

29 bigdata  data-mining  dimensionality-reduction 

已关闭。这个问题是基于观点的。它当前不接受答案。 想改善这个问题吗？更新问题，以便通过编辑此帖子以事实和引用的形式回答。 5年前关闭。 我不知道这是否是问这个问题的合适地点，但我认为，致力于数据科学的社区应该是最合适的地方。 我刚刚开始学习数据科学和机器学习。我正在寻找可以在大约8个月的时间里工作的长期项目构想。 数据科学和机器学习相结合会很棒。 一个足以帮助我理解核心概念并同时实施这些概念的项目将非常有益。

23 machine-learning  bigdata  dataset 

我想对将近100万个具有200个维度的向量进行降维doc2vec。我使用TSNE从执行sklearn.manifold模块它和主要问题是时间复杂度。即使使用method = barnes_hut，计算速度仍然很低。有时甚至耗尽了内存。 我正在具有130G RAM的48核处理器上运行它。是否有一种方法可以并行运行它或利用大量资源来加快此过程。

18 python  bigdata  nlp  scikit-learn  dimensionality-reduction 

我使用Libsvm训练数据并预测语义分析问题的分类。但是由于语义分析涉及n维问题，因此在大规模数据上存在性能问题。 去年，Liblinear发布了，它可以解决性能瓶颈。但这会占用太多内存。是的MapReduce解决大数据的语义分析问题的唯一途径？还是有其他方法可以改善Liblinear上的内存瓶颈？

17 machine-learning  bigdata  libsvm 

我corr()用原始df 创建了df。该corr()DF出来70×70，这是不可能的可视化热图... sns.heatmap(df)。如果我尝试显示corr = df.corr()，则表格不适合屏幕，并且我可以看到所有相关性。它是打印整个df大小而不管其大小还是控制热图大小的方法吗？

17 visualization  pandas  plotting  machine-learning  neural-network  svm  decision-trees  svm  efficiency  python  linear-regression  machine-learning  nlp  topic-model  lda  named-entity-recognition  naive-bayes-classifier  association-rules  fuzzy-logic  kaggle  deep-learning  tensorflow  inception  classification  feature-selection  feature-engineering  machine-learning  scikit-learn  tensorflow  keras  encoding  nlp  text-mining  nlp  rnn  python  neural-network  feature-extraction  machine-learning  predictive-modeling  python  r  linear-regression  clustering  r  ggplot2  neural-network  neural-network  training  python  neural-network  deep-learning  rnn  predictive-modeling  databases  sql  programming  distribution  dataset  cross-validation  neural-network  deep-learning  rnn  machine-learning  machine-learning  python  deep-learning  data-mining  tensorflow  visualization  tools  sql  embeddings  orange  feature-extraction  unsupervised-learning  gan  machine-learning  python  data-mining  pandas  machine-learning  data-mining  bigdata  apache-spark  apache-hadoop  deep-learning  python  convnet  keras  aggregation  clustering  k-means  r  random-forest  decision-trees  reference-request  visualization  data  pandas  plotting  neural-network  keras  rnn  theano  deep-learning  tensorflow  inception  predictive-modeling  deep-learning  regression  sentiment-analysis  nlp  encoding  deep-learning  python  scikit-learn  lda  convnet  keras  predictive-modeling  regression  overfitting  regression  svm  prediction  machine-learning  similarity  word2vec  information-retrieval  word-embeddings  neural-network  deep-learning  rnn 

像MongoDB这样的NoSQL数据库如何用于数据分析？它们有哪些功能可以使数据分析更快，更强大？

16 bigdata  nosql  mongodb 

我试图了解现实世界中所有“大数据”组件如何一起发挥作用，例如hadoop，monogodb / nosql，storm，kafka等……我知道这是用于不同的类型，但我想了解更多有关它们在应用程序中的交互的信息，例如，为应用程序，网络应用程序，在线商店思考机器学习。 我有访问者/会话，交易数据等并存储；但是，如果我想即时提出建议，则无法在我拥有的一些大型日志数据库上运行慢的地图/归约工作。在哪里可以了解有关基础架构方面的更多信息？我认为我可以自己使用大多数工具，但是将它们相互插入似乎是一种艺术。 有公开的例子/用例等吗？我知道各个管道在很大程度上取决于用例和用户，但是仅示例对我来说可能非常有用。

14 machine-learning  bigdata  efficiency  scalability  distributed 

我们应该注意哪些数据条件，其中p值可能不是决定统计显着性的最佳方法？是否有属于此类的特定问题类型？

14 bigdata  statistics