Questions tagged «pandas»

https://github.com/Rdatatable/data.table/wiki/Benchmarks-%3A-Grouping 自2014年以来，未对data.table基准进行更新。我听说某个地方Pandas现在的速度比快data.table。这是真的？有人做过基准测试吗？我以前从未使用过Python，但会考虑切换是否pandas可以击败data.table？

16 python  r  pandas  data  data.table 

我试图在scikit学习中运行xgboost。而且我只使用Pandas将数据加载到dataframe中。我应该如何在xgboost中使用pandas df。我对运行xgboost算法所需的DMatrix例程感到困惑。

14 scikit-learn  pandas  xgboost 

我有一个数据框，其中除其他外，包含一列自1970-1-1以来经过的毫秒数。我需要将此int列转换为时间戳数据，因此我可以通过将timestamp列系列添加到一个完全由1970-1-1组成的datetime值的序列中，最终将其转换为datetime数据列。 我知道如何将一系列字符串转换为日期时间数据（pandas.to_datetime），但是我找不到或想出任何解决方案将整列整数转换为日期时间数据或时间戳数据。

13 python  time-series  data-cleaning  pandas 

在数据科学中，许多人似乎正在使用pandas数据框作为数据存储。与普通的关系数据库（如MySQL）相比，大熊猫有什么特征使其成为高级数据存储，而MySQL通常用于存储其他编程领域的数据？ 虽然熊猫确实提供了一些有用的数据探索功能，但是您不能使用SQL，并且会丢失查询优化或访问限制等功能。

13 pandas  databases 

我有带有大量分类列的pandas数据框，我打算在scikit-learn的决策树中使用它。我需要将它们转换为数值（不是一个热向量）。我可以使用scikit-learn的LabelEncoder做到这一点。问题是它们太多了，我不想手动转换它们。 什么是使该过程自动化的简单方法。

12 scikit-learn  pandas  categorical-data  labels 

是否有关于我应使用的LSTM电池的最小，最大和“合理”数量的经验法则（或实际规则）？具体来说，我与TensorFlow和property 有关的BasicLSTMCell有关num_units。 请假设我有以下定义的分类问题： t - number of time steps n - length of input vector in each time step m - length of output vector (number of classes) i - number of training examples 例如，训练示例的数量应该大于： 4*((n+1)*m + m*m)*c c单元数在哪里？我基于此：如何计算LSTM网络的参数数量？据我了解，这应该给出参数的总数，该总数应少于训练示例的数量。

12 rnn  machine-learning  r  predictive-modeling  random-forest  python  language-model  sentiment-analysis  encoding  machine-learning  deep-learning  neural-network  dataset  caffe  classification  xgboost  multiclass-classification  unbalanced-classes  time-series  descriptive-statistics  python  r  clustering  machine-learning  python  deep-learning  tensorflow  machine-learning  python  predictive-modeling  probability  scikit-learn  svm  machine-learning  python  classification  gradient-descent  regression  research  python  neural-network  deep-learning  convnet  keras  python  tensorflow  machine-learning  deep-learning  tensorflow  python  r  bigdata  visualization  rstudio  pandas  pyspark  dataset  time-series  multilabel-classification  machine-learning  neural-network  ensemble-modeling  kaggle  machine-learning  linear-regression  cnn  convnet  machine-learning  tensorflow  association-rules  machine-learning  predictive-modeling  training  model-selection  neural-network  keras  deep-learning  deep-learning  convnet  image-classification  predictive-modeling  prediction  machine-learning  python  classification  predictive-modeling  scikit-learn  machine-learning  python  random-forest  sampling  training  recommender-system  books  python  neural-network  nlp  deep-learning  tensorflow  python  matlab  information-retrieval  search  search-engine  deep-learning  convnet  keras  machine-learning  python  cross-validation  sampling  machine-learning 

我有两个数据帧df1和df2，我想将它们合并为一个数据帧。好像df1和df2是通过将单个数据帧沿垂直中心向下分割而创建的，就像将一张包含一个列表的纸张撕成两半一样，以便一半的列在一张纸上，一半的列在另一张纸上。我想将它们合并在一起。我该怎么做？

12 pandas 

我正在为一个应用程序制作原型，我需要一个语言模型来计算一些生成的句子的困惑度。 我可以随时使用经过训练的python语言模型吗？简单的东西 model = LanguageModel('en') p1 = model.perplexity('This is a well constructed sentence') p2 = model.perplexity('Bunny lamp robert junior pancake') assert p1 < p2 我看过一些框架，但找不到我想要的。我知道我可以使用类似： from nltk.model.ngram import NgramModel lm = NgramModel(3, brown.words(categories='news')) 这在Brown Corpus上使用了很好的图林概率分布，但是我正在一些大型数据集（例如1b单词数据集）上寻找精心设计的模型。我可以真正相信一般领域的结果（不仅是新闻）

11 python  nlp  language-model  r  statistics  linear-regression  machine-learning  classification  random-forest  xgboost  python  sampling  data-mining  orange  predictive-modeling  recommender-system  statistics  dimensionality-reduction  pca  machine-learning  python  deep-learning  keras  reinforcement-learning  neural-network  image-classification  r  dplyr  deep-learning  keras  tensorflow  lstm  dropout  machine-learning  sampling  categorical-data  data-imputation  machine-learning  deep-learning  machine-learning-model  dropout  deep-network  pandas  data-cleaning  data-science-model  aggregation  python  neural-network  reinforcement-learning  policy-gradients  r  dataframe  dataset  statistics  prediction  forecasting  r  k-means  python  scikit-learn  labels  python  orange  cloud-computing  machine-learning  neural-network  deep-learning  rnn  recurrent-neural-net  logistic-regression  missing-data  deep-learning  autoencoder  apache-hadoop  time-series  data  preprocessing  classification  predictive-modeling  time-series  machine-learning  python  feature-selection  autoencoder  deep-learning  keras  tensorflow  lstm  word-embeddings  predictive-modeling  prediction  machine-learning-model  machine-learning  classification  binary  theory  machine-learning  neural-network  time-series  lstm  rnn  neural-network  deep-learning  keras  tensorflow  convnet  computer-vision 

已关闭。这个问题需要更加集中。它当前不接受答案。 想改善这个问题吗？更新问题，使其仅通过编辑此帖子来关注一个问题。 5年前关闭。 似乎大多数语言都具有一定数量的科学计算库。 Python有 Scipy Rust 有 SciRust C++有几个包括ViennaCL和Armadillo Java具有Java Numerics和Colt其他几个 且不说像语言R和Julia明确的科学计算而设计。 有这么多种选择，您如何选择适合任务的最佳语言？另外，哪种语言的性能最高？Python并且R似乎在该领域具有最大的吸引力，但从逻辑上讲，编译语言似乎是一个更好的选择。会有什么表现胜过Fortran？此外编译语言往往有GPU加速，而解释性语言如R并Python没有。选择一种语言时应该考虑什么？哪些语言可以在效用和性能之间取得最佳平衡？还有我错过的具有重要科学计算资源的语言吗？

10 efficiency  statistics  tools  knowledge-base  machine-learning  neural-network  deep-learning  optimization  hyperparameter  machine-learning  time-series  categorical-data  logistic-regression  python  visualization  bigdata  efficiency  classification  binary  svm  random-forest  logistic-regression  data-mining  sql  experiments  bigdata  efficiency  performance  scalability  distributed  bigdata  nlp  statistics  education  knowledge-base  definitions  machine-learning  recommender-system  evaluation  efficiency  algorithms  parameter  efficiency  scalability  sql  statistics  visualization  knowledge-base  education  machine-learning  r  python  r  text-mining  sentiment-analysis  machine-learning  machine-learning  python  neural-network  statistics  reference-request  machine-learning  data-mining  python  classification  data-mining  bigdata  usecase  apache-hadoop  map-reduce  aws  education  feature-selection  machine-learning  machine-learning  sports  data-formats  hierarchical-data-format  bigdata  apache-hadoop  bigdata  apache-hadoop  python  visualization  knowledge-base  classification  confusion-matrix  accuracy  bigdata  apache-hadoop  bigdata  efficiency  apache-hadoop  distributed  machine-translation  nlp  metadata  data-cleaning  text-mining  python  pandas  machine-learning  python  pandas  scikit-learn  bigdata  machine-learning  databases  clustering  data-mining  recommender-system 

我有一个这样的熊猫数据框（X11）：实际上我有99列，最高可达dx99 dx1 dx2 dx3 dx4 0 25041 40391 5856 0 1 25041 40391 25081 5856 2 25041 40391 42822 0 3 25061 40391 0 0 4 25041 40391 0 5856 5 40391 25002 5856 3569 我想为单元格值（例如25041、40391、5856等）创建其他列。因此，如果25041出现在任何dxs列中的特定行中，则将有一个值为250或1或0的列。我正在使用此代码，当行数较少时，它可以工作。 mat = X11.as_matrix(columns=None) values, counts = np.unique(mat.astype(str), return_counts=True) for x in values: X11[x] = …

10 python  data-cleaning  pandas  anaconda 

我有一个像这样的数据集： 样本数据框 import pandas as pd df = pd.DataFrame({ 'names': ['A','B','C','D','E','F','G','H','I','J','K','L'], 'col1': [0, 1, 0, 1, 1, 1, 0, 0, 0, 1, 0, 0], 'col2': [0, 0, 0, 0, 1, 0, 1, 0, 1, 0, 0, 0]}) 我想，以取代一些0的中col1和col2用1的，而不是替代0的，如果三个或更多0的是在同一列的连续。熊猫怎么办？ 原始数据集： names col1 col2 A 0 0 B 1 0 C 0 …

10 python  pandas  dataframe 

刚开始使用Python分析的新手，请谨慎：-)我找不到该问题的答案-抱歉，如果它已经在其他地方以其他格式回答了。 我有一个零售商店的交易数据的数据集。变量及其说明如下： section：商店的部分，str； prod_name：产品名称，str； 收据：发票编号，整数； 出纳员，出纳员的编号，整数； 成本：物料的成本，浮动； 日期，格式为MM / DD / YY，为str； 时间，格式为HH：MM：SS，为str； 收据对于单笔交易中购买的所有产品具有相同的价值，因此可用于确定单笔交易中购买的平均数量。 最好的方法是什么？我本质上是想使用groupby()按收据变量相同的出现来对收据变量进行分组，以便创建直方图。 在pandas DataFrame中处理数据。 编辑： 以下是一些带有标头的示例数据（prod_name实际上是一个十六进制数字）： section,prod_name,receipt,cashier,cost,date,time electronics,b46f23e7,102856,5,70.50,05/20/15,9:08:20 womenswear,74558d0d,102857,8,20.00,05/20/15,9:12:46 womenswear,031f36b7,102857,8,30.00,05/20/15,9:12:47 menswear,1d52cd9d,102858,3,65.00,05/20/15,9:08:20 从该样本集中，我希望获得一个直方图，该直方图显示两次出现的收据102857（因为该人在一项交易中购买了两件物品）和一次出现的收据102856和102858。注意：我的数据集并不庞大，大约一百万行。

10 python  statistics  pandas  ipython 

我有一个数据集，其中包含一个农场10年（2005年-2014年）的温度，降水和大豆产量的数据。我想根据此数据预测2015年的收益。 请注意，该数据集具有温度和降水量的每日值，但每年只有1个值，因为农作物的收获是在农作物生长季节结束时进行的。 我想建立一个回归模型或其他基于机器学习的模型来预测2015年的产量，该模型基于回归模型/其他模型，该模型是通过研究前几年的产量，温度和降水之间的关系得出的。 我熟悉使用scikit-learn进行机器学习。但是，不确定如何表示此问题。这里最棘手的部分是温度和降水是每天的，但产量仅为每年1个值。 我该如何处理？

10 python  scikit-learn  pandas 

假设我们具有以下数据框，其中特定列具有多个值： categories 0 - ["A", "B"] 1 - ["B", "C", "D"] 2 - ["B", "D"] 我们如何获得这样的桌子？ "A" "B" "C" "D" 0 - 1 1 0 0 1 - 0 1 1 1 2 - 0 1 0 1 注意：我不一定需要新的数据框，我想知道如何将此类数据框转换为更适合机器学习的格式。

9 python  pandas