收集多组列

107

我有一项在线调查的数据，其中受访者会经历1-3次问题循环。调查软件（Qualtrics）记录在多列，也就是说这个数据，Q3.2的调查将在列Q3.2.1.，Q3.2.2.以及Q3.2.3.：

df <- data.frame(
  id = 1:10,
  time = as.Date('2009-01-01') + 0:9,
  Q3.2.1. = rnorm(10, 0, 1),
  Q3.2.2. = rnorm(10, 0, 1),
  Q3.2.3. = rnorm(10, 0, 1),
  Q3.3.1. = rnorm(10, 0, 1),
  Q3.3.2. = rnorm(10, 0, 1),
  Q3.3.3. = rnorm(10, 0, 1)
)

# Sample data

   id       time    Q3.2.1.     Q3.2.2.    Q3.2.3.     Q3.3.1.    Q3.3.2.     Q3.3.3.
1   1 2009-01-01 -0.2059165 -0.29177677 -0.7107192  1.52718069 -0.4484351 -1.21550600
2   2 2009-01-02 -0.1981136 -1.19813815  1.1750200 -0.40380049 -1.8376094  1.03588482
3   3 2009-01-03  0.3514795 -0.27425539  1.1171712 -1.02641801 -2.0646661 -0.35353058
...

我想将所有QN.N *列合并为整齐的单个QN.N列，最终以类似以下内容的形式结束：

   id       time loop_number        Q3.2        Q3.3
1   1 2009-01-01           1 -0.20591649  1.52718069
2   2 2009-01-02           1 -0.19811357 -0.40380049
3   3 2009-01-03           1  0.35147949 -1.02641801
...
11  1 2009-01-01           2 -0.29177677  -0.4484351
12  2 2009-01-02           2 -1.19813815  -1.8376094
13  3 2009-01-03           2 -0.27425539  -2.0646661
...
21  1 2009-01-01           3 -0.71071921 -1.21550600
22  2 2009-01-02           3  1.17501999  1.03588482
23  3 2009-01-03           3  1.11717121 -0.35353058
...

该tidyr库具有此gather()功能，非常适合组合一组列：

library(dplyr)
library(tidyr)
library(stringr)

df %>% gather(loop_number, Q3.2, starts_with("Q3.2")) %>% 
  mutate(loop_number = str_sub(loop_number,-2,-2)) %>%
  select(id, time, loop_number, Q3.2)


   id       time loop_number        Q3.2
1   1 2009-01-01           1 -0.20591649
2   2 2009-01-02           1 -0.19811357
3   3 2009-01-03           1  0.35147949
...
29  9 2009-01-09           3 -0.58581232
30 10 2009-01-10           3 -2.33393981

如预期的那样，结果数据帧具有30行（10个人，每个3个循环）。但是，收集第二组列无法正常工作-成功地将两个组合的列Q3.2和组合在一起Q3.3，但最终得到90行而不是30行（所有组合包括10个人，Q3.2的3个循环和Q3的3个循环.3；实际数据中每组列的组合将大大增加）：

df %>% gather(loop_number, Q3.2, starts_with("Q3.2")) %>% 
  gather(loop_number, Q3.3, starts_with("Q3.3")) %>%
  mutate(loop_number = str_sub(loop_number,-2,-2))


   id       time loop_number        Q3.2        Q3.3
1   1 2009-01-01           1 -0.20591649  1.52718069
2   2 2009-01-02           1 -0.19811357 -0.40380049
3   3 2009-01-03           1  0.35147949 -1.02641801
...
89  9 2009-01-09           3 -0.58581232 -0.13187024
90 10 2009-01-10           3 -2.33393981 -0.48502131

有没有一种方法可以使用多个调用来gather()像这样，在保持正确的行数的同时合并像这样的小的列子集？

r  reshape  dplyr  qualtrics  tidyr 
— 安德鲁
source
怎么了df %>% gather(loop_number, Q3.2, starts_with("Q3."))
— Alex
这使我得到一个包含60行的合并列。我猜想，如果我随后包含某种调用seperate()以将Q3.3（及以后）值分成自己的列，则可能会起作用。但这似乎仍然是一个真正的回旋解决方案……
— Andrew
使用spread我现在正在研究解决方案：p
— Alex
试试这个！df %>% gather(question_number, Q3.2, starts_with("Q3.")) %>% mutate(loop_number = str_sub(question_number,-2,-2), question_number = str_sub(question_number,1,4)) %>% select(id, time, loop_number, question_number, Q3.2) %>% spread(key = question_number, value = Q3.2)
— 亚历克斯
哦，这对于这两个变量确实非常有效。我很好奇它是否可扩展-在我的真实数据中，我有Q3.2-Q3.30，因此它需要一堆单独的调用spread()。尽管无论如何都不可避免地会出现多个呼叫，但是无论generate()是工作的一堆s还是嵌套的spread()s…
— Andrew

Answers:

145

这种方法对我来说似乎很自然：

df %>%
  gather(key, value, -id, -time) %>%
  extract(key, c("question", "loop_number"), "(Q.\\..)\\.(.)") %>%
  spread(question, value)

首先收集所有问题列，使用extract()来将其分隔为question和loop_number，然后再将spread()问题重新归入各列。

#>    id       time loop_number         Q3.2        Q3.3
#> 1   1 2009-01-01           1  0.142259203 -0.35842736
#> 2   1 2009-01-01           2  0.061034802  0.79354061
#> 3   1 2009-01-01           3 -0.525686204 -0.67456611
#> 4   2 2009-01-02           1 -1.044461185 -1.19662936
#> 5   2 2009-01-02           2  0.393808163  0.42384717
— 哈德利
source
5
你好。我有许多名称以1和2结尾的列，例如age1，age2，weight1，weight2，blood1，blood2...。如何在这里应用您的方法？
— skan，
4
这部分是什么意思：“（Q。\\ ..）\\。（。）”我要搜索什么才能解码那里发生的事情？
— 暴徒
3
@mob正则表达式
— hadley
1
@mob“（Q。\\ ..）\\。（。）”是带有括号的正则表达式，用于定义要提取为“问题”和“ loop_number”的正则表达式的组。更具体地说，在此示例中，键中带有表达式“ Q。\\ ..”的项目进入“问题”列（即“ Q3.2”和“ Q3.3”），然后是下一个期间，用“。”表示，进入“ loop_number”列。
— LC数据科学家
31

可以使用来完成reshape。虽然有可能dplyr。

  colnames(df) <- gsub("\\.(.{2})$", "_\\1", colnames(df))
  colnames(df)[2] <- "Date"
  res <- reshape(df, idvar=c("id", "Date"), varying=3:8, direction="long", sep="_")
  row.names(res) <- 1:nrow(res)

   head(res)
  #  id       Date time       Q3.2       Q3.3
  #1  1 2009-01-01    1  1.3709584  0.4554501
  #2  2 2009-01-02    1 -0.5646982  0.7048373
  #3  3 2009-01-03    1  0.3631284  1.0351035
  #4  4 2009-01-04    1  0.6328626 -0.6089264
  #5  5 2009-01-05    1  0.4042683  0.5049551
  #6  6 2009-01-06    1 -0.1061245 -1.7170087

或使用 dplyr

  library(tidyr)
  library(dplyr)
  colnames(df) <- gsub("\\.(.{2})$", "_\\1", colnames(df))

  df %>%
     gather(loop_number, "Q3", starts_with("Q3")) %>% 
     separate(loop_number,c("L1", "L2"), sep="_") %>% 
     spread(L1, Q3) %>%
     select(-L2) %>%
     head()
  #  id       time       Q3.2       Q3.3
  #1  1 2009-01-01  1.3709584  0.4554501
  #2  1 2009-01-01  1.3048697  0.2059986
  #3  1 2009-01-01 -0.3066386  0.3219253
  #4  2 2009-01-02 -0.5646982  0.7048373
  #5  2 2009-01-02  2.2866454 -0.3610573
  #6  2 2009-01-02 -1.7813084 -0.7838389

更新资料

使用tidyr_0.8.3.9000，我们可以pivot_longer用来重塑多列。（使用gsub上面更改的列名）

library(dplyr)
library(tidyr)
df %>% 
    pivot_longer(cols = starts_with("Q3"), 
          names_to = c(".value", "Q3"), names_sep = "_") %>% 
    select(-Q3)
# A tibble: 30 x 4
#      id time         Q3.2    Q3.3
#   <int> <date>      <dbl>   <dbl>
# 1     1 2009-01-01  0.974  1.47  
# 2     1 2009-01-01 -0.849 -0.513 
# 3     1 2009-01-01  0.894  0.0442
# 4     2 2009-01-02  2.04  -0.553 
# 5     2 2009-01-02  0.694  0.0972
# 6     2 2009-01-02 -1.11   1.85  
# 7     3 2009-01-03  0.413  0.733 
# 8     3 2009-01-03 -0.896 -0.271 
#9     3 2009-01-03  0.509 -0.0512
#10     4 2009-01-04  1.81   0.668 
# … with 20 more rows

注意：值是不同的，因为在创建输入数据集时没有设置种子

— 阿克伦
source
哇，这很完美。tidyr表面上是重塑的替代/升级-我想知道@hadley是否知道用dplyr或tidyr做同一件事的方法……
— Andrew
那是纯魔术。我添加的唯一内容是mutate(loop_number = as.numeric(L2))在删除之前L2，它是完美的。
— 2014年
1
@Andrew我个人更喜欢该reshape方法的紧凑代码，尽管dplyr对于大型数据集而言可能更快。
— akrun 2014年
1
我从不了解该reshape()功能，请参阅我的解决方案，以我看来很干净的tidyr实现。
— hadley 2014年
22

随着对的最新更新melt.data.table，我们现在可以融合多列。这样，我们可以做到：

require(data.table) ## 1.9.5
melt(setDT(df), id=1:2, measure=patterns("^Q3.2", "^Q3.3"), 
     value.name=c("Q3.2", "Q3.3"), variable.name="loop_number")
 #    id       time loop_number         Q3.2        Q3.3
 # 1:  1 2009-01-01           1 -0.433978480  0.41227209
 # 2:  2 2009-01-02           1 -0.567995351  0.30701144
 # 3:  3 2009-01-03           1 -0.092041353 -0.96024077
 # 4:  4 2009-01-04           1  1.137433487  0.60603396
 # 5:  5 2009-01-05           1 -1.071498263 -0.01655584
 # 6:  6 2009-01-06           1 -0.048376809  0.55889996
 # 7:  7 2009-01-07           1 -0.007312176  0.69872938

您可以从此处获取开发版本。

— 阿伦
source
你好。我有许多名称以1和2结尾的列，例如age1，age2，weight1，weight2，blood1，blood2...。如何在这里应用您的方法？
— skan，
skan，请检查重塑插图。祝好运！
— 阿伦（Arun）
我做到了，但我不知道如何正确地嵌入正则表达式以拆分列名并将其传递给熔化。只有一个带有模式的示例，它太简单了。就我而言，我需要在pattern（）中包含许多列名称
— skan，2016年
假设您有以下几列：paste0（rep（LETTERS，each = 3），1：3），并且想要获取由字母和数字定义的长表
— skan
这是最简洁和易于理解的。
— Michael Bellhouse
10

它与“ tidyr”和“ dplyr”完全无关，但是这里还有一个可供考虑的选择：merged.stack从我的“ splitstackshape”软件包 V1.4.0及更高版本开始。

library(splitstackshape)
merged.stack(df, id.vars = c("id", "time"), 
             var.stubs = c("Q3.2.", "Q3.3."),
             sep = "var.stubs")
#     id       time .time_1       Q3.2.       Q3.3.
#  1:  1 2009-01-01      1. -0.62645381  1.35867955
#  2:  1 2009-01-01      2.  1.51178117 -0.16452360
#  3:  1 2009-01-01      3.  0.91897737  0.39810588
#  4:  2 2009-01-02      1.  0.18364332 -0.10278773
#  5:  2 2009-01-02      2.  0.38984324 -0.25336168
#  6:  2 2009-01-02      3.  0.78213630 -0.61202639
#  7:  3 2009-01-03      1. -0.83562861  0.38767161
# <<:::SNIP:::>>
# 24:  8 2009-01-08      3. -1.47075238 -1.04413463
# 25:  9 2009-01-09      1.  0.57578135  1.10002537
# 26:  9 2009-01-09      2.  0.82122120 -0.11234621
# 27:  9 2009-01-09      3. -0.47815006  0.56971963
# 28: 10 2009-01-10      1. -0.30538839  0.76317575
# 29: 10 2009-01-10      2.  0.59390132  0.88110773
# 30: 10 2009-01-10      3.  0.41794156 -0.13505460
#     id       time .time_1       Q3.2.       Q3.3.
— A5C1D2H2I1M1N2O1R2T1
source
1
你好。我有许多名称以1和2结尾的列，例如age1，age2，weight1，weight2，blood1，blood2...。如何在这里应用您的方法？
— skan，
6

如果您像我一样，并且无法弄清楚如何对使用“带捕获组的正则表达式” extract，下面的代码将复制extract(...)Hadleys答案中的行：

df %>% 
    gather(question_number, value, starts_with("Q3.")) %>%
    mutate(loop_number = str_sub(question_number,-2,-2), question_number = str_sub(question_number,1,4)) %>%
    select(id, time, loop_number, question_number, value) %>% 
    spread(key = question_number, value = value)

这里的问题是初始聚集形成一个键列，该键列实际上是两个键的组合。我选择mutate在原始解决方案的注释中使用，以将该列分为具有相同信息的两列，即一loop_number列和一question_number列。spread然后可以使用来将长格式数据（即键值对）转换(question_number, value)为宽格式数据。

— 亚历克斯
source
By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.