比较两个data.frame以找到data.frame 1中不存在的行data.frame 2


161

我有以下2个data.frames:

a1 <- data.frame(a = 1:5, b=letters[1:5])
a2 <- data.frame(a = 1:3, b=letters[1:3])

我想找到a1没有的行。

是否有针对此类操作的内置功能?

(ps:我确实为此写了一个解决方案,我只是很好奇是否有人已经编写了更完善的代码)

这是我的解决方案:

a1 <- data.frame(a = 1:5, b=letters[1:5])
a2 <- data.frame(a = 1:3, b=letters[1:3])

rows.in.a1.that.are.not.in.a2  <- function(a1,a2)
{
    a1.vec <- apply(a1, 1, paste, collapse = "")
    a2.vec <- apply(a2, 1, paste, collapse = "")
    a1.without.a2.rows <- a1[!a1.vec %in% a2.vec,]
    return(a1.without.a2.rows)
}
rows.in.a1.that.are.not.in.a2(a1,a2)

Answers:


88

这不会直接回答您的问题,但是会为您提供共同的要素。这可以通过Paul Murrell的软件包来完成compare

library(compare)
a1 <- data.frame(a = 1:5, b = letters[1:5])
a2 <- data.frame(a = 1:3, b = letters[1:3])
comparison <- compare(a1,a2,allowAll=TRUE)
comparison$tM
#  a b
#1 1 a
#2 2 b
#3 3 c

该函数compare在允许进行哪种比较方面给您很大的灵活性(例如,更改每个向量的元素的顺序,更改变量的顺序和名称,缩短变量,更改字符串的大小写)。由此,您应该能够找出一个或另一个缺少的内容。例如(这不是很优雅):

difference <-
   data.frame(lapply(1:ncol(a1),function(i)setdiff(a1[,i],comparison$tM[,i])))
colnames(difference) <- colnames(a1)
difference
#  a b
#1 4 d
#2 5 e

3
我发现此功能令人困惑。我以为它对我有用,但是如果其中一组包含另一组的完全匹配的行,则它似乎仅能如上所示工作。考虑这种情况:a2 <- data.frame(a = c(1:3, 1), b = c(letters[1:3], "c"))。保持a1不变。现在尝试比较。即使在阅读选项时,我也不清楚,仅列出常见元素的正确方法是什么。
亨迪

148

SQLDF 提供一个很好的解决方案

a1 <- data.frame(a = 1:5, b=letters[1:5])
a2 <- data.frame(a = 1:3, b=letters[1:3])

require(sqldf)

a1NotIna2 <- sqldf('SELECT * FROM a1 EXCEPT SELECT * FROM a2')

以及两个数据框中的行:

a1Ina2 <- sqldf('SELECT * FROM a1 INTERSECT SELECT * FROM a2')

的新版本dplyr具有的功能anti_join,用于这些类型的比较

require(dplyr) 
anti_join(a1,a2)

semi_join进行筛选行的a1,同时也是在a2

semi_join(a1,a2)

18
感谢anti_joinsemi_join
drastega's

为什么有一个原因,anti_join和sqldf一样会返回空DF,但是函数same(a1,a2)和all.equal()会对此产生矛盾?
3pitt 17-10-10

只是想在这里补充说明,在我的某些情况下,anti_join和semi_join无效。我的数据框出现“错误:列必须是一维原子向量或列表”。也许我可以处理我的数据,以便这些功能起作用。Sqldf可以正常工作!
Akshay Gaur

@AkshayGaur应该只是数据格式或数据清理问题;sqldf只是sql,所有东西都经过预处理,就像nromal DB一样,这样我们就可以在数据上运行sql。
stucash

75

dplyr中

setdiff(a1,a2)

基本上,setdiff(bigFrame, smallFrame)可以在第一个表中获得额外的记录。

在SQLverse中,这称为a

左图不包括维恩图

对于所有联接选项和设置主题的良好描述,这是迄今为止我见过的最好的摘要之一:http : //www.vertabelo.com/blog/technical-articles/sql-joins

但是回到这个问题-这是setdiff()使用OP数据时代码的结果:

> a1
  a b
1 1 a
2 2 b
3 3 c
4 4 d
5 5 e

> a2
  a b
1 1 a
2 2 b
3 3 c

> setdiff(a1,a2)
  a b
1 4 d
2 5 e

甚至anti_join(a1,a2)会获得相同的结果。
有关更多信息:https : //www.rstudio.com/wp-content/uploads/2015/02/data-wrangling-cheatsheet.pdf


2
由于OP要求的物品a1不在其中a2,所以您是否不想使用类似的东西semi_join(a1, a2, by = c('a','b'))?在“里卡德”的回答中,我看到semi_join有人建议这样做。
steveb '16

当然!另一个很棒的选择;尤其是如果您的数据框仅具有连接键和不同的列名。
leerssej '17

setdiff来自lubridate :: setdiff而非库(dplyr)
mtelesha

@mtelesha -嗯,对于文档和源代码dplyr显示它在那里:(dplyr.tidyverse.org/reference/setops.htmlgithub.com/tidyverse/dplyr/blob/master/R/sets。 )。此外,加载dplyr库时,它甚至报告掩盖setdiff()可在两个向量上使用的基本函数:stat.ethz.ch/R-manual/R-devel/library/base/html/sets.html。也许你已经装载lubridate后库dplyr,它是在暗示其作为tabcomplete上市的来源?
leerssej

1
lubridate和dplyr之间存在冲突,请参见github.com/tidyverse/lubridate/issues/693
slhck

39

对于这种特定目的,这当然不是很有效,但是在这种情况下,我经常要做的是在每个data.frame中插入指标变量,然后合并:

a1$included_a1 <- TRUE
a2$included_a2 <- TRUE
res <- merge(a1, a2, all=TRUE)

included_a1中缺少的值将指出a1中缺少哪些行。对于a2同样。

解决方案的一个问题是列顺序必须匹配。另一个问题是,很容易想象这样的情况,即实际上不同的行被编码为相同的行。使用合并的优点是您可以免费获得良好解决方案所必需的所有错误检查。


所以...在寻找缺失值时,您创建了另一个缺失值...您如何在中找到缺失值included_a1?:-/
Louis Maddox

1
使用is.na()和子集,或dplyr :: filter
Eduardo Leoni

感谢您教授无需安装新库的方法!
罗德里戈

27

我写了一个包(https://github.com/alexsanjoseph/compareDF),因为我遇到了同样的问题。

  > df1 <- data.frame(a = 1:5, b=letters[1:5], row = 1:5)
  > df2 <- data.frame(a = 1:3, b=letters[1:3], row = 1:3)
  > df_compare = compare_df(df1, df2, "row")

  > df_compare$comparison_df
    row chng_type a b
  1   4         + 4 d
  2   5         + 5 e

一个更复杂的例子:

library(compareDF)
df1 = data.frame(id1 = c("Mazda RX4", "Mazda RX4 Wag", "Datsun 710",
                         "Hornet 4 Drive", "Duster 360", "Merc 240D"),
                 id2 = c("Maz", "Maz", "Dat", "Hor", "Dus", "Mer"),
                 hp = c(110, 110, 181, 110, 245, 62),
                 cyl = c(6, 6, 4, 6, 8, 4),
                 qsec = c(16.46, 17.02, 33.00, 19.44, 15.84, 20.00))

df2 = data.frame(id1 = c("Mazda RX4", "Mazda RX4 Wag", "Datsun 710",
                         "Hornet 4 Drive", " Hornet Sportabout", "Valiant"),
                 id2 = c("Maz", "Maz", "Dat", "Hor", "Dus", "Val"),
                 hp = c(110, 110, 93, 110, 175, 105),
                 cyl = c(6, 6, 4, 6, 8, 6),
                 qsec = c(16.46, 17.02, 18.61, 19.44, 17.02, 20.22))

> df_compare$comparison_df
    grp chng_type                id1 id2  hp cyl  qsec
  1   1         -  Hornet Sportabout Dus 175   8 17.02
  2   2         +         Datsun 710 Dat 181   4 33.00
  3   2         -         Datsun 710 Dat  93   4 18.61
  4   3         +         Duster 360 Dus 245   8 15.84
  5   7         +          Merc 240D Mer  62   4 20.00
  6   8         -            Valiant Val 105   6 20.22

该软件包还具有用于快速检查的html_output命令

df_compare $ html_output 在此处输入图片说明


您的compareDF正是我所需要的,并且在使用小型集时表现出色。但是:1)不能使用3列的5000万行(例如),它说32 GB RAM的内存不足。2)我还看到HTML需要花费一些时间来编写,是否可以将相同的输出发送到TEXT文件?

1)是的,5000万行是很多数据,只是要保存在内存中;)。我知道对于大型数据集而言,这不是很好,因此您可能必须进行某种分块。2)您可以给参数-limit_html = 0,以避免将其打印为HTML。同样的输出在compare_output $ comparison_df中,您可以使用本机R函数将其写入CSV / TEXT文件。
亚历克斯·约瑟夫

感谢您的回复@Alex Joseph,我将尝试一下,让您知道它的进展。
深夜

嗨,@ Alex Joseph,您好,感谢您输入的文本格式可以正常工作,但是发现了一个问题,并在以下位置提出了问题:stackoverflow.com/questions/54880218/…–
深夜

它不能处理不同数量的列。我遇到一个错误The two data frames have different columns!
PeyM87

14

您可以使用daff包装(包装了daff.js使用的V8):

library(daff)

diff_data(data_ref = a2,
          data = a1)

产生以下差异对象:

Daff Comparison: ‘a2’ vs. ‘a1’ 
  First 6 and last 6 patch lines:
   @@   a   b
1 ... ... ...
2       3   c
3 +++   4   d
4 +++   5   e
5 ... ... ...
6 ... ... ...
7       3   c
8 +++   4   d
9 +++   5   e

diff格式以表的Coopy荧光笔diff格式描述,应该很容易解释。+++第一栏中带有的行@@是的新行,a1而不是的行a2

差异对象可用于patch_data(),用于存储差异以用于记录目的,write_diff()或使用来可视化差异render_diff()

render_diff(
    diff_data(data_ref = a2,
              data = a1)
)

生成一个整洁的HTML输出:

在此处输入图片说明


10

使用diffobj包:

library(diffobj)

diffPrint(a1, a2)
diffObj(a1, a2)

在此处输入图片说明

在此处输入图片说明


10

我修改了merge功能以获得此功能。在较大的数据帧上,它使用的内存少于完整合并解决方案。而且我可以使用键列的名称。

另一个解决方案是使用库prob

#  Derived from src/library/base/R/merge.R
#  Part of the R package, http://www.R-project.org
#
#  This program is free software; you can redistribute it and/or modify
#  it under the terms of the GNU General Public License as published by
#  the Free Software Foundation; either version 2 of the License, or
#  (at your option) any later version.
#
#  This program is distributed in the hope that it will be useful,
#  but WITHOUT ANY WARRANTY; without even the implied warranty of
#  MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
#  GNU General Public License for more details.
#
#  A copy of the GNU General Public License is available at
#  http://www.r-project.org/Licenses/

XinY <-
    function(x, y, by = intersect(names(x), names(y)), by.x = by, by.y = by,
             notin = FALSE, incomparables = NULL,
             ...)
{
    fix.by <- function(by, df)
    {
        ## fix up 'by' to be a valid set of cols by number: 0 is row.names
        if(is.null(by)) by <- numeric(0L)
        by <- as.vector(by)
        nc <- ncol(df)
        if(is.character(by))
            by <- match(by, c("row.names", names(df))) - 1L
        else if(is.numeric(by)) {
            if(any(by < 0L) || any(by > nc))
                stop("'by' must match numbers of columns")
        } else if(is.logical(by)) {
            if(length(by) != nc) stop("'by' must match number of columns")
            by <- seq_along(by)[by]
        } else stop("'by' must specify column(s) as numbers, names or logical")
        if(any(is.na(by))) stop("'by' must specify valid column(s)")
        unique(by)
    }

    nx <- nrow(x <- as.data.frame(x)); ny <- nrow(y <- as.data.frame(y))
    by.x <- fix.by(by.x, x)
    by.y <- fix.by(by.y, y)
    if((l.b <- length(by.x)) != length(by.y))
        stop("'by.x' and 'by.y' specify different numbers of columns")
    if(l.b == 0L) {
        ## was: stop("no columns to match on")
        ## returns x
        x
    }
    else {
        if(any(by.x == 0L)) {
            x <- cbind(Row.names = I(row.names(x)), x)
            by.x <- by.x + 1L
        }
        if(any(by.y == 0L)) {
            y <- cbind(Row.names = I(row.names(y)), y)
            by.y <- by.y + 1L
        }
        ## create keys from 'by' columns:
        if(l.b == 1L) {                  # (be faster)
            bx <- x[, by.x]; if(is.factor(bx)) bx <- as.character(bx)
            by <- y[, by.y]; if(is.factor(by)) by <- as.character(by)
        } else {
            ## Do these together for consistency in as.character.
            ## Use same set of names.
            bx <- x[, by.x, drop=FALSE]; by <- y[, by.y, drop=FALSE]
            names(bx) <- names(by) <- paste("V", seq_len(ncol(bx)), sep="")
            bz <- do.call("paste", c(rbind(bx, by), sep = "\r"))
            bx <- bz[seq_len(nx)]
            by <- bz[nx + seq_len(ny)]
        }
        comm <- match(bx, by, 0L)
        if (notin) {
            res <- x[comm == 0,]
        } else {
            res <- x[comm > 0,]
        }
    }
    ## avoid a copy
    ## row.names(res) <- NULL
    attr(res, "row.names") <- .set_row_names(nrow(res))
    res
}


XnotinY <-
    function(x, y, by = intersect(names(x), names(y)), by.x = by, by.y = by,
             notin = TRUE, incomparables = NULL,
             ...)
{
    XinY(x,y,by,by.x,by.y,notin,incomparables)
}

7

您的示例数据没有任何重复项,但是您的解决方案会自动处理它们。这意味着在重复的情况下,某些答案可能与您的函数结果不匹配。
这是我的解决方案,它的地址重复方法与您的相同。它的规模也很大!

a1 <- data.frame(a = 1:5, b=letters[1:5])
a2 <- data.frame(a = 1:3, b=letters[1:3])
rows.in.a1.that.are.not.in.a2  <- function(a1,a2)
{
    a1.vec <- apply(a1, 1, paste, collapse = "")
    a2.vec <- apply(a2, 1, paste, collapse = "")
    a1.without.a2.rows <- a1[!a1.vec %in% a2.vec,]
    return(a1.without.a2.rows)
}

library(data.table)
setDT(a1)
setDT(a2)

# no duplicates - as in example code
r <- fsetdiff(a1, a2)
all.equal(r, rows.in.a1.that.are.not.in.a2(a1,a2))
#[1] TRUE

# handling duplicates - make some duplicates
a1 <- rbind(a1, a1, a1)
a2 <- rbind(a2, a2, a2)
r <- fsetdiff(a1, a2, all = TRUE)
all.equal(r, rows.in.a1.that.are.not.in.a2(a1,a2))
#[1] TRUE

需要数据表1.9.8+


2

也许它太简单了,但是我使用了这种解决方案,当我拥有一个可以用来比较数据集的主键时,我发现它非常有用。希望能有所帮助。

a1 <- data.frame(a = 1:5, b = letters[1:5])
a2 <- data.frame(a = 1:3, b = letters[1:3])
different.names <- (!a1$a %in% a2$a)
not.in.a2 <- a1[different.names,]

这与OP已经尝试的有什么不同?您已经使用了与Tal完全相同的代码来比较单个列而不是整个行(这是
必需的

1

plyr中另一个基于match_df的解决方案。这是plyr的match_df:

match_df <- function (x, y, on = NULL) 
{
    if (is.null(on)) {
        on <- intersect(names(x), names(y))
        message("Matching on: ", paste(on, collapse = ", "))
    }
    keys <- join.keys(x, y, on)
    x[keys$x %in% keys$y, , drop = FALSE]
}

我们可以将其修改为否定:

library(plyr)
negate_match_df <- function (x, y, on = NULL) 
{
    if (is.null(on)) {
        on <- intersect(names(x), names(y))
        message("Matching on: ", paste(on, collapse = ", "))
    }
    keys <- join.keys(x, y, on)
    x[!(keys$x %in% keys$y), , drop = FALSE]
}

然后:

diff <- negate_match_df(a1,a2)

1

使用subset

missing<-subset(a1, !(a %in% a2$a))

此答案适用于OP的情况。如果在两个data.frames(“ a1”和“ a2”)之间变量“ a”确实匹配,而变量“ b”却不匹配,该情况如何呢?
布莱恩F

1

以下代码同时使用data.tablefastmatch来提高速度。

library("data.table")
library("fastmatch")

a1 <- setDT(data.frame(a = 1:5, b=letters[1:5]))
a2 <- setDT(data.frame(a = 1:3, b=letters[1:3]))

compare_rows <- a1$a %fin% a2$a
# the %fin% function comes from the `fastmatch` package

added_rows <- a1[which(compare_rows == FALSE)]

added_rows

#    a b
# 1: 4 d
# 2: 5 e
By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.