基于因子水平删除行(Remove rows based on factor-levels)

2019-06-25 15:22发布

我有一个data.frame df格式“长”。

df <- data.frame(site = rep(c("A","B","C"), 1, 7),
                 time = c(11,11,11,22,22,22,33),
                 value = ceiling(rnorm(7)*10))
df <- df[order(df$site), ]

df
  site time value
1    A   11    12
2    A   22   -24
3    A   33   -30
4    B   11     3
5    B   22    16
6    C   11     3
7    C   22     9

如何去除行,其中的一个独特的元素df$time不存在为每个级别的df$site

在这种情况下我想删除df[3,] ,因为对于df$time的时间戳33只存在于站点A,而不是为了站点B和C.现场

所需的输出:

df.trimmed
  site time value
1    A   11    12
2    A   22   -24
4    B   11     3
5    B   22    16
6    C   11     3
7    C   22     9

该data.frame具有容易800K行和200K唯一时间戳。 我不想使用循环,但我不知道如何使用矢量化功能,如apply()lapply()这种情况。

Answer 1:

下面是一个使用另一种可能的解决方案data.table包:

unTime <- unique(df$time)

library(data.table)

DT <- data.table(df, key = "site")

(notInAll <- unique(DT[, list(ans = which(!unTime %in% time)), by = key(DT)]$ans))
# [1] 3

DT[time %in% unTime[-notInAll]]

#      site time value
# [1,]    A   11     3
# [2,]    A   22    11
# [3,]    B   11    -6
# [4,]    B   22    -2
# [5,]    C   11   -19
# [6,]    C   22   -14

马太福音编辑
尼斯。 或者稍微更直接的方式:

DT = as.data.table(df)
tt = DT[,length(unique(site)),by=time]
tt
   time V1
1:   11  3
2:   22  3
3:   33  1

tt = tt[V1==max(V1)]      # See * below
tt
   time V1
1:   11  3
2:   22  3

DT[time %in% tt$time]
   site time value
1:    A   11     7
2:    A   22    -2
3:    B   11     8
4:    B   22   -10
5:    C   11     3
6:    C   22     1

如果没有时间存在于所有的部位,当最终的结果应该是空的(如本在评论中指出),标志着步*以上的可能是:

tt = tt[V1==length(unique(DT$site))]


Answer 2:

rle为您工作?

df <- df[order(df$time), ]
df <- subset(df, time != rle(df$time)$value[rle(df$time)$lengths == 1])
df <- df[order(df$site), ]
df
##   site time value
## 1    A   11    17
## 4    A   22    -3
## 2    B   11     8
## 5    B   22     5
## 3    C   11     0
## 6    C   22    13

再看着你的数据,似乎这种解决方案可能是您的需求太简单不过....

更新

这里有一个方法,它应该比更好的rle的解决方案,我把上面。 而不是寻找的“1”的游程,将删除不匹配的结果一定条件的行table(df$site, df$time) 。 为了说明这一点,我还添加了一些假数据。

df <- data.frame(site = rep(c("A","B","C"), 1, 7),
                 time = c(11,11,11,22,22,22,33),
                 value = ceiling(rnorm(7)*10))
df2 <- data.frame(site = rep(c("A","B","C"), 1, 7),
                 time = c(14,14,15,15,16,16,16),
                 value = ceiling(rnorm(7)*10))
df <- rbind(df, df2)
df <- df[order(df$site), ]

temp <- as.numeric(names(which(colSums(with(df, table(site, time)))
                               >= length(levels(df$site)))))
df2 <- merge(df, data.frame(temp), by.x = "time", by.y = "temp")
df2 <- df2[order(df2$site), ]
df2
##   time site value
## 3   11    A    -2
## 4   16    A    -2
## 7   22    A     2
## 1   11    B   -16
## 5   16    B     3
## 8   22    B    -6
## 2   11    C     8
## 6   16    C    11
## 9   22    C   -10

这里的制表和总结网站/时间组合的结果:

colSums(with(df, table(site, time)))
## 11 14 15 16 22 33 
##  3  2  2  3  3  1 

因此,如果我们有兴趣,包括网站,至少两个站点有时间戳,我们可以改变线路>= length(levels(df$site))在这个例子中,3) >= length(levels(df$site))-1 (显然,2)。

不知道这个解决方案是对你有用可言,但我想我会分享它显示在解决方案的灵活性,我们有R.



文章来源: Remove rows based on factor-levels