蟒熊猫,DF.groupby()。AGG(),在AGG列引用()(python pandas, DF

2019-07-21 07:24发布

在一个具体的问题,说我有一个数据帧DF

     word  tag count
0    a     S    30
1    the   S    20
2    a     T    60
3    an    T    5
4    the   T    10 

我想找到, 对于每一个“字”,“标签”具有最“计数”。 因此,回报将是这样的

     word  tag count
1    the   S    20
2    a     T    60
3    an    T    5

我不在乎计列或订单/指数为原始搞砸了。 返回字典{“的”:“S”,...}就好了。

我希望我能做到

DF.groupby(['word']).agg(lambda x: x['tag'][ x['count'].argmax() ] )

但它不工作。 我无法访问列信息。

更抽象, 是什么在AGG的功能功能 )看作为它的参数

顺便说一句,在.agg()一样.aggregate()?

非常感谢。

Answer 1:

agg是一样的aggregate 。 它的调用传递的列( Series中的对象) DataFrame的时间,一个。


你可以使用idxmax收集与最大计数行的索引标签:

idx = df.groupby('word')['count'].idxmax()
print(idx)

产量

word
a       2
an      3
the     1
Name: count

然后用loc来选择在这些行wordtag列:

print(df.loc[idx, ['word', 'tag']])

产量

  word tag
2    a   T
3   an   T
1  the   S

需要注意的是idxmax返回索引标识df.loc可以使用标签来选择行。 但是,如果索引不是唯一的-也就是说,如果有重复的索引标识行-然后df.loc将选择中列出的所有的标签 idx 。 所以,要小心, df.index.is_uniqueTrue ,如果你使用idxmaxdf.loc


另外,您可以使用applyapply的调用传递一个子数据帧,让你访问的所有列:

import pandas as pd
df = pd.DataFrame({'word':'a the a an the'.split(),
                   'tag': list('SSTTT'),
                   'count': [30, 20, 60, 5, 10]})

print(df.groupby('word').apply(lambda subf: subf['tag'][subf['count'].idxmax()]))

产量

word
a       T
an      T
the     S

使用idxmaxloc通常快于apply ,特别是大型DataFrames。 使用IPython中的%timeit:

N = 10000
df = pd.DataFrame({'word':'a the a an the'.split()*N,
                   'tag': list('SSTTT')*N,
                   'count': [30, 20, 60, 5, 10]*N})
def using_apply(df):
    return (df.groupby('word').apply(lambda subf: subf['tag'][subf['count'].idxmax()]))

def using_idxmax_loc(df):
    idx = df.groupby('word')['count'].idxmax()
    return df.loc[idx, ['word', 'tag']]

In [22]: %timeit using_apply(df)
100 loops, best of 3: 7.68 ms per loop

In [23]: %timeit using_idxmax_loc(df)
100 loops, best of 3: 5.43 ms per loop

如果你想有一个字典映射字标签,那么你可以使用set_indexto_dict是这样的:

In [36]: df2 = df.loc[idx, ['word', 'tag']].set_index('word')

In [37]: df2
Out[37]: 
     tag
word    
a      T
an     T
the    S

In [38]: df2.to_dict()['tag']
Out[38]: {'a': 'T', 'an': 'T', 'the': 'S'}


Answer 2:

这里有一个简单的方法来找出被传递我们的(unutbu)解决方案,然后选择“应用”!

In [33]: def f(x):
....:     print type(x)
....:     print x
....:     

In [34]: df.groupby('word').apply(f)
<class 'pandas.core.frame.DataFrame'>
  word tag  count
0    a   S     30
2    a   T     60
<class 'pandas.core.frame.DataFrame'>
  word tag  count
0    a   S     30
2    a   T     60
<class 'pandas.core.frame.DataFrame'>
  word tag  count
3   an   T      5
<class 'pandas.core.frame.DataFrame'>
  word tag  count
1  the   S     20
4  the   T     10

您在与分组可变框架的子部分功能只是操作(在这种情况下)均具有相同的值(在此中科院“字”),如果你传递一个函数,那么你必须要处理的聚集的潜在的非字符串的列; 标准功能,如“和”为你做这个

不自动对字符串列汇总

In [41]: df.groupby('word').sum()
Out[41]: 
      count
word       
a        90
an        5
the      30

您是汇集所有列

In [42]: df.groupby('word').apply(lambda x: x.sum())
Out[42]: 
        word tag count
word                  
a         aa  ST    90
an        an   T     5
the   thethe  ST    30

您可以在函数中做很多漂亮的事

In [43]: df.groupby('word').apply(lambda x: x['count'].sum())
Out[43]: 
word
a       90
an       5
the     30


文章来源: python pandas, DF.groupby().agg(), column reference in agg()