我已经安装一个CountVectorizer
在一些文件scikit-learn
。 我希望看到所有的条款和文本语料库其对应的频率,以便选择停止字。 例如
'and' 123 times, 'to' 100 times, 'for' 90 times, ... and so on
对此有任何内置的功能?
我已经安装一个CountVectorizer
在一些文件scikit-learn
。 我希望看到所有的条款和文本语料库其对应的频率,以便选择停止字。 例如
'and' 123 times, 'to' 100 times, 'for' 90 times, ... and so on
对此有任何内置的功能?
如果cv
是你的CountVectorizer
和X
是矢量语料库,然后
zip(cv.get_feature_names(),
np.asarray(X.sum(axis=0)).ravel())
返回的列表(term, frequency)
对用于在该语料库的每个不同的术语CountVectorizer
萃取。
(小asarray
+ ravel
的舞蹈是需要解决的一些怪癖scipy.sparse
。)
没有内置。 我已经找到了更快的方法基础上做安藤Saabas的回答 :
from sklearn.feature_extraction.text import CountVectorizer
texts = ["Hello world", "Python makes a better world"]
vec = CountVectorizer().fit(texts)
bag_of_words = vec.transform(texts)
sum_words = bag_of_words.sum(axis=0)
words_freq = [(word, sum_words[0, idx]) for word, idx in vec.vocabulary_.items()]
sorted(words_freq, key = lambda x: x[1], reverse=True)
产量
[('world', 2), ('python', 1), ('hello', 1), ('better', 1), ('makes', 1)]