【火炉炼AI】机器学习038-NLP创建词袋模型

栏目: 数据库 · 发布时间: 5年前

内容简介:(本文所使用的Python库和版本号: Python 3.6, Numpy 1.14, scikit-learn 0.19, matplotlib 2.2, NLTK 3.3)词袋模型(Bag Of Words, BOW)和词向量(Word Embedding, 也叫词嵌套等)是自然语言处理和文本分析的两个最常用的模型。词袋模型将一段文本看成一系列单词的集合,由于单词很多,故而这段文本就相当于一个袋子,里面装着一系列单词。故而计算机的NLP分析就是对这个袋子进行分析,但是计算机不认识文本,只认识数字,那么

(本文所使用的 Python 库和版本号: Python 3.6, Numpy 1.14, scikit-learn 0.19, matplotlib 2.2, NLTK 3.3)

词袋模型(Bag Of Words, BOW)和词向量(Word Embedding, 也叫词嵌套等)是自然语言处理和文本分析的两个最常用的模型。

词袋模型将一段文本看成一系列单词的集合,由于单词很多,故而这段文本就相当于一个袋子,里面装着一系列单词。故而计算机的NLP分析就是对这个袋子进行分析,但是计算机不认识文本,只认识数字,那么我们需要一种机制将袋子里的文本转换成数字,这种机制可以是一种Dict映射(key为数字,value为文本等),或数组(索引为数字,值为文本),或者还可以用HashCode来计算文本的数字表示,而NLP建模就是使用这些数字来建模。词袋在学习之后,就可以通过构建文档中所有单词的直方图来对每篇文档进行建模。

词向量模型是将单个单词映射到一个高维空间(维度可以到几千几万甚至几十万),这个高维空间就用数组,或者成为向量来表示,故而建立一种单词-向量的映射关系,所以成为词向量模型。但是这种模型能表示的仅仅是单个单词,对于有多个单词组成的一句话,那么就需要做进一步处理,比如一个单词就是一个向量,N个单词组成的一句话就是N个一维向量了,故而可以用N个一维向量组成的矩阵来表示一句话,只不过不同长度的句子,该矩阵的行数不一样罢了。

下面我们仅仅学习用NLP创建词袋模型,创建过程主要是提取文本的特征,构建特征向量。有两种方法可以构建特征向量,分别是CountVectorizer和TfidfVectorizer。

1. 用CountVectorizer提取文本特征

sklearn模块中的CountVectorizer方法可以直接提取文本特征,这个函数只考虑词汇在文本中出现的频率,这个函数有一个参数:stop_words,表示是否取出停用词,所谓的停用词是指为了节省空间和提高效率而自动过滤到的词语,比如 the, is, at, which等,对于不同的,默认的stop_words不去除停用词。

# 数据集暂时用简·奥斯丁的《爱玛》中的文本
dataset=nltk.corpus.gutenberg.words('austen-emma.txt')
# print(len(dataset)) # 192427 代表读入正常
chunks=split(" ".join(dataset[:10000]), 2000) # 将前面的10000个单词分成五个词袋,每个袋子装2000个单词

# 构建一个文档-词矩阵,该矩阵记录了文档中每个单词出现的频次
# 用sk-learn的CountVectorizer函数来实现这种构建过程
from sklearn.feature_extraction.text import CountVectorizer
vectorizer = CountVectorizer(min_df=4, max_df=.99)
# fit_transform函数需要输入一维数组,且数组元素是用空格连起来的文本
chunks=[" ".join(chunk) for chunk in chunks] # 故而需要转换一下
doc_term_matrix = vectorizer.fit_transform(chunks)
feature_names=vectorizer.get_feature_names() # 获取
print(len(feature_names)) 
print(doc_term_matrix.shape) 
# print(doc_term_matrix.T.toarray())
复制代码

上面将简·奥斯丁的《爱玛》中的前面10000个单词分成了五个词袋,每个词袋包含2000个单词,然后用CountVectorizer建立文本特征向量,通过fit_transform后就在CountVectorizer对象内部建立了这种文档-词矩阵,通过print可以看出结果。

为了更加明确的看出里面的文档-词矩阵,可以用下面的代码将其打印出来:

# 打印看看doc_term_matrix这个文档-词矩阵里面的内容
print('Document Term Matrix------>>>>')
bag_names=['Bag_'+str(i) for i in range(5)] # 5个词袋
formatted_row='{:>12}'*(1+len(bag_names)) # 每一行第一列是单词,后面是每个词袋中的频率
print(formatted_row.format('Word', *bag_names))
for word, freq in zip(feature_names,doc_term_matrix.T.toarray()): # 需要装置矩阵
    # 此处的freq是csr_matrix数据结构
    output = [str(x) for x in freq.data]
    print(formatted_row.format(word,*output))
复制代码

-----------------------输---------出--------------------

Document Term Matrix------>>>> Word Bag_0 Bag_1 Bag_2 Bag_3 Bag_4 about 3 4 0 1 1 among 1 1 1 1 0 because 1 1 0 1 1 believe 0 1 1 1 3 believed 0 1 1 1 2 best 1 2 1 1 0 better 0 3 1 1 2 beyond 1 0 1 2 3

...

-----------------------完--------------------------------

以上是部分结果,可以看出about在Bag_0中出现了3次,在Bag_1中出现了4次,以此类推。

如果对这种矩阵的出现次数有疑惑,可以看我的 我的github中代码 ,里面有更详细的解释。

值得注意的是,CountVectorizer也可以用于中文特征的提取,但是需要对自定义的split函数进行修改,原来的函数用空格作为分隔符,可以很好的将英文分词,但对中文无效,故而中文的情况需要将split中的分词方式改成jieba分词。

2. 用TfidfVectorizer提取文本特征

TfidfVectorizer的主要特点是:除了考量某词汇在文本出现的频率,还关注包含这个词汇的所有文本的数量,这个方法能够削减高频没有意义的词汇带来的影响,挖掘更有意义的特征。一般的,当文本条目越多,这个方法的效果越显著。

在代码上,用TfidfVectorizer和上面的CountVectorizer几乎一样,只是将类名称替换一下即可。

# 数据集暂时用简·奥斯丁的《爱玛》中的文本
dataset=nltk.corpus.gutenberg.words('austen-emma.txt')
# print(len(dataset)) # 192427 代表读入正常
chunks=split(" ".join(dataset[:10000]), 2000) # 将前面的10000个单词分成五个词袋,每个袋子装2000个单词

from sklearn.feature_extraction.text import TfidfVectorizer
vectorizer = TfidfVectorizer()
# fit_transform函数需要输入一维数组,且数组元素是用空格连起来的文本
chunks=[" ".join(chunk) for chunk in chunks] # 故而需要转换一下
doc_term_matrix = vectorizer.fit_transform(chunks)
feature_names=vectorizer.get_feature_names() # 获取
print(len(feature_names)) 
print(doc_term_matrix.shape) 
复制代码

打印出来的结果并不是某个单词在词袋中出现的频率,而是tf-idf权重,这个权重有个计算公式,tf-idf=tf*idf,也就是说tf与idf分别是两个不同的东西。其中tf为谋个训练文本中,某个词的出现次数,即词频(Term Frequency);idf为逆文档频率(Inverse Document Frequency),对于词频的权重调整系数。

########################小**********结###############################

1,用于词袋模型中提取文本特征主要有两种方法:CountVectorizer和TfidfVectorizer,其中CountVectorizer构建的文档-词矩阵里面是单词在某个词袋中出现的频率,而TfidfVectorizer构建的矩阵中是单词的tf-idf权重。

2,一般情况下,文档的文本都比较长,故而使用TfidfVectorizer更好一些,推荐首选这个方法。

#################################################################

注:本部分代码已经全部上传到( 我的github )上,欢迎下载。

参考资料:

1, Python机器学习经典实例,Prateek Joshi著,陶俊杰,陈小莉译


以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持 码农网

查看所有标签

猜你喜欢:

本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们

技术领导之路(中英文对照)

技术领导之路(中英文对照)

Gerald M.Weinberg / 余晟 / 电子工业出版社 / 2009-12 / 69.00元

《技术领导之路:全面解决问题的途径(中英文对照)》内容简介:搞定技术问题并不简单,但与人打交到也并非易事。作为一个技术专家,你是否在走上管理岗位时遇到了各种不适“症状”?《技术领导之路:解决问题的有机方法》一书将帮助你成为一个成功的解决问题的领导者。书中温伯格从一个反思者的角度阐述了要成为一个成功的解决问题的领导者必备的3个技能——MOI,即激励(Motivation)、组织(Organizati......一起来看看 《技术领导之路(中英文对照)》 这本书的介绍吧!

随机密码生成器
随机密码生成器

多种字符组合密码

MD5 加密
MD5 加密

MD5 加密工具

SHA 加密
SHA 加密

SHA 加密工具