用户评论文本挖掘
学习目标
知道评论文本挖掘的作用
掌握使用nltk和gensim来进行基本NLP处理
一、评论文本挖掘介绍
文本挖掘就是从文本信息中挖掘我们感兴趣的内容
数据分析师为什么要关注文本数据
在我们日常的产品和运营工作中，经常接触的数据分析方法、形式绝大部分是基于对数字（值）的描述性分析。这些又被称为结构化数据
除此之外，图片，文字，视频，这些统称为非结构化数据
非结构化数据蕴含信息量大，特别是文本信息（用户评论）是用户对产品、服务是否满意的重要了解手段
在产品和运营的实际工作中， 发掘出用户的喜好、购买/使用及流失的内在原因，对我们的工作至关重要
对于非自营电商类业务，文本数据显得异常重要
如果是自有APP，可以通过埋点获取我们想要的数据。但作为三方卖家触，达用户手段有限，只能通过平台暴露出的数据接口
我们能够通过平台获得的非结构化数据主要是指用户评论数据
用户评论数据包含了用户信息，对手信息，产品信息
大家都是电商品台的用户，对于用户评论的重要性都有认识，有关评论展开的营销也很多：刷好评，删除评论，红包索评等
通过评论文本挖掘可以实现如下目标：
运营优化：挖掘用户喜好，挖掘竞品动态，提升自身产品竞争力
产品更新：发掘产品更新动向，及时的从用户处发现产品问题
口碑管理：识别出自家产品和竞争对手的口碑差异
二、项目背景
我们想从用户的角度了解有关竞品以及市场的信息
Ukulele 属性简介
尺寸：Soprano 21寸 Concert 23寸 Tenor26寸
材质：椴木，乌木，桃花芯，塑料
颜色：原木色，红色，蓝色，黑色
看一下亚马逊评论的构成，我们主要的分析对象是评论正文
项目需求：
竞品销售情况细化：通过对竞品评论中分型号的历史评论数量，反推竞品的主要售卖产品的情况
竞品高分和低分的具体发声：高分4-5分的评论主要是说哪些，低分1-2分用户主要说什么，我们比较关注的方面又说了什么
技术实现：
竞品细化
高分、低分关键词提取
三、文本挖掘相关方法介绍
1、如何用数值来表示文本
机器不懂人类的自然语言，我们要将自然语言转换为机器易于理解的“语言”，NLP（Natural language processing)
NLP 里面，最细粒度的是词语，词语组成句子，句子再组成段落、篇章、文档。所以处理 NLP 的问题，首先要处理词语
词语处理的最终目标是用向量来表示词语
①获取原始文本 ： Yes, Everjoys ukulele is the right Soprano Ukulele I have been looking for. It arrived earlier and very well packed, just the way I expected.
② 分词：[‘Yes’,’,', 'Everjoys', 'ukulele','is','the', 'right', 'Soprano', 'Ukulele', 'I', 'have', 'been', 'looking', 'for.', 'It', 'arrived', 'earlier', 'and', 'very', 'well', 'packed,', 'just', 'the', 'way', 'I', 'expected.']
③ 向量化编码：[1,0,1,0,1,0,1,0……]
分词阶段需要处理的内容：
首先将一句话拆分成一个一个单词，英文分词很简单，直接通过空格就可以，中文分词可以借助jieba这样的三方库
接下来我们需要对有时态变化的单词还原成未变化的单词
词干提取 – Stemming
词干提取是去除单词的前后缀得到词根的过程。
大家常见的前后词缀有「名词的复数」、「进行式」、「过去分词」…
词形还原 – Lemmatisation
词形还原是基于词典，将单词的复杂形态转变成最基础的形态。
词形还原不是简单地将前后缀去掉，而是会根据词典将单词进行转换。比如「drove」会转换为「drive」。
获取原始单词之后还需要去掉停用词和一些助词，虚词，连词
停用词：可以手动指定那些单词经过处理之后不会保留在分词结果中
一般我们只关心名词，动词和形容词
上述过程都有三方库帮助我们实现
四、 代码实现
1、导包&载入数据
import pandas as pd# import reimport datetimeimport matplotlib.pyplot as pltimport seaborn as snsplt.style.use('fivethirtyeight')import warnings# 忽略不必要的warningswarnings.filterwarnings('ignore')%matplotlib inlineimport pandas as pdimport re# nltk：文本处理的包from nltk.stem.wordnet import WordNetLemmatizer # 词性还原from collections import Counterimport mathimport matplotlib.pyplot as pltfrom nltk.corpus import wordnet as wnimport pyecharts.options as optsfrom pyecharts.charts import WordCloud
加载数据
df_reviews=pd.read_csv('data/reviews.csv')df_reviews.head()
查看数据情况
df_reviews.info()
从上面结果中看出，short_d，content，name这三个字段有少量缺失，需要我们处理一下
2、数据处理
由于我们分析的就是评论的文本内容，所以content字段有确实的情况，我们直接做删除处理
# 对于评论内容空缺的，直接删除df_reviews = df_reviews.dropna()# 截取评论中的星级数据 def get_stars(n):return float(n.replace(' out of 5 stars',''))# 根据评星数量获取评价属性， 好评（4分及以上）， 中评（3分）， 差评（2分及以下）def stars_cat(n):'''评分转换为好中差评 1分2分为差评, 3分中评, 4分5分好评'''if n<=2:return '差评' elif n ==3:return '中评' else:return '好评'# 获取评论中的日期信息，转换成日期时间格式def get_date(x):'''处理评论日期 Reviewed in the United States on June 24, 先用 'on ' 去拆分, 把日期文本拆分成两部分再用', '拆分, 把后面的部分拆分成 ['月 日','年']最后把前面的'月 日' 用空格拆分成 月 日'''x = x.split('on ')[1] # 把数据拆分成两部分 ['Reviewed in the United States on ','June 24, ']x = x.split(', ') y= x[1]x = x[0].split(' ')m,d = x[0],x[1]if m=='January' or m=='Jan':on_date='01-'+d+'-'+yelif m=='February' or m=='Feb':on_date='02-'+d+'-'+yelif m=='March' or m=='Mar':on_date='03-'+d+'-'+yelif m=='April' or m=='Apr':on_date='04-'+d+'-'+yelif m=='May':on_date='05-'+d+'-'+yelif m=='June' or m=='Jun':on_date='06-'+d+'-'+yelif m=='July' or m=='Jul':on_date='07-'+d+'-'+yelif m=='August' or m=='Aug':on_date='08-'+d+'-'+yelif m=='September' or m=='Sep':on_date='09-'+d+'-'+yelif m=='October' or m=='Oct':on_date='10-'+d+'-'+yelif m=='November' or m=='Nov':on_date='11-'+d+'-'+yelif m=='December' or m=='Dec':on_date='12-'+d+'-'+y on_date=datetime.datetime.strptime(on_date, '%m-%d-%Y').strftime('%Y-%m-%d')return on_date# 字数统计df_reviews['stars_num']=df_reviews['stars'].apply(get_stars)df_reviews['content_cat']=df_reviews['stars_num'].apply(stars_cat)df_reviews['date_d']=df_reviews['date'].apply(get_date)
3、非文本数据的分析
统计产品的评论数量
统计不同类型的产品数量
统计产品评论星级分布
# 查看不同商品的总数sns.set(font_scale=1)df_reviews['product_name'].value_counts().plot(kind='bar')
# 按时间顺序统计发文数量，分析是否有周期性规律df_reviews['date_d'] = pd.to_datetime(df_reviews['date_d'])df_reviews['y_m'] = df_reviews['date_d'].astype('datetime64[M]')#提取日期年月df_reviews.head()
plt.rcParams['font.family'] = ['sans-serif'] # 解决中文显示问题plt.rcParams['font.sans-serif'] = ['SimHei']# 不同产品 everjoys ranch kala donner # 构建结构化多绘图网格,不同子集上绘制同一图的多个实例, --> FacetGrid()# FacetGrid 参数说明 data 绘图用到的数据 col 每一个小图 利用哪一列来截取数据 col_wrap 小图有几列 sharex是否共享x轴 sharey 是否共享Y轴 height图片高度 aspect 宽高比例g = sns.FacetGrid(data = df_reviews,col = 'product_name',col_wrap = 2,sharex=False,sharey=False,height = 5, aspect= 1.2)# g.map 绘制分面图中的小图 利用 sns.countplot 绘图 , 从df_reviews 利用 product_name分组 每组画 content_cat 不同类别的数量 order 指定柱子的顺序g.map(sns.countplot,'content_cat',order=['positive','negative','neutral'])
# 每种产品的发文数量按月统计df_content=df_reviews.groupby(['product_name','y_m'])['content'].count().reset_index()g=sns.FacetGrid(data=df_content,col='product_name',col_wrap=2,sharey=False,sharex=False,height=4,aspect =2)# 第一个参数传入的是 要调用哪个API 绘图, 后面几个参数传的是 调用 (plt.plot 的时候需要用到哪些参数, 具体的数据传入列名就行了g.map(plt.plot,"y_m",'content',marker='1')#marker='1' 折线图每一个点会一条短线来表示
# 好中差评的随时间分布df_content=df_reviews.groupby(['product_name','y_m','content_cat'])['content'].count().reset_index()g=sns.FacetGrid(data=df_content,col='product_name',hue='content_cat',col_wrap=2,sharey=False,sharex=False,height=4,aspect =2)g.map(plt.plot,"y_m",'content',marker='.')#marker='.' 折线图每一个点会用一个点来表示g.add_legend()# 添加图例
# 同产品不同型号的分布df_content=df_reviews.groupby(['product_name','y_m','type'])['content'].count().reset_index()g=sns.FacetGrid(data=df_content,col='product_name',hue='type',col_wrap=2,sharey=False,sharex=False,height=4,aspect =2)g.map(plt.plot,"y_m",'content',marker='.')g.add_legend()
4、文本挖掘
数据去重
df_data = df_reviews.drop_duplicates(subset={"product_name","type","date_d","content_cat","content","stars_num","name"})df_text=df_data['content']df_text[0]
"This is for children, not adults. I cannot use the tuner, so I use one on my phone. It doesn't stay in tune longer than a couple minutes."
判断某款产品是好评还是差评
sample_positive=df_data[(df_data.product_name=='everjoys-Soprano') & (df_data.content_cat=='好评')]sample_negative=df_data[(df_data.product_name=='everjoys-Soprano') & (df_data.content_cat=='差评')]len(sample_positive)
1039
len(sample_negative)
223
还原常见缩写单词
# 在用语料分析的第一步，用正则表达式对文本进行处理，# 正则：由一系列普通与特殊字符组成的用于描述文本规则的表达式# re的包，是一个有关正则匹配的# re.sub(pattern,replacement,string) ##查找字符串中出现的所有模式，并做替换，输出替换后的结果字符串# ? 前一个字符之多出现一次：<=1# * 前一个字符至少不出现0次：>=0# + 前一个字符至少出现一次：>=1# ^ 标识字符串以后一个字符开始# . 代表任意一个字符# $ 标识字符串以前一个字符结束# () 标识一个group,group(0)表示正则表达式的模式匹配结果，group(1)表示小括号内匹配的第一个群# [] 中括号内的字符表示一个字符的取值范围# {} 大括号内的数字表示前一个字符重复的次数# \ 反斜线表示去除通配符的特殊意义，仅作为普通字符使用# | 或者def replace_abbreviations(text):new_text = text#则表达式过滤特殊符号用空格符占位，双引号、单引号、句点、逗号new_text = re.sub(r'[^a-zA-Z.,?! \']+',' ', text).strip().lower()# 还原常见缩写单词还原,i'm i'd he'snew_text = re.sub(r"(it|he|she|that|this|there|here)(\'s)",r"\1 is", new_text,re.I)# (?<=pattern)xxx，就是捕获以pattern开头的内容xxxnew_text = re.sub(r"(?<=[a-zA-Z])n\'t"," not", new_text) # not的缩写 aren't-- are notnew_text = re.sub(r"(?<=[a-zA-Z])\'d"," would", new_text) # would的缩写i'd -->i would--> 'i' 'would'new_text = re.sub(r"(?<=[a-zA-Z])\'ll"," will", new_text) # will的缩写new_text = re.sub(r"(?<=[I|i])\'m"," am", new_text) # am的缩写new_text = re.sub(r"(?<=[a-zA-Z])\'re"," are", new_text) # are的缩写new_text = re.sub(r"(?<=[a-zA-Z])\'ve"," have", new_text) # have的缩写new_text = new_text.replace('\'', ' ').replace('.', '. ')return new_text
词形还原(Lemmatization)
我们使用nltk 包中的morphy方法来做词形还原
nltk：Natural Language Toolkit 是自然语言处理领域中很常用的Python开源库，nltk提供了一系列的方法帮助我们进行词性标注，词干提取，分词等nlp领域的常见操作,还提供了50多个语料库和词汇资源的接口
def get_lemma(word):lemma=wn.morphy(word)if lemma is None:return wordelse:return lemma
去停用词
#标点符号punctuation = [",", ":", ";", ".", "!", "'", '"', "’", "?", "/", "-", "+", "&", "(", ")"]stop_words=nltk.corpus.stopwords.words('english')+punctuation
我们将上述处理封装成方法
缩写还原→词干提取,词形还原→去停用词
# 封装成pipelinedef prepare_text(n):tx = replace_abbreviations(str(n)) # 缩写还原# 分词处理 英文分词 实际上就是用空格去split tokens = nltk.word_tokenize(tx)# 词还原词形tokens = [get_lemma(token) for token in tokens]# 去停用词tokens = [ i for i in tokens if i not in stop_words] # 遍历每一个单词 如果在停用词表中的就去掉 不在停用词表中的返回return tokens
积极、消极评论分别处理
clean_txt_positive=[prepare_text(s) for s in sample_positive['content']]clean_txt_negative=[prepare_text(s) for s in sample_negative['content']]
查看原始文本
sample_positive['content'][2]
'Very nice product! The ukulele is very light and the craftsmanship is great. Everything it came with was good as well. Needs lots of tuning in the beginning'
查看处理之后的文本
clean_txt_positive[0]
['nice','product','ukulele','light','craftsmanship','great','everything','come','wa','good','well','need','lots','tuning','beginning']
统计词频
Counter(clean_txt_positive[0]).most_common(2)
[('nice', 1), ('product', 1)]
5、创建词云图
创建方法，统计单词总数，每条评论的词汇数量，词汇丰富度（去重后的词汇数量/总的词汇数量）
#clean_text 所有的评论 经过处理之后的list 是一个二维列表 , 每一条评论都对应一个list 这个list里面保存的是这条评论经过处理之后的关键词def get_words(clean_text):words_all = [] # 创建一个列表 用来保存所有评论的单词for words in clean_text:for word in words:words_all.append(word) # 遍历出每条评论的每一个单词, 放到列表里total_words = list(set(words_all)) # 统计一共出现了多少个不同的单词 对words_all去重, 转换成listall_words = Counter(words_all) # 统计每个单词出现了多少次content_mean = len(words_all)/len(clean_text) # 平均每条评论有多少个关键词 总单词数量/ 一共有多少条评论words_cap = len(total_words)/len(words_all) # 去重之后的词汇总数/去重之前的词汇总数return all_words,content_mean,total_words,words_capwords_all_positive,content_mean_positive,words_cap_positive=get_words(clean_txt_positive)words_all_negative,content_mean_negative,words_cap_negative=get_words(clean_txt_negative)
1832
959
查看每条评论的词汇数量和词汇丰富度
content_mean_positive,words_cap_positive
(15.278152069297402, 0.11540884465163159)
content_mean_negative,words_cap_negative
(19.6457399103139, 0.21889979456745035)
统计出现最多的单词的词频,准备绘制词云图
positive_words_wordcloud=words_all_positive.most_common(100)# 取出前100个频率最高的单词negative_words_wordcloud=words_all_negative.most_common(100)positive_words_wordcloud
[('ukulele', 402),('love', 390),('great', 381),('wa', 356),('good', 252),('play', 236),('tune', 219),('come', 201),('get', 200),('tuner', 192),('beginner', 189),('daughter', 184),……
绘制好评词云图
(WordCloud().add(series_name="好评词云",data_pair=positive_words_wordcloud, #传入绘制词云图的数据word_size_range=[16, 80]) #word_size_range 字号大小取值范围.set_global_opts(title_opts=opts.TitleOpts(title="好评词云", title_textstyle_opts=opts.TextStyleOpts(font_size=23) # 设置标题字号),tooltip_opts=opts.TooltipOpts(is_show=True), # 设置为True 鼠标滑过文字会弹出提示框).render_notebook())
绘制差评词云图
(WordCloud().add(series_name="差评词云", data_pair=negative_words_wordcloud, word_size_range=[16, 80]).set_global_opts(title_opts=opts.TitleOpts(title="差评词云", title_textstyle_opts=opts.TextStyleOpts(font_size=23)),tooltip_opts=opts.TooltipOpts(is_show=True),).render_notebook())
小结
评论文本挖掘
挖掘用户喜好，挖掘竞品动态，提升自身产品竞争力
发掘产品更新动向，及时的从用户处发现产品问题
英文文本处理的基本套路
分词→缩写还原→词干提取,词形还原→去停用词
用到的库nltk
word2vec词向量
用一组语料训练一个词向量模型，这个模型相当于一个N维(N需要手动指定)的语义空间，语料中的每一个单词都对应着一个词向量
词向量之间的相似度可以作为语义相近的判断依据
gensim库可以帮助我们训练词向量模型
