用Python对用户评论典型意见进行数据挖掘.pdf

用Python对用户评论典型意见进行数据搭掘用户体验的工作可以说是用户需求和用户认知的分析。而消费者的声音是 其中很重要的一环，它包含了用户对产品的评论，不管是好的坏的，都将 对我们产品的改进和迭代有帮助。另外任何事情都要考虑金钱成本和人力 成本，因此我希望能通过机器学习的算法来辅助分析，对用户的评论数据 进行提炼和洞察。一、数据获取和清洗现在爬虫泛滥，网络公开数据的获取并不再是一个难题。简单点可以利用 一些互联网的爬虫服务（如神箭手、八爪鱼等），复杂点也可以自己写爬 虫。这里我们用爬虫来获取京东的评论数据。相对于亚马逊而言，京东比 较坑。第一个坑是京东的反爬虫还不错，通过正常产品网址进去的那个评 论列表是几乎爬不出数据来的，所有大部分网络爬虫服务都止步于此。第 二个坑是一款产品的评论数只要超过一万条，那么京东就只会显示前一千 条，没有公开的数据，那你爬虫技术再厉害也没办法，除非开着爬虫定时 增量更新数据。自己写爬虫的好处就是可以避免掉进第一个坑，但是第二个坑没办法。这 里我爬取了小米MIX和小米MIX2的评论数据（最新的几款手机我都爬 取了，需要的请戳后台），其中 小米MIX共1578条，小米MIX2共3292 条。本文通过分析这些数据预期完成如下几个目标1、数据清洗后的好评率2、好/中/差评的概览3、典型意见分析首先来看看MIX2的大致情况：In 7J:data=pd.read_csv(.data h MIX2.csv,)#铤取前教照百盒的字盘print(IfCJ-k:n+11,join(data,columns)tf相评论创建的时间转化为时间格大data cre.st ionT irr，-=pd.to_datetime(data treat ior l ime)#days 姊要打卢前浮射的才能.score是用户的咨分.J-5 Vdata,days,scorer .describe。包落字段：pid|guid|creationTime|days|content)|nickname|productcolor|ref erenceld|referenceName|referenceTime|score|userClient|userLeve lld|useLevelName|userProvince|userRegisteTime|版本|明；W方式daysscorecount3497.0000003497.00000。mean9.0560484.877323std11.4979730.581064mln0.0000001.00000025%1.0000005.00000050%4.0000005.00000075%10.0000005.000000max42.0000005.000000In 8:datacontentt productcolor.describe()Out8:contentproductcolorcount34973497unique33091top很好黑freq243497一共有3497条评论，其中有些评论内容还是完全相同的。用户大概在购买9天后后评论（可能与到货日期有关），平均打分为4.87分，评论里面有 些完全相同的，小米MIX2只有一种颜色等等。接下来我们先做第一件事情In 9:comments=Reviews(texts=data*content),scores=datascoret creationTime-data(crcutionTime)comments.describe()*这里的Reviews 是作各门口造的轮f.网袋7很当NLP的粮法.Out 9:样本数 3292平均字济数 38.5好计 3181(96.63%)市评 61(1.85%)年评 50(1,52%)dtype:object京东采用的是5分制，其中4-5分为好评，2-4分为中评，1分为差评。MIX2的好评率为96.63%,与京东官网的一致。粗略的浏览以下评论，我们发现有这么几种无效评论。第一种全是标点符号或者就一两个字：j*b?33333333333荚*始F*e这种情况可以利用正则表达式来去除，第二种比较麻烦，如：i平价超过20 I行机会赢力卜.1数够了吗？冰林*拍随便打就是标准卜学什么要卜五 黑*桂首先我要诚实地说，这段话是我复制过来的.我自己懒得写了，但这也是我想表达的意思。我为什么喜欢在京东买东西，因为今天买当天就可以送到。我为什么麻个商品的N价都样,因为在.q 京东买的东西太多太多了,导致积累了很多未评价的订单,所以1 y 我统一用这段话作为评价内容。京东购物这么久.行买到很好的 产品,也有买到比较坑的产品,如果我用这段话来评价,说明这这种评论中它纯属凑字数和灌水，不含任何产品的特征。一种想法是看看 评论中涉及的名词是否是手机领域中的词语，但是实际情况会非常复杂，比如用的很不错、太差了 它并没有主语，并不知道它评价的是啥。这里我们反过来，假设每一类无 效评论都有类似的关键词，一个评论中的词语只要有一些垃圾评论关键词,我们就把它判定为无效评论。当然并也不需要给定所有的无效评论词，利 用tfidf可以通过一个词语顺藤摸瓜找到其他类似的词语。（还可以利用文 本相似性算法寻找）In 11:*科德 词多义河因装 产用甘龙/双 比妁触H屏一)触解，samsunq-r三星等 comments.replace(synonyms.txt)#号河风处用的f括巴分储凰律修棚手仅领里的专青词.以成产带点方曲/初甑份用 加6诠comments.segment(product_dict=*nobiledict.rxt,stopwordss.stopwordschinese.txt,add_words=”#去除下敕评论initial_words=，,3 /：，J T,1、八,，,心，海怙石烂，人助地裂comments.dropnvalidCinitial_wordssinitialordsmax_ratesS.6)comments.describet)Outfll:3065(96.54%)60(1.89%)50(1.57%)object另外还有一种情况，虽然不属于无效评论，但是影响好评占比。IF-KOL手机微无但快.！8在f 同番里丽8B1相诞1IRR/L次力行.这并慵况怎么为？新S：的孙H勃用心 tC0 LMCB 4MK 0l UUBBIM K 0 1手叽油真不?堪.”上开与三航杓公M 十阳用冷了25%T.37加司武攵退个还都不知.田淤?ft的科夫原以防不安 买小米.还息学力唯憾第，这种情况在追评中出现的较多，还有就是京东默认的好评。虽然内容是差评，但是标记的分值是5分。理论上也可以通过算法找出大部分。在NLP领域中，有一个课题叫做情感分析（sentiment analysis）,它可以判断一句话的情感方向是正面的还是负面的（以概率大小给出，数值在0-1之间）o http:如果一段评论的情感方向与对应的评分差异过大，则我们有理由相信它的 评分是有误的。当然这里有一个条件，那就是这个情感分析算法是非常准 确的。有大神专门用电商评论训练了一个开源的情感分析包snownlp,我们来看 看这个包效果怎样。In 8:from sklearn import metrics#情感析.逛同舟，评论的正问情卷盘至 ss=comments.sentiments(method=snownlp)#此处呈典型的样本卞平面间电.施以俅超微率港要z再缩豺 acc=metrics.accuracy_score(comments.scores,pd.cut(ss,-0.1,0.0158,0.0347,1,labels=*.J 中,.)scores_bin=comments.scores.replace(.,ss)auc=metrics.roc_auc_score(scores_bin,ss)print acc=(:,2f)%,AUC=(:.3f),.format(acc,100,auc)pit.plotCfpritpr)acc=92.63%,AUC=0.157Outb；嗯嗯，准确率为92.63%,看上去很高，但。因为我把所有评论都判定为好评，那正确率也有96.54%。再看上图中的ROC曲线，嗯，惨不忍睹。曲线跟x轴之间的面积（记作AUC）越大，说明模型的判别能力越好。一 般情况曲线会在对角线之上(对角线相当于随机预测的结果)，可以此时AUC=0.157,比随机结果差多啦。更好的情感分析估计需要利用大量手机领域的语料重新训练才行，本文就暂不讨论这个啦。二、好/中/差评的语义理解语义理解是一个非常难的课题，本文不追求绝对精准，仅希望能对产品的评论有一个快速的理解。本文将从三个方面来阐述同类型评论语料的语义：1、词云。它会统计一段文本中各个词语出现的次数(频数)，频数越大，在词云中 对应的字体也越大。通过观察词云，可以知道一段文本主要在讲哪些东西2、TextRanko TextRank算法是一种用于文本的基于图的排序算法，可以给出一 段文本的关键词。其基本思想来源于谷歌的PageRank算法，通过把文本分割成若干 组成单元(单词、句子)并建立图模型，利用投票机制对文本中的重要成分进行排序，仅利用单篇文档本身的信息即可实现关键词提取、文摘。和LDA、HMM等模型不 同，TextRank不需要事先对多篇文档进行学习训练，因其简洁有效而得到广泛应用。3、主题分解。假设每一段文本都是有主题的，比如新闻里的体育类、时事类、八卦 类等。通过对一系列的语料库进行主题分解(本文采用的是LDA),可以了解语料库 涉及了哪些主题。(本文用的LDA实际效果不怎么好，暂且仅供娱乐。更好的方法 后续或许会更新)In 11:I matplotlib inlinewarnings.filterwarnings(*ignore)for k in,中iT:if textrank 三二词keywords=comments.get_keywords(comments.scores=k)print()门)”，5.format(k)|.join(keywords)*去史处看comments.find_topic(comments.scores=k,n_topics=5);#空堂Mzrfilename=vjordcloud of .format(k)comments.genwordcloud(comment s.scores=k,filename=filename);print(=*20)屏 而 抢 价铝.头题I 评-急k欢东速 挺斗京说|lh 0 12 3 4 物忏二口史及 r二二二，一二一二4J机米东 手用小京生觉-咯货英买_买充的后I|百实售米、U-，月I在用版I 七匕群客太 能只说-信用机 说做东IF 京说I话到扉I k电不评 示显电 仅麻克西触-薛摸时差二同I手版太 本和雷军感觉鸳（牛mix2 _ m激那，氏即迎耳.申请木发货R电理吸消出开机256gRL一不仃工井,总:生u n富星乐64g嘉 邮售后屏幕包货;直的 乜国富划痕晚上希望矍；，H J 爹现祖寸I霎 m显示东西失灵营失灵盘整 缺点两个 触摸：一:i 激活“不错;二制a I 电话虚拟 雷军-3K9kIK联普盾倬 发布醺不让 订丁忠5_、/P分析词云、关键词和主题容易发现1、好评集中在：屏幕、惊讶、手感、全面屏、边框，大致就是讲小米手机不错；手 感很好；全面屏很惊艳之类的；2、中评集中在：屏幕、还好、失望、边框等3、差评集中在：客服、失灵、售后、失望、模式、微信等，大致就是手机失灵；微 信电话时的屏幕？因为版本等出现了一些售后客服问题？只能说还凑合，模模糊糊、断断续续能理解一些。因为它只给出了词语，并没有配套的情感。三、典型意见抽取和挖掘电商评论不同于一般的网络文本，它主要的特点在于语料都是在针对产品 的某些特征作出评价。这一节我们希望能通过算法找到这些特征。细想下，语料主要在对特征做出评价，而特征一般是名词，评价一般是形容词。相对来讲产品的形容词不会很多，如不错、流畅、很好之类的，所以可以通过关联分析来发现初始的特征-形容词对，如（手机不错）、（手机流畅”）等。通过关联分析找打的特征-形容词对需要筛选，主要表现在两点。1、里面不只名词-形容词对，两个名词，形容词-动词等都有可能；2、没有考虑两个词语在文本之间的距离。比如名词是第一句话中的，形容词则是最后一句话中的；筛选好后其实还不够，关联分析只会挖掘支持度大于一定数值的特征，我们称这种特征为“常见特征:那不常见特征怎么办？怎么才能挖出来？注意到上面已经挖掘出很多形容词啦，这些就是产品的最常用评价词语啦，我们可以通过它们反向挖掘出不常见特征In 12:feature5=comments.get_product_features（min_support=0.005）np.array（features）.TOutKJ:aray（质娥屏豫体验总体*256g,J 机器京东I 边框 性能质星，报像头陶岗全面屏，有点，空间郁体L 系统小米东西I评价，物流快递，价一-产品手感-值手机效-外观I 性价比；想象dtype=39.sort_values(p positive，)print(*n4二3也人:所行样A(如计:96.54初的讪;*)pr i nt(features_opinion(features_opinion mention_(.junt j=5y)&(features.opinion p_positNt?=0.9654).index)printnQ J 占 1匕“于田Ml率,)pr mt(features_opinion(features_opinion nierion count =5)&(features_opinion*p_positivc,256g*,=*20)print(/.join(commentt.find_keywords(*2S6g).head(lS)print(,-20,print(/.join(comments.find_keywords().head(15)printCxSO*,*2e)print(H.join(comments.find_keywords(i_!).head(15)printC=20*tHftf!，4,a,*29)print(ll.join(comments.find_keywords(I).head(15)print 八 限覆 +=*29)-print(/*.join(comments.find_keyword$(),head(15)print(-20+3 =2。)pr int(，/.joi.n(comments-f ind_keywords().head(l5)print(七26体，、=r2G)print(/.join(comments.find_keywords(*it i).head(1、)print(=二。/？=；二-2)p：inr(/.join(comments.find_keywords(*|t i ).head(l?)找叫重的是最高配2S6grYi：不过256g送个价格的r机也就这抓必，好fi兑256g陂的灵然勺 贺f 1256g的没霜内存有256g版本的但是256g R心用个了等了几天怆了256g的偌果只 仃256g的去论坛看常说2568的是现4结果当时去去总是提示枪不到只好买256g的版本/内存2s6g也很大 音256g有货*的254的线F买到；256g F机灯配料疆然没力256g的打开手帆给我的擀铠是用停边框比较小缺点就是牌赛太腌强但是荣蟀8群等书油小应谦是解 符的问网斫以从油落正面看过去|用的弱幕从多党上还有贾适应一下|9的府第行些app亦使 用时会出问笆可以说品X2的屏用报小将机Q整不多大但解诀j.代用好席共振传H小的问 黑再加小出揩的大累也|新MX2的屏寿就甩泥巴屏就息自打襦便翻转国4窈兄取烦就是解 库比校长点棺他宽窄点之外没有任何若色|不过正好屏幕没有偏色发黄的愕觉改母液晶屏珞显j,坡整窸觉上品小好多无非都是厢加上下拉大法好不过这屏霸6=i 力根Z3XSSSSSS23SZ上边框的圈曲仃时f皆像不对称样打开手机捻我的超觉是屏犀电色比技小甲传送绿和边框的边 堆还是有小小即狗的 口 k大立网上设的半边框实际椅巾:未还般可以搐受|华竟边框在摔落时能抵抗不少冲出屏落租边框之间有少忤段候.边框宽I mix2亢传阻 的辿框你能p更他力吗送外边忤比宣传图大不止一成的机身边催也注用风度设升其实度一军，门低而离可伸足涧恭的投党.得上力出J占I 1-不容易if触就是旧附K边框帘；/彳、过边框控制的不是根界%大屏格无边框确实看起来IMH 看mix2的边帼化代相总结一下差评主要表现在：Nol.256g版本发货问题No2.窄边框问题No3.拍照问题，MIX2的拍照效果有待提升No4.前置摄像头在下面不方便No5.系统，MIUI广告多四、报告输出 这里安利一个自己造的轮子：reportgen，结合DataFrame格式可以自 动化生成PPTX报告。目前Github关注量已经有20+啦。在reportgen中，每一页幻灯片被简化成四部分：标题、副标题、主体(数 据图、表格、文本框或图片)、脚注。只要给定每一页的这些数据,reportgen 就能帮您自动生成pptx,一般四行代码就完成啦。如：In J:import report as rptr=rpt.Report(Toeplate.ppi)r.add_slides(pd.DataFrame(r.save(*text.pptx)当然本文的pptx要复杂一些，相应的代码和生成的报告如下：report as rptrrpt*Report(11Expiate-ppt )rudd_eveNtit】e=I 1x2 1 5 i l 1!*hi；slidM_d4ta=sucanmwnts descrlbe()slides_dataaappend(title 4:!uirntjry*.dira*:*n*join(|i.onriit(kts(k)for 卜 xn s.index J)for k in I.1 *viT-：for 1topic in vnumrjte(toplcs_keywords)野坐词市tmp*(I :good t”:，：middle t z i：bad)filenae=wor!lend .formut(tinpkj)CDimnentsgenwordcloud(comment%59。$二二k,fil色name口filename,i防showFalse);slides_data.flppend(titL*,umm.iry ：summary,data*:filonatnu*,)featuresscomments4getjroduct_features(min_upport*OH)features_newlLt(5ct(features)-sct(m J IJ J八Herd,!UM/,J-/;：:(J)fcatures_opinlonJfeature_corpuicco!nmentS4fcatures_entiments(fcatures_new/method sxor,c)feature5_opinion=fea*ures_opinion.sort values(*npn-1ascending-False)slidei_data4append(title:I?1#lunimdry11*:f,11.1：|.join(features),1nr3:fedtures_opinion-sMde rpe,:Fblu)r.odd_$lides($lldes_ddto)r-save(1:,.ppt)summary样本数:3175.0 平均字符数；39.3 好评:3065(96.54%)中评：60(1.89%)冷评：50(1.57%)好评摘要好讲的关地词为手叫小米|京利殳有闹幕眼笔|手陶速演百点展说僭得支用全面周随卜漉廉用曲植能到|间剧麻像头 主*我用I不播1/廿I丰松书写小米涯同1唠痉i全曲出|危珠切-EI.一1一 一.-1：W小乐I用I不惜 轲i用小米 买！满修|目欢产；I I吃r I n欢I点东I太 R!京乐I蚪箕I松1支林I4欢 率:ii I期弟泮价I在西I小米|用中评摘要中W的天谀间为.手机J发小米卿尉j还3|朦文HE郭|般+:，说|双町）喧舞悟所-I-.趣1.用：“所|阳而*2|有待传im2丰叫汨M+.I用|班像头邯邮不行拍|3手即|不铝I正灯I群力U设计I耳I断货I小米|全面屏I差若中师4号薛|京密|4:|稠阳田还好阿姆0钏全面闲原乐|邮蚪髀决|矶出/饵便用、“后，朝听箴,小牛不在壮 mix?!?*，口决”而应运圄片鼠边框更 警金之壬珀拿至 全屏幕I本机啰 噬渴k发密”!与象生空，反贝 彦品K于密小小零抬照邰 一件/J 术设出翼信酉尊客服馨体几夫：5差评摘要.芽冲的关8?偈为：手啊京技能用小米|尢/陶制但府II皿因出东陪幽时间不了|软用*司使用|屯活附向先利口叫先理 主in 0用I科n I月乐I三舞工I小来I限I差1不至；f说.一一|手巩 I 卫|而 I?qfin I I a 小+1 曰 11主JM 1：疑东主场本SIWM I I失灵I小，I也疆|感？微信婴开始意蓑产中兄时同T?粼工工j才E木八看只延 舍售后于幺星即英米显X4充电II 感觉不铝不小界系警 呼不蓝真的愚客服爵 输上虚地男言静悔Fe典型意见挖掘挖掘出的特征：想象|性价比|性能|陶瓷|物流|机器|速度|外观|旗感|空间睇依|I系管点I屏幕I边框I心圜:I东西I手感I有p pmHiw,tiegaOMJ17S336O.92SS9S238 09S0038904761905，*3175329.90 525 al5 8660.0121 48044 7H2S31751740.96S517241 豺90.011494252B736ara31751S4Q902597m2 59700J24675324675丽BITS148a97M72972 9730006736756 756769175M70.9185673469390,054421768 7075和ans12409919354a3 8710008064516 129039St317587(19MO229fiB5060011442528736 fi.：；317581a927710B43373OX124O%385 S422本文作者