要说最近大火的影视剧当中无疑是这其中之一吧,我也一直在追剧中...由于这阶段正好赶上在学习selenium来操作浏览器爬取数据,所以就爬取了豆瓣中对的短评内容并生成了词云。
下面简短的介绍一下这次生成词云的环境以及使用的库:
1.Python 3.6.1
2.selenium 3.7.0 这是一个可以操作浏览器的库,模拟真实人的操作(包括点击按钮等操作),还可以抓取动态页面(js生成的页面)
3.wordcloud 1.3.2 生成词云的模块
4.jieba 0.39 很好的中文分词库,功能强大并使用简单,由于wordcloud对于分词是弱势,所以借助jieba来进行分词
生成词云的流程:
1.使用selenium抓取短评(前十页短评),并将每一条短评存到.txt文件中(其实第一步应该进行登录操作的,但是限于公司网络原因又或者是豆瓣服务器原因,导致我这边获取二维码的接口调不通,所以这里我就不登录,直接获取十页的数据(不登陆只能获取十页的数据),但是下边我也会附上使用selenium登录的代码)
2.使用jieba对爬取下来的短评进行分词,将分词存入新的文本
3.使用wordcloud对分词生成词云(由于我这里只爬取了十页的短评,所以进行分词得到的词比较少,这里我就没有对分此后得到的数据进行生成词云,而是直接对十页的短评生成的词云,这样生成的词云效果比较好)
下边就附上代码,要好好的手敲代码,所以这里直接附图:
最后附上生成的词云:
这篇博客只是熟悉和使用selenium进行抓取数据,简书有相应的文章更新。
领取专属 10元无门槛券
私享最新 技术干货