关于「入海」，大家都说了些什么？

树枝990

发布于 2020-08-19 10:32:12

4160

发布于 2020-08-19 10:32:12

文章被收录于专栏：拇指笔记

引言

一直想抓取一下qq音乐的评论，碰巧最近毛不易出了一首新歌「入海」，因此就来爬取一下这首歌发布以来的2万多条评论，看看大多数人听了这首歌之后都说了点什么。

可视化分析

关于「入海」，评论中出现最多的两个词是「毕业」和「我们」，分别出现了4465次和4087次，平均每六条评论就出现一次「毕业」和「我们」。毕竟这首歌听着听着，就让人情不自禁的想到了毕业。

在24206条评论中，一共有9020条评论在凌晨一点被发出，我推测可能是因为这个时间大家都比较容易伤感，尤其是听这种带有回忆色彩的歌。

这首歌是5.20发出的，有接近2/3的评论在这一天被发出，之后评论数开始下降。因为爬取的时间是31号中午，所以31号的评论数比较少。

功能实现

由于这次抓取的数据比较多，因此没有采用效率低下的selenium库而是使用了更快的requests库来抓取评论内容，qq音乐的评论区信息并不能在页面源代码中获取，是一个post加载的页面，通过抓包可以确定每页评论的request url为

https://c.y.qq.com/base/fcgi-bin/fcg_global_comment_h5.fcg?g_tk_new_20200303=5381&g_tk=5381&loginUin=0&hostUin=0&format=json&inCharset=utf8&outCharset=GB2312&notice=0&platform=yqq.json&needNewCode=0&cid=205360772&reqtype=2&biztype=1&topid=265408076&cmd=8&needmusiccrit=0&pagenum=1&pagesize=25

通过改变pagenum的值，可以获取每一页评论的信息。

抓取到的网页是标准的json格式，通过以下代码读取json数据中的评论文本和评论发布时间。

html = str(req.content,'UTF-8')
data = json.loads(html)
mes_link = data['comment']['commentlist']
for mes in mes_link:
    pinglun.append(mes['rootcommentcontent'].replace('\n','').replace('[/em]','').replace('[em]','').replace('e400',''))
time_data.append(mes['time'])

最后将获取的信息写入txt文本保存即可。

关于可视化部分可以参考之前的这篇文章，基本方法是完全一致的。

本文参与腾讯云自媒体同步曝光计划，分享自微信公众号。

原始发表：2020-06-02，如有侵权请联系 cloudcommunity@tencent.com 删除

爬虫