手把手教你完成一个数据科学小项目（4）：评论数变化情况

前言

本系列将全面涉及本项目从爬虫、数据提取与准备、数据异常发现与清洗、分析与可视化等细节，并将代码统一开源在GitHub：DesertsX/gulius-projects ，感兴趣的朋友可以先行 star 哈。

请先阅读“中国年轻人正带领国家走向危机”，这锅背是不背？ 一文，以对“手把手教你完成一个数据科学小项目”系列有个全局性的了解。

《踏莎行》

我知道好几个朋友按照前几篇文章的内容已经开始运行代码了，也知道一些人遇到了我碰到的 BUG，虽然更鼓励自行根据报错信息网上搜索解决方案，但也不介意加 Python

交友娱乐会所群（QQ群：613176398，娱乐会所没有嫩模）来询问，力所能及处也会帮忙新手小白看看为何出错，可爱友善的群友也同样会帮忙的。

而如果你正被 BUG 折腾的“心力交瘁”，这里送上一首叶嘉莹先生的《踏莎行》，希望你能元气满满哈。（如何评价叶嘉莹？ - Deserts X）

—世多艰，寸心如水。也曾局囿深杯里。炎天流火劫烧余，藐姑初识真仙子。 谷内青松，苍然若此。历尽冰霜偏未死。一朝鲲化欲鹏飞，天风吹动狂波起。

评论数变化情况

数据读取

但不管什么说，截至目前已经完成了数据爬取、数据提取与IP查询、数据异常与清洗，拿到手的数据终于可以用来分析和可视化了，也是件值得欣慰的事。

那么，闲言少叙，先来看看评论数随时间的变化情况吧，虽然上一篇文章：数据异常与清洗里涉及过，但由于侧重点在数据异常，所以未做展开，现在重新扩展下。

import pandas as pd
df = pd.read_csv('Sina_Finance_Comments_All_20180811_Cleaned.csv',encoding='utf-8')
df.head()

请无视前面几列多出来的：

先来看看评论数随时间戳变化情况：

import matplotlib.pyplot as plt
%matplotlib inline
plt.plot(df.stamp, df.cmntcount);

时间戳不太好识别，所以还是用常规的日期，并使用 pyecharts （pyecharts 配置文档 ）绘制每日评论数的变化折线图：

df_ymdcount = df.groupby('time_ymd')['cmntcount'].count()
from pyecharts import Line
line = Line("每日评论数变化情况")
line.add("日期", df_ymdcount.index, df_ymdcount.values,line_type='dotted')
line

按天来看，这篇文章的大部分评论都是产生于在8月8号，即2008年北京奥运会十周年的当日，当然可能并不相关。

df_mdhcount = df.groupby('time_mdh')['cmntcount'].count()
from pyecharts import Line
line = Line("每小时评论数")
line.add("小时", df_mdhcount.index, df_mdhcount.values,line_opacity=1,line_type='dotted')
line

细分到每个小时上，评论的峰值发生在8号的9点，高达658条，数值大小在本文的图里看不出来，但 jupyter notebook 代码里的 pyecharts 图表都是交互式的，每个点的数值和时间均可查看。需注意的是需要运行过过代码才能看到，Github上点开是空白的。

然后是看起来更为立体的每小时评论数柱形图：

from pyecharts import Bar
bar = Bar("每小时评论数")
bar.add("小时", df_mdhcount.index, df_mdhcount.values,is_label_show=True,xaxis_interval=0,xaxis_rotate=-90)
bar

该新浪财经这篇《中国年轻人正带领国家走向危机》文章，有着极其“耸人听闻”的标题，但同样逃不过“速朽”的命运，在一两天内就趋于平淡了。

组合图 overlap

评论数随时间的变化情况大概就是这样了，其实没太多可说的，如果把后面提取地理位置（area 列）中的省份和城市数据，并调用百度地图API拿到所有位置的经纬度，并用BDP绘制动态热力图的实现过程先在这里一起讲的话，可能更有的可说，不过内容所限还是后续再讲哈。感兴趣的朋友可以按照这里的思路自行尝试绘制出下面的动态图哈。

4-heat-map-BDP-2h-8FPS.gif

唠嗑

仍值得一说的是在作图和可视化的过程中，对评论数相关图表还是不满意，于是想把每小时评论数的柱形图和总评论数变化的曲线图组合到一起，就像当初爬取张佳玮138w+知乎关注者：数据可视化完成项目时，在完全不懂 ECharts3里的代码和配置项的情况下，硬着头皮坑 JavaScript 代码，搞了个知乎第一大V“张公子”张佳玮的138万关注中自身有100+关注的人群的性别人数和比例图，今日看来，依旧兼具美感和创意，不像别处看到的可视化图一般“丑陋”（逃...）；

也在简书=鸡汤？爬取简书今日看点：1916篇热门文章可视化项目里绘制了简书热门文章发布时间的年月分布图，审美杠杠的（逃...）：

当然这里不必像上述二者那样需要去啃 ECharts3 的 JavaScript 代码（相关实现：图表太丑怎么破，ECharts神器带你飞！），直接在 pyecharts 配置文档 里有组合图多种示例，轻松实现下图：

df_mdhmax = df.groupby('time_mdh')['cmntcount'].max()
df_mdhcount = df.groupby('time_mdh')['cmntcount'].count()
from pyecharts import Bar, Line, Overlap
bar = Bar("每小时评论数")
bar.add("小时", df_mdhcount.index, df_mdhcount.values,is_label_show=True,xaxis_interval=-90,
        xaxis_rotate=-90, yaxis_interval=200,yaxis_max=800)
line = Line("每小时评论数")
line.add("小时", df_mdhmax.index, df_mdhmax.values,line_opacity=1,
         line_type='dotted', yaxis_interval=1000,yaxis_max=4000)

overlap = Overlap()
overlap.add(bar)
overlap.add(line, is_add_yaxis=True, yaxis_index=1)
#overlap.render() # 使用 render() 渲染生成 .html 文件
overlap

便捷的代价就是配色上没有太多选择的余地：

小结

pyecharts（ 图表详情） 提供的图表选择还是蛮多的，大家可以自行选择想呈现的效果。后面地图可视化也会用到。而且，用起来很简单的，套用示例，改成自己的数据就行。

本系列将全面涉及本项目从爬虫、数据提取与准备、数据异常发现与清洗、分析与可视化等细节，并将代码统一开源在GitHub：DesertsX/gulius-projects ，感兴趣的朋友可以先行 star 哈。