Scrapy爬取并简单分析知网中国专利数据

导

语

好久没用Scrapy爬数据了，今天我们就用scrapy爬一波知网的中国专利数据并做简单的数据可视化分析呗。让我们愉快地开始吧~

PS：

本项目仅供学习交流，实践本项目时烦请设置合理的下载延迟与爬取的专利数据量，避免给知网服务器带来不必要的压力。

开发工具

Python版本：3.6.4

相关模块：

scrapy模块；

fake_useragent模块；

pyecharts模块；

wordcloud模块；

jieba模块；

以及一些Python自带的模块。

环境搭建

安装Python并添加到环境变量，pip安装需要的相关模块即可。

数据爬取

我们需要爬取的数据例如下图所示：

即包括以下这些内容：

爬取思路：

我们可以很容易地发现每个专利的详情页url都是类似这样的：

http://dbpub.cnki.net/grid2008/dbpub/Detail.aspx?DBName=SCPD年份&FileName=专利公开号&QueryID=4&CurRec=1

因此，只要改变专利公开号即可获得对应专利的详情页url(经测试，即使年份对不上也没关系)，从而获得对应专利的信息，具体而言代码实现如下：

All done~完整源代码详见相关文件。

PS：代码运行方式为运行main.py文件。

数据可视化

为避免给知网服务器带来不必要的压力，这里我们只爬了2014年的一部分知网中国专利数据(就跑了一个多小时吧)，对这些数据进行可视化分析的结果如下。

我们先来看看申请专利的省份分布呗：

然后再来统计一下专利代理机构？

最后再来看看所有专利摘要做成的词云呗：

还有所有专利标题做成的词云呗：

All done~完整源代码详见相关文件。

○

○

Charles的皮卡丘

Pikachu~