前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >爬虫框架Scrapy(例子)前言安装实战

爬虫框架Scrapy(例子)前言安装实战

作者头像
UFO
发布2018-09-04 11:51:12
4070
发布2018-09-04 11:51:12
举报
文章被收录于专栏:Spark生态圈

前言

最近看到一篇非常不错的关于新词发现的论文--互联网时代的社会语言学:基于SNS的文本数据挖掘,迫不及待的想小试牛刀。得先有语料啊……

本文将爬取爱思助手官网苹果咨询专栏。通过这里现学了点Scrapy。


安装

具体安装细节就不说了,度娘和Google都知道。

1、Python2.7

      Scrapy需要用python编程。

2、anaconda

anaconda里面集成了很多关于python科学计算的第三方库,主要是安装方便,而python是一个编译器,如果不使用anaconda,那么安装起来会比较痛苦,各个库之间的依赖性就很难连接的很好。

3、MySQL

      将爬取到的数据直接落地MySQL。需要新建一个表为后面存数据做准备。

CREATE TABLE `i4` (           `id` INT(11) NOT NULL AUTO_INCREMENT,          `title` VARCHAR(150) NOT NULL,          `time` VARCHAR(15) NOT NULL,          `content` LONGTEXT NOT NULL,          PRIMARY KEY (`id`) ) ENGINE=INNODB AUTO_INCREMENT=1 DEFAULT CHARSET=utf8

4、Scrapy

      pip install scrapy

实战

通过观察该页面发现图二才是我们真正需要爬取的网页,但是该网页没有需要跟进的链接,所有链接都在图一的网页里,所以我们需要做两件事,第一,在图一里拿URL,再通过URL到图二的网页里面爬取所需的内容(标题、发表时间、正文)。

图一

图二

通过scrapy命令创建了一个名为i4的Scrapy项目。

scrapy startproject i4

该命令将会创建包含下列内容的i4目录:

这些文件分别是:

           scrapy.cfg: 项目的配置文件

           i4/: 该项目的python模块。之后您将在此加入代码。

           i4/items.py: 项目中的item文件.

           i4/pipelines.py: 项目中的pipelines文件.

           i4/settings.py: 项目的设置文件.

          i4/spiders/: 放置spider代码的目录.

定义提取的Item,Item是保存爬取到的数据的容器;

class I4Item(scrapy.Item):         title = scrapy.Field()    #标题         time  = scrapy.Field()    #发布时间         content=scrapy.Field()    #内容         pass

编写爬取网站的spider并提取Item,Spider是用户编写用于从单个网站(或者一些网站)爬取数据的类。

class MySpider(scrapy.Spider):          name = "i4"  #设置name          allowed_domains = ["www.i4.cn"]    #设定域名          start_urls = ["http://www.i4.cn/news_1_0_0_2.html"]  #填写爬取地址           #编写爬取方法          def parse(self, response):                     for box in response.xpath('//div[@class="kbox"]//div[@class="news_list"]'):   #爬取图二的网页内容                              link=box.xpath('./a[@class="img"]/@href').extract()[0]                              prefix='http://www.i4.cn/'                              link = prefix+link                              print(link)                              yield scrapy.Request(url = link, callback=self.parse_item)                 for box in response.xpath('//div[@class="paging"]'):   #爬取图一的URL                             link=box.xpath('./a[last()-1]/@href').extract()[0]                             prefix='http://www.i4.cn/'                             link = prefix+link                             print(link)                             yield scrapy.Request(url = link, callback=self.parse)          def parse_item(self, response):                 item = I4Item()  #实例一个容器保存爬取的信息                 #这部分是爬取部分,使用xpath的方式选择信息,具体方法根据网页结构而定                for box in response.xpath('//div[@class="block_l"]'):                          item['title'] = box.xpath('.//h1[@class="title"]/text()').extract()    #获取title                         item['time'] = box.xpath('.//div[@class="info"]/div[@class="time "]').xpath('string(.)').extract()  #获取time                         item['content'] = box.xpath('./div[@class="content"]').xpath('string(.)').extract()  #获取content                         yield item  #返回信息

编写Item Pipeline来存储提取到的Item(即数据)

class MySQLPipeline(object):           def __init__(self):           self.conn = MySQLdb.connect(host="192.168.0.103",user="root",passwd="123456",db="ufo",charset="utf8")           self.cursor = self.conn.cursor()          def process_item(self, item, spider):                  sql = "insert ignore into i4(title, time, content) values(%s, %s, %s)"                  param = (item['title'], item['time'], item['content'])                  self.cursor.execute(sql,param)                   self.conn.commit()

可以设置多个Pipeline,需要在settings.py里设置,数字大小意为先后顺序。

ITEM_PIPELINES = {            'i4.MyPipelines.MyPipeline': 1,            'i4.MySQLPipelines.MySQLPipeline': 2, }

运行爬虫

scrapy crawl  i4

结果会保存到MySQL数据库

本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
原始发表:2017.04.08 ,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 前言
  • 安装
  • 实战
相关产品与服务
数据库
云数据库为企业提供了完善的关系型数据库、非关系型数据库、分析型数据库和数据库生态工具。您可以通过产品选择和组合搭建,轻松实现高可靠、高可用性、高性能等数据库需求。云数据库服务也可大幅减少您的运维工作量,更专注于业务发展,让企业一站式享受数据上云及分布式架构的技术红利!
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档