Scrapy和rules
Scrapy是一个基于Python的开源网络爬虫框架，用于快速、高效地抓取和提取网页数据。它提供了强大的工具和机制，使开发者能够轻松地定义爬取规则、处理页面解析、数据提取和存储等任务。
Scrapy的主要特点包括：
- 强大的爬取能力：Scrapy支持并发请求和异步处理，能够高效地处理大规模的网页爬取任务。
- 灵活的规则定义：通过使用Scrapy提供的规则系统，开发者可以定义爬取的起始URL、页面解析规则、数据提取规则等，从而灵活地适应不同网站的结构和数据格式。
- 分布式支持：Scrapy可以与分布式任务调度系统（如Scrapyd）结合使用，实现分布式爬取和任务调度，提高爬取效率和稳定性。
- 数据提取和处理：Scrapy提供了丰富的数据提取和处理工具，包括XPath、CSS选择器、正则表达式等，方便开发者提取和处理网页中的结构化数据。
- 数据存储和导出：Scrapy支持将爬取的数据存储到多种数据源，如数据库、CSV文件、JSON文件等，并提供了方便的导出工具。
Scrapy的应用场景包括但不限于：
- 网络数据采集：Scrapy可以用于抓取各类网站的数据，如新闻、商品信息、社交媒体数据等。
- 数据挖掘和分析：通过结合Scrapy和数据分析工具（如Pandas、NumPy等），可以进行大规模的数据挖掘和分析。
- 搜索引擎：Scrapy可以用于构建搜索引擎的爬虫部分，实现对互联网上的网页进行爬取和索引。
- 监测和监控：Scrapy可以用于监测网站的变化、抓取特定信息并进行实时监控。
腾讯云相关产品和产品介绍链接地址：
- 云服务器（CVM）：提供弹性计算能力，支持快速部署和管理Scrapy爬虫。详情请参考：https://cloud.tencent.com/product/cvm
- 云数据库MySQL版（CDB）：提供高性能、可扩展的MySQL数据库服务，适用于存储和管理爬取的结构化数据。详情请参考：https://cloud.tencent.com/product/cdb_mysql
- 对象存储（COS）：提供高可靠、低成本的云存储服务，适用于存储和管理爬取的非结构化数据（如图片、视频等）。详情请参考：https://cloud.tencent.com/product/cos
请注意，以上仅为腾讯云提供的一些相关产品，其他云计算品牌商也提供类似的产品和服务。
相关·内容
1回答
我用姜戈，芹菜，scrapy。
我对芹菜的设置：
CELERY_BROKER_URL = 'amqp://****/myvhost'
CELERY_TIMEZONE = TIME_ZONE
CELERYD_CONCURRENCY = 1000
CELERYD_MAX_TASKS_PER_CHILD = 4
CELERY_IGNORE_RESULT = True
# django celery
CELERY_RESULT_BACKEND = 'django-db'
# celery queues setup
CELERY_DEFAULT_QUEUE = &#
浏览 0提问于2018-06-21得票数 0
我使用python的scrapy工具用python编写了一个爬虫。以下是python代码：
from scrapy.contrib.spiders import CrawlSpider, Rule
from scrapy.contrib.linkextractors.sgml import SgmlLinkExtractor
from scrapy.selector import HtmlXPathSelector
#from scrapy.item import Item
from a11ypi.items import AYpiItem
class AYpiSpider(CrawlSpi
浏览 2提问于2011-03-08得票数 7
2回答
扫描图像的URL模式？
、、、
我想扫描一个网站并下载其中的图像。例如，对于像这样的网站网址：a.example.com/2vZBkE.jpg，我需要一个机器人来从a.example.com/aaaaaa.jpg扫描到a.example.com/AAAAAA.jpg，再扫描到a.example.com/999999.jpg，如果有图片，保存网址或下载图片。
我试过使用Python和Scrapy，但我对它还很陌生。这就是我所能做到的：
import scrapy
from scrapy.contrib.spiders import Rule, CrawlSpider
from scrapy.contrib.linkextra
浏览 0提问于2015-10-18得票数 0
我尝试使用init方法在爬行器中动态添加sitemap_rules。我可以使用相同的方法更改sitemap_urls，但sitemap_rules不会被覆盖。谁能告诉我我哪里做错了。下面是我的代码：
# -*- coding: utf-8 -*-
from scrapy.spiders import SitemapSpider
from scrapy.selector import Selector
from myspider.items import MyItem
from scrapy import signals
from scrapy.xlib.pydispatch import di
浏览 1提问于2019-11-29得票数 2
1回答
刮擦跟随&刮下几页
、、、
我有一个问题，我的刮除蜘蛛不会爬行一个网站，只是刮一页和抓住。我的印象是rules成员变量对此负有责任，但我无法让它跟踪任何链接。我一直在跟踪这里的文档：
我错过了什么让我的机器人无法爬行的东西？
from scrapy.contrib.spiders import CrawlSpider, Rule
from scrapy.contrib.linkextractors import LinkExtractor
from scrapy.selector import Selector
from Example.items import ExItem
class ExampleSpider(
浏览 2提问于2015-03-02得票数 2
回答已采纳
我想让我的蜘蛛发挥作用。这是我在蜘蛛里的代码：
start_urls = ["http://www.khmer24.com/"]
rules = (
Rule(SgmlLinkExtractor(allow=(r'ad/\w+/67-\d+\.html',),
),
callback='parse_items'),
)
示例url如下所示：
我想保留“广告”和"67-“
scrapy crawl khmer24的输出是：
Crawled (200) <GET http://www.khmer24.com/&
浏览 1提问于2013-02-28得票数 1
我试着从这个网站()上刮起标题。我正在使用爬行蜘蛛信标，因为我打算得到更多的信息，从网页上的每一个网址以后！
但是得到了一个TypeError：“规则”对象是不可迭代的！这是我使用的代码：
import scrapy
import datetime
import socket
from scrapy.linkextractors import LinkExtractor
from scrapy.spiders import CrawlSpider, Rule
from usgs.items import MineralItem
from scrapy.loader import ItemLoa
浏览 1提问于2018-11-16得票数 3
回答已采纳
2回答
我的问题是关于CrawlSpider的
我知道链接提取器rules是一个静态变量，
我可以在运行时更改rules吗，比如
@classmethod
def set_rules(cls,rules):
cls.rules = rules
通过
self.set_rules(rules)
这是CrawlSpider可接受的做法吗？如果没有，请建议适当的方法
我的用例：
我正在使用scrapy抓取特定网站的某些类别A，B，C…Z。每个类别有1000个链接，分布在10个页面上
当scrapy点击某个类别中的链接时，该链接“太旧”。我希望爬虫停止跟踪/爬行仅针对该类别的10个页面的其余部分，因此我对动
浏览 0提问于2015-08-13得票数 0
我正在使用刮伤和splash：来抓取这个链接
但我无法提取数据。
我的代码：
import scrapy
from scrapy_splash import SplashRequest
class ManuPySpider(scrapy.Spider):
name = 'manulife'
def start_requests(self):
yield SplashRequest(
url = 'https://manulife.taleo.net/careersection/external_global/jobsearc
浏览 1提问于2017-10-25得票数 0
回答已采纳
2回答
我已经尝试了谷歌和堆栈溢出解决方案的每一个搜索结果，但我不能得到解决方案。我正在创建一个剪贴画来提取图像，请找到下面的代码
我的items.py
class MyntraItem(scrapy.Item):
product_urls=scrapy.Field()
files=scrapy.Field()
image_urls=scrapy.Field()
images = scrapy.Field()
我的settings.py
BOT_NAME = 'hello'
SPIDER_MODULES = ['myntra.spiders&#
浏览 0提问于2016-10-11得票数 0
尝试让Scrapy抓取多个域。我让它工作了很短时间，但有些东西改变了，我不知道是什么。我的理解是，带有规则的"CrawlSpider“应该遵循任何允许的链接，直到深度设置或域名耗尽。
import scrapy
from scrapy.spiders import CrawlSpider, Rule
from scrapy.linkextractors import LinkExtractor
class BbcSpider(CrawlSpider):
name = 'bbcnews'
allowed_domains = [
'
浏览 29提问于2018-06-03得票数 1
回答已采纳
6回答
我有一个类在init之前运行一些代码：
class NoFollowSpider(CrawlSpider):
rules = ( Rule (SgmlLinkExtractor(allow=("", ),),
callback="parse_items", follow= True),
)
def __init__(self, moreparams=None, *args, **kwargs):
super(NoFollowSpider, self).__init__(*args, **kwargs)
浏览 2提问于2014-12-16得票数 4
回答已采纳
2回答
我目前正在尝试使用scrapy创建一个小型的web抓取原型。我目前的问题与链接提取和跟踪相关。
我试图让scrapy浏览页面并找到指向页面的链接(目前不是图像和其他内容)，但我不知道如何正确设置参数。
这是我正在使用的蜘蛛：
class DefaultSpider(CrawlSpider):
name = "default"
session_id = -1
rules = [Rule(LinkExtractor(allow=()),callback='parse', follow=True)]
def start_re
浏览 2提问于2017-03-01得票数 1
2回答
抓取网站
、
嗨，我正在使用scrapy抓取一个网站的新闻，但我得到了错误，当我这样做的过程中，网站有许多新闻页面和新闻的网址是www.example.com/34223我正在试图找到一种方法来解决这个问题，她是我的代码。scrapy版本是1.4.0，我正在使用MACOS
import scrapy
from scrapy.spiders import CrawlSpider, Rule
from scrapy.linkextractors import LinkExtractor
class Example(scrapy.Spider):
name = "example"
allowed_
浏览 0提问于2017-09-04得票数 0
1回答
我使用Windows 64位上的Python.org版本2.7 64位。我正在成功地使用一个用Scrapy构建的递归的webscraper来解析维基百科文章中的所有文本。但是，我试图将相同的代码应用于代码中引用的网站，但它没有返回任何文本正文：
from scrapy.contrib.spiders import CrawlSpider, Rule
from scrapy.contrib.linkextractors.sgml import SgmlLinkExtractor
from scrapy.selector import Selector
from scrapy.item impor
浏览 4提问于2014-07-26得票数 1
回答已采纳
我有一个嵌套的站点地图。Scrapy文档表示，它应该使用嵌套的sitemaps，而不存在任何问题。我的目标链接类似于这个，因此在我的理解中，从链接('/arenda_kvartir/')获得关键字应该使蜘蛛遵循以下逻辑:在sitemap.xml中找到的所有链接和sitemap_rules中包含的关键字都应该被抓取到parsed函数中。但根据日志，这种情况从来没有发生过。蜘蛛只是浏览了站点地图中的所有主要类别，然后退出了。我哪里错了？下面是我的密码。
# -*- coding: utf-8 -*-
import scrapy
from scrapy.spiders import
浏览 0提问于2019-06-19得票数 1
回答已采纳
Python2.7.6，scrapy 0.24.6，网站- dicksmith.com.au，OS(Ubuntu)url(移动站点容易)-
抱歉，伙计们，我刚开始刮擦。提前感谢
代码：
import scrapy
class PriceWatchItem( scrapy.Item ):
name = scrapy.Field()
price = scrapy.Field()
from scrapy.contrib.spiders import CrawlSpider, Rule
from scrapy.contrib.linkextractors import LinkE
浏览 1提问于2015-05-21得票数 0
回答已采纳
我试图从一个使用Scrapy的网站上获取每一个链接(没有其他数据)。我想这样做，从主页开始，从那里抓取所有的链接，然后为每个找到的链接，跟随链接和刮刮所有(唯一的)链接从该网页，并为所有找到的链接，直到没有更多的跟随。
我还必须输入用户名和密码才能进入站点上的每个页面，因此我在start_requests中包含了一个基本的身份验证组件。
到目前为止，我有一只蜘蛛，它只给我在主页上的链接，但我似乎不明白为什么它不跟随链接和刮其他网页。
这是我的蜘蛛
from examplesite.items import ExamplesiteItem
import scrapy
fr
浏览 0提问于2018-09-10得票数 2
1回答
我试着用刮擦来废弃一个网站。我需要爬行的网页网址如下所示：2
我需要爬的下一页是：3
我需要爬的下一页是：4
就这样……
这是我迄今为止根据Scrapy教程编写的代码：
from scrapy.contrib.spiders import CrawlSpider, Rule
from scrapy.contrib.linkextractors.sgml import SgmlLinkExtractor
from scrapy.selector import Selector
from schooldata.items import SchooldataItem
class tv_spider
浏览 4提问于2014-02-04得票数 2
回答已采纳
如何在Scrapy完成爬行后运行代码 我有一只蜘蛛： from scrapy import Spider
from scrapy.spiders import CrawlSpider,Rule
from scrapy.linkextractors import LinkExtractor
class KpallSpider(CrawlSpider):
name = 'test'
allowed_domains = ['kupujemprodajem.com']
start_urls = ['https://www.kupuj
浏览 17提问于2019-09-21得票数 0
回答已采纳
我和Scrapy一起工作，我试着用蜘蛛爬行整个网站，但是在我的终端上我没有得到任何结果。
PS:我在脚本中从浏览器中运行Scrapy。
这是我的密码：
import scrapy
from scrapy.crawler import CrawlerProcess
from scrapy.spiders import CrawlSpider, Rule
from scrapy.linkextractors import LinkExtractor
class MySpider(CrawlSpider):
name = 'website.com'
allowed_
浏览 4提问于2021-02-19得票数 0
回答已采纳
我正在尝试制作一个simpe tumblr机器人来抓取tumblr博客的所有图片。现在，蜘蛛能找到像头像和图标这样的东西，但找不到它们自己的帖子。
settings.py
BOT_NAME = 'tumblr'
SPIDER_MODULES = ['tumblr.spiders']
NEWSPIDER_MODULE = 'tumblr.spiders'
ITEM_PIPELINES = {'scrapy.pipelines.images.ImagesPipeline': 1}
IMAGES_STORE = 'C:\Use
浏览 0提问于2015-10-21得票数 0
2回答
我无法抓取整个网站，Scrapy只能在表面抓取，我想抓取更深的部分。我已经用谷歌搜索了5-6个小时，但没有任何帮助。我的代码如下：
from scrapy.contrib.spiders import CrawlSpider, Rule
from scrapy.contrib.linkextractors.sgml import SgmlLinkExtractor
from scrapy.selector import HtmlXPathSelector
from scrapy.item import Item
from scrapy.spider import BaseSpider
from
浏览 0提问于2013-03-19得票数 11
2回答
抓取下一页
、、、
我有这个scrapy框架的代码：
# -*- coding: utf-8 -*-
import scrapy
from scrapy.contrib.spiders import Rule
from scrapy.linkextractors import LinkExtractor
from lxml import html
class Scrapy1Spider(scrapy.Spider):
name = "scrapy1"
allowed_domains = ["sfbay.craigslist.org"]
start_urls
浏览 1提问于2015-09-17得票数 7
回答已采纳
我试图爬行一个网站，搜索所有的JS文件来下载它们。我刚接触Scrapy，我发现我可以使用CrawlSpider，但我似乎对LinkExtractors有一个问题，因为我的解析器没有执行。
import scrapy
from scrapy.spiders import CrawlSpider, Rule
from scrapy.linkextractors import LinkExtractor
class JSDownloader(CrawlSpider):
name = 'jsdownloader'
allowed_domains = ['example
浏览 25提问于2021-02-17得票数 0
回答已采纳
1回答
只抓取网站的一部分
、、、
你好，我有下面的代码扫描所有的链接在一个给定的网站。
from scrapy.item import Field, Item
from scrapy.contrib.spiders import CrawlSpider, Rule
from scrapy.contrib.linkextractors import LinkExtractor
class SampleItem(Item):
link = Field()
class SampleSpider(CrawlSpider):
name = "sample_spider"
allowed_d
浏览 4提问于2014-07-17得票数 3
回答已采纳
2回答
我想收集Scrapy的偶像的照片。 收集资料的主页是https://news.mynavi.jp/article/20191229-947707/。 我写了蜘蛛。 (save_gradol.py) import scrapy
from scrapy.spiders import CrawlSpider, Rule
from scrapy.linkextractors import LinkExtractor
from gradol.items import GradolItem
class SaveGradolSpider(CrawlSpider):
name = 'sav
浏览 43提问于2020-01-11得票数 1
1回答
我想用刮伤来抓取完整的网站，但是现在它唯一的爬行单页。
import scrapy
from scrapy.http import HtmlResponse
from scrapy.contrib.spiders import CrawlSpider, Rule
from scrapy.contrib.linkextractors.sgml import SgmlLinkExtractor
from scrapy.selector import HtmlXPathSelector
from scrapy.contrib.exporter import JsonItemExporter
cla
浏览 0提问于2014-11-27得票数 1
1回答
我定义了一个刮擦蜘蛛，它可以刮掉所有的名字和一些故事，而定义的xpath不能从捕捉故事，
# -*- coding: utf-8 -*-
import scrapy
from scrapy.contrib.loader import ItemLoader
from scrapy.contrib.spiders import CrawlSpider,Rule
from scrapy.selector import XmlXPathSelector
from scrapy.contrib.linkextractors.sgml import SgmlLinkExtractor
from canc
浏览 1提问于2016-02-08得票数 1
回答已采纳
2回答
我试图创建一个蜘蛛，而不指定特定的url。我想要创建蜘蛛对象，从对象中提取url，用它作为我的allowed_domains和start_urls --换句话说，我想做类似的事情(注意，MySpiderObj...I只是把这个表达式放在那里，因为我想从类MySpider的对象中提取信息。
from scrapy.settings import default_settings
from selenium import webdriver
from urlparse import urlparse
import csv
from scrapy.contrib.spiders impor
浏览 3提问于2013-12-05得票数 0
回答已采纳
我正在尝试测试抓取网页的Scrapy，我不明白为什么我的爬虫只抓取一个页面，我尝试评论规则和allowed_domains都没有成功。我想我遗漏了一些愚蠢的东西如果能帮上忙我会很感激的。
from scrapy.contrib.spiders import CrawlSpider, Rule
from scrapy.spider import BaseSpider
from scrapy.contrib.linkextractors.sgml import SgmlLinkExtractor
class NYSpider(CrawlSpider):
name = "ny
浏览 3提问于2012-03-21得票数 1
回答已采纳
1回答
我想刮除所有的标题标签和其他标签内的父项标签。但不能刮。尝试过刮破的外壳，看起来效果很好。下面是我的全部代码
from scrapy.contrib.spiders import CrawlSpider, Rule
from scrapy.contrib.linkextractors.sgml import SgmlLinkExtractor
from scrapy.selector import Selector
from scrapy_rss.items import rssItem
from scrapy.utils.response import get_base_url
import
浏览 3提问于2014-06-13得票数 1
回答已采纳
1回答
有没有办法以某种方式使用selenium来处理javascript和LinkExtractor？我想爬行网站和拾取网页上的pdf文件。许多PDF只有在javascript被执行之后才可用。
from scrapy.linkextractors import LinkExtractor
from scrapy.spiders import CrawlSpider, Rule
from scrapy.crawler import CrawlerProcess
from scrapy.selector import Selector
from selenium import webdriver
f
浏览 0提问于2017-08-06得票数 1
回答已采纳
1回答
我和Scrapy有麻烦了。我需要的代码，将报废多达1000个内部链接，每个给定的网址。我的代码在命令行运行时工作，但是爬行器不停止，只接收消息。
我的代码如下：
from scrapy.contrib.linkextractors.sgml import SgmlLinkExtractor
from scrapy.contrib.spiders import CrawlSpider, Rule
from scrapy.item import Item, Field
from scrapy.contrib.closespider import CloseSpider
class MyItem(
浏览 2提问于2015-07-06得票数 6
回答已采纳
1回答
抓取-不能列出更深层次的链接
、、、、
我需要创建一个网站网址列表。为此，我使用了Scrapy2.3.0。问题是结果('item_scraped_count')是63个链接，但我知道还有更多。
有什么方法可以处理更深的层次并获取url吗？
我的代码如下：
from scrapy.spiders import CrawlSpider
from scrapy.spiders import Rule
from scrapy.linkextractors import LinkExtractor
from scrapy import Item
from scrapy import Field
class UrlItem
浏览 3提问于2020-08-19得票数 1
回答已采纳
1回答
抓取图片的url
、、、
如何使用python.please帮助me.this中的scrapy从网站获取图像url是我的代码
from scrapy.spiders import CrawlSpider, Rule
#from scrapy.linkextractors.lxmlhtml import LxmlLinkExtractor
from scrapy.contrib.linkextractors import LinkExtractor
from scrapy.item import Item, Field
class MyItem(Item):
url= Field()
class someS
浏览 1提问于2016-03-09得票数 3
1回答
伙计们！我试图得到所有的内部URL在整个网站的SEO的目的，我最近发现Scrapy在这个任务中帮助我。但是我的代码总是返回一个错误：
2017-10-11 10:32:00 [scrapy.core.engine] INFO: Spider opened
2017-10-11 10:32:00 [scrapy.extensions.logstats] INFO: Crawled 0 pages (at 0 pages/min), scraped 0 items (at 0 items/min
)
2017-10-11 10:32:00 [scrapy.extensions.telnet] DE
浏览 3提问于2017-10-11得票数 2
回答已采纳
1回答
因此，我已经看到了如何使用scrapy的教程，现在我可以访问给定页面中的链接。但我想要做的是，给定一个页面，我想收集它的数据(元数据和摘要)，我还想访问该页面中的链接并收集它们的数据。这是我到目前为止的代码(还没有收集到数据)
from scrapy.contrib.spiders import CrawlSpider, Rule
from scrapy.contrib.linkextractors.sgml import SgmlLinkExtractor
from scrapy.spider import BaseSpider
from scrapy.http import Request
浏览 0提问于2015-03-17得票数 0
2回答
刮刮不提取数据。
、、
我想从那里获得一些关于汽车的技术信息。
以下是我的当前代码：
import scrapy
import re
from arabamcom.items import ArabamcomItem
from scrapy.spiders import CrawlSpider, Rule
from scrapy.linkextractors import LinkExtractor
class BasicSpider(CrawlSpider):
name="arabamcom"
allowed_domains=["arabam.com"]
s
浏览 4提问于2017-11-09得票数 0
回答已采纳
1回答
我正在尝试使用Scrapy运行一个刮板，我可以在过去使用这个代码，但现在我得到了一个奇怪的错误。
_rules =(Rule(LinkExtractor(restrict_xpaths=(xpath_str)), follow=True,
callback='parse_url'),)
def parse_url(self, response):
print response.url
...
基本上，当我运行它时，我得到的结果是：
Traceback (most recent call last):
File "/us
浏览 2提问于2015-12-19得票数 0
我正在抓取dell.com网站，我的目标是像这样的页面。我如何设置链接提取规则，以便他们在任何深度的任何地方都能找到这些页面？据我所知，默认情况下没有深度限制。如果我这样做了：
rules = (
Rule (
SgmlLinkExtractor(allow=r"productdetail\.aspx"),
callback="parse_item"
),
)
它不工作:它只爬行起始页。如果我这样做了：
rules = (
Rule (
SgmlLinkExtractor(allow=r&#
浏览 1提问于2014-08-08得票数 2
1回答
刮伤基本抓取器不工作？
、、、
因此，我最近刚开始为一个项目尝试Scrapy，我非常困惑于各种旧的语法(SgmlLinkExtractor等)。但我设法把我认为是可读的代码拼凑在一起，这对我来说是有意义的。但是，这并不是遍历网站中的每个页面，而是只访问start_urls页面，而不生成输出文件。有人能解释一下我错过了什么吗？
import scrapy
import csv
from scrapy.spiders import CrawlSpider, Rule
from scrapy.linkextractors import LinkExtractor
class RLSpider(CrawlSpider):
浏览 4提问于2016-12-07得票数 1
回答已采纳
1回答
刮伤CrawlSpider不爬行
、、、、
我正在建造一只蜘蛛来提取乐器和它们的数据。
为此，我使用CrawlSpider，最终的结果将是获取所有这些数据，并按模型名称将其放入mongoDB文档中。显然，我还没有完成，也还没有达到这一点。
编辑:我能够修复这个错误并让它运行:但是现在爬虫爬行'0‘页面并且没有返回数据到它输出的csv文件中。有什么问题吗？
我现在拥有的是：
# -*- coding: utf-8 -*-
import scrapy
from scrapy.contrib.spiders import CrawlSpider, Rule
from scrapy.contrib.linkextractors.sgml
浏览 3提问于2014-11-04得票数 0
1回答
我使用Windows 64位上的Python.org版本2.7 64位。在下面的页面中，我使用Scrapy和regex的组合从名为“DataStore.Prime”的Javascript项中提取信息：
我使用的爬虫是这样的：
from scrapy.contrib.spiders import CrawlSpider, Rule
from scrapy.contrib.linkextractors.sgml import SgmlLinkExtractor
from scrapy.selector import Selector
from scrapy.item import Item
fro
浏览 1提问于2014-08-10得票数 1
回答已采纳
我不明白为什么Scrapy要抓取第一个页面，而不是按照链接抓取后面的页面。这一定和规则有关。非常感谢。谢谢!
from scrapy.contrib.spiders import CrawlSpider, Rule
from scrapy.contrib.linkextractors.sgml import SgmlLinkExtractor
from scrapy.selector import HtmlXPathSelector
from craigslist_sample.items import CraigslistItem
class MySpider(CrawlSpider):
浏览 1提问于2012-11-05得票数 4
回答已采纳
1回答
我的小蜘蛛给我看了所有网页的标题。请告诉我如何显示与标题相关的标题和链接？我要解析页面。我的代码：
from scrapy.contrib.spiders import CrawlSpider, Rule
from scrapy.contrib.linkextractors.sgml import SgmlLinkExtractor
from scrapy.selector import HtmlXPathSelector
from probe1.items import SpiderItem
class SpiderSpider(CrawlSpider):
name = "
浏览 2提问于2013-08-29得票数 1
回答已采纳
1回答
我在和Scrapy刮apartments.com我得到了一些不想要的结果。具体地说，我从附近的城市和西班牙语版本的apartments.com获得了结果。在每个公寓列表的底部，都有一个“附近的公寓”功能，这可能是Scrapy在波士顿以外的地方获得搜索结果的原因。我试图用我的拒绝规则阻止/es/ listings，但它似乎不起作用。
import scrapy
from scrapy.linkextractors import LinkExtractor
from scrapy.spiders import CrawlSpider, Rule
from apt.items import AptI
浏览 0提问于2021-03-08得票数 1
对于我正在开发的应用程序，我需要scrapy来突破爬行，重新开始从一个特定的、任意的URL开始爬行。
预期的行为是让scrapy只返回到特定的URL，如果满足特定条件，则可以在参数中提供该URL。
我正在使用CrawlSpider，但不知道如何实现：
class MyCrawlSpider(CrawlSpider):
name = 'mycrawlspider'
initial_url = ""
def __init__(self, initial_url, *args, **kwargs):
self.initial_
浏览 1提问于2018-11-13得票数 2
我正在尝试通过获取带有分页的属性网站上条目的标题来学习Scrapy。我无法从rules列表中定义的'Next‘页面获取条目。
代码：
from scrapy import Spider
from scrapy.selector import Selector
from scrapy.linkextractors import LinkExtractor
from scrapy.spiders import Rule, CrawlSpider
from property.items import PropertyItem
import re
class VivastreetSpide
浏览 0提问于2016-07-14得票数 0
2回答
我想使用python中的scrapy从特定网站中提取URL，它具有以下HTML结构
<div class="comic-table">
<div id="comic">
<img src="http://demowebsite.com/uploads/image1" alt="" title="">
<img src="http://demowebsite.com/uploads/image2" alt="" title="
浏览 3提问于2016-03-29得票数 1
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
