访问传递给scrapy的URL
访问传递给Scrapy的URL是指在使用Scrapy框架进行网络爬虫开发时，需要向Scrapy传递的待爬取的网页链接。
Scrapy是一个基于Python的开源网络爬虫框架，用于快速、高效地从网页中提取数据。在使用Scrapy进行开发时，首先需要定义一个爬虫类，其中包括了待爬取的起始URL。这个起始URL可以是单个链接，也可以是一个URL列表。
Scrapy框架会根据这个起始URL发送HTTP请求，获取对应的网页内容。然后，Scrapy会根据用户定义的规则，提取所需的数据，并进行进一步的处理和存储。
访问传递给Scrapy的URL可以是任何合法的网页链接，包括但不限于以下几种类型：
- 单个页面链接：可以是一个具体的网页链接，例如"https://www.example.com"。
- 列表页链接：可以是一个包含多个页面链接的列表，用于爬取多个页面的数据。
- 动态链接：可以是包含参数的链接，用于爬取动态生成的内容，例如"https://www.example.com/search?keyword=apple"。
- 分页链接：可以是包含分页参数的链接，用于爬取分页数据，例如"https://www.example.com/page/1"。
根据不同的应用场景和需求，可以选择不同的URL传递方式。在Scrapy中，可以通过修改爬虫类中的start_urls属性来传递URL，也可以通过编写自定义的爬虫中间件来动态传递URL。
对于Scrapy的URL访问，腾讯云提供了一系列相关产品和服务，例如：
- 腾讯云CDN（内容分发网络）：用于加速网页内容的传输，提高访问速度和用户体验。详情请参考：腾讯云CDN
- 腾讯云API网关：用于管理和发布API接口，提供高性能、高可用的API访问服务。详情请参考：腾讯云API网关
- 腾讯云VPC（虚拟专用网络）：提供安全可靠的网络环境，用于构建私有网络和云上资源的隔离环境。详情请参考：腾讯云VPC
以上是关于访问传递给Scrapy的URL的概念、分类、优势、应用场景以及腾讯云相关产品的介绍。希望能对您有所帮助。
相关·内容
2回答
我编写了一个Scrapy蜘蛛，我试图从位于另一个目录中的python脚本中运行它。我从中使用的代码似乎运行了爬行器，但是当我检查postgresql表时，它还没有创建。只有当我使用scrapy命令时，蜘蛛才能正确地输送已刮过的数据。我尝试将脚本放置在scrapy项目的目录中，并且与config文件位于同一个目录中，而且似乎都没有创建表。
下面是脚本的代码，后面是蜘蛛的代码。我认为这个问题涉及脚本应该位于的目录和/或我在蜘蛛文件中使用的代码，以便从脚本中运行蜘蛛，但我不确定。在脚本中调用的函数是否有问题，还是需要在设置文件中进行更改？如果有必要，我可以提供管道文件的代码，谢谢。
脚本文件(只有3
浏览 2提问于2015-07-24得票数 2
1回答
当我知道问题的实际URL时，我想知道API中是否有一个特性，当我知道问题的实际URL时，我可以使用它来检索堆栈Exchange网络上的问题的各种特性。
浏览 0提问于2012-11-11得票数 1
回答已采纳
我使用scrapy来解析站点。Scrapy版本2.1.0当我尝试发出额外的请求时：
taglines_request = Request(url=tagline_url,
callback=self.get_tags_and_awards,
cb_kwargs={'item':item, 'awards_url': awards_url})
我得到以下错误：
TypeError: __init__() got an unexpected keyword
浏览 27提问于2020-05-19得票数 0
回答已采纳
1回答
所有人！
我是Scrapy框架的新手。我需要解析wisemapping.com。起初，我阅读了官方的Scrapy教程，并试图访问一个"wisemap“，但得到了一个错误：
[scrapy.core.engine] DEBUG: Crawled (404) <GET https://app.wisemapping.com/robots.txt> (referer: None)
[scrapy.downloadermiddlewares.retry] DEBUG: Gave up retrying
<GET https://app.wisemapping.com/c/m
浏览 0提问于2017-07-01得票数 1
我创建了一个使用scrapy，splash和proxy的爬虫。
当我只执行一只蜘蛛时，一切都很好。然而，当我尝试使用CrawlerProcess时，我的蜘蛛没有使用代理，这会导致快速禁用。
爬行器代码
# -*- coding: utf-8 -*-
import scrapy
from scrapy_splash import SplashRequest
from scrapy.crawler import CrawlerProcess
from my_fake_useragent import UserAgent
ua = UserAgent()
class AdsSpiderSpide
浏览 1提问于2021-09-20得票数 1
1回答
让两个函数同时并行运行？
、、、
我有一个数组
myArray = array(url1,url2,...,url90)
我想并行执行这个命令3次。
scrapy crawl mySpider -a links=url
并且每次使用1个url，
scrapy crawl mySpider -a links=url1
scrapy crawl mySpider -a links=url2
scrapy crawl mySpider -a links=url3
当第一个人完成他的工作时，他会得到另一个url，比如
scrapy crawl mySpider -a links=url4
我读了，然后和我尝试了一下：
import t
浏览 11提问于2016-09-09得票数 0
回答已采纳
我试图得到请求状态代码与刮痕和刮擦-飞溅，下面是蜘蛛代码。
class Exp10itSpider(scrapy.Spider):
name = "exp10it"
def start_requests(self):
urls = [
'http://192.168.8.240:8000/xxxx'
]
for url in urls:
#yield SplashRequest(url, self.parse, args={'wai
浏览 14提问于2017-10-19得票数 3
回答已采纳
在我的Scrapy spider.py中，可以看到最后两行。我想从parse()中的url1获取URL地址。如何编码？
class DmozSpider(scrapy.Spider):
name = "sh2"
def __init__(self, category=None, *args, **kwargs):
# super(MySpider, self).__init__(*args, **kwargs)
self.start_urls = ['http://esf.suzhou.fang.co
浏览 16提问于2017-01-21得票数 3
回答已采纳
我的问题与几乎完全相同
但是我有两个For循环，所以创建一个新的条目将导致我丢失第一个刮过的页面中的数据。
基本结构是：
知道第一个网址。
循环通过已知的urls
- For loop for data and next url
- For loop for more data and next url
- Even more data and next url.
- Even more data and next url.
- Yield
每页有10-40条数据，但我有一个简单的代码，它可以查找1-2个数据。
浏览 0提问于2019-08-20得票数 0
回答已采纳
我需要将登录URL从一个类传递到爬行器类，并在其上执行web抓取。 import quotes as q
import scrapy
from scrapy.crawler import CrawlerProcess
class ValidateURL:
def checkURL(self,urls):
try:
if(urls):
for key, value in urls.items():
if value['login_details']:
浏览 17提问于2020-04-20得票数 0
回答已采纳
当试图通过('url‘：response.request.url)将url保存到字典中时，Scrapy从Scrapy中保存所有相同的url ()
我尝试过添加额外的参数，这些参数将传递真正的URL，但没有效果。
from scrapy import Spider
from scrapy.http import FormRequest
from scrapy.utils.response import open_in_browser
from scrapy import Request
import scrapy
from scrapy_splash import SplashReque
浏览 2提问于2019-02-01得票数 2
回答已采纳
1回答
“如何在刮伤中使用一连串回调？
、、、、
我正在尝试使用scrapy和selenium构建一个爬虫。我试图在parse()中获取一组urls，并将其传递给回调函数parse_url()，后者再次获得一组不同的urls并将其传递给parse_data()。
对parse_url的第一个回调有效，而对parse_data的第二个回调提供了一个AssertionError
也就是说，如果我在没有parse_data的情况下运行，它会打印一个urls列表。但是如果包括它，我就会得到一个断言错误
我有这样的东西
class mySpider(scrapy.Spider):
name = "mySpider"
al
浏览 2提问于2015-07-08得票数 0
回答已采纳
是否有命令行开关或另一个开箱即用的技巧来强制scrapy只下载几个urls (即使有更多可用的urls)？
目前，我在命令中调用一个蜘蛛，如下所示，并希望它在10个url检索之后完成。
scrapy scrapy
浏览 2提问于2014-11-16得票数 1
回答已采纳
1回答
我完全被这个bug难住了。我正在尝试从这个页面中拉出所有菜单项。当它到达最里面的for循环时，它会经过一次迭代，然后继续前进。这是非常意想不到的，我不知道是什么导致的。以下是专用于解析此页面的函数。
def get_menu(self, response):
image_url = response.urljoin(response.xpath('//span/img/@src').extract_first())
for menu_section in response.xpath("//div[@id = 'contenu_choixplat
浏览 0提问于2016-07-02得票数 0
我正在尝试在Python脚本中运行Scrapy。相关代码如下：
import scrapy
from scrapy.crawler import CrawlerProcess
class PostSpider(scrapy.Spider):
name = "post crawler"
allowed_domains = ['test.com']
def __init__(self, **kwargs):
super(PostSpider, self).__init__(**kwargs)
url =
浏览 0提问于2016-03-25得票数 2
当我在scrapy bot和scrapy shell中执行相同的xpath查询时，会得到不同的结果。
注意:我只是试着学习刮刮，所以修改了一些教程代码。请跟我慢慢走。
查询：
xpath('//div/div/div/ul/li/a/@href')
机器人：
import scrapy
from tutorial.items import DmozItem
class DmozSpider(scrapy.Spider):
name = "dmoz"
allowed_domains = ["lib-web.org"]
s
浏览 2提问于2015-11-10得票数 1
回答已采纳
1回答
刮伤，等待管道
、、
(我对刮痕很陌生)。
上下文
假设有一个站点https://example.com，我想刮它。
它的结构如下：
<body>
<ul>
<li>
title_foo
<a href="https://example.com/title_foo">a desription</a>
</li>
<li>
title_bar
<a href="https://example.com/title_bar
浏览 3提问于2020-09-26得票数 0
回答已采纳
当我从urllib2+bs4切换到Scrapy时，我注意到Scrapy在默认设置中“巧妙地处理”了一些问题。我不太确定我是否正确，如果我错了，请纠正我。
(1)默认情况下，Scrapy不会抓取重复URL，那么什么是重复URL？我注意到在Scrapy抓取的网址中，没有，例如，他们对待下面的链接是一样的。我知道这是合乎逻辑的，因为它们实际上是同一页，但是....我不知道对于一些可能需要这个功能的人来说，这是不是一个好主意。
www.abc.com/page1
www.abc.com/page1#top
www.abc.com/page2#bot
(2)默认情况下，Scrapy只遵循下的链接。在那
浏览 3提问于2013-09-21得票数 2
我正在使用Scrapy Splash抓取一个包含如下元素的页面： 第1页，共349页 1|2|3|4|5|6|7|8|9| 10 |下一步> 我想‘点击’锚与文本‘下一步’，并让javascript执行以获取下一页。 这是我的刮刀的样子： script = """
function main(splash)
splash:init_cookies(splash.args.cookies)
assert(splash:go(splash.args.url))
splash:wait(0.5)
浏览 29提问于2019-02-16得票数 1
回答已采纳
我将参数传递给Python3中的os.system，如下所示： os.system("scrapy crawl %s -a arg='%s'" % ("googlebook",scrapy_url)) scrapy url包含特殊字符： '?q=19434&maxResults=40&startIndex=200' 在蜘蛛唯一的接收中： ?q=19434 如何将特殊的单词传递给爬虫？
浏览 40提问于2019-02-08得票数 1
回答已采纳
我是新的抓取和尝试刮网站，以获得的频道id，最多的被浏览和订阅的Youtuber的一个国家。
我这样做的方式是点击链接到一个Youtuber在主列表页面(例如)。然后打开一个新页面，新打开的页面的最后一部分包含通道id (例如)。
这是我的代码：
import scrapy
class SocialBladeSpider(scrapy.Spider):
name = "socialblade"
def start_requests(self):
urls = [
'https://socialblade.com
浏览 0提问于2019-01-28得票数 1
回答已采纳
我想使用scrapy来获取目标页面的html和屏幕快照png。我需要能够以编程方式调用它。根据，指定
endpoint='render.json'
和传递的论点
'png': 1
应该会产生一个响应对象('scrapy_splash.response.SplashJsonResponse')，其中包含一个.data属性，该属性包含表示目标页面的png屏幕快照的解码JSON数据。
当蜘蛛(此处命名为'search')被调用时
scrapy crawl search
结果与预期的一样，response.data' png‘包含
浏览 2提问于2019-03-10得票数 1
我有下面的Scrapy蜘蛛从文件url.txt中的urls列表中获取页面的状态
import scrapy
from scrapy.contrib.spiders import CrawlSpider
from pegasLinks.items import StatusLinkItem
class FindErrorsSpider(CrawlSpider):
handle_httpstatus_list = [404,400,401,500]
name = "findErrors"
allowed_domains = ["domain-na
浏览 2提问于2015-05-12得票数 2
回答已采纳
1回答
我想使用scrapy runspider scrapy.py运行这个scrapy文件，它没有任何如何使用自定义设置的文件，比如'CONCURRENT_ requests '：1，但是当start_requests被调用时，同时加载所有的urls请求
def start_requests(self):
self.urls = self.mongo.get_latest_urls(config.collection)
for url in self.urls:
request = scrapy.Request(url["url"],
浏览 0提问于2018-06-20得票数 0
import csv
from itertools import groupby
import requests
from gevent.threadpool import ThreadPoolExecutor
def postRequest():
postapi = requests.post(ENDPOINT_URL, json=groups, headers=headers)
pool = ThreadPoolExecutor(max_workers=20)
with open("car.csv", "r") as csv_ledger:
浏览 16提问于2019-04-24得票数 1
给出你的标准scrapy应用程序：
import scrapy
class QuotesSpider(scrapy.Spider):
name = "quotes"
def start_requests(self):
urls = [
'http://quotes.toscrape.com/page/1/',
'http://quotes.toscrape.com/page/2/',
]
for url in urls:
浏览 3提问于2017-05-26得票数 0
我正在尝试刮 IMDb站点。所以，我需要从演员的页面开始，打开它，然后对于他们的电影记录的前15部电影，打开一部电影的页面，并从中获得一些信息。我的代码是：
class Actor(scrapy.Item):
name = scrapy.Field()
url = scrapy.Field()
bio = scrapy.Field()
born = scrapy.Field()
movies = scrapy.Field()
class Film(scrapy.Item):
title = scrapy.Field()
url = sc
浏览 1提问于2021-04-23得票数 0
回答已采纳
4回答
如何在Scrapy的parse()函数中获取请求url？我在start_urls中有很多urls，其中一些将我的爬虫重定向到主页，因此我有一个空项目。所以我需要像item['start_url'] = request.url这样的东西来存储这些urls。我在用BaseSpider。
浏览 268提问于2013-11-20得票数 52
回答已采纳
2回答
我正在尝试提取多个产品的网址出现在分类页面。同样，我想得到多个产品网址的类别页面网址，但由于一个产品可以出现在不同的类别页面，剪贴画得到它被过滤掉。如何防止这种情况，因为不过滤= True在这里不起作用？另外，有没有一种方法可以让scrapy不检查提取的url的response.status，而只是将其输出。
import scrapy
import csv
from scrapy.spiders import SitemapSpider
from scrapy.spider import CrawlSpider, Rule
from scrapy.linkextractors import
浏览 12提问于2018-12-18得票数 0
我试图将一个变量screen_name传递给我的蜘蛛，因为这个screen_name每次都会改变。(最终目标是让多个蜘蛛使用不同的screen_names运行)
我是这样初始化的
process.crawl(TwitterSpider(screen_name="realDonaldTrump"))
但是，我得到了以下错误。
spider = cls(*args，**kwargs) TypeError：init()缺少一个必需的位置参数：'screen_name‘
import scrapy
from scrapy.crawler import CrawlerPr
浏览 1提问于2019-05-19得票数 0
我正在尝试一个scrapy包。
我已经按照上面github主页上的说明进行了操作。我开始了一个新的scrapy项目，并创建了一个爬虫：
from scrapy_selenium import SeleniumRequest
from shutil import which
SELENIUM_DRIVER_NAME = 'firefox'
# SELENIUM_DRIVER_EXECUTABLE_PATH = which('chromedriver')
SELENIUM_DRIVER_EXECUTABLE_PATH = which('geckodriv
浏览 49提问于2019-07-06得票数 0
回答已采纳
我是Python和Scrapy的新手。现在我正在学习爬行，需要同时使用它们。下面是我的代码，无法检索输出。我可以知道如何解决这个问题吗？提前谢谢。
import scrapy
from loginform import fill_login_form
class FirstSpider(scrapy.Spider):
name = 'test'
login_url = 'URL'
login_user = 'account'
login_password = 'password'
浏览 1提问于2018-07-05得票数 0
我正在使用scrapy.Spider来搜索，并且我希望在回调函数中使用请求(在start_requests中)，但是该请求不起作用，它应该返回一个响应，但它只返回请求。
我跟踪调试断点，发现在类请求(Object_ref)中，请求只完成了初始化，但没有像预期的那样进入Request = next(slot.start_requests)开始请求，因此只返回请求。
以下是我的代码：
class ProjSpider(scrapy.Spider):
name = 'Proj'
allowed_domains = ['mashable.com']
浏览 1提问于2019-08-25得票数 0
1回答
我开始用Python编程。作为我的第一个项目，我想使用模块创建web爬虫。我遇到了两天来一直在努力解决的问题，却找不到解决的办法。如果能提供任何帮助，我们将不胜感激。
我想从阿莱格罗-波兰ebay上抓取和报废有关汽车价格的数据。我的项目的第一阶段是下载汽车品牌和子类别的列表(我想尽可能深入到子类别)和报价数量。
我从网站：开始我的爬行，在那里我可以点击左边面板上的类别。到目前为止，我只关注左边面板中的数据。
因此，我希望接收具有结构的json文件：
{
{"name": "BMW" # name
"url": "http:
浏览 3提问于2015-11-05得票数 1
回答已采纳
我正在尝试创建一个输入处理器，以基于堆栈溢出post，将刮过的相对urls转换为绝对urls。我正在与loader_context的概念作斗争，我可能在这里混合了一些东西。有人能指出我的正确方向吗？
我在items.py中有以下内容
import scrapy
from scrapy.loader import ItemLoader
from scrapy.loader.processors import MapCompose
from urlparse import urljoin
def convert_to_baseurl(url, loader_context):
respo
浏览 4提问于2018-02-19得票数 1
回答已采纳
1回答
Scrapyrt不使用回调函数
、、、、
以下是我的文件： views.py from uuid import uuid4
from urllib.parse import urlparse
from django.core.validators import URLValidator
from rest_framework.decorators import api_view, renderer_classes
from django.views.decorators.csrf import csrf_exempt
from django.http import JsonResponse
from time import slee
浏览 18提问于2020-10-22得票数 0
我需要将URL、用户名和密码从一个类传递给Scrapy来执行web抓取。
import quotes as q
import scrapy
from scrapy.crawler import CrawlerProcess
class ValidateURL:
def checkURL(self,urls):
try:
if(urls):
for key, value in urls.items():
if value['login_details']
浏览 4提问于2020-04-17得票数 0
为了NLP的研究目的，我试图从KBBI获得印度尼西亚字典，我注意到它是一个受保护的页面，需要首先进行身份验证登录，下面是我与Scrapy一起使用的代码片段
import scrapy
import re
import pandas as pd
from scrapy.http import FormRequest
from scrapy import Request
class scrape_kamus_kbbi(scrapy.Spider):
name = "kamus_kbbi"
list_url = []
ALP = [chr(x) for x
浏览 3提问于2021-02-03得票数 1
回答已采纳
1回答
我需要防止从网页加载图像，css文件，主题和脚本。在使用scrapy的基本抓取中 有什么方法可以从setting.py或其他网站上阻止他们吗？ 导入scrapy class MySpyder(scrapy.Spider):
name = 'Spiderr'
start_urls = [l.strip() for l in open("Archive").readlines()]
def parse(self,response):
tittle = response.xpath("/html/body/"
浏览 14提问于2020-08-14得票数 0
回答已采纳
我在Scrapy中的parse_node方法面临一些问题：
class s1(scrapy.spiders.XMLFeedSpider):
name = "s1"
handle_httpstatus_list = [400,401,403,404,408,410,500,502,503,504]
allowed_domains = ["xxx"]
start_urls = ["xxx"]
main_url = start_urls[0]
jobs_list = []
tracker = SummaryTracker()
itertag =
浏览 5提问于2016-04-02得票数 0
我在试着找到结账的解决方案。这是为我制作的一个定制应用程序，其中用户选择一件T恤，设计，墨水颜色，尺寸等。这是一个纯粹的as3闪光应用程序，最终将在品牌网站上托管。我有API用户名和证书，我目前正在使用一个购买按钮，它使用的代码片段从贝宝HTML按钮代码。//这些是白色Design1产品的“立即购买”按钮的代码片段。
//Listeners
buyTingBtn.addEventListener(MouseEvent.CLICK, buyTINGnow);
//Functions
function buyTINGnow (event:MouseEvent):void
{
var
浏览 1提问于2013-05-16得票数 0
(这是我的items.py)
import scrapy
class FreelanceItem(scrapy.Item):
url = scrapy.Field()
url = scrapy.Field()
当我启动另一个python并导入包时
import scrapy
from scrapy.item import Item , Field
from freelance.items import FreelanceItem
我明白了: ModuleNotFoundError:没有名为“自由职业者”的模块
我该怎么办？
谢谢。
浏览 0提问于2018-11-16得票数 1
我试着用Splash的Scrapy抓取Netflix的Linkedin公司页面。当我使用scrapy shell时，它工作得很好，但是当我运行脚本时，它给出了502错误。
错误：
2017-01-06 16:06:45 [scrapy.core.engine] INFO: Spider opened
2017-01-06 16:06:45 [scrapy.extensions.logstats] INFO: Crawled 0 pages (at 0 pages/min), scraped 0 items (at 0 items/min)
2017-01-06 16:06:52 [scrapy
浏览 1提问于2017-01-06得票数 2
回答已采纳
1回答
我的刮刀有两个问题：
经过一段时间，它得到了很多302 s，尽管我使用了'COOKIES_ENABLED': False，并且旋转代理应该为每个请求提供不同的IP。我解决了它，在几个302 s后重新启动刮板。
我看到刮刀成功的爬行比它的过程，我不能用它做任何事情。在下面的示例中，我得到了121 200 s响应，但只处理了27。
蜘蛛
class MySpider(Spider):
name = 'MySpider'
custom_settings = {
'DOWNLOAD_DELAY': 0,
浏览 1提问于2018-08-08得票数 7
1回答
从多个站点获取值
、、、
我试图从函数中传递一个值。
我查了一下医生，只是不明白。参考文献：
def parse_page1(self, response):
item = MyItem()
item['main_url'] = response.url
request = scrapy.Request("http://www.example.com/some_page.html",
callback=self.parse_page2)
request.meta['item'] =
浏览 2提问于2017-09-16得票数 0
回答已采纳
当从自己的脚本运行Scrapy (从DB加载URL并遵循这些网站上的所有内部链接)时，我会遇到一个小问题。我需要知道当前使用的是哪个start_url，因为我必须保持与数据库(SQL )的一致性。但是:当Scrapy使用名为“start_urls”的内置列表来接收要跟踪的链接列表时，这些网站就会立即重定向，就会出现问题。例如，当Scrapy启动并且start_urls正在被爬行，并且爬虫跟踪在那里找到的所有内部链接时，我以后只能确定当前访问的URL，而不是Scrapy开始运行的start_url。
其他来自网络的答案是错误的，因为去年Scrapy的代码似乎发生了变化，因此对于其他用例或废弃的答
浏览 1提问于2018-09-10得票数 2
回答已采纳
2回答
未调用Parse
、、
我有下面的代码，我想在csv中循环通过url，对于每个url，我想运行一些选择器，并将数据返回到csv输出中。它似乎循环遍历了开始urls，但它引发了一个错误，说明没有定义解析。我不明白我错在哪里了。感谢任何人的帮助！ import scrapy
import csv
class CbdSitechekerSpider(scrapy.Spider):
name = 'cbd_sitecheker'
start_urls = []
for url in open('sites.csv'):
start_urls.app
浏览 28提问于2019-10-08得票数 0
我已经将一个蜘蛛放在一起，它按照预期运行，直到我将关键字deny添加到规则中为止。
这是我的蜘蛛
from scrapy.linkextractors import LinkExtractor
from scrapy.spiders import CrawlSpider, Rule
from scrapy.selector import Selector
from bhg.items import BhgItem
class BhgSpider (CrawlSpider):
name = 'bhg'
start_urls = ['http://www.
浏览 0提问于2015-07-30得票数 1
回答已采纳
我正在尝试从开机启动请求中获取cookie，但我一直收到错误。
下面是我使用的代码：
class P2PEye(scrapy.Spider):
name = 'p2peyeSpider'
allowed_domains = ['p2peye.com']
start_urls = ['https://www.p2peye.com/platform/h9/']
def start_requests(self):
script = '''
function mai
浏览 21提问于2018-08-01得票数 1
1回答
所以我试着用刮痕在网上搜索一些评论。我循环通过一个容器，我的所有项目驻留，以减少请求的数量，并使蜘蛛更快。完成整个抓取后获得的csv显示，蜘蛛重复收集到的数据有时超过20行或更多。但是，当我不遍历容器时，爬行器会非常缓慢，在几页之后停止抓取，但正确地返回数据。
我还通过更改url值来生成下一个页面，如下面的代码所示。我这样做是因为html没有下一个页面图标的href值。
我不知道怎么回事。我需要帮助！
import scrapy
from scrapy.linkextractors import LinkExtractor
from scrapy.spiders import CrawlSpi
浏览 3提问于2020-09-21得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
