使用scrapy获取urls列表，然后抓取这些urls中的内容
使用Scrapy获取URL列表，然后抓取这些URLs中的内容是一种常见的网络爬虫任务。Scrapy是一个基于Python的开源网络爬虫框架，它提供了强大的工具和库，用于快速、高效地抓取和处理网页数据。
下面是一个完善且全面的答案：
- 概念：Scrapy是一个用于抓取网站数据的Python框架，它基于异步网络库Twisted，可以高效地处理大规模的数据抓取任务。
- 分类：Scrapy属于网络爬虫框架，用于从网页中提取数据。
- 优势：
- 高效性：Scrapy使用异步处理和多线程技术，可以同时处理多个请求，提高抓取效率。
- 可扩展性：Scrapy提供了丰富的中间件、插件和扩展接口，可以根据需求进行定制和扩展。
- 灵活性：Scrapy支持多种数据提取方式，如XPath、CSS选择器等，可以根据网页结构灵活提取所需数据。
- 自动化：Scrapy提供了自动化的机制，可以设置定时任务、自动处理反爬虫机制等。
- 应用场景：Scrapy适用于各种数据抓取场景，如搜索引擎数据抓取、价格比较、舆情监控、数据分析等。
- 推荐的腾讯云相关产品和产品介绍链接地址：
- 腾讯云服务器（CVM）：提供高性能、可扩展的云服务器实例，用于部署和运行Scrapy爬虫。 链接地址：https://cloud.tencent.com/product/cvm
- 腾讯云对象存储（COS）：提供安全可靠的云端存储服务，用于存储和管理爬取的数据。 链接地址：https://cloud.tencent.com/product/cos
- 腾讯云数据库（TencentDB）：提供高性能、可扩展的云数据库服务，用于存储和管理爬取的数据。 链接地址：https://cloud.tencent.com/product/cdb
- 腾讯云CDN（Content Delivery Network）：提供全球加速的内容分发网络服务，加速爬取过程中的数据传输。 链接地址：https://cloud.tencent.com/product/cdn
- 腾讯云云函数（SCF）：提供事件驱动的无服务器计算服务，可用于自动化运行和调度Scrapy爬虫。 链接地址：https://cloud.tencent.com/product/scf
总结：使用Scrapy可以快速、高效地获取URL列表并抓取其中的内容。腾讯云提供了一系列与Scrapy相关的产品和服务，如云服务器、对象存储、数据库、CDN和云函数，可以帮助用户部署、存储和加速爬取过程中的数据。
相关·内容
1回答
Scrapy有物品限制吗？
、、、、
在那些日子里，我用Python用Scrapy制作了一个蜘蛛。它基本上是一个简单爬行器类，用于对Html页面中的某些字段进行简单的解析。我不使用starts_url[] Scrapy字段，但我使用如下的个性化列表：
class start_urls_mod():
def __init__(self, url, data):
self.url=url
self.data=data
#Defined in the class:
url_to_scrape = []
#Populated in the body in this way
self.url_to_scrape.appen
浏览 3提问于2015-10-16得票数 0
我正在从他们的学习(一个网络爬行框架)。
通过以下示例和文档，我创建了我的爬行器，以便使用站点地图抓取数据
from scrapy.contrib.spiders import SitemapSpider
from scrapy.selector import Selector
from MyProject1.items import MyProject1Item
class MySpider(SitemapSpider):
name="myspider"
sitemap_urls = ['http://www.somesite.com/sitemap
浏览 2提问于2014-02-04得票数 4
2回答
我正在尝试用scrapy抓取一个网站列表。我试着把网站的urls列表作为start_urls，但是后来我发现我用不起这么多的内存。有没有办法让scrapy一次抓取一个或两个网站？
浏览 0提问于2013-01-13得票数 2
回答已采纳
2回答
我有一个NPI列表，我想从npidb.org中抓取提供程序的名称。NPI值存储在一个csv文件中。
我可以通过在代码中粘贴URL来手动完成。然而，如果我有一个NPI列表，我想要每个NPI的提供者名称，我就不知道该怎么做。
下面是我当前的代码：
import scrapy
from scrapy.spider import BaseSpider
class MySpider(BaseSpider):
name = "npidb"
def start_requests(self):
urls = [
'htt
浏览 13提问于2017-01-19得票数 0
1回答
facebook上的新图表搜索允许您使用查询令牌搜索一家公司的现有员工- Current Google (例如)。
我想通过刮擦刮刮结果页面()。
最初的问题是facebook只允许facebook用户访问信息，因此将我引向login.php。因此，在抓取这个url之前，我通过scrapy登录，然后通过这个结果页面登录。但是，即使这个页面的http响应是200，它也不会丢弃任何数据。守则如下：
import sys
from scrapy.spider import BaseSpider
from scrapy.http import FormRequest
from scrapy.selec
浏览 3提问于2013-05-31得票数 5
我是个新手，写了我的第一个爬虫，为类似的网站做了一个爬虫。
我想要抓取标题，然后导航到每篇文章，抓取每篇文章的文本内容。
我已经尝试使用规则和链接提取器，但它不能导航到下一页和提取。我得到错误:爬行器错误处理 (referer: None)
下面是我的代码
import scrapy
from scrapy.spiders import Rule
from scrapy.linkextractors import LinkExtractor
class MedicalSpider(scrapy.Spider):
name = 'medical'
allowe
浏览 1提问于2019-07-09得票数 1
我是Scrapy的新手，我想做的是做一个爬虫，它只会跟踪给定start_urls上的HTML元素中的链接
举个例子，假设我只想让一个爬虫程序遍历start_urls设置为的AirBnB清单
我不想抓取URL中的所有链接，而是只想抓取xpath中的链接
目前，我正在使用以下代码来抓取所有的链接，我如何才能使其仅抓取//*[@id="results"]
from scrapy.selector import HtmlXPathSelector
from tutorial.items import DmozItem
from scrapy.contrib.sp
浏览 0提问于2012-12-25得票数 6
回答已采纳
我正在使用Scrapy，特别是Scrapy的CrawlSpider类来抓取包含某些关键字的web链接。我有一个相当长的start_urls列表，它从一个连接到Django项目的SQLite数据库中获取条目。我想将抓取的web链接保存在此数据库中。
我有两个Django模型，一个用于起始http://example.com，一个用于抓取的网页链接，如http://example.com/website1，http://example.com/website2等。所有抓取的网页链接都是start_urls列表中的一个开始网址的子网站。
web链接模型与起始url模型具有多对一关系，即web链接模型
浏览 1提问于2012-05-15得票数 7
回答已采纳
为什么Scrapy只爬行start_urls，然后停止？有没有办法让Scrapy抓取网站目录树中的所有页面，比如？或者，有没有办法让Scrapy更深入地抓取start_urls页面上的所有链接？
class DmozSpider(CrawlSpider):
name = "dmoz"
allowed_domains = ["dmoz.org"]
start_urls = [
"http://www.dmoz.org/Computers/Programming/La
浏览 1提问于2014-11-25得票数 0
1回答
我能够保存我的抓取状态，并且Scrapy成功地从我切断的地方继续。每次重新启动爬行器时，我都保持start_urls不变，即每次重新启动爬行器时，提供的start_urls的顺序和列表都是恒定的。但我需要对我的start_urls做一个随机的洗牌，因为我有来自不同域的URL，以及来自相同域的URL，但由于它们是有序的，爬行延迟显着减慢了我的爬行速度。我的列表是数以百万计的，我已经抓取了一百万个URL。所以我不想危及任何东西或重新开始抓取。
我已经看到，requests.seen保存的看起来像是访问过的URL的散列值。从Scrapy代码中，我确信它是用来过滤重复项的。但我不确定spider.st
浏览 0提问于2019-07-04得票数 0
1回答
我创建了一个抓取蜘蛛，它必须爬行整个网页并提取urls。现在我必须删除社交媒体URL，因为我想列出一个URL列表，但不知怎么的，它不起作用。当我试图在列表中添加每个URL时，它只是不断地列出URL。
import re
import scrapy
all_urls = []
class QuotesSpider(scrapy.Spider):
name = 'quotes'
start_urls = [
'https://www.wireshark.org/docs/dfref/i/ip.html',
]
浏览 1提问于2022-08-25得票数 1
回答已采纳
2回答
我正在尝试使用scrapy抓取一个网站，但网站没有网站地图或页面索引。如何使用scrapy抓取网站的所有页面？
我只需要下载网站的所有页面，而不提取任何项目。我只需要在蜘蛛规则中设置关注所有链接吗？但我不知道scrapy是否会以这种方式避免复制urls。
浏览 0提问于2013-01-06得票数 5
回答已采纳
这是我在AWS博客网站首页抓取URL列表的尝试。但它不返回任何内容。我想可能是我的xpath出了问题，但不确定如何修复。
import scrapy
class AwsblogSpider(scrapy.Spider):
name = 'awsblog'
allowed_domains = ['aws.amazon.com/blogs']
start_urls = ['http://aws.amazon.com/blogs/']
def parse(self, response):
blogs
浏览 17提问于2019-11-06得票数 0
回答已采纳
3回答
我使用了一个使用scrapy进行图像抓取的例子。
但是我没有在我的计算机上保存任何文件：
这是我使用的代码：
//Items.py//
import scrapy
class ImgurItem(scrapy.Item):
title = scrapy.Field()
image_urls = scrapy.Field()
images = scrapy.Field()
//settings.py//
BOT_NAME = 'imgur'
SPIDER_MODULES = ['imgur.spiders']
NEWSPIDER_MOD
浏览 0提问于2016-01-18得票数 0
2回答
如何同时生成多个项目？我正在抓取一个URLS列表，其中每个URLs都有大约10-20个嵌套的URLs。我从每个嵌套的URL中抓取需要生成的10项信息。有没有办法同时生产10件商品？也许是通过一个列表，或者我附加每一项，然后在最后生成所有项的东西？我不太确定该怎么做。有什么建议吗？
代码示例：
class OdSpider(scrapy.Spider):
name = 'od'
allowed_domains = []
start_urls = ["url1, url2, . . . . ."]
def parse(self, r
浏览 16提问于2020-07-30得票数 0
回答已采纳
3回答
如何将抓取的网址从一个爬行器发送到另一个爬行器的start_urls？
具体地说，我想运行一个从XML页面获取URL列表的爬行器。在URL被检索后，我希望它们被另一个爬行器用来抓取。
from scrapy.spiders import SitemapSpider
class Daily(SitemapSpider):
name = 'daily'
sitemap_urls = ['http://example.com/sitemap.xml']
def parse(self, response):
print res
浏览 30提问于2017-02-23得票数 2
我是新的抓取和使用它从拉扎达网站刮数据。我得到了200条HTTP消息，这意味着响应将成功返回。但是我不能解析响应，尽管xpath查询是正确的。有谁可以帮我？谢谢。
这是代码：
import scrapy
class LazadaSpider(scrapy.Spider):
name = 'lazada'
allowed_domains = ['lazada.com.my']
start_urls = ['https://lazada.com.my/catalog/?q=books/']
def parse(self, response):
浏览 19提问于2020-10-28得票数 0
1回答
我需要抓取一个xml页面，它只是我想要的一个urls表。
from scrapy.spider import BaseSpider
from scrapy.selector import HtmlXPathSelector
import re
thename = "sitemap"
class ReviewSpider(BaseSpider):
name = thename
allowed_domains = ['10why.net']
start_urls = ['http://www.10why.net/sitemap.x
浏览 5提问于2013-08-08得票数 0
回答已采纳
1回答
我正在尝试从这个页面中抓取数据，但有一个“查看更多”按钮。我不知道该用哪个url来存储更多的数据。
我检查了页面，打开了网络标签，但我无法找到用Scrapy抓取所有数据的好方法。
我知道我可以使用Selenium，但有超过200000个urls，所以我不能使用Selenium，因为需要几周时间才能获得所有数据。
浏览 0提问于2019-12-08得票数 1
我是一个使用scrapy的新手，我对抓取的urls有疑问。
我试图刮一个网站，你去的每个页面重定向到主页，当你点击一个横幅，你可以访问其他页面。我试着用
meta={'dont_redirect': True, 'handle_httpstatus_list': [301, 302]
以避免重定向，但从url抓取的内容仍然是错误的。所以我认为问题出在cookies上，为了测试它，我已经对cookies进行了硬编码，使其在进入站点时与浏览器一样，现在它不再重定向，我甚至不需要将“dont_redirect”放入meta中，但当我查看调试器时，它仍然在抓取主页。
现
浏览 1提问于2019-04-21得票数 0
我正在尝试抓取多个网站使用Scrapy链接提取器，并遵循为真(递归)。寻找一个解决方案，以设置时间限制爬行为每个网址在start_urls列表。
谢谢
import scrapy
class DmozItem(scrapy.Item):
title = scrapy.Field()
link = scrapy.Field()
desc = scrapy.Field()
class DmozSpider(scrapy.Spider):
name = "dmoz"
allowed_domains = ["dmoz.org"
浏览 39提问于2016-07-28得票数 1
我在本地机器上有一个很大的csv，它只包含一个urls列表，没有其他我想要抓取的列，并从每个urls中提取特定的css元素。我已经完成了一个测试，不看csv，只做一个一次性的开始url。我不知道如何打开一个包含一百万个urls的大型csv，让scrapy遍历每个urls，然后再转到下一个。
import scrapy
from ..items import stkscrapeItem
class stkSpider(scrapy.Spider):
name = 'stkscrape'
start_urls = [
'https://www.exampleurl
浏览 3提问于2020-04-30得票数 0
1回答
我尝试使用scrapy xpath来抓取页面，但是当我使用for循环时，它似乎不能捕获带有谓词的标记，# This package将包含Scrapy项目的爬行器
from cunyfirst.items import CunyfirstSectionItem
import scrapy
import json
class CunyfristsectionSpider(scrapy.Spider):
name = "cunyfirst-section-spider"
start_urls = ["file:///Users/haowang/Desktop/section
浏览 25提问于2018-06-02得票数 0
1回答
Scrapy不遵循抓取的链接。当我调用这个函数时，它应该从之前抓取的链接中提取详细信息，但它不起作用，而是从start_urls中抓取内容。
import scrapy
class OlxSpider(scrapy.Spider):
name = 'olx'
start_urls = ['https://www.olx.pl/nieruchomosci/mieszkania/wynajem/wroclaw/']
allowed_domains = ['www.olx.pl']
def parse(self,
浏览 2提问于2021-04-17得票数 0
0回答
我试图用一个简单的抓取蜘蛛来跟踪一个链接列表，并从每个链接中删除数据，但我遇到了麻烦。
在scrapy shell中，当我重新创建脚本时，它会发送新url的get请求，但是当我运行爬网时，我没有从链接中得到任何数据。我得到的唯一数据是从链接之前抓取的起始url。
如何从链接中抓取数据？
import scrapy
class QuotesSpider(scrapy.Spider):
name = "players"
start_urls = ['http://wiki.teamliquid.net/counterstrike/
浏览 4提问于2017-11-26得票数 0
回答已采纳
1回答
我刚开始使用Scrapy，并试图学习web抓取，我有一个带有网站页面链接的txt文件，我正在列出这些链接的列表，并将它们存储在start_urls中，但是解析功能不起作用，而且它没有刮任何东西。
这是代码
try:
import scrapy
except ImportError:
print "\nERROR IMPORTING THE NESSASARY LIBRARIES\n"
#File with all the links
crimefile = open('links.txt', 'r')
#making a lis
浏览 1提问于2017-04-25得票数 0
回答已采纳
1回答
伙计们，我想从上抓取一切都好，我抓取它的成功
然后我在想，如果我想抓取所有的页面(第一页直到无限取决于数据库文章)会怎么样？
我刚开始使用python和scrapy，在此之前我使用的是java和c#...their两种语言它与python非常不同，但对我来说还可以。
这是我的消息来源
import datetime
import urlparse
import socket
import scrapy
from scrapy.loader.processors import MapCompose, Join
from scrapy.loader import ItemLoader
from s
浏览 1提问于2016-07-25得票数 0
回答已采纳
1回答
#----\
#-----*-----\
#----/ \
\
#----\ \
#-----*-------- * <-- START
#----/ /
/
#----\ /
#-----*-----/
#----/
这是一个我想用scrapy处理的网站的结构，其中*是一个页面，-表示链接。我想抓取#页的数据。我已经做了一个可以从一个页面抓取数据的抓取器。
import scrapy
class MyItem(scrapy.Item):
topic
浏览 2提问于2017-03-07得票数 1
3回答
我使用Scrapy从第一个URL中抓取数据。
第一个URL返回一个响应，其中包含一个URL列表。
到目前为止对我来说还可以。我的问题是我如何进一步刮掉这个URL列表？搜索之后，我知道我可以在解析中返回一个请求，但似乎只能处理一个URL。
这是我的解析：
def parse(self, response):
# Get the list of URLs, for example:
list = ["http://a.com", "http://b.com", "http://c.com"]
return sc
浏览 3提问于2015-03-11得票数 1
回答已采纳
1回答
&产率
、
我目前正在开发一个刮板第一次使用刮刀，我也是第一次使用产量。我还在试着把我的注意力集中在屈服上。
刮刀：
抓取一页以获得日期列表(解析)
使用这些日期格式化URLS，然后刮擦(parse_page_contents)
在这个页面上，它查找每个单独列表的URLS，并对单个列表(parse_page_listings)进行扫描。
在个人列表中，我想提取所有的数据。每个列表上还有4个链接，其中包含了更多的数据。(parse_individual_listings)
我很难理解如何将来自parse_individual_tabs和parse_individual_listing
浏览 1提问于2016-12-02得票数 5
2回答
我正在学习，一个网络爬行框架。
默认情况下，它不会抓取重复的urls或scrapy已经抓取的urls。
如何让Scrapy抓取重复的urls或已经抓取的urls？
我试着在网上找，但找不到相关的帮助。
我从找到了DUPEFILTER_CLASS = RFPDupeFilter和SgmlLinkExtractor，但这个问题与我正在寻找的相反
浏览 1提问于2014-04-17得票数 25
回答已采纳
2回答
有没有可能制作一个Python Scrapy爬虫来抓取整个网站，创建一个字典，在一个列中包含网站中使用的每个单词，并在它旁边的列中显示每个单词的所有实例的URL？如果是，是如何实现的？ 我假设爬行器应该不断地抓取每个URL，将HTML转换为纯文本，然后将每个字符串划分为列表项，创建一个列表，然后只向该列表添加以前没有添加过的项。但是，同时，它也应该知道哪些条目已经添加到列表中，以及它们的位置，当它抓取一个与列表中已经存在的单词相同的单词时，记住它的URL并将其添加到包含URL的列中。 我已经创建了一个爬行器(如下所示)，它列出了所有URL和每个URL处找到的所有纯文本，但是我的编程技能还不够
浏览 12提问于2020-04-28得票数 0
1回答
我只能假设这是在Scrapy最基本的事情之一，但我只是不知道如何去做。基本上，我刮了一个页面来获得包含本周更新的urls列表。然后，我需要逐个进入这些urls，并从它们中获取信息。目前，我有两个刮刀设置，他们完美地手动工作。因此，我首先从第一个刮板中刮取urls，然后在第二个刮板上将它们硬编码为start_urls[]。
做这件事最好的方法是什么？它是否像调用刮板文件中的另一个函数一样简单，该函数接受urls列表并在那里进行抓取？
这是获取urls列表的刮板：
class MySpider(scrapy.Spider):
name = "myspider"
s
浏览 3提问于2016-11-25得票数 0
回答已采纳
我试图抓取整个网站使用刮刮。根据scarpy的文件
start_urls -当没有指定特定URL时，蜘蛛将开始从其中爬行的URL列表。因此，下载的第一页将是在这里列出的。随后的URL将依次从start URL中包含的数据生成。
因此，根据这个定义，scrapy应该遍历start_urls下提到的页面上的所有子url，但是它只爬行我指定的url。我确实按照中提到的那样指定了规则，但这没有帮助。它只抓取和输出我在start_urls中指定的页面。
下面是我的代码片段：
class AcdivocaFirstSpider(scrapy.Spider):
name = "exa
浏览 3提问于2014-10-29得票数 2
回答已采纳
1回答
我正在写一只抓取蜘蛛，为今天的“纽约时报”的文章从主页上爬行，但出于某种原因，它没有跟随任何链接。当我在scrapy shell http://www.nytimes.com中实例化链接提取器时，它成功地用le.extract_links(response)提取了一个文章urls列表，但是除了主页之外，我无法获得爬行命令(scrapy crawl nyt -o out.json)来抓取任何东西。我有点不知所措了。是因为主页不产生解析函数的文章吗？任何帮助都是非常感谢的。
from datetime import date
浏览 4提问于2015-06-18得票数 3
回答已采纳
1回答
下面是我用来抓取一个域的所有urls的代码：
import scrapy
from scrapy.spiders import CrawlSpider, Rule
from scrapy.linkextractors.lxmlhtml import LxmlLinkExtractor
class UrlsSpider(scrapy.Spider):
name = 'urlsspider'
allowed_domains = ['example.com']
start_urls = ['http://example.com/
浏览 0提问于2017-10-14得票数 0
2回答
我正在尝试使用python和Scrapy从中抓取商店位置数据。我已经设法抓取了单个页面，但我想将其设置为遍历链接末尾的1000个递归id的列表。任何帮助都将不胜感激。
免责声明:我不知道我在做什么
from scrapy.spider import BaseSpider
from scrapy.selector import HtmlXPathSelector
from subway.items import SubwayFinder
class MySpider(BaseSpider):
name = "subway"
allowed_domains = ["htt
浏览 0提问于2014-02-13得票数 0
我刚接触scrapy，不能让它做任何事情。最终，我想通过以下内部链接从一个网站上抓取所有的html评论。 现在，我只是尝试抓取内部链接，并将它们添加到列表中。 import scrapy
from scrapy.spiders import CrawlSpider, Rule
from scrapy.linkextractors import LinkExtractor
class comment_spider(CrawlSpider):
name = 'test'
allowed_domains = ['https://ww
浏览 34提问于2019-03-20得票数 0
回答已采纳
2回答
我有一个变量域，它接受url作为输入。我想从txt文件中一个接一个地给它提供URL列表。
我的txt文件如下所示：
www.yahoo.com
www.google.com
www.bing.com
我正在这样做：
with open('list.txt') as f:
content = f.readlines()
content = [x.strip() for x in content]
DOMAIN = content
但变量DOMAIN只接受一次所有URL，而不是单独获取。它必须将一个URL作为整体处理，并在另一个操作上处理第二个URL。
注意，这个域变量
浏览 3提问于2017-02-03得票数 0
2回答
我试图建立一个广泛的连续爬虫，我能够提取链接，但我无法抓取他们和提取这些链接。该项目的最终目标是抓取.au域并将其根URL添加到数据库中。
class Crawler (scrapy.Spider):
name = "crawler"
rules = (Rule(LinkExtractor(allow='.com'), callback='parse_item'))
#This will be changed to allow .au before deployment to only crawl .au sites.
浏览 0提问于2020-06-10得票数 0
回答已采纳
我正在抓取一个新闻网站，该网站提取新闻数据并将其转储到MongoDB。
我的爬虫是用以下规则定义的：
rules = [Rule(
LinkExtractor(
allow=["foo.tv/en/*",
"https://fooports.tv/*"] # only such urls
我目前所做的是，它从数据库中获取已经抓取的urls，如果在数据库中找到这些urls，则不处理这些urls，例如：
urls_visited = get_visited
浏览 13提问于2021-05-12得票数 0
回答已采纳
3回答
我有一个网址列表，其中许多是无效的。当我使用scrapy抓取时，引擎会自动过滤那些状态码为404的urls，但有些urls的状态码不是404，会被抓取，所以当我打开它时，它会说这里什么都没有或域名已更改等。
浏览 0提问于2019-07-26得票数 0
1回答
我正在尝试抓取一个长长的网站列表。start_url列表中的一些网站重定向(301)。我希望scrapy从start_url列表中抓取重定向的网站，就像它们也在allowed_domain列表中一样(其实它们不是)。例如，example.com在我的start_url列表上，允许域名列表和example.com重定向到foo.com。我想爬行foo.com。
DEBUG: Redirecting (301) to <GET http://www.foo.com/> from <GET http://www.example.com>
我尝试在parse_start_url
浏览 0提问于2015-01-17得票数 1
1回答
我已经创建了一个爬虫，它收集具有匹配电话号码的公司名称列表。然后将其保存为CSV文件。
然后我想从另一个网站抓取数据，使用CSV文件中的电话号码作为发布数据。我希望它循环通过相同的起始URL，但只是抓取每个电话号码产生的数据，直到CSV文件中没有更多的号码。
这是我到目前为止所得到的：
from scrapy.spider import BaseSpider
from scrapy.http import Request
from scrapy.http import FormRequest
from scrapy.selector import HtmlXPathSelector
from
浏览 1提问于2013-07-17得票数 3
回答已采纳
1回答
我试着用刮scrapy。
我使用了以下xpath选择器，但它们都返回空列表。
当前结果:所有这些返回[]
"//strong"
"//h2"
"//span[@class='cd__headline-text']"
预期结果:
[Headline_1, Headline_2, Headline_3, ...]
有人能帮我找出原因吗？CNN是在做些什么来阻止人们抓取头条新闻吗？
我用Scrapy。
浏览 2提问于2019-12-29得票数 0
回答已采纳
2回答
抓取亚马逊交易页面
、、、、
我需要从亚马逊页面的hrefs链接获得ASIN。ASIN是由10个字母和/或数字组成的唯一块，用于标识项目。
特别是我尝试用scrapy (python)来抓取。在这个页面中有很多包含ASIN的链接。
<a id="dealImage" class="a-link-normal" href="https://www.amazon.it/Marantz-TT5005-Giradischi-Equalizzatore-Incorporato/dp/B008NIV668/ref=gbph_img_s-3_c128_ca594162?smid=A11IL
浏览 5提问于2018-09-05得票数 0
我正在抓取一个网站，在一个特定的地方寻找段落超过了大量的URL。我想要做的是为我正在访问的每个URL记录我在csv文件中抓取的段落的‘下一步’的URL。
首先，我使用网站的搜索语法列出了我想要抓取的所有网站。我正在按ISBN号查找书籍。我目前得到的是一个抓取的段落列表，就像我wanted...However它偶尔不起作用一样，所以我不能简单地将抓取的段落与我事后拥有的ISBN列表连接起来，因为它们不能完美地对齐。
我试着把一些代码放在“yield”括号里，但都没有用。有什么想法，或者其他不好的建议吗？
starts = []
for isbn in data:
starts.appen
浏览 6提问于2019-12-01得票数 0
2回答
我有一个网站，我想找到一个有关职位空缺信息的网页。通常只有一页有这样的信息。所以我开始爬行网站，我设法使所有的网页达到一定的深度。它起作用了。但它们被复制了很多次。而不是45页，我得到1000页。我知道原因。原因是每次我调用我的“解析”函数时，它都会在某个网页上解析所有的网页。所以当我进入一个新的网页时，它会抓取所有的网页，其中一些以前已经被抓取过了。
1)我试图从解析函数中生成"items=[]“列表，但得到了一些全局错误。我不知道如何得到一个独特的网页列表。当我有一个，我将能够选择正确的一个简单的url解析。2)我还试图在“解析”函数中有“请求”和“返回项”，但是我得到了语法错误:
浏览 4提问于2015-08-12得票数 1
回答已采纳
1回答
我写了这个粗糙的网页抓取器来抓取this website上前10页的所有引文，在运行代码后，我发现只有一些页面的最后一个引文会返回给我。我需要建议，我如何才能让抓取蜘蛛返回所有页面上的所有引文。以下是我的代码 import scrapy
from google_quotes.items import GoogleQuotesItem
start_urls=['https://www.goodreads.com/quotes']
for number in range(1,11):
page_append='?page={}'.format(str(n
浏览 9提问于2020-10-22得票数 0
回答已采纳
1回答
我需要防止从网页加载图像，css文件，主题和脚本。在使用scrapy的基本抓取中 有什么方法可以从setting.py或其他网站上阻止他们吗？ 导入scrapy class MySpyder(scrapy.Spider):
name = 'Spiderr'
start_urls = [l.strip() for l in open("Archive").readlines()]
def parse(self,response):
tittle = response.xpath("/html/body/"
浏览 14提问于2020-08-14得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频活动推荐
腾讯云开发者
