通过使用GCSFilesStore和获取ImportError，让爬虫在Scrapy Cloud上存储文件
GCSFilesStore是Scrapy Cloud中的一个存储文件的组件，它可以将爬虫爬取的文件保存到Google Cloud Storage（GCS）中。GCS是Google提供的云存储服务，具有高可靠性、高可扩展性和低延迟的特点。
当爬虫在Scrapy Cloud上运行时，如果需要将爬取的文件保存到云端，可以使用GCSFilesStore。通过配置Scrapy的settings.py文件，将文件存储方式设置为GCSFilesStore，并提供GCS的相关配置信息，即可实现文件的存储。
使用GCSFilesStore的优势包括：
- 可靠性高：GCS具有数据冗余和自动错误检测修复功能，确保数据的安全性和可靠性。
- 可扩展性强：GCS可以根据需求自动扩展存储容量，无需担心存储空间不足的问题。
- 低延迟：GCS具有全球范围的数据中心，可以选择离用户最近的数据中心进行存储，提供低延迟的访问体验。
GCSFilesStore适用于以下场景：
- 爬虫需要将爬取的大量文件保存到云端进行备份或进一步处理。
- 需要在多个爬虫之间共享文件，例如多个爬虫需要访问同一个文件进行数据处理。
- 需要将爬取的文件与其他云服务进行集成，例如使用GCS中的文件作为输入进行机器学习模型训练。
推荐的腾讯云相关产品是对象存储（COS），它是腾讯云提供的一种高可靠、低成本的云存储服务。COS可以与Scrapy Cloud中的GCSFilesStore相类比，提供类似的文件存储功能。您可以通过腾讯云对象存储产品页面（https://cloud.tencent.com/product/cos）了解更多关于COS的信息和使用方式。
请注意，本回答中没有提及亚马逊AWS、Azure、阿里云、华为云、天翼云、GoDaddy、Namecheap、Google等流行的云计算品牌商，以遵守您的要求。
相关·内容
2回答
我不知道，然后出现了这个错误，但现在我不能运行任何Scrapy爬虫。
Traceback (most recent call last):
File "C:/Users/Eugene/Scrapy/Test/Test_news.py", line 37, in <module>
crawler.configure()
File "C:\Python27\lib\site-packages\scrapy\crawler.py", line 46, in configure
self.extensions = ExtensionM
浏览 0提问于2014-09-02得票数 0
我创建了一个带有几个管道步骤的Scrapy Crawler。爬虫是一个更大的框架的一部分，它需要爬虫返回一个解析的项目列表。
在Scrapy中，我实现了一个包含几个规范化步骤的管道。由于Scrapy是更大的框架的一部分-如果我可以在通过整个管道后将项目返回到爬虫和/或框架，那就太好了。有没有办法做到这一点？
例如一些伪代码
url = 'http://somewebsite.com'
crawler = MyCrawler(url)
# each parsed website passes each pipeline step and is yielded / returned
浏览 0提问于2013-12-05得票数 0
1回答
我正在使用scrapy构建一个爬虫，并在运行scrapyd的远程机器上运行它。我的爬行器很长很复杂，所以我把一些函数放在一个不同的文件def.py中。
我的项目看起来像这样
./
|-- my_project
| |-- __init__.py
| |-- items.py
| |-- pipelines.py
| |-- settings.py
| `-- spiders
| |-- __init__.py
| |-- spider.py
`-- scrapy.cfg
`-- def.py
我使用以下代码在爬行器中导入函数
from def.py
浏览 2提问于2015-08-04得票数 0
对于一个分类项目，我需要大约1000个网站的原始html内容。我只需要登录页面，而不是更多，所以爬虫不必遵循链接！我想为它使用scrapy，但我无法获得代码。因为我在文档中读到JSON文件首先存储在内存中，然后保存(这会在抓取大量页面时导致问题)，所以我想以“.js”格式保存文件。我使用Anaconda提示来执行我的代码。 我希望生成的文件有两列，一列是域名，另一列是每个站点上的raw_html内容 domain, html_raw
..., ...
..., ... 我找到了很多Spider的例子，但是我想不出怎么把所有的东西放在一起。这是我得到的结果:( 启动项目： scrapy s
浏览 10提问于2019-02-12得票数 0
回答已采纳
我在scrapy中开发了几个爬虫&我想在Heroku云上测试它们。有没有人知道如何在Heroku云上部署Scrapy spider？
浏览 1提问于2012-10-08得票数 11
回答已采纳
1回答
我有一个刮擦的爬虫，我想在我的爬虫中使用当地的图书馆。
下面是我的目录模型：
有两个重要文件db/base.py和/爬虫/蜘蛛/adilisik.py
这是base.py
from sqlalchemy import create_engine
from sqlalchemy.ext.declarative import declarative_base
from sqlalchemy.orm import sessionmaker
Base = declarative_base()
engine = create_engine("mysql+pymysql://xxx:
浏览 1提问于2017-01-28得票数 1
有没有办法让爬虫在恢复之前暂停的抓取作业时登录到网站？
编辑:为了澄清，我的问题实际上是关于Scrapy爬虫，而不是一般的cookie。也许一个更好的问题是，当Scrapy爬虫在作业目录中被冻结后复活时，是否有任何方法被调用。
浏览 0提问于2012-05-09得票数 1
1回答
我一直在尝试让一个简单的爬虫与scrapy一起运行，但一直得到错误：
Could not find spider for domain:stackexchange.com
当我使用表达式scrapy-ctl.py crawl stackexchange.com运行代码时。蜘蛛如下所示：
from scrapy.spider import BaseSpider
from __future__ import absolute_import
class StackExchangeSpider(BaseSpider):
domain_name = "stackexchange.co
浏览 3提问于2010-05-22得票数 4
回答已采纳
我想建立一个网络爬虫与用户界面，允许用户输入一系列的零件编号，然后爬虫将挖掘约6网址的(制造商/供应商网站)，并拉回该零件的库存值和警报，如果它更新到1+ (通常情况下，我们正在寻找的零件坐在0库存数周)
我查看了Scrapy，并试图在我们的服务器上实现它，直到意识到它永远不会在我们通过HostGator使用的共享服务器上工作，因为他们不允许Python install或GCC。
下一个选择是使用Scrapy Cloud，但从我的阅读来看，每次需要抓取不同的部件号时，我都必须手动更新爬行器。
有没有办法(基于Windows应用程序或基于web应用程序)允许用户输入不同的零件号，将这些零件号发送
浏览 2提问于2019-03-21得票数 2
我是个新手，写了我的第一个爬虫，为类似的网站做了一个爬虫。
我想要抓取标题，然后导航到每篇文章，抓取每篇文章的文本内容。
我已经尝试使用规则和链接提取器，但它不能导航到下一页和提取。我得到错误:爬行器错误处理 (referer: None)
下面是我的代码
import scrapy
from scrapy.spiders import Rule
from scrapy.linkextractors import LinkExtractor
class MedicalSpider(scrapy.Spider):
name = 'medical'
allowe
浏览 1提问于2019-07-09得票数 1
1回答
我想在码头安装爬虫avec setuptools。
在我的scrapy.cfg文件中有：
[deploy=test]
url = http://localhost:6800/
project = Crawling
我用scrapyd-deploy -l测试
test http://localhost:6800/
在我的setup.py中，我从setuptools导入设置，find_packages
setup(
name = 'Crawling',
version = '1.0',
pa
浏览 3提问于2017-03-24得票数 1
回答已采纳
我使用scrapy创建一个项目，并在"spiders“文件夹中添加我自己的爬行器，比如"spider_us.py"，我想构建一个可在其他计算机上执行的可执行文件，而不需要安装scrapy。
当我按照py2exe的指示操作时，我在同一个文件夹中创建了一个新文件"Setup.py“，内容如下：
from distutils.core import setup
import py2exe
setup(console = ["spider_us.py"])
然而，它不起作用，因为当我运行我的爬虫时，我使用命令"scrapy crawl spid
浏览 1提问于2013-10-18得票数 6
我有刮刮爬虫通过网站。在某些情况下，刮擦会因为内存问题而导致自身死亡。我重写了蜘蛛，这样它就可以被分割并运行到一个站点。
在初次运行之后，我使用subprocess.Popen再次提交带有新开始项的抓取爬虫。
但我错了
ImportError: No module named shop.settingsTraceback (most recent call last): File "/home/kumar/envs/ishop/bin/scrapy", line 4, in <module> execute() File "/home/kumar/env
浏览 5提问于2015-01-01得票数 4
回答已采纳
刚开始做一个差劲的项目。我使用以下命令创建了一个新的scrapy项目：
scrapy startproject <projectname>
在爬虫文件夹中，我正在创建我的scrapy类，它包含了抓取数据的所有逻辑。我正在使用Scrapy Shell进行测试。
当我创建第一个爬虫时，scrapy shell运行得很好。但在创建第二个爬虫时，scrapy shell不起作用。使用以下命令调用scrapy shell：
scrapy shell <url>
我看到了以下几点：
[s] Useful shortcuts:
[s] fetch(url[, redirect=
浏览 2提问于2020-04-08得票数 1
1回答
这是我的shell脚本
#!/bin/bash
crawlers(){
nohup scrapy crawl a &
nohup scrapy crawl b &
wait $!
nohup scrapy crawl f &
nohup scrapy crawl g &
wait $!
nohup scrapy crawl h &
nohup scrapy crawl i &
wait $!
nohup scrapy crawl i &
nohup
浏览 2提问于2012-11-03得票数 2
回答已采纳
1回答
因此，我正在做以下项目：
我正在使用Django开发一个网站，将作为一个网络爬虫的远程管理工作。更具体地说，我用Scrapy创建了一个蜘蛛，可以从另一个网站下载一些PDF文件。
我的目标是找到一种通过POST (我猜)请求调用爬行器的方法，并让爬虫在我的Django视图中运行。下载的文件将存储到运行网站的服务器上，而不是存储到运行爬行器的任何人的个人计算机上。
因此，当我登录到我的网站并按下Crawl按钮时，新文件被下载到服务器的文件库中。
我是Django和Scrapy的新手，所以我不知道如何让它们协同工作来实现我正在寻找的目标，有人能为我指引方向吗？
我已经看到了一些关于通过其他Scrap
浏览 0提问于2017-08-16得票数 2
2回答
我正在尝试将废弃数据保存到json文件中。我已经使用scrapy从web上删除了数据。
这是我的爬虫代码。
import scrapy
import json
class QuotesSpider(scrapy.Spider):
name = 'quotes'
allowed_domains = ['quotes.toscrape.com/page/1/']
start_urls = ['http://quotes.toscrape.com/page/1//']
def parse(self, response
浏览 0提问于2018-07-05得票数 0
当scrapy关闭时，它会忘记所有的urls。我想给scrapy一组网址，已抓取，当它是开始。如何向爬虫添加规则，让爬虫知道哪些urls被访问过？
当前函数：
SgmlLinkExtractor(allow=(), deny=(), allow_domains=(), deny_domains=(), restrict_xpaths(), tags=('a', 'area'), attrs=('href'), canonicalize=True, unique=True, process_value=None)
只需使用parse告诉爬虫抓取哪个
浏览 0提问于2012-11-28得票数 3
我想知道从另一个python脚本运行爬虫的最好方法是什么。我的scrapy项目由4个不同的爬虫组成，它们都创建了帮助其他蜘蛛工作的文件，其中一些必须读取一些文件才能工作。这部分已经完成了，但是是单独的(独立于控制台运行爬行器)。 例如，我如何才能做这样的事情？ if (productToSearchIsBlue):
#Make one spider crawl
else:
#Make another spider crawl 我的最终计划是将完整的程序上传到云上，并让它自动运行，这能做到吗？ 我找到了这个问题的一些答案，但它们太老了，可能是另一个版本的scrapy。
浏览 8提问于2019-02-05得票数 0
回答已采纳
我已经基于scrapy文档做了一个非常简单的尝试，用CrawlerProcess让爬虫从一个文件中运行。代码如下：
import scrapy
from scrapy.crawler import CrawlerProcess
class BaseSpider(scrapy.Spider):
def common_parse(self, response):
yield {
'test': response.css("title::text").extract()
}
class MonoprixSpider(
浏览 0提问于2018-11-02得票数 0
1回答
我做了一个简单的抓取我所在城市房价广告的Scrapy爬虫。
它收集以下数据:广告标题、价格和URL。然后输出CSV文件。
每周我运行爬虫程序，我想让它将最新的CSV文件与之前的文件进行比较，以检查是否有广告被删除。如果有，我希望在CSV文件输出的最后一列中包含今天的日期。
我不知道这是否可以用CSV文件来完成，或者这项工作是否需要一个数据库。我也不知道是否需要创建一个项目管道。
这是我目前的爬虫代码。
import scrapy
class ExampleSpider(scrapy.Spider):
name = 'example'
start_urls
浏览 9提问于2017-02-22得票数 2
回答已采纳
4回答
我在用Scrapy写爬虫。我已经造了一个爬虫，它工作得很好。
现在我想创建自己的模块，但我总是收到以下错误：
文件"D:\Projects\bitbucket\terranoha\crawl1\crawl1\spiders\samplecrawler.py"，第4行，在导入模块中
ModuleNotFoundError:没有名为“模块测试”的模块
守则是：
from scrapy.spiders import CrawlSpider, Rule
from scrapy.linkextractors import LinkExtractor
import modulete
浏览 0提问于2018-12-20得票数 3
2回答
我想让一个抓取爬虫在芹菜任务工人内部不断运行，可能使用。或者，正如所建议的，这个想法是使用爬虫程序来查询返回XML响应的外部API。我希望将我想要查询的URL (或查询参数并让crawler构建URL)传递给crawler，crawler将进行URL调用，并将提取的项返回给我。一旦爬虫程序开始运行，我如何将我想要获取的这个新URL传递给爬虫程序。我不想在每次想要给爬虫一个新的URL时都重新启动爬虫，而是希望爬虫无所事事地等待URL爬行。
我发现的在另一个python进程中运行scrapy的两个方法使用一个新进程来运行爬虫程序。我不希望每次我想要抓取一个URL时，都必须派生和拆卸一个新的进程，因
浏览 0提问于2013-05-23得票数 2
我怎么能连续运行两个爬虫呢？运行此命令将运行第一个爬行器，但不运行第二个爬行器。有没有办法等一个人完成？：
from scrapy import cmdline
cmdline.execute("scrapy crawl spider1".split())
cmdline.execute("scrapy crawl spider2".split())
Edit1:我使用.wait()将其更改为：
spider1 = subprocess.Popen(cmdline.execute("scrapy crawl spider1".split())
浏览 1提问于2015-05-22得票数 0
我正在尝试从安装在USB棒上的WinPython上运行一个抓取网络爬虫，这样爬虫就可以在任何windows计算机上使用，而不需要在桌面上安装python。
我已经安装了WinPython (32位，2.7.6.4)，并使用pip安装了除pyOpenSSL之外的所有依赖包--为此我下载了二进制文件。在那之后，我安装了scrapy。但是，每当我在命令提示符中键入scrapy时，都会出现一条错误消息：
'scrapy' is not recognized as an internal or external command, operable program or batch fil
浏览 1提问于2014-07-20得票数 2
当使用scrapy的ImagesPipeline下载图片时，我已经设置了保存路径，但是我仍然会在保存路径中为我创建一个新的完整文件夹。我不想让它为我创造一个完整的。我怎么才能把它关起来？我在scrapy的settings.py中设置了图像存储的路径。
IMAGES_STORE ='F:/test/exp'
当我的爬虫爬行数据时，图像保存在‘F:/test/exp/full’的路径中。我不想让我的程序为我创建这个“完整”文件夹。但是直接保存在我设置的路径中
浏览 1提问于2018-10-23得票数 0
回答已采纳
3回答
这是我在这里的第一个问题，我正在学习如何自己编写代码，所以请耐心等待。
我正在做一个最终的CS50项目，我试图建立一个网站，聚合从edx.org和其他开放的在线堂兄弟网站可能在线西班牙语课程。我正在使用scrapy框架在edx.org上删除西班牙语课程的过滤结果...这是我的第一个抓取爬虫，我试图在每个课程链接中获取它的名称(在我获得正确的代码后，还可以获得描述、课程url和更多内容)。
from scrapy.item import Field, Item
from scrapy.spiders import CrawlSpider, Rule
from scrapy.linkextract
浏览 52提问于2018-01-03得票数 3
我试图用Scrapy从网站中提取json数据，但我遇到了一些问题，比如当我运行我的爬行器时，没有给出错误，并且说爬行了0个页面。我还使用该命令将de输出存储到json文件中，以查看输出。
下面的代码是我的爬虫：
import scrapy
class WineSpider(scrapy.Spider):
name = "SpidyWine"
i = 0
url = 'https://maiscarrinho.com/api/search?q=vinho&pageNumber=%s&pageSize=10'
start_urls = [url %
浏览 1提问于2016-11-05得票数 1
我是python 2.7 & Scrapy的新手，当从命令行运行"scrapy爬虫螺旋桨$“时会收到以下错误。我认为这是一个简单的解决办法，因此，任何帮助都是非常感谢的！
错误信息：
File"C:\Anaconda2\propub\propub\spiders\propub_spider.py", line 4, in <module>
from propub.items import propubItem
ImportError: cannot import name propubItem
items.py
import scrapy
浏览 3提问于2015-03-25得票数 1
回答已采纳
我一直在尝试使用Scrapy进行网络抓取，我对从Whatsapp上的所有聊天记录中检索所有文本消息作为机器学习项目的训练数据很感兴趣。我知道有些网站会屏蔽网络爬虫/爬虫，所以我想知道是否可以使用Scrapy来获取这些消息，如果不可能，我可以使用哪些替代方案？我知道我可以为每次聊天点击“电子邮件聊天”选项，但如果我想要获得大量数据，而不仅仅是从我自己的聊天中，而且从其他愿意让我在项目中使用他们的聊天内容的人那里，这可能是不可行的。
浏览 3提问于2018-06-09得票数 6
回答已采纳
我正在使用scrapy 1.5，并试图通过python脚本以编程方式运行scrapy爬虫进程。作为其中的一部分，我需要导入爬虫设置并覆盖它的一些参数。 我发现这个import语句做了我需要的事情： from scrapy.conf import settings 问题是，这是可行的，但也会产生以下弃用警告： ScrapyDeprecationWarning: Module `scrapy.conf` is deprecated, use `crawler.settings` attribute instead 所以我猜这是针对某个老版本的。按照警告，我试图访问scrapy.crawler.s
浏览 346提问于2019-02-16得票数 0
回答已采纳
3回答
我刚刚安装了scrapy，并遵循了他们的简单dmoz ，它可以工作。我只是查找了python的基本文件处理，并试图让爬虫从文件中读取URL列表，但得到了一些错误。这可能是错误的，但我尝试了一下。有没有人能给我举个例子，把URL列表读成scrapy？提前谢谢。
from scrapy.spider import BaseSpider
class DmozSpider(BaseSpider):
name = "dmoz"
allowed_domains = ["dmoz.org"]
f = open("urls.txt")
浏览 0提问于2011-12-05得票数 14
回答已采纳
5回答
嗨，我在scrapy上工作，我用scrapy startproject example创建了一个scrapy文件夹，并编写了爬行器来抓取url中的所有数据，我已经使用scrapy crawl spider_name命令运行了爬行器，它工作得很好，能够提取数据。
但是我有一个要求，我需要用创建的单个爬虫文件运行scrapy，我的意思是单个py文件，类似于
python -u /path/to/spider_file_inside_scrapy_folder_created.py
在创建包含spider.py文件的scrapy项目文件夹后，是否可以在没有scrapy crawl命令的情况下运行爬行
浏览 1提问于2012-09-29得票数 8
回答已采纳
当我的Scrapy爬虫完成后，我想自动再次启动相同的爬虫。这可以通过Scrapy函数来完成吗?或者我是否必须使用Cronjob，例如crontab？
浏览 3提问于2013-10-23得票数 1
我只是试着在我工作时运行Windows XP的PC上安装和运行scrapy。
如果我运行scrapy startproject myproject，我会得到以下错误：
ImportError: No module named w3lib.html
Wining:在windows XP上运行Python / Scrapy真的很麻烦。在linux上，我只需要运行pip install Scrapy就可以了，哈哈。
浏览 2提问于2011-11-28得票数 3
回答已采纳
我试着运行多个爬虫，就像中说的那样。脚本是通过调用scrapy crawl crawler运行的。
现在，通过python crawler.py调用它，我得到了以下错误：
从crawler.items导入LinkItem
ModuleNotFoundError:没有名为“爬行器”的模块；“爬虫”不是一个包
import scrapy
from scrapy.spiders import CrawlSpider, Rule
from scrapy.linkextractors import LinkExtractor
from scrapy.crawler import CrawlerP
浏览 3提问于2017-09-28得票数 1
回答已采纳
我有一个刮刮蜘蛛配置，以获取一些网站的数据。我已经在php和html中开发了一个ui，以显示在运行scrapy命令时从正在生成的json文件中获取被刮掉的data.this数据。iam使用ampps来运行php。实际上，我的php代码如下所示
$output= shell_exec('cd /home/testuser/Desktop/scrapy_tutorial/ && scrapy crawl example -o example.json 2>&1');
print_r($output);
我得到的结果是'scrapy命令找不到‘。
浏览 0提问于2019-03-21得票数 1
回答已采纳
1回答
我正在使用scrapy报废一些页面，但是每当我尝试启动爬虫时，它都会停止并出现以下错误。
from OpenSSL._util import lib as pyOpenSSLlib
ImportError: No module named _util
我已经安装了pyopenssl v13.1。此外，还会执行brew link openssl。如果我遗漏了什么，请告诉我。
操作系统- Mac OS High Sierra Python - V2.7 PIP - 10.1
浏览 0提问于2018-05-03得票数 2
我有一个蜘蛛文件dmoz_spider.py，它的结论是：
from scrapy.spider import Spider
from scrapy.selector import Selector
from dmoz.items import DmozItem
class DmozSpider(Spider):
name = "dmoz"
allowed_domains = ["m.timesofindia.com"]
start_urls = ["http://m.time
浏览 1提问于2014-02-04得票数 2
回答已采纳
我正在尝试使用scrapy构建一个刮板，我计划使用deltafetch来启用增量刷新，但我需要解析基于javascript的页面，这也是我需要使用splash的原因。在settings.py文件中，我们需要添加SPIDER_MIDDLEWARES = {'scrapylib.deltafetch.DeltaFetch': 100,} for enabling deltafetch whereas, we need to add SPIDER_MIDDLEWARES = {'scrapy_splash.SplashDeduplicateArgsMiddleware
浏览 2提问于2018-03-15得票数 0
1回答
我试图在Ubuntu上使用crontab运行python爬虫，但是我得到了以下错误消息：
Traceback (most recent call last):
File "/usr/bin/scrapy", line 9, in <module>
load_entry_point('Scrapy==1.0.3', 'console_scripts', 'scrapy')()
File "/usr/lib/python2.7/dist-packages/scrapy/cmdline.py"
浏览 2提问于2016-10-07得票数 0
回答已采纳
1回答
我用python中的scrapy框架编写了一个爬虫来选择一些链接和元tags.It，然后爬行起始urls，并将数据以JSON编码的格式写入到file.The上。问题是，当爬虫使用相同的起始urls运行两三次时，文件中的数据会被复制.To避免这一点我使用了scrapy中的一个下载中间件，即：
我所做的是将上面的代码复制并粘贴到我的scrapy项目中的一个文件中，并通过添加以下行在settings.py文件中启用它：
SPIDER_MIDDLEWARES = {'a11ypi.removeDuplicates.IgnoreVisitedItems':560}
其中"a11
浏览 1提问于2011-04-05得票数 2
我是一名python新手，也是一名新手，正在尝试学习一些python，并且主要是学习它。我已经设法做了一些简单的刮板，但现在我正在做一个更高级的脚本。
对于csv文件，我尝试一列一列地读取列，对于列中的每个值，我都会将该值发布到一个read表单中。
我在stackoverflow上发现了一个脚本，它确实可以做到这一点，但是我不能让它帮我抓取任何东西，因为我不理解所有这些，所以我也很难让我的主爬虫正常工作。
爬虫爬行，但它对提要导出返回的唯一内容是一个"[“
下面是较旧的线程
以下是爬行器的代码。
import csv
from scrapy.item import Item, Fiel
浏览 3提问于2013-08-18得票数 1
我是Scrapy的新手，我想做的是做一个爬虫，它只会跟踪给定start_urls上的HTML元素中的链接
举个例子，假设我只想让一个爬虫程序遍历start_urls设置为的AirBnB清单
我不想抓取URL中的所有链接，而是只想抓取xpath中的链接
目前，我正在使用以下代码来抓取所有的链接，我如何才能使其仅抓取//*[@id="results"]
from scrapy.selector import HtmlXPathSelector
from tutorial.items import DmozItem
from scrapy.contrib.sp
浏览 0提问于2012-12-25得票数 6
回答已采纳
有两个爬虫使用相同的资源文件和几乎相同的结构。 spiderA包含： import scrapy
import pkgutil
class StockSpider(scrapy.Spider):
name = "spiderA"
data = pkgutil.get_data("tutorial", "resources/webs.txt")
data = data.decode()
urls = data.split("\r\n")
start_urls = [url + "s
浏览 15提问于2019-03-17得票数 4
回答已采纳
我对分布式scrapy爬虫是个新手，但是我发现了scrapy-redis并且一直在使用它。我在一个覆盆子pi上使用它来抓取大量我推送到redis的URL。我所做的就是在Pi中创建多个SSH会话，然后运行scrapy crawl myspider让爬行器“等待”。然后我启动另一个SSH并执行redis-cli lpush "my links“。然后爬虫运行，尽管我不确定它们实际运行的并发程度。
我希望这是清楚的，如果没有，请让我知道，我可以澄清。我真的只是在寻找在实现这个基本版本的scrapy-redis之后的“下一步”。
编辑:我是从这个答案开始的。回答者说他用scrapy-redis
浏览 0提问于2020-07-31得票数 0
1回答
所以我试着用刮伤来做我的第一个爬虫，到目前为止一切都很顺利，但是由于某些原因，我无法让我的爬虫输出到一个csv文件。
它创建文件，但是当我关闭命令提示符以停止爬虫，然后打开它创建的文件时，文件是空的.
有人能看到我可能做错了什么吗?为什么没有任何东西被写入文件？
我试图从维基百科获得一个标题和图像网址的列表。
class WikispyderSpider(CrawlSpider):
name = "wikiSpyder"
custom_settings = {
'ROBOTSTXT_OBEY': False,
&
浏览 1提问于2017-04-05得票数 1
我想建立一个基于Scrapy的网络爬虫，从几个新闻门户网站抓取新闻图片。我想让这个爬虫：
永远跑
这意味着它将定期重新访问一些门户页面，以获得更新。
安排优先次序。
对不同类型的URL给予不同的优先级。
多线程取料
我读过Scrapy文档，但没有发现与我列出的内容相关的东西(也许我不够小心)。这里有人知道怎么做吗？或者给出一些想法/例子。谢谢!
浏览 8提问于2010-02-28得票数 11
回答已采纳
1回答
日安！向您展示如何从scrapy运行脚本，scrapy位于项目的根目录中，如果spider文件夹位于其他位置。这两本手册我都看不懂，或者只有关于启动脚本爬虫的描述。
对不起，我的英语做得不好，所以能听不懂的东西。提前谢谢你。
浏览 0提问于2016-11-14得票数 0
1回答
Python3抓取网爬虫
、、、、
对于我的工作，我必须写一个爬虫，它只保存页面的标题，交付状态和产品的数量。
以下是我的默认蜘蛛代码：
import scrapy
class QuotesSpider(scrapy.Spider):
name = "quotes"
def start_requests(self):
urls = [
'https://www.topart-online.com/de/Ahorn-japan.%2C-70cm%2C--36-Blaetter----Herbst/c-KAT282/a-150001HE'
浏览 2提问于2020-07-20得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频活动推荐
腾讯云开发者
