回答情况：
提问时间：
问题标签：
我试着运行多个爬虫，就像中说的那样。脚本是通过调用scrapy crawl crawler运行的。现在，通过python crawler.py调用它，我得到了以下错误：
ModuleNotFoundError:没有名为“爬行器”的模块；“爬虫”不是一个包import scrapyfrom scrapy.linkextractors import LinkExtractor我的项目叫
浏览 3修改于2020-06-20得票数 1
回答已采纳
我有一个利用代理的网络爬虫。我有一个脚本，它生成一个包含100个有效代理的列表，然后在settings.py中将该列表设置为代理源。我的问题是，目前我手动运行一个生成该文件的脚本，然后运行爬虫。我不想在运行爬虫之前手动运行这个脚本，因为我希望它是独立包含的。ROTATING_PROXY_LIST_PATH = 'C:\\Users\\cmdan\\Desktop\\Spiders\\Michael Mitarotonda\\proxies.txt'
浏览 3提问于2021-03-23得票数 0
回答已采纳
/crawlers/myproject/myproject/spiders./crawlers/myproject/myproject/spiders/example.py./crawlers&#
浏览 1修改于2017-05-23得票数 2
回答已采纳
我正在使用django开始抓取抓取spiders = scrapyd.list_spiders("default") scrapyd.schedule("default", spider, list_id=list.id, spiders_number=3)
我可以基于list_id连接所有
浏览 1修改于2020-03-26得票数 0
我在用Scrapy写爬虫。我已经造了一个爬虫，它工作得很好。现在我想创建自己的模块，但我总是收到以下错误：
ModuleNotFoundError:没有名为“模块测试”的模块
from scrapy.spiders import CrawlSpider, Rule
from
浏览 0修改于2018-12-20得票数 3
1回答
当我在一个循环中运行多个爬虫时，我想要跟踪有多少个爬虫。我尝试的是使用信号，但我的爬虫似乎找不到它的范围以外的其他模块。我想做的是注册爬行是在另一个脚本中完成的，例如通过传递/更新一个变量。示例代码(简写版本-解释问题)：isWikipediaDone = False process.crawl(file)
浏览 1提问于2017-03-29得票数 2
回答已采纳
当用户提出请求时，我正在尝试运行django项目中的刮取蜘蛛，因此我目前正在测试来自的代码，以便从脚本中运行蜘蛛。当我试图从蜘蛛文件导入函数来运行爬虫进程时，我会得到一个导入错误。这是我所用的声明：带有测试文件的文件
UPDATE I能够让爬行器从脚本中运行；但是，我现在正在从条目模块的
浏览 0修改于2015-07-21得票数 0
回答已采纳
我有以下网络爬虫脚本是正确的工作，我需要的是一个集成身份验证或在每个请求发送cookies的方式from scrapy.spiders import CrawlSpider
浏览 1提问于2021-06-01得票数 1
URL列表(Scrapy work )C:\Python27\Scripts\GetAdUrlsFromIndex_project\GetAdUrlsFromIndex\spiders\GetAdUrls_spider.py ( "GetAdUrls_spider“文件中蜘蛛的名称是(name = "getadurls"))C:\Website_DATA\SCRIPTS\StepByStepLauncher.py
我尝试使用Scrapy文档导入<
浏览 5提问于2013-07-28得票数 2
回答已采纳
我使用scrapy创建一个项目，并在"spiders“文件夹中添加我自己的爬行器，比如"spider_us.py"，我想构建一个可在其他计算机上执行的可执行文件，而不需要安装scrapy。from distutils.core import setup然而，它不起作用，因为当我运行我的爬虫时，我使用命令"scrapy crawl spider_us“，而不是直接运行”爬虫“文件夹中的
浏览 1修改于2013-10-18得票数 6
我已经制作了一个Scrapy爬行器，可以从位于项目根目录的脚本中成功运行。由于我需要从同一脚本运行来自不同项目的多个爬虫(这将是一个django应用程序根据用户的请求调用脚本)，因此我将脚本从其中一个项目的根目录移动到父目录。下面我还有运行蜘蛛的脚本代码，谢谢。from ticket_city_scraper.ticket_city_scraper import *
from ticket_city_scraper.ticket_city_scraper.spiders
浏览 2提问于2015-07-28得票数 15
self.site_name = kw.get('site_name')
#our rest part of code from scrapy.utils.project import get_project_settings
all_spiders= ['spider1','spider2','sp
浏览 27提问于2018-09-07得票数 0
在"productsinfamily“页面中列出了特定的产品(可能在一个java脚本中)。我的爬虫无法访问这些单独的产品页面。下面是爬虫蜘蛛的代码-from scrapy.spiders import CrawlSpider, Rule
from scrapy.linkextractors import
浏览 5修改于2018-01-28得票数 0
我有一个刮擦的爬虫，我想在我的爬虫中使用当地的图书馆。下面是我的目录模型：有两个重要文件db/base.py和/爬虫/蜘蛛/adilisik.pyfrom sqlalchemy import create_engine from crawler.db.base import BaseCould not load spid
浏览 1修改于2017-05-23得票数 1
我有一个运行多个Python爬虫实例的脚本，Crawler是int /root/crawler/batchscript.py爬虫工作得很好。scrapy.settings import Settingsfrom amazon_crawler.spiders.amazon_scrape
浏览 3提问于2016-11-17得票数 0
回答已采纳
“替罪羊”、“爬虫”和“蜘蛛”这几个词令人困惑。例如scrapy.crawler有人能在Scrapy的背景下解释这些术语的含义和差异吗？提前谢谢。
浏览 3提问于2015-12-14得票数 11
回答已采纳
1回答
我使用Scrapy抓取不同的网站，但实际上我的脚本跟踪每个网站，并添加到数据库的域名和后，我用PHP脚本检查过期的域名。在将域名添加到数据库之前，如何直接检查域名是否过期？我的爬虫：
from scrapy.spiders import CrawlSpider
浏览 0提问于2016-03-07得票数 3
我已经写了爬虫代码，它工作得很好。我还有一些其他的python代码文件来优化抓取的数据。问题是，批处理脚本在"Scrapy Crawl“命令的末尾停止，并且不会继续执行批处理文件中后面的行。我该如何解决这个问题？批处理文件的内容：scrapy crawl mySpider -o outputData.json -t json
python refineData.py
浏览 1提问于2013-05-09得票数 1
回答已采纳
目前，这是我的运行脚本：from scrapy.crawler import Crawlerfrom CSTest.spiders.CStest import MySpider我需要以某种方式检测一个爬虫</e
浏览 2提问于2014-11-28得票数 4
Python-urllib/2.7"
正如你所看到的，虽然我在project/ spiders / folder中写了3个爬虫，但是得到的爬虫</em
浏览 2修改于2017-06-04得票数 5
回答已采纳
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号