我正在用scrapy，python 3.0构建这个爬虫。问题是，每当我使用规则时，它给出了一个错误“无效的语法”的定义parse_productPage。当我删除规则时，它不会抱怨，而且工作得很好。以下是代码from quo.items import QuoItem
from scrapy<
浏览 9提问于2017-06-23得票数 0
23回答
这是Windows 7和python 2.7我的蜘蛛位于caps\caps\spiders\campSpider.py我加入了这个项目，然后尝试运行我犯了一个错误，就是找不到蜘蛛。spider = self.crawler.spiders.create(spname, **opts.spargs)
浏览 6提问于2012-03-26得票数 43
回答已采纳
1回答
在中，OP说
在我的项目的蜘蛛文件夹中，我有两个蜘蛛，名为spider1和spider 2….Now在我的根项目文件夹中编写命令scrapy爬行spider1时，它调用spider2.py而不是spder1当我从我的项目中删除spider2.py时，它会调
浏览 3提问于2017-03-02得票数 0
回答已采纳
当我从命令行运行它时，我的刮取器工作得很好，但是当我试图在python脚本中运行它(使用使用Twisted的方法概述 )时，它不会输出它通常所做的两个CSV文件。我有一个创建和填充这些文件的管道，其中一个使用CsvItemExporter()，另一个使用writeCsvFile()。self.
浏览 3提问于2013-07-20得票数 6
回答已采纳
8回答
我是Scrapy的新手，我正在寻找一种从Python脚本运行它的方法。我找到了两个来源来解释这一点：
# This snippet can be used to run scrapy spiders independent of scrapyd or the scrapy commandat the top before other imports
f
浏览 0提问于2012-11-18得票数 82
1回答
可抓取的导出到单行
、、、
我在试着用scrapy把店铺的位置拼凑成csv。我捕获了正确的数据，但输出如下所示(以"name“字段为例)
import scrapy
name = 'xx_spider'
浏览 0提问于2020-06-02得票数 0
我试图抓取整个网站使用刮刮。根据scarpy的文件
因此，根据这个定义，scrapy应该遍历start_urls下提到的页面上的所有子url，但是它只爬行我指定的u
浏览 3提问于2014-10-29得票数 2
回答已采纳
5回答
嗨，我在scrapy上工作，我用scrapy startproject example创建了一个scrapy文件夹，并编写了爬行器来抓取url中的所有数据，我已经使用scrapy crawl spider_name命令运行了爬行器，它工作得很好，能够提取数据。但是我有一个要求，我需要用创建的单个爬虫文件运行scrapy，我的意思是单个py文件，类似于
python
浏览 1提问于2012-09-29得票数 8
回答已采纳
from scrapy.spiders import CrawlSpider
我试过“刮擦”的教程项目我在研究侏儒
浏览 11提问于2015-09-11得票数 1
我正在尝试将Scrapy限制为以下链接的特定XPath位置。XPath是正确的(根据chrome的Crawl Helper插件)，但是当我运行我的Crawl Spider时，我在我的规则中得到了一个语法错误。我的爬虫代码是：
from scrapy.contrib.spiders import CrawlSpi
浏览 0提问于2013-01-18得票数 1
回答已采纳
3回答
我已经实现了我自己的函数，用于排除包含某些单词的urls。然而，当我在我的parse方法中调用它时，Scrapy告诉我该函数没有定义，尽管它已经定义了。我没有使用规则对象，因为我从api中获得了我想要抓取的Urls。下面是我的设置： class IbmSpiderSpider(scrapy.Spider
浏览 24提问于2019-06-21得票数 2
回答已采纳
1回答
因此，基本上，我想从这个html中提取tr-mfgPartNumber类下的部分，但是有问题。
首先我认为这是我调用每个类的语法，但仍然没有输出。尝试添加另一个for循环，以转到整个body类，如果有人可以检查我的代码是否以im调用类的方式出现错误，那就太棒了！导入scrapy类DigiSpider(scrapy.Spider)：name = 'digi‘allowed_domains = 'digikey.com’start_urls =digik
浏览 4提问于2020-07-08得票数 0
回答已采纳
我有一个名为MyScrapers的项目，它的蜘蛛类使用以下导入语句：通往my_base_spider的路径是/home/myprojectset/mylibs/common/my_base_spider
在设置环境变量PYTHONPATH=$HOME/
浏览 14提问于2012-11-10得票数 3
回答已采纳
我试图使用CrawlerProcess同时运行多个Scrapy蜘蛛，但不确定文件结构。- pipelines.py - scrapy.cfgTraceback (most recent call last):
File "crawler.py", line 3, i
浏览 5提问于2020-04-28得票数 0
4回答
我需要创建一个用户可配置的网络蜘蛛/爬虫，我正在考虑使用Scrapy。但是，我不能硬编码域和允许的URL regex:es --这将在GUI中配置。如何(尽可能简单地)使用Scrapy创建一个爬行器或一组爬行器，其中域和允许的URL regex:es是动态可配置的？例如，我将配置写到一个文件中，然后爬行器以某种方式读取它。
浏览 2提问于2010-03-07得票数 12
回答已采纳
我正在尝试编写我的第一个抓取蜘蛛，我一直在上的教程，但我得到一个错误"KeyError：‘蜘蛛找不到：“│ ├── __init__.py└── scrapy.cfg
scrapy scra
浏览 2提问于2014-10-14得票数 6
回答已采纳
1回答
我一直在尝试让一个简单的爬虫与scrapy一起运行，但一直得到错误：当我使用表达式scrapy-ctl.pycrawl stackexchange.com运行代码时。当我在eclipse中运行这段代码时，我得到以下错误
Traceback (most recen
浏览 3提问于2010-05-22得票数 4
回答已采纳
2回答
我有一个网站，我想找到一个有关职位空缺信息的网页。通常只有一页有这样的信息。所以我开始爬行网站，我设法使所有的网页达到一定的深度。它起作用了。但它们被复制了很多次。而不是45页，我得到1000页。原因是每次我调用我的“解析”函数时，它都会在某个网页上解析所有的网页。所以当我进入一个新的网页时，它会抓取所有的网页，其中一些以前已经被抓取过了。1)我试图从解析函数中生成"it
浏览 4提问于2015-08-12得票数 1
回答已采纳
我试图从消息队列中抓取一个URL，然后刮掉那个URL。我让循环进行得很好，并从队列中获取url，但是一旦它有了URL，它就永远不会进入parse()方法，它只是继续循环(尽管我已经从队列中删除了它.)当它在终端中运行时，如果我CTRL+C并强制它结束，它将进入parse()方法并爬行页面，然后结束。我不知道这里出了什么问题。class my_Spider(Spider):
name = "m
浏览 1提问于2016-06-12得票数 1
回答已采纳
1回答
当我运行以下代码时： import scrapy 'USER_AGENT': 'Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1)'
test_spider</e
浏览 6提问于2019-06-10得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
