我对Scrapy非常陌生(实际上这是我第一次使用它)。我正在解析一个包含所有电视节目演员的页面，并试图为每个演员收集一些仅存在于该演员个人页面中的信息。下面是我的parse函数的一个片段： . .
'imdb_link'
浏览 18提问于2017-01-09得票数 1
2回答
遇到了一个我要解析网站的情况。每个站点都必须有自己的“解析器”，并可能有自己的处理cookies/等的方式。
我在试着进入我的大脑，这将是一个更好的选择。选择一:我可以创建一个多处理函数，其中( masterspawn )应用程序获取一个输入url，然后它跨越masterspawn应用程序中的一个进程/函数，该进程/函数随后处理页面&
浏览 0提问于2010-07-31得票数 1
1回答
不确定如何创建动态项目类：
不太确定我将在哪里使用文档中提供的代码。我会把它放在pipelines.py，items.py中，然后从爬行器的解析函数中调用它吗？或者调用scrapy spider的主脚本文件？
浏览 3提问于2015-04-14得票数 0
Scrapy为蜘蛛的scrapy.http.Request属性中的每个URL创建对象，并将蜘蛛的解析方法分配给它们作为回调函数。
def parse(self, response): raise NotImplementedError
有人能告诉我上面的函数</e
浏览 2提问于2013-05-24得票数 0
回答已采纳
我在一个有嵌套页面的网站上练习scrapy，我只需要抓取最里面的页面内容，但是有没有一种方法可以把数据从解析函数带到主解析函数，使用许多解析函数打开页面，但只从最后一个解析函数中获取项目，并继续到主解析函数以下是我尝试过的方法 import scrapy
from urlparse i
浏览 2提问于2017-05-03得票数 0
我尝试从主解析函数中调用getNext()函数，这个解析函数调用起来很费劲，但是它从未被调用过。class BlogSpider(scrapy.Spider): nextUrl = myDb.getNextUrl() yield <
浏览 2提问于2017-06-19得票数 3
回答已采纳
我试着用Scrapy做递归解析脚本，但是Request()函数没有调用回调函数Scrapy，也没有回调suppose_to_parse()中提供的任何函数。我尝试了不同的变体，但它们都不起作用。from scrapy.http import Requestfrom scrapy.selec
浏览 0提问于2013-03-23得票数 3
回答已采纳
1回答
我遇到了一个关于编写代码来确定C++中未使用的函数的问题。我们可以使用不同的数据结构来确定未使用的函数。但在此之前，我们需要解析代码。我有一个与解析部分相关的问题，我们如何区分函数声明和定义以及函数调用？，而定义部分与声明和调用略有不同。除了上述场景之外，还
浏览 1提问于2012-07-16得票数 1
回答已采纳
2回答
刮伤机构或规则不起作用
、、、
我一直试图让Scrapy的链接提取器工作，但没有结果。我想要它找到任何链接，然后调用一个不同的方法，它只是打印出一些东西，以表明它是有效的。这是我的蜘蛛from scrapy.linkextractors import LinkExtractor当我使用命令“”运行蜘蛛时:我得到了“解析！”，所以它只属于解析
浏览 8提问于2017-08-01得票数 0
回答已采纳
1回答
新刮刮，只是想弄清楚，看看我是否可以用它刮我正在读的网络系列，这样我就可以在去学校的路上离线阅读，我也想不出如何纠正这个我一直在犯的错误。TypeError: parse_wordpress()缺少一个必需的位置参数：“响应”
from scrapy.spiders import CrawlSpider, Rule
from scrapy</e
浏览 0提问于2019-03-17得票数 2
我用Scrapy来刮一些在认证屏幕后面的金子。该网站使用ASP.net和ASP的一些愚蠢的隐藏字段随处可见(如__VIEWSTATE，__EVENTTARGET)。当我调用FormRequest.from_response(response,...时，我希望它会自动从响应中读取这些隐藏字段，并将它们填充到formdata字典中--这就是文档说它应该做的。
浏览 2提问于2014-05-10得票数 6
回答已采纳
我试图让我的爬虫爬到下一页，所以我写了这个函数： print(hrefPath) yield scrapy.Request(url, callback=self.parse)
它甚至没有打印变量hrefPath，所以我怀疑函数没有被调用，尽管我
浏览 1提问于2016-11-17得票数 0
回答已采纳
1回答
刮痕不能返回项目时，使用产量？
、、、、
我将尝试抽象我的代码，因为它有点大。 yield scrapy.Requestabsolute_next_page_url, callback=self.parse_thread_next_pages,meta={'myitem': myitem})问题是，当我做scr
浏览 2提问于2020-06-10得票数 0
回答已采纳
1回答
Win32API函数LookupAccountSID()允许解析与SID对应的名称。根据文档：
LookupAccountSid函数试图通过首先检查众所周知的SID列表来查找指定SID的名称。如果提供的SID与众所周知的SID不对应，则函数将检查内置和管理上定义的本地帐户。接下来，函数检查主域。主域未识别的安全标识符将与与其S
浏览 1提问于2016-11-08得票数 0
我正在使用Python第二版阅读Web抓取，并希望使用Scrapy模块从网页中抓取信息。
传入ur
浏览 4提问于2020-07-04得票数 0
回答已采纳
1回答
由于我需要使用多个URL和域，所以我试图将解析作为一个中心中心来收集来自其他解析函数的数据，但我似乎无法将所有数据返回到一个字典中。下面是我试图做的事情的一个例子： request_1 = scrapy.Request(domain_1_url, callback = parse或者，是否有更好的方法来实现它，比如将所有的东西都抛到管道中，然后让这个句柄将
浏览 1提问于2017-07-11得票数 0
回答已采纳
2回答
我有一个网站，我想找到一个有关职位空缺信息的网页。通常只有一页有这样的信息。所以我开始爬行网站，我设法使所有的网页达到一定的深度。它起作用了。但它们被复制了很多次。而不是45页，我得到1000页。原因是每次我调用我的“解析”函数时，它都会在某个网页上解析所有的网页。所以当我进入一个新的网页时，它会抓取所有的网页，其中一些以前已经被抓取过了。1)我试图从解析函数中生成"items=[]“列表
浏览 4提问于2015-08-12得票数 1
回答已采纳
1回答
下面是我目前使用的代码。我设法登录(当我调用"open_in_browser“函数时，我看到我已经登录了)。我还设法“点击”了"parse2“部分中网站上的第一个按钮(如果我在解析2之后调用"open_in_browser”，我会看到网站顶部的导航栏已经变得更深了。)现在的主要问题是"parse3“部分，因为我无法更深入地浏览另一个级别(或者我可以，但"open_in_browser”不再打开网站了--
浏览 0提问于2019-12-29得票数 0
2回答
我正在使用Scrapy，我想保存一些.svg图像从网页本地在我的电脑上。这些图像的url具有'__.com/svg/4/8/3/1425.svg‘(并且是一个完整的工作url，包括https )。我在我的items.py文件中定义了项：image_urls = scrapy.Field()
images = scrapy</
浏览 2提问于2020-08-27得票数 1
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
