我正在尝试对这个特定的IMDB标题进行审查。但是由于某些原因，start_request并没有单独为这个标题调用解析函数。对于另一个标题，它似乎是有效的。代码示例： name = 'imdb' def start_requests(self):
c=(
浏览 12提问于2021-02-25得票数 0
我有一个刮板，在调用http请求和解析之前，我想检查url。url可能是None，因为它是调用的输入arg： # url as input to system if url:yield scrapy.Request(url, callback=self.parse)
从文档中，start_request函数必须返回
浏览 1提问于2022-10-31得票数 0
在过去的几个小时里，我一直在研究这个问题，但是我不知道我做错了什么。当我使用scrapy中的选择器运行xpath状态时，该语句将按预期工作。然而，当我试图在我的蜘蛛中使用相同的语句时，我会得到一个空集。有人知道我做错了什么吗？from scrapy.spider import Spider
from scrapy.selecto
浏览 6提问于2014-02-19得票数 1
回答已采纳
我有一个关于Python的问题，我希望这个问题能得到纠正。我不是要被调羹，但是任何建议都会非常有帮助。到目前为止，这是我的代码(不是我的，稍后我会给出信用并链接原始页面)。这是非常混乱的，
浏览 3提问于2016-10-01得票数 0
1回答
这是我的第一个蜘蛛密码。当我在cmd中执行这段代码时。日志显示urls甚至没有被爬行，并且其中没有调试消息。在任何地方都找不到解决这个问题的办法。我不明白是怎么回事。有人能帮我做这个吗。我的代码： name = "quotes_spider"
d
浏览 1提问于2021-06-19得票数 1
回答已采纳
2回答
要刮除的站点有多个具有多个页面的项目，并且需要登录。我试过： return [scrapy.FormRequest(, callback=self.logged_in)]
这将导致所有页面 of one项目(登录成功)，但随后就停止了。如果函数return scrapy.Reque
浏览 6提问于2016-03-11得票数 1
在蜘蛛中，我只想请求只有一个规则的URL。
name = 'exmple.com'
start_urls = [www.example.com/bread/coffee
浏览 1提问于2020-07-09得票数 0
我有一个蜘蛛，每天抓取网站与数十万页。页面本身在发布后很少发生变化，但它们会一直被删除/添加。大多数页面的活动时间只有几周或几个月。因此，我希望在页面已经被爬行一次之后停止爬行页面，而只是在站点地图中找到页面时对数据库进行快速的SQL Update调用(这意味着页面仍然存在，并且我可以更新"last_found_date“列)。我想最好的方法是覆盖SitemapSpider，如果url已经存在于我的</em
浏览 0提问于2015-03-12得票数 1
我想要一个div只调用一个函数(不是移动我在页面上的位置)，而是调用我的JavaScript函数-它移动我在页面上的位置。为什么我的JavaScript函数没有在我</em
浏览 3提问于2014-02-16得票数 0
回答已采纳
中，我打算从URL开始爬行，只要从起始URL中获得响应代码200，蜘蛛就能正常工作。我认为发生这种行为的原因是，如果对start_url的请求失败，scrapy不会调用我自己的回调，所以我尝试定义默认回调方法： parse_url(response);
但是这导致我的爬行器只爬行了start_urls (并且发送了一些其他
浏览 3提问于2017-06-22得票数 1
我试图让我的爬虫爬到下一页，所以我写了这个函数： print(hrefPath) yield scrapy.Request(url, callback=self.parse)
它甚至没有打印变量hrefPath，所以我怀疑<e
浏览 1提问于2016-11-17得票数 0
回答已采纳
1回答
我的蜘蛛出了点问题。我使用splash和scrapy来获得“下一页”的链接，这是由JavaScript生成的。从第一个页面下载信息后，我想从下面的页面下载信息，但LinkExtractor函数无法正常工作。但是看起来start_request函数不起作用。] INFO: Spider opened 2016-02-12 08:20:29 [scrapy] INFO: Crawled 0 pages
浏览 0提问于2016-02-11得票数 5
我试图理解为什么我的LinkExtractor不能工作，以及它在爬行循环中实际运行的时间？
这个脚本可以没有任何问题地抓取第一页和其中的项目。问题是，它不会跟随到 (在土耳其
浏览 1提问于2019-06-16得票数 0
回答已采纳
1回答
我有这样的测试： wrapper.find('.addBtn').simulate('click') const addTheItemStub = sinon.spy();
const addItemStub = sinon.sp
浏览 1提问于2018-02-06得票数 0
1回答
销毁节点中的请求
、、、、
最近，我一直试图用框架来处理无限长的可读流。我实现它的方式是在一个函数中进行多次调用，目的是销毁先前的请求。比如： curr = request(url).pipe(trumpet) curr = request(url +
浏览 0提问于2015-04-03得票数 1
回答已采纳
1回答
我有一个这样的文件：// e.preventDefault();
// $('#registerLink', '#loginLinkMyAccount/Access/Login" data-title="Admin" data-entity="n/a" data-dialog="UserAdmin&quo
浏览 2提问于2012-09-09得票数 0
1回答
在加载视频时，我尝试显示ProgressDialog。我的play(String _videoUri)函数似乎没有被调用。有人能告诉我为什么吗？我有这个完全相同的设置来开始一个新的意图，它似乎工作得很好，但不是在这种情况下或从给定的URL加载视频。
浏览 3提问于2012-04-02得票数 0
以下是到目前为止我的索引站点的内容：
<% if (Model.Data !其思想是，在每一个“循环”中，都应该显示一个加载gif，而div部件(包含4列)是div，应该调用JavaScript函数AsyncFuntionCall。与id="<%:divLoadGif%>"解析为hidden.Switch，div与id="<%:divRealData%>"解析为v
浏览 1提问于2010-10-08得票数 0
1回答
我正在编写一个脚本，它基本上将数据库加载为一个表。这只是最基本的版本，但应该涵盖我想做的每一件事。var cell = row.insertCell(0);}
AJAX请求可以工作，我已经确认了这一点，所以在var kiloseqResult中有一个加载结果(我已经在多个位置声明了变量，以确保它被加载)。但是，当dbload()完成
浏览 3提问于2014-10-30得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
