1回答
我有一个刮擦的脚本，它将运行多个蜘蛛。我想从PHP/HTML代码中爬行单个蜘蛛或运行多个蜘蛛脚本。这有可能吗？如果是这样的话，是怎么做的？
浏览 2提问于2015-11-22得票数 0
回答已采纳
1回答
我正在尝试爬行一个域的所有页面，除了那些从/go.php开始的页面，但是我不知道如何让Scrapy理解它。我尝试过这个规则(这是我的CrawlSpider中定义的唯一规则)，但是它仍然爬行像domain.tld/go.php?key=value这样的URL。.*' '\\/go\\.php(.*)', '
浏览 3提问于2014-01-11得票数 0
1回答
我用抓取和python 2.7.9，我的蜘蛛可以正常地爬行数据。我该怎么做？我只能用“蜘蛛”来做吗？或者是在“管道”里？我的代码链接：
浏览 3提问于2015-03-13得票数 0
回答已采纳
设置带有-Indexes选项的htaccess文件会防止蜘蛛和搜索引擎爬行这些目录中的文件吗？
仅仅在目录中有一个index.html或index.php会阻止目录被爬行吗？
浏览 3提问于2018-02-11得票数 0
回答已采纳
普通浏览器中的用户代理是否包含“bot”或“爬行”？
我检查我的网站上的用户代理，看看它是否来自一个机器人。如果是的话，我可以做一些小的优化，因为他们没有登录。所以我想知道它是只包含“机器人”还是“爬行”。我知道这不会得到所有的机器人，但它会得到很多。但如果这可能导致任何错误，那么它将完全混乱的能力，添加到购物车，下订单，并登录。
浏览 0提问于2010-10-11得票数 12
回答已采纳
1回答
请帮助我，或给我一些建议，我如何可以爬行整个网站或更多的网页，在一般情况下.import scrapy title = scrapy.Field()
我的wikip.py (蜘蛛
浏览 4提问于2016-05-19得票数 0
1回答
我用这个蜘蛛爬行一个页面并下载它的图片：from scrapy.contrib.linkextractors= [urljoin(response.url, url) for url in relative_urls]
但是这里有两个问题，第一个问题是，在运行蜘蛛时，我不能将深度限制设置为我使用的"-s DEPTH_LIMIT=1“：
[医]刮刮<e
浏览 3提问于2016-02-01得票数 1
回答已采纳
我想知道是否有一种方法同时使用基础蜘蛛以及爬行蜘蛛在同一蜘蛛在刮刮！假设我只想爬行start_url中提到的一个start_url，并对同一个start_url中提到的另一个页面使用爬行蜘蛛，那么我将如何在同一个程序中使用它们？
浏览 0提问于2014-02-04得票数 1
回答已采纳
如果不需要代码更改(因为它是生产站点)，而代码更改需要通过代码评审并要求发布，那么答案将特别有用，但是如果有必要的话，那么它就是必要的。
浏览 0提问于2014-03-14得票数 2
回答已采纳
1回答
我正在使用scrapyd运行多个蜘蛛作为作业跨越同一领域。我以为scrapy有一个访问urls的哈希表，当它爬行时，它与其他蜘蛛共享和协调。当我创建同一蜘蛛的实例时
curl http://localhost:6800/schedule.json -d project=projectname -d spider=spidername.它只是爬行相同的urls，重复的数据正在被抓取。以前有人处理过类似的问题吗？
浏览 0提问于2014-04-13得票数 0
回答已采纳
1回答
我正在使用Scrapy框架让蜘蛛爬过一些网页。基本上，我想要的是刮网页并将它们保存到数据库中。我每个网页都有一只蜘蛛。但是我很难同时运行这些蜘蛛，以至于一只蜘蛛在另一只蜘蛛完成爬行后才开始爬行。
浏览 3提问于2014-02-11得票数 0
回答已采纳
2回答
首先，我应该说，我对刮擦和蜘蛛网站完全陌生。
你能限制爬行的链接数量吗？我有一个网站，不使用分页，只是列出了很多链接(我爬行)在他们的主页。当我真的需要爬行前10个左右的时候，我感觉很糟糕爬行所有这些链接。如何同时运行多个蜘蛛？现在，我使用的是命令scrapy crawl example.com，但我还为example2.com和example3.com提供了蜘蛛。我想用一个命令来运行我所有的蜘蛛。这有可能吗？
浏览 2提问于2010-11-24得票数 6
我试图使用Python脚本运行多个蜘蛛，该脚本基于官方文档中提供的代码。我的scrapy项目包含多重爬行器(Spider1、Spider2、 等)，它爬行不同的网站，并将每个网站的内容保存在不同的JSON文件中(output1.json、output2.json等)。当我单独运行这些蜘蛛时，它们会像预期的那样工作，但是当我使用下面的脚本使用scrapy运行蜘蛛时，条目就会混合在管道中。also Spider1，应该只包含由爬行的项，但也应该包含 Spider2的项。如何
浏览 2提问于2017-07-25得票数 3
回答已采纳
1回答
你好，我正在努力完成在以下网站上找到的教程：
文件"//anaconda/lib/python2.7/site-packages/scrapy/spiderloader.py"，第43行，在load KeyError(“蜘蛛未找到：{}".format(spider_name)) KeyEr
浏览 5提问于2016-10-06得票数 2
回答已采纳
我想点击django网站上的一个按钮，我的蜘蛛应该开始抓取。我尝试CrawlerProcess，但因为我使用不同的蜘蛛。我决定使用CrawlerRunner。在第一次爬行之后，一切都很好，但是第二个过程给了我这个错误。twisted.internet.error.ReactorNotRestartable因此，我尝试按照下面的代码解决方案，但是爬行器永远不会停止，它说的是ReactorAlreadyRunningmyspider.My_Spider)
d.addBot
浏览 1提问于2020-08-26得票数 1
回答已采纳
1回答
多核执行刮除
、、
我可以管理我的蜘蛛使用其他CPU核心或多个相同的蜘蛛并行运行吗？'available_pos_date', '//div[@class="fiche-items"]/div/p/text()')
基本上这是我的蜘蛛
浏览 3提问于2018-03-02得票数 1
回答已采纳
2回答
抓饼干怎么操作？
、、
我必须爬行一个网站，所以我使用Scrapy来完成它，但是我需要传递一个cookie来绕过第一个页面(这是一种登录页面，您可以选择您的位置)如何处理曲奇？
浏览 0提问于2014-04-28得票数 2
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
云直播
对象存储
腾讯会议活动推荐
腾讯云开发者
