1回答
我有一个刮擦的脚本，它将运行多个蜘蛛。我想从PHP/HTML代码中爬行单个蜘蛛或运行多个蜘蛛脚本。这有可能吗？如果是这样的话，是怎么做的？
浏览 2提问于2015-11-22得票数 0
回答已采纳
1回答
我正在尝试爬行一个域的所有页面，除了那些从/go.php开始的页面，但是我不知道如何让Scrapy理解它。我尝试过这个规则(这是我的CrawlSpider中定义的唯一规则)，但是它仍然爬行像domain.tld/go.php?key=value这样的URL。.*' '\\/go\\.php(.*)', '
浏览 3提问于2014-01-11得票数 0
设置带有-Indexes选项的htaccess文件会防止蜘蛛和搜索引擎爬行这些目录中的文件吗？
仅仅在目录中有一个index.html或index.php会阻止目录被爬行吗？
浏览 3提问于2018-02-11得票数 0
回答已采纳
普通浏览器中的用户代理是否包含“bot”或“爬行”？
我检查我的网站上的用户代理，看看它是否来自一个机器人。如果是的话，我可以做一些小的优化，因为他们没有登录。所以我想知道它是只包含“机器人”还是“爬行”。我知道这不会得到所有的机器人，但它会得到很多。但如果这可能导致任何错误，那么它将完全混乱的能力，添加到购物车，下订单，并登录。
浏览 0提问于2010-10-11得票数 12
回答已采纳
我想知道是否有一种方法同时使用基础蜘蛛以及爬行蜘蛛在同一蜘蛛在刮刮！假设我只想爬行start_url中提到的一个start_url，并对同一个start_url中提到的另一个页面使用爬行蜘蛛，那么我将如何在同一个程序中使用它们？
浏览 0提问于2014-02-04得票数 1
回答已采纳
1回答
我用抓取和python 2.7.9，我的蜘蛛可以正常地爬行数据。我该怎么做？我只能用“蜘蛛”来做吗？或者是在“管道”里？我的代码链接：
浏览 3提问于2015-03-13得票数 0
回答已采纳
是否有方法生成站点将解析的所有有效URL的列表，包括重定向？这份名单是由另一个系的一所学院出于记录原因而要求的。模块方面，除其他外，安装了xmlsitemap、重定向、路径重定向导入、路径自动和病理学。我不确定这些是否有用。
作为第二个问题，如果没有一种方法可以自动生成格式良好的列表中的所有urls，那么除了手动收集所有视图URLs和重定向URLs之外，我还应该在哪里查找呢？
浏览 0提问于2014-03-14得票数 2
回答已采纳
1回答
我正在使用scrapyd运行多个蜘蛛作为作业跨越同一领域。我以为scrapy有一个访问urls的哈希表，当它爬行时，它与其他蜘蛛共享和协调。当我创建同一蜘蛛的实例时
curl http://localhost:6800/schedule.json -d project=projectname -d spider=spidername.它只是爬行相同的urls，重复的数据正在被抓取。以前有人处理过类似的问题吗？
浏览 0提问于2014-04-13得票数 0
回答已采纳
1回答
我正在使用Scrapy框架让蜘蛛爬过一些网页。基本上，我想要的是刮网页并将它们保存到数据库中。我每个网页都有一只蜘蛛。但是我很难同时运行这些蜘蛛，以至于一只蜘蛛在另一只蜘蛛完成爬行后才开始爬行。
浏览 3提问于2014-02-11得票数 0
回答已采纳
2回答
首先，我应该说，我对刮擦和蜘蛛网站完全陌生。
你能限制爬行的链接数量吗？我有一个网站，不使用分页，只是列出了很多链接(我爬行)在他们的主页。当我真的需要爬行前10个左右的时候，我感觉很糟糕爬行所有这些链接。如何同时运行多个蜘蛛？现在，我使用的是命令scrapy crawl example.com，但我还为example2.com和example3.com提供了蜘蛛。我想用一个命令来运行我所有的蜘蛛。这有可能吗？
浏览 2提问于2010-11-24得票数 6
1回答
请帮助我，或给我一些建议，我如何可以爬行整个网站或更多的网页，在一般情况下.import scrapy title = scrapy.Field()
我的wikip.py (蜘蛛
浏览 4提问于2016-05-19得票数 0
1回答
你好，我正在努力完成在以下网站上找到的教程：
文件"//anaconda/lib/python2.7/site-packages/scrapy/spiderloader.py"，第43行，在load KeyError(“蜘蛛未找到：{}".format(spider_name)) KeyEr
浏览 5提问于2016-10-06得票数 2
回答已采纳
1回答
多核执行刮除
、、
我可以管理我的蜘蛛使用其他CPU核心或多个相同的蜘蛛并行运行吗？'available_pos_date', '//div[@class="fiche-items"]/div/p/text()')
基本上这是我的蜘蛛
浏览 3提问于2018-03-02得票数 1
回答已采纳
2回答
抓饼干怎么操作？
、、
我必须爬行一个网站，所以我使用Scrapy来完成它，但是我需要传递一个cookie来绕过第一个页面(这是一种登录页面，您可以选择您的位置)如何处理曲奇？
浏览 0提问于2014-04-28得票数 2
回答已采纳
6回答
我想用刮擦来爬行网页。有办法从终端本身传递起始URL吗？在中，可以给出蜘蛛的名称或URL，但是当我给出url时它会抛出一个错误：
文件"/usr/local/lib/python2.7/dist-packages/Scrapy-0.14.1-py2.7
浏览 3提问于2012-03-13得票数 35
回答已采纳
2回答
刮伤机构或规则不起作用
、、、
这是我的蜘蛛from scrapy.linkextractors import LinkExtractor当我使用命令“”运行蜘蛛时:我得到了“解析！”，所以它只属于解析函数，而不是细节方法。
浏览 8提问于2017-08-01得票数 0
回答已采纳
1回答
scrapy.There的新鲜事物让我感到困惑:蜘蛛、管道和物品之间有什么关系？
1.一个管道应该只处理一个特定的项目还是可以处理多个项目？2.如何使用一个蜘蛛来爬行多个项目，或者我应该使用一个蜘蛛来爬行一个项目？
浏览 3提问于2015-05-26得票数 1
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
