我用Scrapy在我的数据库中记录了html页面。我想用同样的管道对它们进行修复。如何从数据库中获取页面，使其遵循与普通Scrapy管道相同的管道？
浏览 1提问于2017-08-17得票数 0
回答已采纳
到目前为止，爬行器获取9个不同的url并对它们进行爬行，问题是当蜘蛛获得这些页面时，当您将url输入浏览器时，所有的信息都是不可用的。我检查了蜘蛛是否正在爬行正确的urls，我可以将爬行urls从爬行器输出日志复制到浏览器中，它们工作得很好，为什么我可以在浏览器中看到这些urls，但是爬行器可以看到一些不同的东西呢？
提前谢谢。
浏览 3提问于2012-07-26得票数 0
如题，源站跟百度都说不是他们的原因，我设置的也没有问题，还专门咨询过腾讯的客服，他们教我设置的，现在就是抓取403 ，用户可以正常访问，用其他的模拟蜘蛛抓取都没有问题…所以我该怎么办呢？
浏览 1744提问于2018-03-01
1回答
我有一个刮擦的脚本，它将运行多个蜘蛛。我想从PHP/HTML代码中爬行单个蜘蛛或运行多个蜘蛛脚本。这有可能吗？如果是这样的话，是怎么做的？
浏览 2提问于2015-11-22得票数 0
回答已采纳
我想搜索一个网站，如果在HTML中找到一些文本或匹配的模式，获取页面的URL(s)。
浏览 0提问于2021-06-12得票数 1
回答已采纳
我有时尝试，但通常不测试我的想法，因为我不知道如何快速做到这一点，而不设置一个完整的Scrapy项目和解析一个真正的网页。
浏览 0提问于2014-12-04得票数 3
回答已采纳
蜘蛛的名字是quotes14，它从命令行运行得很好。也就是说，如果我从目录scrapy crawl quotes14运行/var/www/html/sprojects/tutorial/，那么它在命令行中可以正常工作。我的刮痕蜘蛛文件出现在这里：/var/www/html/sprojects/tutorial/tutorial/spiders
我有许多蜘蛛和其他文件在上面的目录
浏览 0提问于2017-10-16得票数 0
回答已采纳
1回答
这是否意味着它在我们的系统(RAM)中下载/加载整个页面，因为页面的大小大于响应(HTML)？
请看第六点。
浏览 3提问于2017-08-18得票数 0
回答已采纳
有很多网络蜘蛛，但它们只捕捉互联网上的html格式。我想要一个网络蜘蛛，一些捕捉动态网页的方法或想法，可以执行javascript，我可以从dom树中获取信息。
浏览 0提问于2011-03-01得票数 0
设置带有-Indexes选项的htaccess文件会防止蜘蛛和搜索引擎爬行这些目录中的文件吗？
仅仅在目录中有一个index.html或index.php会阻止目录被爬行吗？
浏览 3提问于2018-02-11得票数 0
回答已采纳
1回答
我试图弄清楚OWASP是如何在实践vm上发现一个目录的，我输入了主机IP并命中攻击，蜘蛛发现了这个目录(pChart2.3.1)。我也试过用蜘蛛在Burp，但它变成了空白。(索引页面简单地说“它工作”，源代码中没有任何附加内容)。ZAP似乎发送了一个robots.txt请求，然后发送了sitemap.xml请求，然后命中了目录。
浏览 0提问于2016-08-31得票数 5
回答已采纳
我正在写一只刮擦的蜘蛛，在那里我需要用飞溅来呈现一些反应。我的蜘蛛是基于CrawlSpider的。我需要呈现我的start_url响应来喂养我的爬行蜘蛛。不幸的是，我的爬行蜘蛛在呈现第一个响应后就停止了。知道出什么问题了吗？,), request.meta['splash'] = {
'endpoint':'render.htmlscrapy.Request
浏览 2提问于2016-06-22得票数 4
回答已采纳
我现在有一个基于蜘蛛的蜘蛛，我编写它是为了爬行start_urls的输入JSON数组。["http://www.atlanticfirearms.com/component/virtuemart/shipping-rifles/ak-47-receiver-aam-47-detail.htmlwww.atlanticfirearms.com/component/virtuemart/shipping-accessories/nitr
浏览 2提问于2015-01-22得票数 4
回答已采纳
1回答
在中，OP说
" name :定义此蜘蛛名称的字符串。蜘蛛名称是由Scrapy定位(并实例化)蜘蛛的方式，所以它必须是唯一的。但是，没有什么可以阻止您实例化同一蜘蛛</em
浏览 3提问于2017-03-02得票数 0
回答已采纳
目前，我有一个用Java编写的蜘蛛，登录到供应商的网站和蜘蛛的网站。(使用htmlunit)python有没有类似的功能呢？
浏览 1提问于2010-07-04得票数 1
回答已采纳
看起来，如果你把蜘蛛网放在一个量规后面，蜘蛛网突然有了一个背景。看看这个小玩意：<script src="http://code.highcharts.com/highcharts.js"></script>
<script src="
浏览 3提问于2014-10-04得票数 2
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
