1回答
我正在创建一个用于web数据抓取的抓取器。共有58页，每页有12个产品。数据应该返回为58x12= 696个产品标题，但它只返回404个产品的数据。以下是我的代码 import scrapyfrom datetime import datetime
浏览 66提问于2020-12-21得票数 0
1回答
刮伤反应不完全
、、、
我尝试使用Scrapy爬行以下URL：scrapy shell the_url_aboveview(response)
有什么潜在的方法来处理它呢？
浏览 1提问于2016-02-12得票数 3
回答已采纳
我已经开始使用Python Scrapy抓取网站数据，尽管我在PHP cURL方面有丰富的经验。我不知道哪个更适合抓取数据和操作返回值，以及速度和内存使用情况。Python Scrapy中的(yield)函数应该做些什么呢？
浏览 0提问于2013-05-21得票数 0
我正在使用scrapy从这个中抓取作业数据。一个作业页面看起来像。静态数据可以很容易地被scrapy抓取，但是google地图apis生成的动态数据，如“距离”和“时间”，给我带来了问题。当我在chrome中打开控制台，然后在脚本部分的网络选项卡中，我可以看到一个对googles map api发出的java请求("DirectionsService.Route")，所有我需要的值都是JSON格式的</em
浏览 1提问于2015-02-05得票数 0
这就是我尝试安装Scrapy的时候。它已经安装好了，但我猜是不正确的……installing Scrapy 当我尝试运行Scrapy命令时，它说...running Scrapy Command
浏览 39提问于2019-01-09得票数 0
我在此路径C:\Users\PATTY\Desktop\Project_Website\Scrapy上使用scrapy启动了一个项目import scrapy
class QuotesSpider(scrapy.Spider): # Errorstart_urls = ['http://quotes.toscrap
浏览 11提问于2017-03-02得票数 0
回答已采纳
我需要构建一个python脚本，它的目标是在“显示更多”按钮中检索一个数字。我用过Scrapy，但这不管用。Scrapy</
浏览 1提问于2016-12-18得票数 1
回答已采纳
1回答
没有名为lxml.html的模块
、、、、
line 3, in <module>File "/Library/Python/2.7/site-packages/scrapy/cmdline.py", line 8, in <module>File "/Library/P
浏览 2提问于2014-08-10得票数 2
回答已采纳
我需要scrapy-jsonrpc来监视我的蜘蛛。我在Scrapy项目中添加了settings.py参数，JSONRPC_LOGFILE=None JSONRPC_HOST
浏览 2提问于2016-04-07得票数 0
import scrapyfrom scrapy.pipelines.files import FilesPipelinefrom urllib.parse import urlparse file_urls = scrapy.FieldCrawlerProcess()
process.crawl(DatasetSpid
浏览 3提问于2021-05-28得票数 1
回答已采纳
2回答
…我有一个在shell中运行的scrapy代码，但当我尝试将其导出到csv时，它返回一个空文件。当我不进入链接并尝试解析描述时，它会导出数据 name = "dmoz" start_urls = [
"http://
浏览 0提问于2016-03-30得票数 0
3回答
我使用Mac，它有python2.7和python3.4。我使用pip install命令在python2.7中安装scrapy。也可以使用pip3 install命令在python3.4中安装scrapy。
我阅读了scrapy.org上的正式文档，我知道scrapy只支持python2.7。当我使用命令scrapy startproject tutorial时，它将返回下面的e
浏览 2提问于2015-08-08得票数 6
回答已采纳
我的爬行器从网站提取数据，管道的process_item()方法将提取的数据插入到一个临时数据库表中。最后，在管道的close_spider()方法中，我对临时数据库表运行一些错误检查，如果一切正常，则使临时表成为永久表。但是，如果Scrapy在调用管道的close_spider()方法之前遇到异常，则提取的数据可能不完整。
有没有办法检查Scrapy</
浏览 1提问于2017-10-27得票数 1
1回答
facebook上的新图表搜索允许您使用查询令牌搜索一家公司的现有员工- Current Google (例如)。import sys
浏览 3提问于2013-05-31得票数 5
Scrapy能否在我的自定义桌面应用程序中实现，在这个应用程序中，它会自动在网页列表上进行抓取过程，并将其作为表导出到数据库中？
浏览 1提问于2019-10-31得票数 0
回答已采纳
1回答
不适当地部署Scrapy代理
、、、、
我在刮档案的时候收到了一条错误信息。我想我用错了我的代理。但这里的主要错误是什么呢？你们能帮忙吗
2017-06-15 21:35:17 scrapy.proxies信息:删除失败的代理，12个代理离开2017-06-15 21:35:17 scrapy.core.scraper错误中返回handler.download_request(请求、蜘蛛)文件"/Users/jiajiefan/data_mining/lib
浏览 6提问于2017-06-16得票数 0
通过下面的命令，我可以看到scrapy模块中的名称：>>>dir(scrapy)$find / -name "scrapy*" -print
浏览 0提问于2018-07-28得票数 0
回答已采纳
遵循，我可以从Python脚本运行scrapy，但我无法获得scrapy结果。这是我的蜘蛛：from scrapy.selector import HtmlXPathSelector items.append(item)
注意最后一行，我
浏览 1提问于2013-07-10得票数 6
回答已采纳
在前面的行中，它指向各种文件中的不同行。c:\Python27>scrapy startproject tutorial File "C:\Python32\Scripts\scrapy-script.py", line 9, in <module>
load_entry_point('Scrapy==0.24.4', 'console_sc
浏览 0提问于2015-01-14得票数 0
回答已采纳
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号