我的本意是只想爬取xxxxx，为何标签也被爬取了呢
图片
浏览 60提问于2023-08-23
利用python爬取豆瓣电影排行榜（https://movie.douban.com/chart)的数据并保存到excel中。用相同代码爬取网页豆瓣top250的数据可以爬取到excel中，但将网址及相关信息改为网页豆瓣电影排行榜中的信息时便无法爬取，也找不出问题所在。以下图片为完整代码。
浏览 335提问于2021-01-09
我想实现对一个网址的图片进行下载，然后对该网址里面所有a标签里面的链接的图片进行下载，以此类推，这是我写的代码，求教大佬怎么做到在spider里用循环实现自定义深度啊import scrapy
name = 'test_spider'
url = i
浏览 243提问于2020-04-13
2回答
我有一个破烂的代码，应该能够采取电话和地址从一个网页中的表格： name="People"2017-02-15 20:14:26 [scrapy.utils.log] INFO: Scrapy 1.3.2 started (bot',
'scrapy.extensions.lo
浏览 0提问于2017-02-16得票数 0
2回答
我正在尝试爬取页面这是我的代码片段：from scrapy.contrib.spiders import CrawlSpider, Rule
class IT(sc
浏览 20提问于2017-08-21得票数 1
但是当我在startproject文件夹中运行"scrapy crawl dmoz“时，我得到了以下错误消息：2012-04-24 18:12:56-0400 [scrapy] INFO: Scrapy 0.14.0.2841 started (bot: dmoz)
2012-04-24 18:12:56-0400 [scrapy"c:\Python27\lib\site-packages\s
浏览 1提问于2012-04-25得票数 3
1回答
用刮伤下载整页
、、、、
我要爬一个网站。获取它的一些页面，并将它们与所有CSS文件和图像一起存储。就像在浏览器中保存页面一样。我尝试过selenium，但是使用selenium，我只能保存html不完整的页面，所以不可能用selenium来实现这一点。
我想知道我能用Scrapy做这个吗？如果不可能使用Scrapy，我还能使用什么？
浏览 0提问于2018-10-18得票数 1
回答已采纳
我希望能够停止它，保存当前状态，并在以后恢复它，而不必重新开始。有没有办法在Scrapy框架中实现这一点？
浏览 0提问于2011-09-06得票数 13
回答已采纳
2回答
我正在尝试将废弃数据保存到json文件中。我已经使用scrapy从web上删除了数据。import json
name = 'quotes' }, f)
浏览 0提问于2018-07-05得票数 0
1回答
我对python和scrapy比较陌生，对于我正在尝试解决的问题，我需要一些帮助。我正在尝试爬取亚马逊，并提取用户的评论，为特定的产品使用scrapy和XPath。
浏览 1提问于2012-04-16得票数 1
回答已采纳
1回答
由于现在Twitter API 数据爬取付费，所以我想在不使用Twitter API的情况下使用python爬取到特定关键词的Twitter数据或者Reddit数据，有什么好办法吗？
浏览 549提问于2024-01-06
1回答
我能够保存我的抓取状态，并且Scrapy成功地从我切断的地方继续。每次重新启动爬行器时，我都保持start_urls不变，即每次重新启动爬行器时，提供的start_urls的顺序和列表都是恒定的。我已经看到，requests.seen保存的看起来像是访问过的URL的散列值。从Scrapy代码中，我确信它是用来过滤重复项的。但我不确定spider.state或requests.queue做了什么来帮助保存状态或重新启动爬网。
浏览 0提问于2019-07-04得票数 0
2回答
我已经编写了一个似乎运行正常的爬虫，但我不确定如何保存它正在收集的数据。from scrapy.spider import BaseSpiderfrom scrapy.contrib.linkextractors.sgmlimport SgmlLinkExtractor
from
浏览 0提问于2013-11-02得票数 1
1回答
我目前的需求相对简单:我需要一个能够将数据保存到磁盘的爬虫程序，并且我需要它能够仅重新爬取站点的更新资源，并跳过已经爬取的部分。有没有人有在Java中直接使用Nutch代码的经验，而不是通过命令行。我想从简单开始:创建一个爬虫(或类似的)，最低限度地配置它并启动它，没有任何花哨的东西。有没有这方面的例子，或者我应该看看的资源？
浏览 0提问于2010-12-03得票数 6
回答已采纳
我正在迁移到Windows，并希望让Scrapy与Pycharm一起工作。我尝试添加以下内容：以及更改- /Library/Python/2.7/site-packages/scrapy/cmdline.py我的输出如下所示-
from scrapy import cmdline
cmdline.execute("scrapy</em
浏览 0提问于2017-11-16得票数 0
1回答
如何处理UUIDS？
、、、
我读取这些数据，获取URL，抓取它们，并用随机生成的UUID保存抓取的数据。这对于第一轮爬行来说是很好的。我想要做的是看看哪些东西已经被爬取，并更新它们，而不是添加新的记录。另外，这并不是读取URL并查看URL是否已被爬取，因为公司可能会更改其URL，甚至更改其名称。那么如何生成这些UUID呢？并确保它们以某种方式链接到相同的对象，这样我就可以更新对象(记录)，而不是在数据库和搜索结果中有
浏览 1提问于2017-09-21得票数 0
我是Scrapy的新手，我正在浏览Scrapy教程。我已经能够使用windows7创建我的项目。我的scrapy安装在如下路径中：
C:\Program Files\python2.7\scripts.我通过scrapy crawl项目源构建了一个名为元的项目，但当我尝试通过scrapy crawl元运行该项目时，出现了一个错误：“未知命令爬网”。我尝试在“C:\Program Files\python2.7\scipts\yuan\scrapy crawl yuan,
浏览 5提问于2015-03-24得票数 1
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频活动推荐
腾讯云开发者
