我的本意是只想爬取xxxxx，为何标签也被爬取了呢
图片
浏览 60提问于2023-08-23
我想实现对一个网址的图片进行下载，然后对该网址里面所有a标签里面的链接的图片进行下载，以此类推，这是我写的代码，求教大佬怎么做到在spider里用循环实现自定义深度啊import scrapy
name = 'test_spider'
url = i
浏览 243提问于2020-04-13
我想给scrapy提供命令行参数，并在爬行器中使用该sys.argv[]来检查哪些urls具有该参数。如何对爬行器命名的urls执行此操作？
$scrapy爬网urls“2018年8月01日”？
浏览 24提问于2018-08-15得票数 0
2回答
我有一个破烂的代码，应该能够采取电话和地址从一个网页中的表格： name="People"2017-02-15 20:14:26 [scrapy.utils.log] INFO: Scrapy 1.3.2 started (bot',
'scrapy.extensions.lo
浏览 0提问于2017-02-16得票数 0
2回答
我正在尝试爬取页面这是我的代码片段：from scrapy.contrib.spiders import CrawlSpider, Rule
class IT(sc
浏览 20提问于2017-08-21得票数 1
1回答
我对python和scrapy比较陌生，对于我正在尝试解决的问题，我需要一些帮助。我正在尝试爬取亚马逊，并提取用户的评论，为特定的产品使用scrapy和XPath。
浏览 1提问于2012-04-16得票数 1
回答已采纳
利用python爬取豆瓣电影排行榜（https://movie.douban.com/chart)的数据并保存到excel中。用相同代码爬取网页豆瓣top250的数据可以爬取到excel中，但将网址及相关信息改为网页豆瓣电影排行榜中的信息时便无法爬取，也找不出问题所在。以下图片为完整代码。
浏览 335提问于2021-01-09
1回答
我创建了一个脚本，使用python的scrapy模块从一个洪流站点下载并重命名电影图像，并将它们存储在scrapy项目中的一个文件夹中。当我按原样运行我的脚本时，我发现它在文件夹中下载图片时没有错误。fro
浏览 2提问于2019-02-19得票数 0
回答已采纳
1回答
我想抓取一个网站，但我得到了下一个错误： '<head>\n<title>Access Denied</title>\n</head>' 我只是在控制台中尝试： scrapy shell https:
浏览 27提问于2020-07-14得票数 1
回答已采纳
3回答
import scrapy import csv, os, json
name = "spider1"
list = ["https://www. example.com/item3"]
浏览 13提问于2019-05-27得票数 2
回答已采纳
我试着按照一些教程来更好地理解抓取，并将教程扩展到爬取子页面。我的爬行器的问题是它只爬行入口页面的一个元素，而不是它应该在页面上的25个元素。from datetime import datetime as dtfrom reddit.items import RedditItem
name = 'post'
allowed_domains =
浏览 0提问于2018-03-11得票数 0
我正在用scrapy做一个项目。我在html中获得了图像名称和图像url，如何使用该名称而不是哈希名来命名此图像？我得到了这个网址：，它的名字是: iBook，我希望我的scrapy下载这张图片，并将其重命名为iBook。
浏览 1提问于2013-01-05得票数 0
我被指派使用python和scrapy创建一个爬虫来获取特定酒店的评论。我阅读了相当多的教程和指南，但我的代码仍然生成一个空的CSV文件。Item.py import scrapy
# define the fields for your item here like: StarRating = scrapy.Field()
Title = scrapy<
浏览 20提问于2020-04-05得票数 0
2回答
获取IIS工作进程崩溃转储
、、、、
我已经将问题缩小到我的HTTP爬虫，这是一个多线程的野兽，当被请求时，它会爬取站点以获取有用的信息。在我启动爬虫程序并重新部署应用程序之后，IIS工作进程将崩溃(弹出一条崩溃消息)并继续重新加载应用程序域，而不是正常卸载appDomain并重新加载。
浏览 0提问于2008-09-10得票数 9
回答已采纳
1回答
我创建了一个脚本，使用python的scrapy模块从一个洪流站点下载并重命名多个页面上的电影图像，并将它们存储在桌面文件夹中。在下载这些图像并将其存储在桌面文件夹中时，我的脚本也是一样的。然而，我现在所要做的是动态地重命名这些文件。由于我没有使用item.py文件，而且我也不希望这样做，我很难理解pipelines.py文件的逻辑将如何处理重命名过程。我的蜘蛛(It downloads the images flawlessly)：
from scrapy.crawler import
浏览 0提问于2019-02-17得票数 0
回答已采纳
我想建立一个基于Scrapy的网络爬虫，从几个新闻门户网站抓取新闻图片。我想让这个爬虫：
这意味着它将定期重新访问一些门户页面，以获得更新。
我读过Scrapy文档，但没有发现与我列出的内容相关的东西(也许我不够小心)。这里有人知道怎么做吗？或者给出一些想法/例子。谢谢!
浏览 8提问于2010-02-28得票数 11
回答已采纳
1回答
这段代码：from scrapy import Request
class JobsSpiderPS:这是我得到的错误: 2017-09-21 07:55:31 scrapy.core.engine信息: scrapy.extensions.logstats已打开2017-09-21 07:55:31蜘蛛信息:爬取0页(以0页/分钟)，抓取0项
浏览 0提问于2017-09-21得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM活动推荐
腾讯云开发者
