我的本意是只想爬取xxxxx，为何标签也被爬取了呢
图片
浏览 60提问于2023-08-23
我想实现对一个网址的图片进行下载，然后对该网址里面所有a标签里面的链接的图片进行下载，以此类推，这是我写的代码，求教大佬怎么做到在spider里用循环实现自定义深度啊import scrapy
name = 'test_spider'
url = i
浏览 243提问于2020-04-13
2回答
我有一个破烂的代码，应该能够采取电话和地址从一个网页中的表格： name="People"2017-02-15 20:14:26 [scrapy.utils.log] INFO: Scrapy 1.3.2 started (bot',
'scrapy.extensions.lo
浏览 0提问于2017-02-16得票数 0
2回答
我正在尝试爬取页面这是我的代码片段：from scrapy.contrib.spiders import CrawlSpider, Rule
class IT(sc
浏览 20提问于2017-08-21得票数 1
1回答
我对python和scrapy比较陌生，对于我正在尝试解决的问题，我需要一些帮助。我正在尝试爬取亚马逊，并提取用户的评论，为特定的产品使用scrapy和XPath。
浏览 1提问于2012-04-16得票数 1
回答已采纳
利用python爬取豆瓣电影排行榜（https://movie.douban.com/chart)的数据并保存到excel中。用相同代码爬取网页豆瓣top250的数据可以爬取到excel中，但将网址及相关信息改为网页豆瓣电影排行榜中的信息时便无法爬取，也找不出问题所在。以下图片为完整代码。
浏览 335提问于2021-01-09
1回答
我要写一个基于scrapy的Gui应用程序，用户输入一个网站的URL，然后点击“爬网”按钮，整个网站就会被抓取并存储在内置的scrapy-db (sqlite)中。如何使用scrapy帮助我抓取网站？
浏览 4提问于2012-03-09得票数 0
1回答
由于现在Twitter API 数据爬取付费，所以我想在不使用Twitter API的情况下使用python爬取到特定关键词的Twitter数据或者Reddit数据，有什么好办法吗？
浏览 549提问于2024-01-06
1回答
我想抓取一个网站，但我得到了下一个错误： '<head>\n<title>Access Denied</title>\n</head>' 我只是在控制台中尝试： scrapy shell https:
浏览 27提问于2020-07-14得票数 1
回答已采纳
3回答
(self,response)然而，我发现抓取的顺序似乎是a1，a2，a3，b1，b2，b3，c1，c2，c3，这很奇怪，因为我认为Scrapy顺序不一定要严格，但我抓取的站点有一个限制，所以Scrapy需要在5个B级抓取之前尽快开始抓取c级。如何才能做到这一点？
浏览 1提问于2012-03-04得票数 11
回答已采纳
我想给scrapy提供命令行参数，并在爬行器中使用该sys.argv[]来检查哪些urls具有该参数。如何对爬行器命名的urls执行此操作？
$scrapy爬网urls“2018年8月01日”？
浏览 24提问于2018-08-15得票数 0
3回答
import scrapy import csv, os, json
name = "spider1"
list = ["https://www. example.com/item3"]
浏览 13提问于2019-05-27得票数 2
回答已采纳
但是当我在startproject文件夹中运行"scrapy crawl dmoz“时，我得到了以下错误消息：2012-04-24 18:12:56-0400 [scrapy] INFO: Scrapy 0.14.0.2841 started (bot: dmoz)
2012-04-24 18:12:56-0400 [scrapy"c:\Python27\lib\site-packages\s
浏览 1提问于2012-04-25得票数 3
我试着按照一些教程来更好地理解抓取，并将教程扩展到爬取子页面。我的爬行器的问题是它只爬行入口页面的一个元素，而不是它应该在页面上的25个元素。from datetime import datetime as dtfrom reddit.items import RedditItem
name = 'post'
allowed_domains =
浏览 0提问于2018-03-11得票数 0
1回答
简陋的CSV写作
、、、
我的蜘蛛：from w3lib.html import remove_tags name = "demostore"
allowed_domains = ["adns-grossiste.frcategory_url in response.css('#categories_block_left > d
浏览 1提问于2016-07-24得票数 2
我正在迁移到Windows，并希望让Scrapy与Pycharm一起工作。我尝试添加以下内容：以及更改- /Library/Python/2.7/site-packages/scrapy/cmdline.py我的输出如下所示-
from scrapy import cmdline
cmdline.execute("scrapy crawl s
浏览 0提问于2017-11-16得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频活动推荐
腾讯云开发者
