我的本意是只想爬取xxxxx，为何标签也被爬取了呢
图片
浏览 60提问于2023-08-23
2回答
我有一个破烂的代码，应该能够采取电话和地址从一个网页中的表格： name="People"2017-02-15 20:14:26 [scrapy.utils.log] INFO: Scrapy 1.3.2 started (bot',
'scrapy.extensions.lo
浏览 0提问于2017-02-16得票数 0
2回答
我正在尝试爬取页面这是我的代码片段：from scrapy.contrib.spiders import CrawlSpider, Rule
class IT(sc
浏览 20提问于2017-08-21得票数 1
我在试着爬。import scrapyfrom scrapy.spiders import CrawlSpider, Rulefrom lxml import html
name = 'linkd
浏览 3提问于2016-10-07得票数 2
回答已采纳
我想实现对一个网址的图片进行下载，然后对该网址里面所有a标签里面的链接的图片进行下载，以此类推，这是我写的代码，求教大佬怎么做到在spider里用循环实现自定义深度啊import scrapyfrom ..items import ImgspiderItem
url = input("请输入要爬</em
浏览 244提问于2020-04-13
1回答
我要写一个基于scrapy的Gui应用程序，用户输入一个网站的URL，然后点击“爬网”按钮，整个网站就会被抓取并存储在内置的scrapy-db (sqlite)中。如何使用scrapy帮助我抓取网站？
浏览 4提问于2012-03-09得票数 0
1回答
我对python和scrapy比较陌生，对于我正在尝试解决的问题，我需要一些帮助。我正在尝试爬取亚马逊，并提取用户的评论，为特定的产品使用scrapy和XPath。
浏览 1提问于2012-04-16得票数 1
回答已采纳
我想给scrapy提供命令行参数，并在爬行器中使用该sys.argv[]来检查哪些urls具有该参数。如何对爬行器命名的urls执行此操作？
$scrapy爬网urls“2018年8月01日”？
浏览 24提问于2018-08-15得票数 0
1回答
我想抓取一个网站，但我得到了下一个错误： '<head>\n<title>Access Denied</title>\n</head>' 我只是在控制台中尝试： scrapy shell https:如何抓取这个网站？
浏览 27提问于2020-07-14得票数 1
回答已采纳
3回答
import scrapy import csv, os, json
name = "spider1"
list = ["https://www. example.com/item3"]
浏览 13提问于2019-05-27得票数 2
回答已采纳
我试着按照一些教程来更好地理解抓取，并将教程扩展到爬取子页面。我的爬行器的问题是它只爬行入口页面的一个元素，而不是它应该在页面上的25个元素。from datetime import datetime as dtfrom reddit.items import RedditItem
name = 'post'
allowed_domains =
浏览 0提问于2018-03-11得票数 0
我被指派使用python和scrapy创建一个爬虫来获取特定酒店的评论。我阅读了相当多的教程和指南，但我的代码仍然生成一个空的CSV文件。Item.py import scrapy
# define the fields for your item here like: StarRating = scrapy.Field()
Title = scrapy<
浏览 20提问于2020-04-05得票数 0
我是Scrapy的新手，我正在浏览Scrapy教程。我已经能够使用windows7创建我的项目。我通过scrapy crawl项目源构建了一个名为元的项目，但当我尝试通过scrapy crawl元运行该项目时，出现了一个错误：“未知命令爬网”。我尝试在“C:\Program Files\python2.7\scipts\yuan\scrapy crawl yuan,”项目中执行它，在该项目中我可以看到文件"scrapy.cfg"，C:\Program
浏览 5提问于2015-03-24得票数 1
2回答
抓取-- redis框架，redis存储xxx:请求已经爬行完毕，但程序仍在运行，如何自动停止程序，而不是已经运行？运行代码：
2017-08-07 09:17:06 [scrapy.extensions.logstats] INFO: Crawled 0 pages (at 0 pages/min), scraped0 items (at 0 items/min) 2017-08-07 09:18:06 [scrapy.extensions.logstats] INFO: Crawled 0 pages (at
浏览 4提问于2017-08-07得票数 1
回答已采纳
1回答
scrapy请求中的代理身份验证
、、、、
我正在尝试使用request对象抓取一个带有scrapy的网站。我通过一个需要身份验证的代理连接到互联网，而这个身份验证阻止了我爬网：DEBUG: Crawled (400) <GET http://auth4/robots.txt> (referer: None)如何在代理中进行身份验证或跳过它才能访问网站？
浏览 1提问于2017-06-30得票数 0
1回答
从论坛中抓取数据
、、
我对Scrapy很陌生。我想爬所有的帖子从一个论坛，和最新的那些新的帖子。有一些问题我想弄清楚。2.如果有某种机制可避免两次爬柱。
浏览 6提问于2014-12-01得票数 1
回答已采纳
1回答
我想爬一个成人故事网站。我有很多网站要爬。例如，我想抓取2个网站，如下所示：from scrapy.selector import HtmlXPathSelectorfrom scrapy.http import HtmlResponse
name = "cerita"
all
浏览 0提问于2018-07-12得票数 1
0回答
在scrapy shell中，当我重新创建脚本时，它会发送新url的get请求，但是当我运行爬网时，我没有从链接中得到任何数据。我得到的唯一数据是从链接之前抓取的起始url。如何从链接中抓取数据？import scrapy
name = "players" for url in urls:
浏览 4提问于2017-11-26得票数 0
回答已采纳
1回答
我能够保存我的抓取状态，并且Scrapy成功地从我切断的地方继续。每次重新启动爬行器时，我都保持start_urls不变，即每次重新启动爬行器时，提供的start_urls的顺序和列表都是恒定的。从Scrapy代码中，我确信它是用来过滤重复项的。但我不确定spider.state或requests.queue做了什么来帮助保存状态或重新启动爬网。
浏览 0提问于2019-07-04得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
