在Scrapy中嵌套项数据
是指在爬取网页数据时，某个数据项中包含了另一个数据项。这种情况通常出现在网页的结构中存在嵌套关系的情况下，例如一个商品列表页面中，每个商品包含了商品名称、价格、评论等信息，而每个商品的评论又包含了评论内容、用户信息等。
为了处理这种嵌套项数据，Scrapy提供了ItemLoader机制。ItemLoader是Scrapy中的一个工具类，用于加载和处理数据项。通过使用ItemLoader，我们可以方便地处理嵌套项数据。
以下是处理嵌套项数据的步骤：
- 定义数据项（Item）：首先需要定义包含嵌套项数据的数据项类。可以使用Scrapy提供的Item类作为基类，并在其中定义各个字段。
- 定义嵌套项数据的数据项类：如果某个字段中包含了嵌套项数据，可以在数据项类中定义一个新的数据项类来表示这个嵌套项数据。同样，可以使用Scrapy提供的Item类作为基类，并在其中定义各个字段。
- 定义ItemLoader：在Spider中，可以通过定义一个ItemLoader来加载和处理数据项。ItemLoader提供了一系列方法来处理字段的值，包括提取、清洗、转换等操作。可以使用add_xpath、add_css、add_value等方法来提取字段的值，并使用MapCompose、Join等方法进行清洗和转换。
- 处理嵌套项数据：当遇到嵌套项数据时，可以使用ItemLoader的nested_loader方法来加载嵌套项数据。可以在ItemLoader中定义一个新的ItemLoader来处理嵌套项数据，并使用add_xpath、add_css等方法提取字段的值。
下面是一个示例代码，演示了如何在Scrapy中处理嵌套项数据：
import scrapy
from scrapy.loader import ItemLoader
from scrapy.loader.processors import MapCompose, Join
from myproject.items import ProductItem, CommentItem
class MySpider(scrapy.Spider):
name = 'myspider'
start_urls = ['http://example.com']
def parse(self, response):
l = ItemLoader(item=ProductItem(), response=response)
l.add_xpath('name', '//div[@class="product-name"]/text()')
l.add_xpath('price', '//span[@class="price"]/text()')
# 处理嵌套项数据
comment_loader = l.nested_loader(CommentItem, '//div[@class="comment"]')
comment_loader.add_xpath('content', './/p/text()')
comment_loader.add_xpath('user', './/span[@class="user"]/text()')
yield l.load_item()在上面的代码中，我们定义了一个Spider，通过XPath提取了商品的名称和价格，并使用nested_loader方法处理了嵌套的评论数据。评论数据的字段包括评论内容和用户信息。
这样，我们就可以通过Scrapy的ItemLoader机制方便地处理嵌套项数据了。
腾讯云相关产品和产品介绍链接地址：
- 腾讯云官网：https://cloud.tencent.com/
- 云服务器（CVM）：https://cloud.tencent.com/product/cvm
- 云数据库 MySQL 版：https://cloud.tencent.com/product/cdb-for-mysql
- 云原生应用引擎（TKE）：https://cloud.tencent.com/product/tke
- 人工智能平台（AI Lab）：https://cloud.tencent.com/product/ailab
- 物联网通信（IoT Hub）：https://cloud.tencent.com/product/iothub
- 移动开发平台（MTP）：https://cloud.tencent.com/product/mtp
- 云存储（COS）：https://cloud.tencent.com/product/cos
- 区块链服务（BCS）：https://cloud.tencent.com/product/bcs
- 腾讯云元宇宙：https://cloud.tencent.com/solution/virtual-universe
相关·内容
1回答
CSV出口不起作用
、、、、
这是我的蜘蛛课：
import scrapy
from scrapy.spiders import CrawlSpider, Rule
from scrapy.selector import HtmlXPathSelector
from scrapy.http.request import Request
from scrapy.crawler import CrawlerProcess
from scrapy.linkextractors.sgml import SgmlLinkExtractor
import csv
class StackItem(scrapy.Item):
浏览 1提问于2015-08-13得票数 0
回答已采纳
1回答
我想定期运行Scrapy来获取所有新内容。生成的项目存储在数据库中。当Scrapy再次爬行时，验证已经生成的项目是否没有存储为重复项的最佳方法是什么？
给项目一个哈希值是验证这一点的好方法吗？我不想在我的数据库中有重复的项目。
谢谢!
浏览 3提问于2018-01-31得票数 1
1回答
编辑
正如Georgiy所建议的，我试图生成dict而不是Item，结果是一样的。
编辑端
试图将Scrapy输出导出到JSON文件。项目应采用以下格式：
{'name':'Peter', 'attrs':{'attr1':<VAL>, 'attr2':<VAL>}}
问题是Scrapy只呈现name。原因可能是attrs是一本字典。
class CookieBotItem(scrapy.Item):
name = scrapy.Field()
attrs = scrapy.
浏览 7提问于2021-06-04得票数 1
回答已采纳
1回答
python
我正在使用刮刮从一个网站的数据，我想刮图形卡标题，价格和他们是否在股票。问题是，我的代码循环了两次，而不是使用10产品，而是得到了20。
import scrapy
class ThespiderSpider(scrapy.Spider):
name = 'Thespider'
start_urls = ['https://www.czone.com.pk/graphic-cards-pakistan-ppt.154.aspx?page=2']
def parse(self, response):
浏览 0提问于2020-09-06得票数 0
回答已采纳
假设我已经用这个文件夹结构启动了一个Scrapy项目：
.root
├── main.py
├── scrapy.cfg
├── app
│ ├── items.py
│ ├── middlewares.py
│ ├── pipelines.py
│ ├── settings.py
│ └── spiders
│ ├── my_spider.py
因此，在main.py文件中，我有：
#!/usr/bin/env python
import scrapy
from app.spiders.my_spider import MySpider
from scrapy.crawle
浏览 0提问于2019-05-12得票数 0
1回答
我构建了复杂的项目，其中字段可能是其他项目类型的列表。当我用默认的XmlItemExporter导出它时，子列表项以<value>标记作为前缀。我正在寻找一个示例，说明如何将子项标识符分配给这些值标记。
文档的项目出口商页面解释了这句话：
除非在serialize_field()方法中重写，否则将通过序列化<value>元素中的每个值来导出多值字段。这是为了方便，因为多值字段是非常常见的.
docs页面还提供了在字段中声明序列化程序和重写Serialize_Field()方法的简单示例，但这两个示例都适用于单值字段，但没有建议如何为多值字段自定义它们。
我搜索了
浏览 0提问于2019-07-19得票数 1
回答已采纳
我今天在Scrapy上复习了，并看到了下面这条线：
字段对象用于为每个field...You指定元数据，可以为每个字段指定任何类型的元数据。字段对象接受的值不受限制。
然而，在文档中，传递给Field对象的唯一“元数据”似乎是函数(在本例中是序列化程序)或输入/输出处理器。
因此，我进入Python并尝试制作以下内容：
class ScrapyPracticeItem(scrapy.Item):
name = scrapy.Field()
age = scrapy.Field('color':'purple')
但这也没有被接受的语法
浏览 7提问于2022-07-10得票数 1
回答已采纳
我已经在中建立了一个网站。我需要使用网络爬行功能。所以我安装了Scrapy。正如他们的教程中所述，Scrapy是通过使用
scrapy startproject dmoz
但这适用于有自己文件的diff文件夹。
是否可以在Django类中使用Scrapy函数并将数据放入Django变量中？
浏览 1提问于2011-06-04得票数 1
回答已采纳
2回答
限制刮伤能收集多少元素
、、、
我用刮刮来收集一些数据。我的scrapy程序在一个会话中收集了100个元素。我需要把它限制在50或任何随机数。我怎么能这么做？欢迎任何解决办法。提前感谢
# -*- coding: utf-8 -*-
import re
import scrapy
class DmozItem(scrapy.Item):
# define the fields for your item here like:
link = scrapy.Field()
attr = scrapy.Field()
title = scrapy.Field()
tag = scrapy
浏览 4提问于2015-06-19得票数 2
回答已采纳
我已经有了一些实用的蜘蛛和代码来实现我想要的，但我正在寻找关于如何更有效地为我正在进行的项目整合事情的建议。
我目前的程序包括：
Scrapy中的scrapy.ItemWithin ：使用 Scrapy:爬行手动创建项目，将每个项目行输出到JSON (JL)文件
- Current Pipeline:
#pipelines.py类MyPipeline(对象)：def process_item(self，item，spider)：item.fields中的字段:item.setdefault(字段，无)返回项
使用Pandas to_sqlOutside Scrapy w/ SQL Alchem
浏览 6提问于2020-01-06得票数 1
回答已采纳
1回答
我使用scrapy来抓取一个社交网络，然后在NEO4J数据库中获取数据。
我在这里的挑战是把两个项目联系起来：
class person(scrapy.Item):
name=Field()
class AnotherPerson(scrapy.Item):
name=Field()
我想将这两项保存在图形数据库中，方法是：
人与AnotherPerson()有关系
我需要的是在一个管道中发送两个项目!！我们怎么能这么做？我试图通过一个列表发送它，但是当集合在那里时，scrapy不接受这个列表。
这是我的伪代码：
我得到了一个人的名单(每个人都有个人资料和像facebook这样的好友列表
浏览 4提问于2015-05-05得票数 0
我想做的事
我想使用Python的Scrapy蜘蛛制作json文件。我目前正在学习“用Python和JavaScript进行数据可视化”。在抓取过程中，不知道为什么不创建json文件。
目录结构
/root
nobel_winners scrapy.cfg
/nobel_winners:
__init__.py items.py pipelines.py spiders
__pycache__ middlewares.py settings.py
/nobel_winners/spiders:
__init__.py __pycache__
浏览 0提问于2018-07-28得票数 1
回答已采纳
2回答
我正在抓取一些具有复杂层次信息的数据，需要将结果导出到json。
我将这些项定义为
class FamilyItem():
name = Field()
sons = Field()
class SonsItem():
name = Field()
grandsons = Field()
class GrandsonsItem():
name = Field()
age = Field()
weight = Field()
sex = Field()
当爬行器运行完成时，我将得到一个打印的项目输出，如下所示
{'nam
浏览 0提问于2012-06-25得票数 26
嵌套项数据的正确方法是什么？
例如，我想要一个产品的输出：
{
'price': price,
'title': title,
'meta': {
'url': url,
'added_on': added_on
}
我有scrapy.Item：
class ProductItem(scrapy.Item):
url = scrapy.Field(output_processor=TakeFirst())
price = scrapy.Field(output_processor=T
浏览 1提问于2014-08-02得票数 13
回答已采纳
所以我在玩Scrapy，它是一组类，允许你进行web抓取，我想把一些数据放到数据库中，但我让truble在扩展scrapy库的同时导入MySQL方法。
下面是我的代码：
from scrapy.spider import BaseSpider
from scrapy.selector import HtmlXPathSelector
from scrapy.http import Request
import MySQLdb
class test(BaseSpider): #if i don't extend the class the MySQL works, but the Sc
浏览 2提问于2011-12-10得票数 0
回答已采纳
我对Python非常陌生，对Scrapy非常陌生。我正在尝试构建一个蜘蛛，它将转到给定的URL，并在该站点中运行多个嵌套搜索。例如，如果我正在搜索一家在线商店，我首先会请求，然后在站点内的3层子菜单中搜索各种产品，这些产品在运行时通过CSV输入文件指定。在每个级别的脑膜下，我正在寻找目标类别，并发出一个请求，以获得该子类别，直到我到第3级时，我分析结果寻找一个特定的项目。
存储基本URL ->家庭->厨房->电器:解析结果寻找“搅拌器”。
存储基本URL ->家庭->厨房->电器:解析结果寻找“水壶”。
存储基本URL ->主页->电
浏览 2提问于2014-02-26得票数 1
1回答
我正在使用scrapy从一个网站抓取数据，.And我得到了这种格式的数据。例如{ 'Date'：'03/06/2020'，'LTV'：'90'，}{ 'Date'：'03/06/2020'，'LTV'：'80'，}
{ 'Date'：'03/06/2020'，'LTV'：'70'，} ...I要更改此顺序。我想要LTV ->70，80，90，在这个序列中。首先是LTV 70数组，然后是80，以此类推
浏览 3提问于2020-06-03得票数 0
我的问题与几乎完全相同
但是我有两个For循环，所以创建一个新的条目将导致我丢失第一个刮过的页面中的数据。
基本结构是：
知道第一个网址。
循环通过已知的urls
- For loop for data and next url
- For loop for more data and next url
- Even more data and next url.
- Even more data and next url.
- Yield
每页有10-40条数据，但我有一个简单的代码，它可以查找1-2个数据。
浏览 0提问于2019-08-20得票数 0
回答已采纳
1回答
尽管我成功地执行了scrapy shell中的大部分代码行，但我还是得到了空白的json文件。当我运行命令scrapy crawl courses时，我的课程机器人是：
from scrapy.spiders import CrawlSpider
from scrapy.linkextractors import LinkExtractor
from tutorial.items import CoursesItem
from bs4 import BeautifulSoup
import scrapy
class CoursesSpider(CrawlSpider):
name =
浏览 2提问于2015-08-08得票数 4
1回答
我制作了一个在线提取材料的程序如下所示。它工作并确实生成csv文件。但是，在excel文件中，数据似乎不是逗号分隔的。如何修复这个问题，使文件以逗号分隔？
import scrapy
class JPItem(scrapy.Item):
question_title = scrapy.Field()
question_content = scrapy.Field()
question_link = scrapy.Field()
best_answer = scrapy.Field()
best_answer_link = scrapy.Field()
class JPSpider(scr
浏览 0提问于2017-05-28得票数 1
回答已采纳
1回答
抓取数据并提取到mysql中
、、、、
我试图获取价格并将其保存到数据库中，但我找不出代码发生了什么变化，我可以提取数据，也可以在推荐中使用-o save.xml保存数据，但是当我试图集成settings.py将数据保存到MySql数据库时，一切都变了。当我试图再次使用-o save.xml保存信息时，它不会显示价格结果。我确实注意到我的数据库ID自动增量确实改变了，但是没有插入任何数据。
有人能帮我吗？这是我的密码。
test.py
------------------------
import scrapy
from scrapy.contrib.linkextractors.sgml import SgmlLinkExtrac
浏览 4提问于2015-03-30得票数 1
回答已采纳
我有一个有太多蜘蛛的大项目，我用机器人进行数据处理，而不是使用items和item-loaders，我想重构整个项目机器人，并按项目分配数据处理，但问题是我想定期更新我的机器人，而我爬行的每个网站都是不同的，所以数据处理也是不同的，如果我想在项目中实现数据处理，就必须有很多功能，而且在未来会花费我很多钱，所以我正在寻找一种最好的实践方法来完成我的数据处理。此外，数据库在机器人的文件，它将是完美的删除他们。任何建议都有很重要的意义。
样品，机器人
import scrapy
from tutorial.items import SampleScraper
from scrapy.loader
浏览 4提问于2021-10-29得票数 1
1回答
我需要在Django REST控制器中做一些短期的实时抓取并返回结果数据。
试图利用刮伤：
import scrapy
from scrapy.selector import Selector
from . models import Product
class MysiteSpider(scrapy.Spider):
name = "quotes"
start_urls = [
'https://www.something.com/browse?q=dfd',
]
allowed_domains = [
浏览 3提问于2016-12-30得票数 3
1回答
我正在尝试使用Python中的Scrapy库从至尊社区网站上获取标题、价格和向上/向下投票的统计数据。
import scrapy
class SupremeSpider(scrapy.Spider):
name = "Supreme"
start_urls = [
'https://www.supremecommunity.com/season/spring-summer2019/droplist/2019-02-25/'
]
def parse(self, response):
for d
浏览 33提问于2019-02-28得票数 -4
我将输出作为连续数据以行形式显示，而不是以正确的记录格式显示(每行一条记录)。
import scrapy
from scrapy.contrib.spiders import CrawlSpider, Rule
from scrapy.contrib.linkextractors import LinkExtractor
class famousPeopleItem(scrapy.Item):
# define the fields for your item here like:
Name = scrapy.Field()
Profession = scrapy.Field
浏览 5提问于2017-05-10得票数 0
回答已采纳
我正在尝试将我刮过的数据放在云上的firebase帐户上，但是当我运行这个蜘蛛时，我会得到这个ImportError。我试着创建新项目，甚至在特定版本的firebase和shub上重新安装Python，但没有帮助。
蜘蛛在我的机器上运行得很好，没有显示任何ImportErrors。这是错误日志。
Traceback (most recent call last):
File "/usr/local/lib/python2.7/site-packages/scrapy/utils/defer.py", line 102, in iter_errback
yield n
浏览 0提问于2017-07-03得票数 0
回答已采纳
2回答
有没有可能制作一个Python Scrapy爬虫来抓取整个网站，创建一个字典，在一个列中包含网站中使用的每个单词，并在它旁边的列中显示每个单词的所有实例的URL？如果是，是如何实现的？ 我假设爬行器应该不断地抓取每个URL，将HTML转换为纯文本，然后将每个字符串划分为列表项，创建一个列表，然后只向该列表添加以前没有添加过的项。但是，同时，它也应该知道哪些条目已经添加到列表中，以及它们的位置，当它抓取一个与列表中已经存在的单词相同的单词时，记住它的URL并将其添加到包含URL的列中。 我已经创建了一个爬行器(如下所示)，它列出了所有URL和每个URL处找到的所有纯文本，但是我的编程技能还不够
浏览 12提问于2020-04-28得票数 0
我试图深入刮一个给定的网站，并从所有的网页上抓取文本。我是用刮伤来刮网站的
这是我如何运行蜘蛛抓取爬行stack_crawler -o items.json
item.json file coming empty
这是蜘蛛code_snap
# -*- coding: utf-8 -*-
import scrapy
from scrapy.linkextractors import LinkExtractor
from scrapy.spiders import CrawlSpider, Rule
#from tutorial.items import TutorialItem
from
浏览 1提问于2016-06-09得票数 0
回答已采纳
我知道下面的代码是未完成的，但我所做的只是将这些结果输入到我的MARIADB中。我花了太多的时间仔细梳理Stackoverflow，寻找这个答案。代码工作得很好，我可以手动添加最后的条目，以便在数据库中输入带有静态信息的内容，但是我已经在for循环中尝试了所有可能的方法。
我只需要最后几行代码就可以解决这个问题，我相信我可以继续进行最后的数据抓取。
import scrapy
import mysql.connector
from scrapy.selector import Selector
mydb = mysql.connector.connect(
host="local
浏览 3提问于2020-07-07得票数 1
回答已采纳
我是新刮，我试图从sephora获得一个产品信息。理想情况下，我想通过所有的护肤品，虽然我有困难在第一阶段。我想弄清楚为什么这没有任何信息？另外，scrapy中的响应参数为我提供我需要的数据。
# -*- coding: utf-8 -*-
import scrapy
class sephora_try_mousturizer(scrapy.Spider):
name = 'sephora_m'
allowed_domains = ['www.sephora.com']
start_urls = ['https://w
浏览 0提问于2018-11-23得票数 0
回答已采纳
我创建了一个简单的scrapy项目，它可以抓取网页并将数据保存到postgresql中。我可以在我的解析方法中获取所有被刮过的数据，但是不调用pipline将数据保存到数据库中。这是我的蜘蛛解析方法。
def parse(self, response):
links = response.css('a::attr(href)').getall()
if links is not None:
for link in links:
yield response.follow(link,
浏览 5提问于2021-07-15得票数 0
回答已采纳
我计划使用Scrapy抓取本地网站获取大量数据，并将其存储在文件中。然后，我计划解析该文件，并将一些数据放在SQL数据库中。
我的计算机会使用较少的CPU和RAM来读取和解析一个大的CSV文件或JSON文件吗？
或者，也许将数据存储在一堆较小的CSV或JSON文件中更有意义？
不管是哪种方式，哪种方法对我的机器的负担更小？
浏览 0提问于2018-03-25得票数 1
Packing version 1.0
Deploying to Scrapy Cloud project "316316"
Deploy log last 30 lines:
_get_apisettings, commands_module='sh_scrapy.commands')
File "/usr/local/lib/python2.7/site-packages/sh_scrapy/crawl.py", line 148, in _run_usercode
_run(args, settings)
File
浏览 5提问于2019-10-28得票数 2
回答已采纳
我是python scrapy的新手。我已经做了一些教程，我已经能够将数据发送到mongodb，但它没有在自己的简单项目中工作，即获取api并将比特币价格输入到mongodatabase中。我的scrapy项目如下：
bitscrape/spiders/__init__.py
# This package will contain the spiders of your Scrapy project
#
# Please refer to the documentation for information on how to create and manage
# your spiders.
浏览 1提问于2018-01-12得票数 0
回答已采纳
1回答
我想尝试使用Scrapy合同，作为成熟测试套件的替代方案。
下面是要复制的步骤的详细说明。
在tmp目录中
> cd /tmp
跑
> source venv/bin/activate
激活Python3.8和Scrapy2.5.0。然后：
> scrapy startproject foo
New Scrapy project 'foo'...
> cd foo
> scrapy genspider bar example.com
Created spider 'bar' using template 'basic'
浏览 4提问于2021-06-11得票数 0
回答已采纳
1回答
我试图从一个网站的HTML元素中抓取一些文本。大多数情况下都很好，但由于某些原因，Scrapy无法获得浏览器检查中所示的所有HTML元素。内容是静态的，因为我尝试禁用JavaScript，但仍然在浏览器中显示那些缺少的元素。该网站的结构类似于： <ul class="paragraph-title">...</ul>
<ul class="paragraph-title">
<p>TEXT 1</p>
<p class="list-item">TEXT 2&
浏览 19提问于2021-04-24得票数 1
我用Scrapy从不同的网站抓取网页。对于每个scrapy.Request()，我都设置了一些元数据，用于生成一个项。我的代码也可能为相同的url生成多个scrapy.Request()，但是具有不同的元。
yield scrapy.Request(url='http://www.example.com', meta={'some_field': 'some_value'} ..)
现在我可以设置dont_filter=True，并且scrapy不会阻止重复的请求。
yield scrapy.Request(url='http://www
浏览 7提问于2022-09-01得票数 0
回答已采纳
我在爬行以下简单的蜘蛛：
import scrapy
from tutorial.items import QuoteItem
class QuotesSpider(scrapy.Spider):
name = "quotes"
custom_settings = {
'CLOSESPIDER_ITEMCOUNT': 2,
'FEED_URI': 'quotes.jl',
}
浏览 1提问于2017-05-16得票数 2
回答已采纳
我废弃了新闻网站。每条新闻都有内容，也有很多评论。我有2个项目，一个是内容，另一个是多个评论。问题是内容和多个评论会产生不同的请求。我想要新闻的内容和它的多个评论应该产生或返回作为一起或作为一个。流水线的时间或顺序对我来说并不重要。
在项目文件中：
class NewsPageItem(scrapy.Item):
title = scrapy.Field()
date = scrapy.Field()
hour = scrapy.Field()
image = scrapy.Field()
image_url = scrapy.Field()
t
浏览 2提问于2017-01-29得票数 1
回答已采纳
我想要做的是刮取公司的信息(thisisavailable.eu.pn/company.html)，并将所有董事会成员的数据从不同的页面中添加到董事会中。
因此，理想情况下，我从示例页面获得的数据应该是：
{
"company": "Mycompany Ltd",
"code": "3241234",
"phone": "2323232",
"email": "info@mycompany.com",
"board
浏览 0提问于2017-03-06得票数 0
意图/预期行为
从页面：返回链接的文本
在CSV格式和shell中。
误差
我得到了一个KeyError：'title'，尽管我已经在item.py项目加载器中定义了键。
全追溯
Traceback (most recent call last):
File "C:\Users\phili\Anaconda3\envs\py35\lib\site-packages\scrapy\utils\defer.py", line 102, in iter_errback
yield next(it)
File "C:\Users\phili\An
浏览 2提问于2017-01-21得票数 1
回答已采纳
我有以下的Django模型。当使用scrapy管道在爬行器中扫描到Django中的数据库时，我不确定保存这些相互关联的对象的最佳方法是什么。scrapy管道似乎只处理一种“种类”的项目
models.py
class Parent(models.Model):
field1 = CharField()
class ParentX(models.Model):
field2 = CharField()
parent = models.OneToOneField(Parent, related_name = 'extra_properties')
c
浏览 0提问于2015-11-11得票数 5
我需要从多个页面中抓取数据。首先，它应该从第一页抓取数据，然后从这个页面中提取一个url到第二页，并从中获取一些数据。
所有人都应该在同一个csv行上。
这是第一页：
数据的示例是表e.g:catalog、模型、生产和系列的第一行。
这是第二页：示例的数据:系列，引擎，生产日期。
两者应该在同一个csv行上，就像屏幕截图一样：
这是我的密码：
import datetime
import urlparse
import socket
import scrapy
from scrapy.loader.processors import MapCompose, Join
from
浏览 4提问于2017-03-25得票数 0
我相信有一种比我更好的使用scrapy.Request获得响应的方法
...
import urllib.request
from scrapy.selector import Selector
from scrapy.http import HtmlResponse
...
class MatchResultsSpider(scrapy.Spider):
name = 'match_results'
allowed_domains = ['site.com']
start_urls = ['url.com']
浏览 0提问于2019-01-27得票数 1
我试图通过提取所有链接中的"huis“(="house”，荷兰语)来抓取一个网站。跟着，我在尝试
import scrapy
from scrapy.spiders import CrawlSpider, Rule
from scrapy.linkextractors import LinkExtractor
from Funda.items import FundaItem
class FundaSpider(scrapy.Spider):
name = "Funda"
allowed_domains = ["funda.nl
浏览 0提问于2016-07-12得票数 3
回答已采纳
1回答
我用Scrapy做了一个网络搜索器，它从收集汇率数据，并通过我的SQL在表中显示数据(货币缩写名称、货币全名和汇率)。我想要做的是，每次利率上升或下降，与上次擦伤相比，都会有一个列添加到货币中，说明它增加或减少了多少百分比。我该怎么做呢？这是我到目前为止所拥有的代码：
currency_scraper.py：
import scrapy
from ..items import EurotocurrencyItem
class CurrencySpider(scrapy.Spider):
name = 'currency'
start_urls = [
浏览 1提问于2020-05-03得票数 0
1回答
我正在尝试使用pipenv install scrapy来安装scrapy，但是当涉及到安装依赖项时。它失败了。
Installing scrapy…
Adding scrapy to Pipfile's [packages]…
Installation Succeeded
Installing dependencies from Pipfile.lock (ad2c1d)…
================================ 25/25 - 00:00:06
An error occurred while installing twisted==19.10.0 ;
浏览 0提问于2020-02-29得票数 0
2回答
我正在使用scrapy来删除，但是当我运行爬行器时，我没有看到任何响应。
我尝试了reddit.com和quora.com，它们都返回了数据(开始爬行)，但不是我想要的站点。
这是我的简单爬虫：
from scrapy.linkextractors import LinkExtractor
from scrapy.spiders import CrawlSpider
from scrapy.spiders import Rule
class FirstSpider(CrawlSpider):
name = "jobs"
allowed_domains = [&
浏览 1提问于2015-12-14得票数 1
2回答
重复抓取的数据
、、
我是python的新手，但由于工作原因需要擦除。我在scrapy上花了一两个星期，我最终对它感到满意，除了下面的代码，而不是输出一行数据，而是重复它五次。下面是一个示例(仅使用1个url)：
导入scrapy
class AdamSmithInstituteSpider(scrapy.Spider):
name = "adamsmithinstitute"
start_urls = [
"https://www.adamsmith.org/research?month=March-2018",
]
def parse(self, response):
浏览 2提问于2018-07-10得票数 1
1回答
我在这个爬虫上取得了很大的进展--我正在逐渐习惯于编码，并享受其中的每一分钟。然而，正如我正在学习的，我的大部分编程都是解决问题的。这是我目前的错误：
我的爬行器在终端窗口中显示了我想要的所有数据。当我转到output时，什么也没有显示。这是我的代码。
import re
import json
from urlparse import urlparse
from scrapy.selector import Selector
try:
from scrapy.spider import Spider
except:
from scrapy.spider import Ba
浏览 2提问于2014-11-29得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频活动推荐
腾讯云开发者
