如何在Scrapy中使用xpath抓取没有类或属性的标记？
在Scrapy中使用xpath抓取没有类或属性的标记，可以通过以下步骤实现：
- 导入必要的模块：
from scrapy import Selector- 获取网页内容：
html_content = response.body- 使用Selector解析网页内容：
selector = Selector(text=html_content)- 使用xpath表达式定位目标标记：
target_elements = selector.xpath('//tag_name')其中，tag_name是目标标记的标签名，例如div、p等。
- 提取目标标记的文本或属性：
text = target_elements.xpath('string()').get()
attribute = target_elements.xpath('@attr_name').get()其中，attr_name是目标标记的属性名，例如href、src等。
- 如果目标标记包含子标记，可以继续使用xpath表达式定位子标记：
child_elements = target_elements.xpath('.//child_tag_name')其中，child_tag_name是子标记的标签名。
- 循环遍历子标记，提取文本或属性：
for child_element in child_elements:
child_text = child_element.xpath('string()').get()
child_attribute = child_element.xpath('@attr_name').get()总结： 在Scrapy中，即使目标标记没有类或属性，也可以使用xpath抓取。通过Selector解析网页内容，使用xpath表达式定位目标标记，然后提取文本或属性即可。这种方法适用于需要抓取没有类或属性的标记的情况。
推荐的腾讯云相关产品：腾讯云服务器（CVM）
- 产品介绍链接地址：https://cloud.tencent.com/product/cvm
相关·内容
1回答
抓取蜘蛛不能正确抓取数据
、、、、
我正在尝试从我的大学网站上抓取关于循环的数据，使用scrapy进行一个项目，但我的爬虫没有正确地抓取数据。有很多空白元素，而且由于某些原因，我无法抓取通知的'href‘属性。我假设我的CSS选择器是错误的，但我无法找出我到底做错了什么。我用'Selector Gadget‘Chrome扩展复制了我的CSS选择器。我一直在学习scrapy，所以如果你能解释我做错了什么，那就太好了。 我正在抓取数据的网站是：https://www.imsnsit.org/imsnsit/notifications.php 我的代码是： import scrapy
from ..items imp
浏览 10提问于2020-11-21得票数 0
1回答
from scrapy import Spider
from scrapy.http import Request
class AuthorSpider(Spider):
name = 'book'
start_urls = ['https://www.amazon.sg/s?k=Measuring+Tools+%26+Scales&i=home&crid=1011S67HHJSEW&sprefix=measuring+tools+%26+scales%2Chome%2C408&ref=nb_sb_noss']
浏览 6提问于2022-01-25得票数 0
回答已采纳
我正在尝试创建一个蜘蛛，抓取第三方软件的网站，以便创建当前版本号的存储库。这是我尝试使用脚本从站点css获取当前的Firefox版本号。我使用的是Python 2.7
import scrapy
import html2text
from scrapy.selector import HtmlXPathSelector
class MozillaSpider(scrapy.Spider):
name = 'mozilla'
allowed_domains = ['mozilla.com']
start_urls = ['https://www.mozi
浏览 0提问于2018-04-06得票数 0
1回答
使用scrapy搜索块中的属性
、、、、
我正在使用scrapy抓取这个链接：
<input class="xxxmail" type="text" readonly="readonly" value="xxx.org">
我只需要"xxx.org“我如何检索它？
浏览 1提问于2014-04-19得票数 0
3回答
动态创建字段的剪贴式正确选择器
、、、、
我正在做一个网络抓取器，我在抓取正确的选择器时遇到了麻烦。下面是我的代码：
# -*- coding: utf-8 -*-
import scrapy
import pandas as pd
from ..items import HomedepotpricespiderItem
from scrapy.http import Request
class HomedepotspiderSpider(scrapy.Spider):
name = 'homeDepotSpider'
allowed_domains = ['homedepot.com
浏览 0提问于2020-11-14得票数 4
我想让我的蜘蛛抓取每个人的“追随者”和“追随者”的数量。目前，它只给出了几千个结果中的6个。怎样才能得到完整的结果？
"items.py“包括：
import scrapy
class HouzzItem(scrapy.Item):
Following = scrapy.Field()
Follower= scrapy.Field()
名为"houzzsp.py“的爬虫包括：
from scrapy.contrib.spiders import CrawlSpider, Rule
from scrapy.contrib.linkextractors import
浏览 1提问于2017-04-09得票数 0
1回答
我需要抓取脚本标记的内容作为文本，该脚本标记带有一个非常特定的属性，并带有scrapy库。本质上，这相当于BeautifulSoup：
js_content = soup.find("script",type="application/ld+json").get_text()
我试过了，但结果并不完全是我所需要的。
response.css('script').attrib['type']
浏览 1提问于2022-11-26得票数 0
回答已采纳
2回答
我对蟒蛇很陌生。我通常使用php来抓取数据。我正试着换到蟒蛇。我从这里开始学习教程。
我想从维基百科的网页上爬出国家和首都。
我的蜘蛛计划是：
import scrapy
class CountrySpider(scrapy.Spider):
name = "countryCapitals"
allowed_domains = ["wikipedia.org"]
start_urls = [
"https://en.wikipedia.org/wiki/List_of_national_
浏览 5提问于2016-02-01得票数 2
回答已采纳
2回答
我想使用python和scrapy从网页中抓取一些信息，但当我尝试这样做时，我的项目的输出是空的……
首先，我用scrapy开始了一个新项目。然后，我在items.py文件中编写了以下代码：
import scrapy
class KakerlakeItem(scrapy.Item):
info=scrapy.Field()
pass
接下来，我使用以下代码在爬行器的文件夹中创建了一个新文件：
import scrapy
from kakerlake.items import KakerlakeItem
class Kakerlakespider(scrapy.Spide
浏览 3提问于2015-11-07得票数 2
我是Scrapy的新手，我想做的是做一个爬虫，它只会跟踪给定start_urls上的HTML元素中的链接
举个例子，假设我只想让一个爬虫程序遍历start_urls设置为的AirBnB清单
我不想抓取URL中的所有链接，而是只想抓取xpath中的链接
目前，我正在使用以下代码来抓取所有的链接，我如何才能使其仅抓取//*[@id="results"]
from scrapy.selector import HtmlXPathSelector
from tutorial.items import DmozItem
from scrapy.contrib.sp
浏览 0提问于2012-12-25得票数 6
回答已采纳
2回答
仅剪贴式正文文本
、、、
我尝试使用python Scrapy从正文中抓取文本，但还没有成功。
希望一些学者能够在这里帮助我从<body>标记中抓取所有的文本。
浏览 1提问于2011-03-22得票数 9
回答已采纳
我用抓取来抓取youtube视频，我需要video.When的标题/描述语言，我在上使用浏览器查看源代码，我可以在脚本标签内有一个变量'METADATA_LANGUAGE': 'no'。我可以在scrapy及其扩展中提取这个值吗?或者我应该下载并解析html，并使用漂亮汤/html解析器之类的库。
浏览 4提问于2016-04-22得票数 1
回答已采纳
mytubeid标记(如<iframe src="/portal/corporateEventsCalendarIframe.html" mytubeid="mytube1" width="820" height="1600" frameborder="0"/>)在iframe中做什么？
请注意，iframe中没有id或其本身！
如何在代码中引用它？我正在使用python+selenium+scrapy构建一个tool抓取工具。
浏览 5提问于2017-03-07得票数 0
回答已采纳
2回答
我试图让我的蜘蛛浏览一个列表，刮掉所有的url--它可以在它们后面找到，抓取一些数据，然后返回到下一个未刮掉的链接上--如果我运行这个蜘蛛--我可以看到它返回到起始页面，但是尝试再次抓取相同的页面，然后退出对python来说非常新的任何代码建议。
import scrapy
import re
from production.items import ProductionItem, ListResidentialItem
class productionSpider(scrapy.Spider):
name = "production"
allowed_dom
浏览 3提问于2016-07-18得票数 0
回答已采纳
1回答
我正在使用Scrapy1.0.5并尝试抓取一系列文章来获取它们的标题和相应的URL。我只想在div元素中爬行ID为devBody的链接。考虑到这一点，我试图在规则中指定这样的限制，但我不明白为什么它仍然在搜索超出该范围的链接：
from scrapy import Spider
from scrapy.linkextractors import LinkExtractor
from scrapy.spiders import Rule
from stack.items import StackItem
class StackSpider(Spider):
name = "st
浏览 5提问于2016-03-10得票数 0
回答已采纳
我正在尝试抓取this网站，我想要地址和联系方式，但我不知道为什么我没有得到输出，我想要的数据存在于响应中，但我无法抓取它，请告诉我我哪里做错了，我浪费了很多时间，只是卡住了 import scrapy
from scrapy.linkextractors import LinkExtractor
from scrapy.spiders import CrawlSpider, Rule
class MobilesSpider(CrawlSpider):
name = 'mobiles'
allowed_domains = ['www.vcsdata
浏览 11提问于2021-09-27得票数 1
回答已采纳
我对python和web抓取很陌生，我想知道是否有可能用刮伤从产品页面中抓取。
示例:我在amazon.com上搜索监视器，我希望scrapy转到每个产品页面并从那里刮取，而不是只是从搜索结果页面中抓取数据。
我读过一些关于xpath的文章，但我不确定是否可以使用这个方法，而且我发现的所有其他资源似乎都在使用其他东西，比如漂亮的汤等等。我正确地拥有了一个从搜索结果页面中抓取的刮擦项目，但是我想将它改进为从产品页面中刮取。
编辑：
以下是我根据您的建议修改的spider.py：
class TestSpiderSpider(scrapy.Spider):
name = 'testscra
浏览 3提问于2020-11-10得票数 0
回答已采纳
2回答
我正在使用Scrapy抓取沃尔玛网站，我正在尝试一个类别，但我无法确定下一页的xpath。这是我的资料，有人能帮帮忙吗？ response.xpath('//*[@class="paginator outline"]/ul/li/a/@href') 要检查的沃尔玛网址：https://www.walmart.com/browse/electronics/tvs/3944_1060825_447913
浏览 15提问于2019-12-18得票数 0
我有以下问题： 我想使用scrapy从图像中抓取src。有没有可能用python (scrapy)像javascript那样做到这一点呢？ 例如： <img class="test image_of_something" src="some_url"> 输出应该是"some_url“。第一个问题： response.css("img") 我不能从网站上得到所有的img-classes。是否可以使用某种类型的查询选择器？因为我只需要特定的图像src。就像在javascript中一样 document.querySelector
浏览 15提问于2019-04-13得票数 0
回答已采纳
我已经写了一些刮擦代码，以获得HTML链接，从真正的搜索页面的结果。我的起始URL是一个http地址，它提供了一个招聘广告列表。我正试图抓取页面和职务标题上显示的每个作业的URL。我的问题似乎是titles = response.xpath属性。如果我使用特定于作业的属性，我会得到数据，但是当我使用代码中所示的属性时，我什么也得不到(甚至连列标题也得不到)。尽管该属性包含了我所需要的一切，但这仍然是事实。任何帮助都欢迎，因为我只是一个初学者。
我正在输出一个CSV文件，我已经在其他地方成功地使用了这段代码，所以我想知道这是否与他们编码目标URL页面的方式有关。快把我逼疯了！
from scra
浏览 1提问于2018-11-14得票数 0
回答已采纳
我正在学习在scrapy中使用xpath，但是我要抓取的html是相当复杂的。 我尝试过用html、css和xpath选择一些东西，但我达到了这个目的： response.xpath('//span[starts-with(@class,"Animal-")]').getall() 它返回： [u'<span class="Animal-1" title="Dogs" legs="4" tail="true"></span>', u'<span
浏览 29提问于2019-09-11得票数 0
回答已采纳
1回答
目的:从div类list_area daily_all中抓取文本数据。 使用scrapy shell，我首先“抓取”了我想要抓取数据的网站：https://comic.naver.com/webtoon/weekday.nhn 使用'scrapy shell‘脚本：scrapy shell 'https://comic.naver.com/webtoon/weekday.nhn' 使用xpath，我想从div类"list_area daily_all“中抓取所有文本数据： response.xpath("//div[@id='wrap'
浏览 18提问于2019-06-10得票数 2
2回答
我想用刮擦爬一个页面http://www.jcvi.org/charprotdb/index.cgi/l_search?terms.1.field=all&terms.1.search_text=cancer&submit=+++Search+++&sort.key=organism&sort.order=%2B。但似乎有一个问题，我没有得到任何数据时，爬行。
这是我的蜘蛛代码：
import scrapy
from scrapy.selector import Selector
from scrapy_Data.items import CharProt
浏览 1提问于2016-05-28得票数 1
回答已采纳
我正在尝试打印出我试图抓取的项目的h1标题。我尝试过从像这样的https://www.steinersports.com/football/tampa-bay-buccaneers/tom-brady-tampa-bay-buccaneers-super-bowl-lv-champions-autographed-white-nike-game-jersey-with-lv-mvp-inscription/o-8094+t-92602789+p-2679909745+z-8-2492872768?_ref=p-FALP:m-GRID:i-r20c0:po-60产品中打印print(respo
浏览 26提问于2021-03-28得票数 0
回答已采纳
我有一个爬虫，我想要抓取一篇我感兴趣的文章，然后将标题和内容存储在字典中。但是，当我抓取正文时，它会返回html代码，我希望将其转换为文本(包括文章中的所有h1和href )，但是当我使用.getall()时，它会返回一个空列表。我如何将所有这些都转换为文本，同时仍然将所有内容保留在文章中。
在scrapy shell中，我已经尝试过，它返回了一个包含所有html代码的大列表。
response.css("div.rich-text-content").getall()
下面是我为了完成这项任务而创建的初始蜘蛛…
class ArticleSpider(scrapy
浏览 0提问于2019-08-14得票数 0
2回答
使用最新版本的Scrapy和python 3.8，我想让我的爬虫从网站上抓取一些书籍的图像。但在运行爬行器(称为提升)后，我得到了这个日志，其中显示有项目被抓取，但我既看不到应在其中存储图像的任何新文件夹，也无法打开输出。顺便说一句，我的爬虫以前工作得很好，所以我只是写下了我最近添加到它中的所有代码。这是我得到的日志： 2020-10-15 09:31:47 [scrapy.utils.log] INFO: Scrapy 1.6.0 started (bot: digikala)
2020-10-15 09:31:47 [scrapy.utils.log] INFO: Versions: l
浏览 16提问于2020-10-21得票数 0
回答已采纳
1回答
无法从url获得其他项目
、、、
我从中抓取了几个项目，但是它只从第一个产品中抓取项目，没有进一步循环。我知道我犯了一个简单的愚蠢的错误，但如果你能指出我在哪里弄错了，我会很感激的。
这是蜘蛛：
from scrapy.item import Item, Field
from scrapy.spider import BaseSpider
from scrapy.selector import Selector
import re
from zoomer.items import ZoomerItem
class ZoomSpider(BaseSpider):
name = "zoomSp"
浏览 3提问于2014-04-08得票数 3
回答已采纳
我用刮痕来抓取一些信息，但是我被数据的句柄吓呆了。在for循环中，第一步是找到一个名为selectors的“根”xpath，然后循环。我的想法是，如果是第一个选择器，是ul的第一个选择器，那么我可以抓取第一个选择器的所有数据！相反，scrapy返回所有元素的数组。我用选择变量作为“这”
import Scrapy
class SecccionAmarillaSpider( scrapy.spider ):
name="seccion_amarilla"
start_urls = ['https://www.seccionamarilla.com.mx/result
浏览 0提问于2018-09-28得票数 0
回答已采纳
我使用Scrapy从网站的第一页抓取信息，并将数据导出为.csv文件，如下所示：
scrapy crawl spidername -o data.csv
我想要获得form的输出：
{'Title': [u'Message'],
'Link': [u'url'],
'Text': [u'Hello World']}
{...........
.....} etc
但相反，我在一个{}中获得了所有内容，即
{[all 'Title' data],
[all 'Link&
浏览 1提问于2015-10-19得票数 0
Javascript隐藏了一些元素，但是当我使用scrapy抓取数据时，这些元素会被抓取，就好像它们没有被Javascript隐藏一样。
链接1：链接2：
例如:当我使用Scrapy和xpath (//div@id='productDetails'/ul@class='details'/li@id='add_to_cart_li'/a@id='add_to_cart'/span@class='buy-txt')，抓取这两个链接时，我在两个链接中都得到了“立即购买”的文本，即使其中一个链接不包含“立即购买”文本。
浏览 0提问于2014-05-30得票数 0
1回答
好的，所以我必须完全编辑这个。我已经让脚本部分工作，我可以启动它没有任何问题，这是脚本。粘贴链接在这里：，您可以看到我在cmd行中得到了什么。我确信正在搜索的关键字在这些链接中，因为我也尝试过其他单词，但它没有下载它们。
import scrapy
import requests
from scrapy.http import Request
import scrapy
from FinalSpider.items import Page # Defined in items.py
URL = "http://url.com=%d"
starting_number =
浏览 2提问于2015-11-30得票数 0
回答已采纳
3回答
我有以下用Scrapy编写的简单的web刮刀
#!/usr/bin/env python
# -*- coding: latin-1 -*-
from scrapy.http import Request
from scrapy.spider import BaseSpider
from scrapy.selector import HtmlXPathSelector
class MySpiderTest(BaseSpider):
name = 'MySpiderTest'
allowed_domains = ["boliga.dk"]
浏览 0提问于2013-10-07得票数 2
回答已采纳
我的代码是
import scrapy
class CoinSpider(scrapy.Spider):
name = "coin2"
def start_requests(self):
url = "https://bitinfocharts.com/top-100-richest-bitcoin-addresses.html"
yield scrapy.Request(url=url, callback=self.parse)
def parse(self, response):
i=1
for row i
浏览 6提问于2021-12-14得票数 -2
4回答
如何从本站抓取商品位置号
网址：
请查看此屏幕截图
# -*- coding: utf-8 -*-
import scrapy
class ToscrapeSpider(scrapy.Spider):
name = 'toscrape'
allowed_domains = ['books.toscrape.com']
start_urls = ['http://books.toscrape.com/']
def parse(self, response):
lists=response.c
浏览 0提问于2018-11-15得票数 1
1回答
使用Scrapy解析文档
、、、
我有一个问题，我想解析一个网站，并从它抓取每个文章的链接，但问题是Scrapy没有抓取所有的链接和抓取其中的一些随机次数。
import scrapy
from tutorial.items import GouvItem
class GouvSpider(scrapy.Spider):
name = "gouv"
allowed_domains = ["legifrance.gouv.fr"]
start_urls = [
"http://www.legifrance.gouv.fr/affichCo
浏览 3提问于2016-02-03得票数 0
嗨，有人能帮我，我似乎被困住了，我正在学习如何爬行和保存到mysql我们刮刮。我正在尝试抓取抓取所有的网站网页。从"start_urls“开始，但它似乎并不会自动爬行所有页面，而是使用pipelines.py保存到mysql中。当f= open("urls.txt")中提供urls时，它也会抓取所有页面，并使用pipelines.py保存数据。
这是我的密码
test.py
import scrapy
from scrapy.contrib.linkextractors.sgml import SgmlLinkExtractor
from scrapy.contrib.
浏览 6提问于2015-03-30得票数 0
回答已采纳
1回答
我想报废这个网站。
我已经构建了一个简陋的代码：
import scrapy
from urllib.parse import urljoin
class DhgateSpider(scrapy.Spider):
name = 'dhgate'
allowed_domains = ['dhgate.com']
start_urls = ['https://www.dhgate.com/wholesale/electronics-robots/c103032.html']
def parse(sel
浏览 0提问于2018-08-27得票数 0
回答已采纳
1回答
好吧，我知道为什么，因为没有为next_page变量提取任何内容，但我不确定Im是否正确地使用xpath
import scrapy
from scrapy.selector import HtmlXPathSelector
from scrapy.http.request import Request
class SunBizSpider(scrapy.Spider):
name = 'sunbiz'
start_urls = ['http://search.sunbiz.org/Inquiry/CorporationSearch/SearchResults?in
浏览 1提问于2015-10-28得票数 0
回答已采纳
我读过很多类似问题的答案，但对我来说没有什么用。
我希望从链接中检索字体的名称，作为文本：
<a href="/fonts/stephen-rapp/solantra/" class="fcFontName">Solantra</a>
下面的是我的基本蜘蛛的代码：
import scrapy
from scrapy import Spider
from scrapy.selector import Selector
from myfontsitem.items import MyfontsitemItem
class StackSp
浏览 1提问于2017-04-29得票数 0
2回答
我无法抓取整个网站，Scrapy只能在表面抓取，我想抓取更深的部分。我已经用谷歌搜索了5-6个小时，但没有任何帮助。我的代码如下：
from scrapy.contrib.spiders import CrawlSpider, Rule
from scrapy.contrib.linkextractors.sgml import SgmlLinkExtractor
from scrapy.selector import HtmlXPathSelector
from scrapy.item import Item
from scrapy.spider import BaseSpider
from
浏览 0提问于2013-03-19得票数 11
2回答
我正在尝试创建一个收集特定数据的蜘蛛。有一个网站，其中有一个受欢迎学生的排名名单。我需要所有大学的“计算机工程”(комп‘ютернаінженерія，乌克兰语)专业的每一个人。没有错误，但是csv文件是空的.
# -*- coding: utf-8 -*-
from scrapy.linkextractors import LinkExtractor
from scrapy.spiders import CrawlSpider, Rule
from scrapy.contrib.loader.processor import TakeFirst
from scrapy.contrib
浏览 2提问于2017-02-27得票数 0
回答已采纳
3回答
我想从网站上抓取数据。我使用下面的代码
import scrapy
class KamusSetSpider(scrapy.Spider):
name = "kamusset_spider"
start_urls = ['http://kbbi.web.id/abadi']
def parse(self, response):
SET_SELECTOR = '.tur highlight'
for brickset in response.css(SET_SELECTOR):
浏览 7提问于2017-07-06得票数 3
我使用Scrapy创建了一个webscraper，以从这个获取音乐会门票数据。我已经成功地为一些选择器抓取了数据，这些选择器本质上只是html文本，但是其他一些选择器正在收集任何东西。当我试图从每个票证中刮取音乐会日期时，响应中会返回一个空数组，尽管我使用的xpath在开发人员控制台中运行时返回所有正确的日期。我在类定义中定义项的方式有问题吗？如能提供任何帮助，将不胜感激：
from scrapy.contrib.spiders import CrawlSpider
from scrapy.selector import HtmlXPathSelector
from scrapy.selec
浏览 3提问于2015-06-27得票数 2
回答已采纳
1回答
由于某些原因，我无法正确获得XPath并从Nordstrom.com获取产品映像，我使用的是Scrapy，这是我的代码，strPicture总是空的：
from scrapy.spider import Spider
from scrapy.selector import Selector
from bed2.items import bed2Item
import urlparse
class MySpider(Spider):
name = "bed2"
allowed_domains = ["nordstrom.com,"nordstro
浏览 4提问于2014-02-21得票数 1
回答已采纳
2回答
我是新刮刮，目前正在学习如何从一个名单刮刮的URL信息。我已经能够从一个网址上抓取信息，通过在刮伤网站上的教程。然而，即使在谷歌在线搜索解决方案之后，我也面临着从url中刮出的url列表中的信息的问题。
我在下面写的刮刀可以从第一个网址刮起。但是，它不成功地从刮过的URL列表中抓取。这个问题从def parse_following_urls(self，response)开始:这样我就无法从被刮掉的URL列表中抓取
有人能帮忙解决这个问题吗？提前谢谢。
import scrapy
from scrapy.http import Request
class SET(scrapy.Item):
浏览 7提问于2016-02-12得票数 0
回答已采纳
我的目标是构建一个从的表中提取数据的刮板。
最初，我遵循了，在那里我成功地从测试站点提取数据。当我试图为Bitinfocharts复制它时，第一个问题是我需要使用xpath，本教程没有详细介绍这个问题(它们只使用css )。我已经能够通过shell刮取我想要的具体数据。
我当前的问题是理解如何从我的代码中抓取它们，同时将结果写到.csv / .json文件中？
我可能漏掉了一些很明显的东西。如果你能看看我的代码，让我知道我做错了，我会非常感激的。
谢谢!
第一次尝试：
import scrapy
class RichlistTestItem(scrapy.Item):
#
浏览 0提问于2018-11-03得票数 0
1回答
如何从两个不同的部分抓取项目？
、、、、
我是新的抓取和网络爬虫，我一直在工作的网页www.mercadolibre.com.mx，我必须(从起始页)一些数据(描述符和价格)显示在那里的产品。这是我的items.py：
from scrapy.item import Item, Field
class PruebaMercadolibreItem(Item):
producto = Field()
precio = Field()
这是我的蜘蛛
from scrapy.spider import BaseSpider
from scrapy.selector import HtmlXPathSelector
from
浏览 1提问于2014-05-26得票数 3
回答已采纳
1回答
我最近开始了我的第一个Python项目。我对火车很感兴趣，我在我的国家铁路公司的网站上没有发现任何CSV数据，所以我决定在Scrapy做网络抓取。但是，当在我的终端中使用fetch命令测试响应时，我一直无意中发现了DEBUG:爬行(403)。当我试图获取第二个链接时，终端会结冰--这些是我想为我的项目抓取数据的网站：
在看了几篇关于这个问题的文章之后，我改变了蜘蛛的设置，以克服错误，比如禁用cookie，使用刮除的假用户代理，以及更改下载延迟。我还试图只将USER_AGENT变量设置为一些随机的用户代理，而不引用scrapy-假冒伪劣用户代理。不幸的是，所有这些都没有用。
DOWNLOAD
浏览 7提问于2022-10-25得票数 0
1回答
我正在尝试从这个网站抓取代理机构的电话号码：
列表视图
详细信息视图
电话号码隐藏在详细信息页面中。
那么，有没有可能通过像上面的详细视图url和抓取电话号码这样的url浏览网站呢？
我在这段代码中的尝试是：
from scrapy.item import Item, Field
class AgencyItem(Item):
Phone = Field()
from scrapy.contrib.spiders import CrawlSpider, Rule
from scrapy.contrib.linkextractors.sgml import SgmlLinkExtra
浏览 0提问于2013-04-24得票数 2
我在抓取这个页面时遇到了麻烦：
我的抓取器获取了子页面的所有链接，并正确地抓取了这些链接(25个结果)，但没有正确地提交表单请求以获取下25个结果(依此类推)。如果任何人能提供帮助，我将不胜感激。谢谢!
import scrapy
class ParcelScraperSpider(scrapy.Spider):
name = 'parcel_scraper'
start_urls = ['http://maps.kalkaskacounty.net/propertysearch.asp?PDBsearch=setdo',
浏览 0提问于2018-07-04得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM活动推荐
腾讯云开发者
