我希望使用scrapy来浏览STIX文档，基本上将文档设置为RSS提要，然后‘抓取’它。目前，我只是使用ipython和scrapy shell来获取xpath。这是我得到的，但我不能让它工作-
response.xpath("//cyboxCommon:Simple_Hash_Value[@condition="Equals"]/text()").ex
浏览 4提问于2016-08-01得票数 0
回答已采纳
1回答
刮除Xpath输出为空
、、、
我想在这个网站上提取数据：，我正在学习python，以及如何使用Scrapy，我的问题是:为什么我不能用Xpath检索数据？当我在浏览器中测试Xpath时，我的xpath看起来很好，它会返回正确的值。(谷歌Chrome)from scrapy import Spider
from stack.itemsmw-content-text"]/
浏览 2提问于2016-06-28得票数 3
回答已采纳
我的项目涉及解析已经通过Scrapy或wget下载的文件。我知道我可以使用XPath选择器，但是到目前为止，我看到的示例涉及到在Scrapy的解析方法中调用XPath选择器，因此只对Scrapy下载的文件起作用。有没有一种方法可以直接对下载的文件使用XPath？我是Python和Scrapy的新手，所以我找不到在独立的非Scrapy Python
浏览 2提问于2013-01-13得票数 0
1回答
我正在构建一个网络刮刀，从网站下载csv文件。我必须登录到多个用户帐户，以下载所有的文件。我还需要浏览几个href，才能为每个用户帐户找到这些文件。为了完成这项任务，我决定使用刮除蜘蛛。下面是我到目前为止掌握的代码： hxs = scrapy.Selector(response)
all_links = hxs.xpath('*
浏览 1提问于2017-01-20得票数 0
回答已采纳
1回答
我正在尝试使用scrapy来收集谷歌搜索结果，并将其放入MongoDB。但是，我没有得到任何回应。我遗漏了什么？import scrapy
name = "google" )
def parse(self, response)
浏览 2提问于2015-10-05得票数 0
我正在尝试抓取这个网址"“//a[@class="product_img_link"]//@href任何帮助都应该受到感谢。
浏览 2提问于2014-06-07得票数 1
我刚接触scrapy，已经在这个简单的程序上花了很多时间，但我搞不懂。我使用chrome检查此页面中所有教授的链接的x路径，并使用控制台测试xpath。当我把“正确的xpath”放在爬虫里面，它将不再工作，链接的大小返回0“我很困惑now.Could有人能帮我吗？import scrapy
from scrapy.contrib.spiders import Rule
from scr
浏览 4提问于2016-03-18得票数 0
2回答
我已经尝试过这些选择器/Xpath。Selector(response).xpath('//*[@id="ctl00_LeftColumnMiddle_Table1"]/tbody/tr')Selector(response).css这是Scrapy中的一个bug吗？
如果是，有没有其他方法可以按照我想要的方式处理记录？
浏览 6提问于2017-02-14得票数 4
2回答
在检查之后，当我在浏览器中搜索xpath时，它会显示所需的结果，但是当我在scrapy中使用与响应相同的xpath时，它应该是一个空列表。现在，当我在scrapy shell中的响应中运行相同的xpath时，我得到一个空列表，即使响应状态是200。
浏览 0提问于2019-07-10得票数 0
1回答
首先，如果我使用extract_first，scrapy会给我每个页面的第一个元素，如果我像这样运行它，它会返回我想要的所有内容，但都是一行程序。其次，我不能让scrapy转到我刚刚抓取的链接，并从这些链接中获取信息，返回一个空的csv文件。from scrapy import Spiderimport re
class companiesSpider(('//*[@id="da
浏览 15提问于2019-07-18得票数 0
回答已采纳
2回答
我是Python和Scrapy的新手。我想从网站提取信息，包括文件的链接，名称和有效到。import scrapy
from scrapy.spiders importlegal/critical-information-sum
浏览 0提问于2017-08-20得票数 0
我需要获取的数据是产品名称、描述和价格。信息:我将添加我的整个文件结构和当前代码。我只调整了实际的爬虫文件(karcher_crawler.py)，其他文件大部分都是默认的。我的文件夹结构：
scrapy_karcher
浏览 10提问于2019-08-11得票数 0
回答已采纳
我曾尝试使用Xpath重现Scrapy教程，但一直遇到ERROR: Spider must return Request, BaseItem or None, got 'dict' in <GET http我将分享来自两个文件的代码片段，这两个文件应该足以进行调试：from scrapy.spider import Spider
from scrapy import//span
浏览 0提问于2017-08-15得票数 2
回答已采纳
def parse(self, response): reply = response.xpath/tr/td/table/tbody/tr/td/font/table/tbody/tr/td/table/tbody/tr/td/font/b')
dates = response.<e
浏览 1提问于2015-04-26得票数 0
回答已采纳
1回答
我使用scrapy从一个使用的归档文件中爬过。我并不十分熟悉OAI-PMH会如何影响Scrapy，但是当我使用以下命令时似乎出现了问题：一个记事本文件不是打开在我的浏览器中的网站，而是打开以下内容：
浏览 1提问于2013-12-30得票数 0
回答已采纳
import scrapy open_in_browser(response)
因此，我后来尝试了selenium，我使用下面的代码成功地登录到堆栈溢出("//*[@id='submit-but
浏览 1提问于2020-09-24得票数 2
回答已采纳
2回答
但是，当我运行以下蜘蛛时，返回的是一个空的json文件。我的items.py class CollegesItem(scrapy.Item): link = scrapy.Field() import scrapy
浏览 4提问于2015-08-17得票数 2
回答已采纳
2回答
我对Scrapy很陌生。我正在研究如何使用它来抓取整个网站的链接，在其中我会将条目输出到多个JSON文件中。所以我可以把它们上传到Amazon搜索中进行索引。是否有可能将项目分割成多个文件，而不是最终只有一个巨大的文件？据我所读，项目出口商只能输出到每个蜘蛛一个文件。但是我只使用一个CrawlSpider来完成这个任务。如果我能对每个文件中包含的项目的数量设置一个限制，比如500或1000，那就太好了。下面是我迄今为止设置的代码(基于本教程中使
浏览 3提问于2015-09-30得票数 7
回答已采纳
云服务器
ICP备案
对象存储
即时通信 IM
云直播
腾讯云开发者
