4回答
我有一个卷曲页面抓取与卷曲，并希望抓住所有的链接与一定的id。据我所知，最好的方法是使用dom和xpath。下面的代码抓取了大量的url，但删除了其中的许多，并抓取了不是url的文本。$curl_scraped_page是用卷曲抓取的页面。$dom = new DOMDocument();$xpath = new DOMXPath($dom);
$hrefs =$
浏览 0提问于2011-03-25得票数 2
1回答
我正在尝试抓取#页的数据。我已经做了一个可以从一个页面抓取数据的抓取器。但它在刮掉第一页后突然完成了工作# -*- coding: utf-8 -*-import csv next_page_url = response.xpath("/
浏览 11提问于2019-11-07得票数 1
false|6762928|false&hideMonthlyPayment=False&condition=verygood&mileage=40000", "//text[@y='-8']") 在此URL我看到标准的Can't fetch URL错误，并且找不到原因。
浏览 21提问于2019-10-14得票数 1
回答已采纳
1回答
这是我的抓取代码，我不知道我错了，但是在只抓取第一个page.How中，我可以抓取和遍历页面吗？有没有其他方法可以抓取下一页？sibling"]//div[@class="left"]//text()').extract()
浏览 14提问于2020-09-14得票数 2
我正在尝试用Scrapy抓取一个游戏信息网站。抓取过程是这样的:抓取类别->抓取游戏列表(每个类别有多个页面) ->抓取游戏信息。抓取的信息应该放到一个json文件中。//text()").get()
浏览 26提问于2021-02-09得票数 0
我使用Scrapy从网站的第一页抓取信息，并将数据导出为.csv文件，如下所示：我想要获得form的输出： 'Link': [u'url'],{...........但相反，我在一个{}中获得了所有内容，即
{[all 'Titl
浏览 1提问于2015-10-19得票数 0
1回答
我试着从hindustantimes.com上抓取影评和电视新闻。当我运行这段代码时，它只抓取第一个start_url，但不能抓取第二个start_url。我想柜台必须重置，但我不知道如何重置。我想从这两个start_url中抓取n页。x = url.format(i)
def parse(se
浏览 9提问于2020-04-06得票数 0
4回答
我需要从下面的警告框中抓取一条短信。此警报框出现在url栏上方。下面是我的框架断言的一个例子：任何帮助都是非常感谢的。
浏览 5提问于2015-01-29得票数 5
回答已采纳
你好，我想要一些来自其他网站的数据来自 &我只想要那个网站的日历。没别的事了。此外，我还检索数据，但孔页数据。
浏览 3提问于2010-11-03得票数 0
1回答
这是抓取只有4个链接，并返回15个抓取项目/行，但我需要抓取20个链接与35+抓取项目。=response.url instruction=response.css=response.xpath('//*[@property="
浏览 0提问于2018-12-18得票数 0
1回答
抓取可点击的链接或xpath
、、、、
我已经抓取了所有联盟名称的所有文本。但我也需要一个XPATH或任何指示器，这样我才能告诉selenium:如果我在GUI中从下拉菜单中选择了例如EFL联赛2 (ENG 4)，那么在web应用程序中使用相应的xpath来选择正确的联赛。- I try to get a link/xpath for each corresponding league to use later with selenium
scrape_leagues_xpath= driver.find_elements_b
浏览 16提问于2020-09-09得票数 0
回答已采纳
1回答
我正在从一个叫启动印度的网站上抓取数据，我试图删除配置文件的URL和名称，但一些配置文件没有，如果一些配置文件没有URL，我应该将名称和URL设置为无，为此我尝试了许多替代方案，如try-except)
next = self.driver.find_elements_by_xpath("//*[@id='persona-results']//a[@class='img-wrap'write it
浏览 17提问于2020-01-23得票数 0
2回答
Scrapy图像管道
、、、
我在爬行器中编写了以下函数来抓取网站中的信息。我已经启用了Image管道，甚至可以将图像与相关的抓取数据一起抓取。使用这段代码，我可以生成图像或scraped_data (在最后第二行中注释)。def parse_info(self, response): title = str(response.xpath('//*[@dataitem="itemTitle"]/text(
浏览 9提问于2018-01-17得票数 1
回答已采纳
1回答
我正在抓取url集合，但是它们都缺少url的基址，所以我想将"start_url“作为基址附加到每个抓取的url。blog"]
hxs = HtmlXPathSelector(response)
浏览 0提问于2015-05-03得票数 1
1回答
只刮最后一个url
、、、
在方法parse()中，蜘蛛爬行4个url，然后发送给parse_dir_contents()方法来抓取一些数据，但是只有第4个url被抓取，我不明白为什么它不刮其他3个url？print "________________"+url
def parse_dir_contents(self,
浏览 0提问于2016-06-25得票数 0
回答已采纳
1回答
比基本抓取功能的使用更深入。
我了解基本的BaseSpider类:名称、allowed_domains，以及如何为每个start_url发送请求对象，其中解析函数用作回调函数，并且解析接收响应。我知道我的解析函数为名为"service-name“的每个类的数据保存了一个XPath响应，然后我相信它会通过循环遍历将每个XPath响应匹配存储到对象"item”中，然后将其发送到“XPath容器中的“newUrl”包含需要刮除的连接URL，我需要弄清楚如何获取LinkPar
浏览 1提问于2014-09-16得票数 3
回答已采纳
在我的网络抓取项目中，我必须从中抓取足球比赛数据，以便从上面的url导航到比赛数据，我必须遵循url中具有散列的超引用：以下链接的标准抓取机制：
href = response.xpath("//a[contains(@href,'matches')]&
浏览 0提问于2018-10-07得票数 0
当从NASDAQ抓取数据时，有一些像ACHC这样的报价器有空页。## navigate to income statement annualy page browser.get(url)
company_xpath</e
浏览 11提问于2017-07-20得票数 0
回答已采纳
我正试着从网站上抓取一些特定的原始文本。通过这个站点和其他资源，我学习了如何使用simpleXML和xpath获取特定的图像。$xml = simplexml_import_dom($html);// run an XPath query on the div I wan
浏览 4提问于2009-01-01得票数 2
云服务器
对象存储
ICP备案
云点播
实时音视频
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号