我试着用美人汤抓取多个页面，但代码总是为每个页面返回相同的数据。

文章/答案/技术大牛

发布

1回答

python、web-scraping、beautifulsoup、data-analysis

我正试着用Python和美汤在steam网站上抓取特价商品。我正在尝试使用for循环从多个页面中抓取数据。我已经附加了下面的Python代码。任何帮助都是非常感谢的。提前谢谢。

浏览 24提问于2021-10-03得票数 2

回答已采纳

1回答

如何用美汤抓取多页搜索结果

python、web-scraping、beautifulsoup

使用以下url：我已尝试更改开始日期和结束日期，但无济于事。当我用漂亮的汤刮的时候，我只能刮掉第一页的结果，然后刮就停止了。我在抓取(在本例中)全部8

浏览 8提问于2020-02-26得票数 0

回答已采纳

2回答

调用变量时python urlib2失败

python、beautifulsoup、urllib2

我正在用漂亮的汤来报废数据。我有一个要循环我的代码的urls列表，所以我需要在urllib2.Request命令中包含一个变量。这是我的代码：import urllib2 webfull

浏览 0提问于2013-01-24得票数 0

回答已采纳

1回答

python中的多级/多页面web抓取

python、web-scraping、beautifulsoup

我对数据抓取很陌生，我很少检查过关于刮伤和漂亮汤的资源，但是我正在努力解决下面的问题。现在我需要收集部分的内容-概述，便利设施，规格等，然后回到以前的列表页面，并重复这对所有项目列出的页面<

浏览 1提问于2019-01-15得票数 0

回答已采纳

1回答

返回RSS的所有页面

python、rss、beautifulsoup

我正在使用python从rss页面抓取xml。我正在使用漂亮的汤来解析xml。每个URL的数据使用urllib2下载并保存在变量xml中然后，我<e

浏览 0提问于2014-12-04得票数 0

1回答

在IE中打开url，然后使用python抓取url

python、windows、internet-explorer、web-scraping

我是python (c++开发人员)的新手，我正在尝试做一些在windows IE上进行web抓取的动手操作。我面临的问题是，当我使用"requests“库打开一个URL时，服务器总是会给我一个登录页面。我发现了问题所在。我试着使用这个：ie.Visible =

浏览 1提问于2016-06-17得票数 0

2回答

无法使用beautifulSoup抓取网站

python、web-scraping、beautifulsoup、python-requests

我试着用漂亮的汤(bs4)抓取页面，但在抓取数据时遇到了问题，我甚至提到了标题，正如答案中指出的这是我的代码import requestsrequests.get ('https://www.doamin.com/bangalore/

浏览 0提问于2018-05-24得票数 1

5回答

Python Web数据收集

python、database、arrays、web-applications、web

我是Python的新手，但我有一个挑战，我正在努力完成。这不是类相关的，但我正在努力学习如何使用python的网站。我想做以下几件事：将低于市价的所有打击和请求存储到名为strike和ask的数组中与图片对应的示例数组如下：因为这不

浏览 1提问于2012-11-13得票数 0

1回答

Scrapy -删除重复数据并将数据输出为单个列表？

python、scrapy、scrapy-spider

我使用下面的代码来抓取页面上的多个链接，并从每个相应的链接中获取数据列表： name = "quotesresponse): yi

浏览 5提问于2017-07-12得票数 0

回答已采纳

1回答

无法按位置或属性匹配时，提取BeautifulSoup中的标签值

python、beautifulsoup

我正在使用BS来抓取网页，但我遇到了一个小问题。下面是页面中的一段HTML代码。<br>一旦我得到了汤，我如何找到这个标记并获得艺术家的名字，例如M.I.A.。我不能将标记与style属性匹配，因为它在页面中的十几个地方使用。我甚至不知道span标记的确切位置，因为它的位置会从一个页面<

浏览 7提问于2010-08-06得票数 2

1回答

Web抓取href链接后的每个字符串

web-scraping、beautifulsoup、href

我正试着用漂亮的汤在一篇烂番茄的文章里刮掉电影的片名。但是，电影标题位于每个电影页面的href链接之后。这是我想要得到的： <a href="https://www.rottentomatoes.com/m/the_shape_of_water_2017/">The Shape of Water</a&

浏览 12提问于2021-03-05得票数 0

9回答

BeautifulSoup和Scrapy crawler有什么区别？

python、beautifulsoup、scrapy、web-crawler

我想做一个网站，显示亚马逊和易趣产品价格的比较。其中哪一个会工作得更好?为什么？我对BeautifulSoup比较熟悉，但对Scrapy crawler不太熟悉。

浏览 323提问于2013-10-30得票数 146

回答已采纳

1回答

TypeError：'ResultSet‘对象不可调用-带有BeautifulSoup的Python

python、html、beautifulsoup

这里是python的新手，当尝试设置一些代码从网页列表中抓取数据时，会不断地遇到错误。其中一个页面的链接是- 和我试图获取‘会员编号’，‘类别’，‘部门’，‘国家’等信息，并将其全部导出到一个电子表格。代码：from urllib.request import urlopen文件""，第3行，汤

浏览 0提问于2018-03-02得票数 0

回答已采纳

2回答

美汤在特殊字符上崩溃，如“&”和"<“

python、web-scraping、beautifulsoup

我试着用漂亮的汤抓取一个基于原子的RSS提要，但事实证明这很困难。捕获数据的过程一直很顺利，直到出现破坏代码并使脚本崩溃的<item>。这样的<item>总是有标签(火狐用橙色标记)，比如"& lt;“或"& quot;"，而没有这些标签的就

浏览 5提问于2013-10-08得票数 1

2回答

从多个页面中抓取天气数据

python、pandas、web-scraping、beautifulsoup

我是python的新手Expected column names (order

浏览 9提问于2019-11-27得票数 0

1回答

抓取一个草率的节点

web-scraping、rvest

我正在抓取一个包含相同数据的多个元素的“草率”节点。下面的代码从一个列出唱片的页面中抓取城市日期。我只需要每个专辑的第一个city-date实例，但我不确定如何编写代码，以便只返回 first city-date实例。

浏览 30提问于2018-09-02得票数 0

回答已采纳

1回答

div中精美的汤类提取链接

python、beautifulsoup、screen-scraping

我有一个汤，内容如下在每个div中，有很多链接和其他内容，我对第二个链接(second <a> </a>)感兴趣，它总是第二个我想要抓取的链接(在=>属性中)和第二个链接标记<a> </a>之间的文本<div class =&qu

浏览 2提问于2013-07-20得票数 3

回答已采纳

3回答

如何使selenium在页面加载后对页面进行刮擦

python、selenium、web-scraping、scrapy、macos-catalina

我使用scrapy来抓取所有的链接，用selenium抓取所有的页面。Selenium抓取了大部分页面，但在加载页面时留下了几个页面。我尝试了timeout()，但似乎不起作用，然后我尝试了使用execute_script driver.execute_script(“返回document.readyState==”完成“；”)这似乎也不起作用，然后我<

浏览 4提问于2020-08-23得票数 0

2回答

网络抓取每个论坛的帖子(Python，Beautifulsoup)

python、web-scraping、pycharm、nested-loops

你好，又一次，堆叠的伙伴们。简短描述..我正在使用Python从一个汽车论坛上抓取一些数据，并将所有数据保存到CSV文件中。我还有一个单独的脚本，我现在正在艰难地实现(对于找到的每个链接，python都会为它创建一个新的汤，抓取所有帖子，然后返回到上一个链接)。s=6a2caa2b46531be10e8b1c4acb848776&t=11

浏览 56提问于2017-03-02得票数 1

回答已采纳

0回答

如何在爬行时检查特定标签是否可用？

python、beautifulsoup

我想抓取有条件的页面，并检查特定的类在汤变量中可用。如果那个类不可用，那么从另一个类获取数据，如何使用Beautifulsoup来做到这一点。class_="featureBnft") for fea in feaBnft: print fea.getText() 我想获取第一类的数据，如果第一类不可用，那么就获取第二类<

浏览 4提问于2017-01-04得票数 0

回答已采纳

点击加载更多