如何使用BeautifulSoup获取所有链接

文章/答案/技术大牛

发布

1回答

python、python-3.x、web-scraping、beautifulsoup

我想要这个链接的酒店的所有链接：https://www.french.hostelworld.com/s?time import sleepimport requestsfrom bs4 import BeautifulSoup14&from=2021-04-30&to=2021-05-03&guests=2&page=1' links1 =

浏览 24提问于2021-04-29得票数 0

1回答

使用Python而不是HTML从网站中提取链接

python、python-3.x、hyperlink、screen-scraping、google-crawlers

当我在HTML源代码中找不到链接时，我想知道在Python中这是怎么可能的。之前，我已经找到了这些文件的链接使用美丽汤和熊猫。谢谢你的回答！

浏览 3提问于2015-07-07得票数 1

回答已采纳

3回答

从一个页面获取所有链接美丽的汤

python、web-scraping、beautifulsoup、html-parsing

我正在使用美汤从一个页面获取所有的链接。我的代码是：from bs4 import BeautifulSoup r = requests.get(url)soup = BeautifulSoup(html_co

浏览 0提问于2017-09-29得票数 13

回答已采纳

1回答

如何用美汤获取超大内容网站的大量href链接

python-2.7、beautifulsoup、urllib

我正在分析一个有1000多个href链接的大型html网站。我正在使用Beautifulsoup来获取所有的链接，但当我再次运行程序时，beautifulsoup无法处理它。(查找特定的所有'td‘标签。我将如何克服这个问题？虽然我可以用urllib加载html页面，但是不能打印所有的链接。当我将它与find one 'td‘标签一起使用时，它被传递了。

浏览 3提问于2013-02-28得票数 0

1回答

无法使用Python中的“美丽汤”找到特定链接

python、html、beautifulsoup

我在使用BeautifulSoup从网页中提取特定链接时遇到了困难。具体的网页是def drinkScraper(url, searchTerm): res.raise_for_s

浏览 6提问于2017-04-21得票数 0

回答已采纳

2回答

如何使用BeautifulSoup获取页面上的所有外部链接？

python、web-scraping、beautifulsoup

我正在阅读“用Python进行Web抓取”一书，它具有以下功能来检索页面上的外部链接：def当我使用URL：运行它时，它返回如下：getExternalLinksid=com.safariflow.queue'] 为什么最初的

浏览 0提问于2018-09-23得票数 1

回答已采纳

1回答

获取Youtube搜索结果的链接

python、python-3.x、youtube、beautifulsoup、python-requests

我正在尝试获取出现在YouTube上特定查询的搜索结果中的视频链接。我使用的是BeautifulSoup和Python库，下面是我所做的：import requests 这将查找搜索结果，并将前20个视频(出现在页面中)的链接保存

浏览 0提问于2018-06-06得票数 3

1回答

如何从一个网站的多个链接中抓取明文？

python、json、web-scraping、beautifulsoup

from bs4 import BeautifulSoupimport pandas as pdimport jsonsauce = soup = bs.BeautifulSoup(sauce, 'html.parse

浏览 0提问于2018-10-08得票数 0

2回答

我怎样才能用漂亮的汤从谷歌上刮下一张图片呢？

python、beautifulsoup、mechanize

我知道如何通过xpath获取一个链接，以及如何使用标记获取所有链接，但我正在尝试通过标记获取一个图像链接，这就是我到目前为止所拥有的import urllibfrom urlparse import urlparse

浏览 0提问于2015-10-31得票数 0

1回答

漂亮的汤分页，在next_page类中find_all找不到文本。还需要从URLS提取数据

web-scraping、beautifulsoup、pagination

站点组织是主站点页面-->州页面-->县页面-- 120带有名称和url的头像-->带有我最终想要的数据的url，下一步链接到另一组120。我认为最好的方法是编写一个抓取器，它将从120张照片的表格中抓取URL和名称，然后使用分页从县的其余部分抓取所有的URL和名称(在某些情况下有上千张的10张)。from bs4 import BeautifulSoupimport lxml county_name = input('

浏览 4提问于2019-11-15得票数 2

回答已采纳

3回答

无法从网页上抓取所有链接及其子链接

python、python-3.x、web-scraping、beautifulsoup

我试图递归地获取位于此左侧区域中Automotive下的所有链接。我目前的实现只能从登录页面获取链接。import requests link = '

浏览 12提问于2020-10-10得票数 0

2回答

BeautifulSoup:如何从这个链接中获取所有文章链接？

python、web-scraping、beautifulsoup、jupyter-notebook、web-crawler

我想从"“获得所有文章链接--这里是我的代码：base_url = requests.get(f"https://www.cnnindonesia.com/search?

浏览 7提问于2021-10-06得票数 2

回答已采纳

4回答

从不同深度的链接中解析产品名称的问题

python、python-3.x、web-scraping、beautifulsoup

我用python编写了一个脚本，以到达目标页面，其中每个类别在网站中都有其可获取的项目名称。下面的脚本可以从大多数链接中获得产品名称(通过漫游类别链接生成，然后通过子类别链接生成)。脚本可以解析在单击位于每个类别右侧的子类别链接，这些标记在下面的图像中可见，然后解析目标页面中的所有产品名称。目标页面。如何从所有

浏览 2提问于2018-08-28得票数 11

回答已采纳

1回答

Python请求无法从网站获取所有链接。

python、beautifulsoup、urllib

我正在学习如何使用Python模块，我一直试图从网站上获取所有链接，尽管它对大多数链接都有效，但我在打开urllib.requests时遇到了困难。我从这个链接得到的输出是：# python teosa.py []from bs4 import BeautifulSoupimport re req = Request("https:

浏览 2提问于2022-03-03得票数 -2

3回答

使用Python在网页表中的最后一个超链接

python、python-2.7、selenium、beautifulsoup

我正在使用Beautifulsoup4解析一个网页。类似于Bing的工作方式，如果您输入一个搜索项，它将返回前十次点击和随后的页面上列出的第2页，第3页等.查询后返回的第一页确实包含从第2页到最后一页的超链接。我想要确定的正是最后一页的内容。str=&tag=&nopass=&cat=25&page=10">10</a> <br></td></tr> 在上面的例子中，我如何计算出最后一个链接

浏览 6提问于2015-03-08得票数 1

回答已采纳

2回答

如果锚文本包含关键字，则提取链接。

python、web-scraping、beautifulsoup

import BeautifulSoup <html><head></head><a href='http://www.gurletins.com'>My HomePage</a>

浏览 5提问于2014-06-06得票数 0

回答已采纳

4回答

获取html中特定标记之间的数据。

ios、objective-c、html、html-parsing

我想从html数据中获取特定标签之间的数据。">[3]</a></sup></li> </li>在这里，我想从<a class="reference_link" href="#3">[3]</a>获取数据

浏览 1提问于2013-09-12得票数 0

1回答

Python戴尔驱动程序下载

python、beautifulsoup、href、urllib2

我一直在尽力为使用Beautifulsoup4的驱动程序获取所有的dl。但是，它会返回我不需要的链接。我想它们不知何故被藏起来了，我无论如何都不能把它们弄出来。是我想要销毁的页面：import urllib2 soup =

浏览 11提问于2018-01-13得票数 1

回答已采纳

2回答

解析HTML href中的特定文本

python、html、parsing、web-scraping、beautifulsoup

我尝试只获取包含文本'/Archive.aspx?ADID=‘的链接。然而，我总是得到网页上的所有链接。在我得到我想要的链接后，我如何导航到每个页面？提前感谢！from bs4 import BeautifulSoup, SoupStrainer page

浏览 13提问于2021-07-15得票数 1

回答已采纳

2回答

美汤:如何从列表中获取特定链接？

python、python-3.x、list、web-scraping

使用BeautifulSoup如何从网页中获取链接，将它们存储在列表中，然后打印出某个链接？这就是我到目前为止所知道的： from urllib.request import urlopenhtml = urlopen("https://example.com/") content = BeautifulSoup(html.read(), &

浏览 48提问于2021-02-25得票数 1

回答已采纳

点击加载更多