我目前通过使用选择器返回页面上每个房地产经纪人的姓名和电话号码，并将它们存储在字典中。我还想返回一个href值，以便在字典中存储他们的个人页面。我想知道如何找到正确的选择器来仅提取每个房地产经纪人的href值中的一个来存储在我当前的字典中，以及如何将其添加到字典'realtors_data‘中。下面是我当前的代码： from bs4 import BeautifulSoupimport numpy as np
import p
浏览 16提问于2021-01-02得票数 0
回答已采纳
我正在尝试创建一个for循环，一旦它到达抓取的页面中的最后一个search_result属性，它将重复该循环，但会使用新抓取的网页的数据。在for循环到达最后一个属性后，它将在网页上查找链接，并对新抓取的网页重复该循环。from bs4 im
浏览 7提问于2019-08-16得票数 1
回答已采纳
2回答
我正在抓取一个网页，其中有一个没有页面，我如何才能抓取这些页面，以获得我想要的信息。假设我正在抓取一个URL ，这个页面有两个页面，我如何抓取这些总页面并得到总的产品列表。到目前为止我所做的是:我从他们那里抓取一个url，我通过正则表达式抓取一个特定的url，并试图从那个url中找到他们的链接，其他页面中没有包含链接产品名称的信息。我想要从所有页面中获取产品名称。
浏览 1提问于2016-02-28得票数 0
所以我使用BeautifulSoup和请求从https网站获取数据类似于：中的解决方案
如何确保登录和密码受到保护，而不是以纯文本的形式发送
浏览 0提问于2018-07-10得票数 0
回答已采纳
1回答
我正在试着从一个新闻网站上抓取URLS。具体地说，它们是针对特定搜索词的搜索结果中列出的新闻文章的URL。我刚接触BeautifulSoup，我不知道如何有选择地抓取链接到一篇文章的href(当我试图抓取div标签中的子href时，我只得到一个空集，而当我抓取一个标记时，我得到的URL远远多于我想要的。以下是该网页的链接：https://www.thenational.ae&#x
浏览 24提问于2020-03-21得票数 0
回答已采纳
我尝试使用网址链接从网页中提取评论的文本内容，并使用BeautifulSoup进行抓取。当我单击URL链接时，在页面上可以看到注释的内容，但是BeautifulSoup返回的HTML对象不包含这些标记和文本。 我使用带有'html.parser‘的BeautifulSoup来做网页抓取。我成功地提取了给定网页中视频的点赞/浏览
浏览 19提问于2019-03-25得票数 1
回答已采纳
2回答
我想从DuckDuckGo搜索结果中抓取第一个链接。它打印网页的HTML，而不是那些包含div的结果。我不知道为什么BeautifulSoup不抓取包含div的结果。请看屏幕截图，突出显示的HTML语法是我想要抓取的：
我找到了一个答案，DuckDuckGo使用javascript搜索结果，beautifulSoup不能抓取javascript，但在StackOverflow上的其他帖子中，我
浏览 6提问于2021-04-02得票数 0
2回答
我刚刚安装了BeautifulSoup。我可以使用BS提取所有的链接，但我不能使用它在网页中导航。有没有办法给出主URL，并从网页中的链接中提取所有信息？
浏览 1提问于2014-03-24得票数 0
我是网络抓取的新手，我正在尝试使用BeautifulSoup从网站中提取链接和表格数据。但是，即使网页中有链接，它也会返回none。我可以通过在浏览器中查看网页来找到链接。下面是我使用的代码 from bs4 import BeautifulSoup as soup
driver = webdriver.Chromed
浏览 23提问于2020-04-04得票数 0
我正在为一个特定的网页写一个网页抓取器，我正在用"urllib2.Request( MyURL )“和"BeautifulSoup”来做这件事，但问题是在myURL中有一个页面分页，下一个页面通过点击一个链接加载(在相同的myURL/页面中)，这个链接后面是javascript方法，写成
{ javascript:__doPostBack('rptPagingBottom$ctl01$btnPage',
浏览 2提问于2012-11-19得票数 8
回答已采纳
有没有一种简单的方法来抓取谷歌，并为给定的搜索写出前N个(比如说1000个) .html (或其他任何)文档的文本(只是文本)？举个例子，想象一下搜索短语“大灰狼”，只下载前1000个点击量中的文本--也就是说，实际上是从这1000个网页中下载文本(但只下载那些页面，而不是整个网站)。
我假设这将使用urllib2库？如果有帮助的话，我会使用Python 3.1。
浏览 2提问于2011-03-16得票数 10
回答已采纳
1回答
import requestsmems.prettify()
print (links.get("href"))
我试图<em
浏览 2提问于2014-10-17得票数 0
回答已采纳
这是我用来抓取网页中所有链接的代码：import requests print(link.get('href'))
但它只列出了下拉列表中</e
浏览 1提问于2018-05-23得票数 0
1回答
以狗为例，如下所示：沿着第一个链接。沿着第二个链接。梗-219场比赛诸若此类。
我该如何去做，我需要用什么语言来写，以及这对我来说有多难(正如前面提到的，作为一个初学者)？
浏览 13提问于2020-05-12得票数 0
3回答
我对网络抓取非常陌生。我需要刮锚标签链接的一个特定的部分在网页上，但不幸的是，我错过了一些我无法找到的东西。它只打印一个链接。import requestsprefix = 'https://
浏览 3提问于2020-01-17得票数 0
回答已采纳
2回答
我正在学习BeautifulSoup，并试图抓取this Quora页面上存在的不同问题的链接。 当我向下滚动网站时，网页中出现的问题不断出现并显示。当我尝试使用下面的代码抓取这些问题的链接时，在我的例子中，我只能得到5个链接。ie -我只得到5个问题的链接，即使在网站上有很多问题。 有没有什么解决办法可以让网页上出现这么多问题的链接？from bs4 import Bea
浏览 39提问于2018-12-22得票数 1
1回答
我正在使用bs4运行在一堆网站和抓取一个特定的链接从每个网页，但我有一个问题，抓取该链接。 print(soup.find_all('a'))
我尝试过许多其他方法，包括告诉它一个网站的确切地址但每一次除了我想要的链接，
浏览 3提问于2022-07-06得票数 2
回答已采纳
这是websiteI的源代码，我正在用BeautifulSoup做网页抓取，但在tbody中找不到tr；在网站的源代码中，tbody中实际上有tr；但是find_all函数只能返回头部的tr。我正在抓取的链接：```from bs4 import BeautifulSoup```type(soup)
```print(tr
浏览 0提问于2019-06-18得票数 1
我在使用BeautifulSoup从网页中提取特定链接时遇到了困难。具体的网页是 res = requests.get(url)
res
浏览 6提问于2017-04-21得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
