1回答
美汤网站-带有下拉菜单的抓取网站
、、、、
我试图刮一个网站，其中有一个下拉菜单，用户可以选择数据显示的年份。然而，我似乎被困在了我的实现中。这是网站网址：https://www.pgatour.com/tournaments/masters-tournament/past-results.html 这是一个个人项目，每年收集每个主要锦标赛的高尔夫数据一旦选择了年份，我知道如何提取所需的统计数据。以下是下拉菜单的网站</
浏览 19提问于2019-04-17得票数 3
(或者我必须使用美汤？)
我已经开始使用美汤了，但它似乎很慢。我刚刚开始使用“屏幕抓取”其他网站的数据来创建某种“混搭”的想法。
浏览 1提问于2009-12-13得票数 11
回答已采纳
1回答
我刚刚开始从网络抓取，不幸的是，我面临一个展示:我想要拉一些财务数据，但它似乎是相当复杂的网站(动态内容等)。
到目前为止，我已经用了美汤来完成这件事。但是，我甚至找不到桌子。
浏览 0提问于2018-06-18得票数 0
回答已采纳
1回答
我曾经尝试过在Python中使用Beautiful Soup从网站抓取数据。当我检查网站本身时，我看到了以下内容：但是当我用美汤的时候，我看到的是：就好像出于安全和保护的目的我认为它是一个动
浏览 1提问于2015-11-07得票数 2
2回答
我开始了一个研究项目，使用带有本地链接和镜像选项的wget抓取页面。我当时这样做是为了获得数据，因为我不知道这些网站会活跃多久。所以我有60-70个网站完全镜像的本地化链接坐在一个目录。我现在需要从他们那里得到我能做的。
有没有一个很好的例子来解析这些页面呢？我意识到漂亮汤的设计是为了获取http请求并从那里解析。老实说，我对美汤还不是很了解，我的编程技能也不是很
浏览 5提问于2017-01-10得票数 1
2回答
我正在抓取一个网站nykaa.com，链接是(https://www.nykaa.com/skin/moisturizers/serums-essence/c/8397?我找不到数据的来源。此外，当我抓取数据时，我只能得到20个产品，这些产品变得多余，列表变成了420个产品。xyz.csv', 'wb') as myfile: wr.writerows(ur
浏览 30提问于2019-08-31得票数 2
回答已采纳
3回答
我遵循中关于使用Python和BeautifulSoup抓取网站的教程。我试图从我的政府抓取网站(用于研究目的)，但它给我的错误如下: Traceback (最近一次调用)： name = name_box.text.strip()
AttributeError: 'NoneType'
浏览 0提问于2018-05-07得票数 0
我遇到了一个问题，当我试图刮一个网站与python包美丽的汤。不知何故，除了我感兴趣的那部分之外，我从它得到了一切。我正在尝试从这个网站的抓取实时数据。我真的得到了除了实时数据之外的每一个部分，我认为它以某种方式连接到了与数据相同的容器中的脚本块。Firefox和Chrome可以很容易地检查这一部分，但美汤不知何故不了解这一点。感谢您的每一条建议！
浏览 15提问于2017-12-21得票数 1
我试图从whoscored.com抓取足球数据，该网站有一个面向网络的安全封装体，它不让我抓取。最初，我试图提供user_agent，并更改了标题，然后它就起作用了，但这只适用于第一页。由于我需要爬行网站的其他部分，它一直阻止我请求网站。由于阻塞时间一直在增加，它现在变得越来越疲惫。我需要用于研究的数据。我已经看过了所有关于这个话题的老问题。但这无济于事。
工具。a
浏览 3提问于2019-03-29得票数 0
我想从一个使用Python中的“美丽汤”的网站上抓取数据。网站根据用户的选择更改下拉菜单的值。在更改下拉菜单的值时没有api调用。仔细看一下，我注意到有一个javascript函数在内部调用，以获取下拉菜单的值。我的问题是下拉菜单的值不在页面源中。它们是通过调用js函数获得的，但是没有api调
浏览 7提问于2014-04-06得票数 1
回答已采纳
1回答
我正在努力刮网站，以获得奥地利初创企业的上市信息。我想刮的信息是每个启动:它的基础是哪里，列出的标签和基础日期。我用的是漂亮汤，但我不知道该怎么多加这个信息。现在，我能够检索类.listing标题，在那里我获得了启动的名称。问题是，我不知道如何在. listed details类中导航，其中列出了其余的信息。
浏览 15提问于2022-10-30得票数 1
回答已采纳
1回答
我试图刮一个网站，这需要登录与Python和美丽的汤。我想刮这个页面(当你点击它时，它会重定向到您的登录页面)。想要的hrefs有这个css标签'article.post a‘。login_response.content, 'html.parser')
print(soup) # prints HTML but not the HTML that I want 这是我第一次尝试抓取需要登录的网站，所以我的</em
浏览 14提问于2021-01-13得票数 1
回答已采纳
我开始从阿根廷抓取一些网站。我想抓取这个特定的网站："https://www.disco.com.ar/prod/88953/aderezo-mayonesa-natura-237-gr“或"https://www.disco.com.ar/prod/416680/cerveza-rubia-brahma-chopp-1-l-botella-retornable” 我使用包"r
浏览 6提问于2020-10-22得票数 0
1回答
我刚接触美汤模块，我有一个问题。我的代码很简单。最重要的是，我试图从上抓取的网站，我正在试图抓取价格。(大数字二(2)和更多)import urllib
price_box = soup.find('div', a
浏览 69提问于2018-06-03得票数 1
回答已采纳
1回答
所以我遇到了一个问题，当我向网站发送一个请求，然后使用html.fromstring(site.content)，它抓取了一些页面，但是，有些页面只是打印出来，<Element html at 0x7f6359db3368另外，我还不想使用像美汤或Scapy这样的东西。
浏览 1提问于2016-10-20得票数 1
2回答
我用美汤从一个网站上抓取了数据。与时间和更新日期相同的标签。这就是为什么我要将它们分开并删除"Update:“字符串的原因。我无法想象是怎么做到的。我想要的字符串应该是这样的：a="4 July 2019 Friday 07:52" b="04.07.2019 07:52"
publishTime=source.find("div
浏览 10提问于2019-07-05得票数 0
回答已采纳
1回答
我使用selenium +美汤(使用selenium打开包含大量javascript的页面，并使用javascript命令将其转换为BeautifulSoup对象)来从体育网站上抓取数据，但由于某些原因当我使用chromedriver实现无头浏览器时，我几乎不会像让chromedriver打开并运行时那样抓取大量数据。有没有人有类似的问题，或者有什么建议？document.documentElement.outerHTML')
浏览 2提问于2020-05-09得票数 0
1回答
抓取元素在页面源中不可见
、、、
我试图抓取一个网站(https://harleytherapy.com/therapists?page=1)，它看起来像是由Javascript生成的，而我试图抓取的元素(带有id="downshift-7-menu"的lu )并没有出现在“页面源代码”中，而只是在我点击“检查元素”之后才出现。我试着在这里找到一个解决方案，到目前为止，这是我能想出的代码(硒+美汤<e
浏览 21提问于2020-12-27得票数 1
回答已采纳
1回答
我现在开始用漂亮的汤来抓取网站，我想我已经掌握了基本的知识，虽然我缺乏网页的理论知识，但我会尽我最大的努力来表达我的问题。我所说的动态网页是这样的:一个网站，它的HTML会根据用户的动作而改变，在我的例子中，它是可折叠的表格。我想获得一些"div“标签中的数据，但是当你加载页面时，数据在html代码中
浏览 1提问于2016-11-22得票数 4
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
