1回答
我正在尝试使用BS4 + selenium学习web抓取。网站链接为 from selenium import webdriver
def openUrl(linkd1065009-Reviews-Radisso
浏览 4提问于2017-06-20得票数 0
我正试着从旅行顾问网站上获取评论。我成功地抓取了评论，但有些评论很长，并且部分显示，直到您单击“更多”按钮。这是该网站的链接：<span class= soup.findAll(attrs={"class": "entry"}):
review = item.text.replace(',', '').replace('\n'
浏览 26提问于2017-01-24得票数 0
回答已采纳
3回答
在Ruby中模拟
、、
有一个我想抓取的网站(FWIW it's )，有一个按钮有时会显示“全部显示”，这是一个超文本标记语言的<button>元素。有没有办法使用Ruby来模拟点击这个按钮，并在点击这个按钮后获得整个页面的内容，因为这个按钮显示了更多的内容？
浏览 1提问于2011-12-19得票数 0
回答已采纳
我正试图抓取一个网站显示更多的按钮，我有困难的信息显示后，你点击“显示更多”。目前，我正在尝试抓取这个网站上所有文章的链接：“”
我已经成功地使用selenium点击了“显示更多”按钮，但我仍然无法获得额外的链接。
浏览 0提问于2019-01-21得票数 1
回答已采纳
我的爬虫面临以下问题:我的站点有结果页，我们可以通过单击底部页面上的箭头来导航到下一页(链接上没有简单的href，因此我们需要模拟单击按钮)。
浏览 7提问于2019-11-07得票数 0
1回答
我当时正致力于抓取网站上文章的链接。但通常情况下，当网站加载时，它只列出5篇文章，然后它需要点击加载更多的按钮来显示更多的文章列表。Html源代码只有前五篇文章的链接。我使用selenium python自动单击加载更多按钮，以完全加载包含所有文章列表的网页。
现在的问题是，我如何才能提取所有这些文章的链接。在使用selenium完全加载站点后，我尝试用driver.page_source获取html源代码并将其打印
浏览 4提问于2020-05-30得票数 0
1回答
我试着用漂亮的汤从网站上抓取数据，但要抓取所有内容，我必须点击按钮 <button class="show-more">view all 102 items</button> 加载每一项。我听说可以用selenium来完成，但这意味着我必须用脚本打开浏览器，然后抓取数据。有没有其他方法来解决这个问题。
浏览 16提问于2019-06-10得票数 0
在给出我的首选项后，该特定网页的url不会改变(如选择选项，..)或者在点击该网页上的按钮之后。在执行上述操作之前，我不会显示任何数据；但post操作会显示数据。上下文：如何在请求url请同时说明按下按钮的规格
浏览 9提问于2018-08-14得票数 2
1回答
遍历远程数据
、、
我正在尝试从一个网站(一个电影列表)中抓取一些数据--但是这个网站一次只能显示大约50个数据，并且需要用户点击一个按钮才能加载更多。有没有一种方法可以让我编写单击按钮的脚本，或者以某种方式遍历数据？网站不在我的服务器上。(尝试从Virgin Media网站获取Sky电影列表)
浏览 0提问于2014-05-09得票数 0
我正试着在LexisNexis上搜索一下，然后抓取结果。我需要从所有页面中抓取结果，所以我希望selenium执行搜索，抓取数据，然后单击next并重新执行。此外，我希望它对多个术语进行这种搜索。
浏览 11提问于2018-09-06得票数 0
我想我遗漏了包含我的凭证的部分，但是不清楚如何在URL中包含这部分。
一切都在搜索控制台中设置好了，我可以手动提交我的网站地图。
浏览 22提问于2017-03-22得票数 2
我试图从一个网站抓取所有的添加链接，我已经成功做到了。请检查链接问题是，点击load more并不会改变页面的URL，因此我只能抓取默认显示的初始链接，请帮我解决这个问题。
浏览 24提问于2021-05-27得票数 0
我正在使用Open Graph进行图像共享，但它拾取了我已经从数据库中删除的错误图像。
浏览 0提问于2015-05-26得票数 1
2回答
我想抓取一些网页，如下所示
http://www.youtube.com/channel_ajax?action_load_more_feed_items=1&activity_view=1&paging=1352148528&channel_id=UCCw8aVnsIeu9S6OPQyaQ14g
我想抓取整个页面手动，我必须反复点击按钮，直到没有更多的加载，通过
浏览 1提问于2013-01-10得票数 0
这是我想要抓取数据的网址：https://en.prothomalo.com/search?q=road%20accident，但它没有每次点击都会改变网址的分页，而是只有一个加载更多的按钮，点击不会改变网址或脚本中的任何东西。在python中，我如何在不手动点击的情况下自动抓取整个页面？检查load more按钮将显示以下代码行： <span class="load-m
浏览 28提问于2021-07-03得票数 1
回答已采纳
1回答
我目前正在使用Selenium (铬)从一个网站上抓取动态内容，但是自动浏览器处理起来太慢了。(在我正在抓取的个人资料页面上有一个“查看更多”按钮，每次点击只加载5个帖子)没有其他方法可以访问这些“隐藏的”帖子，而不单击“查看更多”按钮，手动单击该按钮以检索不久前的帖子需要花费太长的时间。
浏览 7提问于2019-07-10得票数 0
回答已采纳
1回答
我正在从亚马逊的一个子网站中删除数据。如果我以前报废过某个产品，我希望能够检测到该产品何时不再可用。有没有办法处理像这样的过时数据？到目前为止，我能想到的唯一解决方案是完全清除数据并重新开始清除，但这将导致分配给这些项的元数据丢失。我唯一能想到的其他解决方案是对这两种报废进行特别比较。
浏览 0提问于2018-04-07得票数 0
1回答
我想从www.crackwatch.com刮表网站布局当你点击网站右上角的切换按钮，它将布局更改为表格形式，其中有更多游戏历史列表.我想在那里的每一场比赛中.我必须使用硒还是类似的？
浏览 13提问于2017-10-24得票数 0
2回答
弹出窗口与父窗口之间的通信
、、、、
用户填写一个表单与许多数据，还给我FTP访问他的网站托管，我想张贴FTP细节后，点击浏览按钮，用户将选择一个路径(我使用的是Codeigniter FTP类)，然后我将抓取路径后，用户点击保存，或关闭按钮有没有办法打开一个弹出窗口并将数据发布到其中，然后用户将选择一些东西，然后在关闭它后，我将从弹出窗口中获得用户选择的内容？
浏览 0提问于2011-10-10得票数 1
回答已采纳
1回答
我正在使用Chrome扩展从一个网站抓取数据。网站上有一个“加载更多”的div，它在点击时加载接下来的30条记录。我使用下面的代码单击并加载数据：setTimeout(function(){ activityTab.click();它加载接下来的30个记录，并生成一个
浏览 6提问于2020-06-07得票数 7
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
腾讯会议
云直播
对象存储活动推荐
腾讯云开发者
