我正在尝试用requests和BeautifulSoup/Lxml抓取下面的页面这是一种具有load more results按钮的页面。我发现有几个页面解释了如何做到这一点，但不是在requests的框架内。
我明白在求助于这里之前，我应该花几个小时研究
浏览 5提问于2018-01-28得票数 4
回答已采纳
我试图从一个网站抓取所有的添加链接，我已经成功做到了。请检查链接问题是，点击load more并不会改变页面的URL，因此我只能抓取默认显示的初始链接，请帮我解决这个问题。
浏览 24提问于2021-05-27得票数 0
我正在尝试使用HtmlAgility包从具有类似内容的页面(购物网站)中抓取数据。但是
浏览 1提问于2016-06-17得票数 0
回答已采纳
2回答
我想抓取一些网页，如下所示
http://www.youtube.com/channel_ajax?action_load_more_feed_items=1&activity_view=1&paging=1352148528&channel_id=UCCw8aVnsIeu9S6OPQyaQ14g
我想抓取整个页面手动，我必须反复点击按钮，直到没有更多的<
浏览 1提问于2013-01-10得票数 0
1回答
我目前正在使用Selenium (铬)从一个网站上抓取动态内容，但是自动浏览器处理起来太慢了。(在我正在抓取的个人资料页面上有一个“查看更多”按钮，每次点击只加载5个帖子)没有其他方法可以访问这些“隐藏的”帖子，而不单击“查看更多”按钮，手动单击该按钮以检索不久前的帖子需要花费太长的时间。
浏览 7提问于2019-07-10得票数 0
回答已采纳
1回答
我在SO上看了所有类似的问题，但无法解决我的问题。Selenium似乎没有找到我试图点击的按钮，以便在抓取之前加载更多页面。在下面的图片中是我试图在做一些抓取之前点击加载更多的的按钮(按钮的类名: btn btn-default)
我所做的:我使用了Selenium的webdriver。
浏览 10提问于2020-06-07得票数 0
回答已采纳
我希望我的页面以相反的方式加载结果；从页面的底部到顶部开始，就像在Facebook信使中一样，当滚动它在每个页面的顶部加载更多的结果时。点击更多结果(点击更多结果后有第3组结果的页面)结果1结果2结果3结果</em
浏览 4提问于2015-04-23得票数 0
回答已采纳
product_info)sleep(random.uniform(3.5, 7.5))
print(df)底部似乎可以工作，但没有新的项目出现在页面中，并且脚本仅检索前24个项目，而反过来将有超过100个项目。在这种情况下，浏览器将打开
事实上，似乎底部的回车在循环中显示了"ver“和"cargando”文本<
浏览 0提问于2021-06-09得票数 0
3回答
我已经做了一个脚本，它将抓取到关注的链接。但是页面并没有完全加载。在页面的底部是按钮"Pokażwięcej“，这意味着显示更多。如果我点击它，它会加载更多的关注点。这个脚本只抓取了第一部分。
浏览 0提问于2020-04-28得票数 0
我可以使用以下代码来刮金融新闻网站的第一页。B2%A1%E7%B6%93'result.raise_for_status()为了下载后续的页面，我需要点击“加载更多的新闻”但是。我发现在按下"load more news“按钮后，请求URL为"”，表单数据；is "cat=finance&pag
浏览 3提问于2020-11-30得票数 0
回答已采纳
0回答
我试图用加载更多的按钮抓取一个网站，但我不能用噩梦中的递归函数。我的代码是这样的：const nightmare = Nightmare({});// }
const
浏览 8提问于2017-12-01得票数 0
回答已采纳
我正在抓取一个动态页面，要求用户多次单击“加载更多的结果”按钮，以获取所有数据。是否有更好的方法来处理显示时单击元素的任务？
浏览 2提问于2016-10-07得票数 1
回答已采纳
1回答
我有一个selenium / python脚本，它可以抓取页面标题和一些其他信息。在页面底部有一个" next“按钮和一些分页，当我单击next时，它会加载接下来的20个结果。所有这些都是在不加载页面的情况下发生的。我需要能够刮剩余的网页，直到“下一步”按钮不再可见，这意味着没有更多的结果要加载</e
浏览 1提问于2018-05-27得票数 1
回答已采纳
1回答
我正在尝试抓取一个页面，我有所有的代码集，只是我被“加载更多”按钮卡住了。这个页面很简单，它有一些项目，但只有几个。在web浏览器上要查看其余项目，您可以单击具有onClick事件的html按钮，当它被按下时，更多的项目被加载，依此类推，直到它们都出现在页面上，然后它就消失了。我该如何将其余的项加载到该变量中？我应该采取一种不同的</em
浏览 0提问于2021-01-08得票数 0
1回答
我正在寻找如何找到网站上的.mp4代码。readStream.ReadToEnd();
readStream.Close(); Console.WriteLine(data);
} 我得到了网页的源代码
浏览 8提问于2020-08-26得票数 0
但我正在尝试抓取一个上面有“加载更多”按钮的网站。
“加载更多”按钮加载60多个产品，我希望我的代码只获取这些产品。这样，我就可以把所有这些都放在一个循环中，这个循环点击按钮，抓取它加载的产品，附加到Pandas Dataframe上，然后重复一系列迭代。我一直无法获得能为我做这件事的代码，一旦多次按下load more
浏览 2提问于2017-08-18得票数 4
回答已采纳
我想从像这样的网站上抓取数据。https://www.cardmarket.com/en/Magic/AjaxAction
但我不想离开起始URL，而只是加载更
浏览 1提问于2022-08-02得票数 1
回答已采纳
我想抓取如下搜索的整个结果集：(这个搜索是为了“土豆”)。Vesti.bg 选择器xpath:
/html/body/div/div2&#
浏览 1提问于2021-01-24得票数 0
哪种方法会使页面加载更快？目前，我用PHP编写代码。我有一份youtube的视频ids列表。php代码读取所有这些id，循环遍历它们以提供视频标题、描述等信息，并在页面上显示这些信息。谢谢!
浏览 2提问于2012-07-08得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
