我正试图为Amazon的结果创建一个基本的web刮刀。当我迭代结果时,我有时会到达结果的第5页(有时只是第2页),然后抛出一个StaleElementException。当我在抛出异常后查看浏览器时,我可以看到驱动程序/页面没有向下滚动到页码所在的地方(底部栏)。我的代码:
driver.get('https://www.amazon.com/s/ref=nb_sb_noss_1?to next page
我能够正确地刮掉第一页。但是要转到下一页,我需要一个按钮点击。我需要一些帮助来理解这一点。我正在使用Selenium and Beautiful soup来获得页面响应。;" title="Next Page" class="rgPageNext"> 我尝试过的示例代码如下: for i in range(0,14):