我试图从一个网站抓取所有的添加链接，我已经成功做到了。请检查链接问题是，点击load more并不会改变页面的URL，因此我只能抓取默认显示的初始链接，请帮我解决这
浏览 24提问于2021-05-27得票数 0
这是我想要抓取数据的网址：https://en.prothomalo.com/search?q=road%20accident，但它没有每次点击都会改变网址的分页，而是只有一个加载更多的按钮，点击不会改变网址或脚本中的任何东西。在python中，我如何在不手动点击的情况下自动<em
浏览 28提问于2021-07-03得票数 1
回答已采纳
1回答
我正在做一个使用python的web抓取项目。我应该抓取这个网站(https://www.fec.gov/data/receipts/?我遇到的问题是，当你浏览数据时，url永远不会改变。我不确定如何继续。根据我的经验，<em
浏览 28提问于2020-11-10得票数 2
1回答
我正在尝试使用urllib2和BeautifulSoup来抓取网站的urllib2。不幸的是，当我试图通过Python访问页面时，我一直被禁止使用403。我认为这是一个用户代理问题，但改变它没有帮助。然后我想这可能与cookie有关，但是很明显，通过关闭co
浏览 4提问于2011-08-06得票数 2
1回答
我想我应该创建一个应用程序接口，它一次只打印10个对象，并保留一个变量"pageNumber“，如果我点击"load more”按钮，它应该从下一页获取并附加新的对象。
这是正确的方法吗？因此，当我按两次"load more“时，API端点将返回30个对象，而不是只返回10个--即使前20个对象之前已经被获取
浏览 8提问于2017-05-13得票数 4
1回答
我正在抓取一个web (使用Python请求和请求-html模块)，我需要浏览项目列表的所有页面。<div class=&quo
浏览 3提问于2019-05-01得票数 0
回答已采纳
我有一个下面的网页浏览器，如你所见，它是关于交易外汇和网站列表所有实时交易记录在这里：
如果我点击它一次，交易列表将被扩展一次，在列表的末尾，这里有更多的</e
浏览 0提问于2012-01-13得票数 0
回答已采纳
我想使用风车或selenium来模拟一个浏览器，它访问一个网站，抓取内容，并在分析完内容后，根据分析结果进行一些操作。
浏览 8提问于2013-07-14得票数 0
4回答
我正在尝试理解如何使用jQuery地址插件来处理与ajax的深度链接。我认为一个好的文档和好的例子对每个插件都很重要。有没有人可以解释一下或者给出一些有用的链接来解释？.
// $('#content&#x
浏览 2提问于2009-12-24得票数 16
回答已采纳
2回答
我对此还是个新手。我正在尝试从网页中提取数据，但我实现的这个方法似乎有点慢。我使用了time模块来缩小延迟的原因。requests.get(url)soup = BeautifulSoup(data.content)请求总是这么慢吗？雅虎的问题是限制来自他们服务器的请求吗？现在，从yahoo.com&#x
浏览 1提问于2015-05-08得票数 2
在我决定使用Python中的匹配用例之前，代码中的所有内容都运行得很好。找到它在3.10+中唯一的东西，所以我迅速安装它，并将它更改为命令调色板中的解释器。然后我试着像以前一样运行我的代码，我不知道是什么改变了，但我的键盘导入给我‘导入’键盘“无法解决‘。问题。同样的问题实际上也出现在“来自尼斯导入匹配”模块中。在运行3.9版本
浏览 2提问于2022-01-24得票数 0
我正在尝试抓取网站，https://www.huntr.co/jobs，它有大约一百万个列表。我检查了一下，发现这个网站是ajax加载的，所以我决定用它的应用程序接口https://app.huntr.co/public/search/job-posts?page=1来抓取这个网站。这个网站</
浏览 15提问于2020-07-26得票数 0
1回答
所以，我一直在做一个网络抓取脚本，从一个特定的网站下载一个视频，我做了，抓取网站，并有视频来源。这个视频有一个play botton，我试过在它上面使用selenium，但是我不知道如何使用selenium执行下载。我还试过其他密码
wget.download('http:/
浏览 7提问于2020-03-18得票数 1
我有一个社区网站，目前大约有10,000份名单。我正在采用一个新的url策略，类似于作为战略的一部分，我正在实施一个网站地图。谷歌已经有一个很好的索引我的网站，<em
浏览 10提问于2008-12-08得票数 2
1回答
我正在为聊天机器人实现一个数据管道。我正在用scrapy爬行特定的subreddits来收集提交id(使用包装器是不可能的)。
更进一步，我使用praw递归地接收所有评论。这两种实现都已经起作用了。但是，爬行subreddits会在几页之后被reddit拒绝(取决于get请求的速度，.)。我不想破坏任何规则，但是在reddit规则中是否有适当<e
浏览 4提问于2017-12-19得票数 1
1回答
我正在抓取一个名为skechers的运动鞋网站，现在当LOAD MORE链接/按钮出现时，向下滚动以加载更多产品，它单击该元素但没有加载。下面是我的代码：import time
s = start_firefox("htt
浏览 0提问于2021-03-14得票数 0
我在一个不幸使用mootools的网站上工作。当页面上的任何链接被点击时，我尝试触发一个事件，而不是链接是否具有特定的id。下面是我的代码：
$$('a:not(#learn-more)').addEvent('click&#x
浏览 1提问于2012-10-17得票数 0
回答已采纳
我是Python的新手。我想要做的是使用Json应用程序接口将web数据抓取为Webhose.io格式。每个查询将给我5个帖子/文章。我正在尝试为数据集获取1000篇文章。我现在看到的代码是这样的：
webho
浏览 0提问于2017-11-26得票数 0
2回答
我使用以下代码从ASP.net MVC应用程序请求数据。我还使用了TcpTrace，这样我就可以看到请求/响应。isInteger($('#txtYear').val())) { type: 'POST',
contentType: 'application/jsonval() + '/' + $
浏览 0提问于2009-11-27得票数 1
回答已采纳
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号