文章/答案/技术大牛

发布

社区首页 >问答首页 >什么是好工具，自动抓取网站，检查某些链接，并提取数据？

问什么是好工具，自动抓取网站，检查某些链接，并提取数据？
EN

Software Recommendation用户

提问于 2015-05-18 01:06:04

回答 3查看 113关注 0票数 3

我想自动抓取大约100万个URL(在一个CSV文件上)，并检查这些站点是否提供了Facebook登录按钮(即用户可以通过将他们的Facebook帐户连接到站点来创建帐户)。然后，我想记录这些按钮是为哪些网站找到的。

我也想检查网站是否使用HTTPS和使用cookie。

什么是好工具？

web-browser

scraping

回答 3

Software Recommendation用户

回答已采纳

发布于 2015-05-18 05:30:08

我建议python可能加上刮痕库。

免费和开放源码
Python附带了CSV库，这样您就可以快速读取和解析csv文件。
Python有几个url和web访问库，可以满足您的需要。
Scapy简化了网页的获取和解析。

票数 3

Software Recommendation用户

发布于 2019-01-16 16:46:37

如果你需要抓取某些网站的链接，你可以尝试网站爬虫或尖叫青蛙。它们具有方便的界面和许多有用的功能: 1)网站监控，2)检测特定的URLs，3)探索内部链接及其锚。

票数 1

Software Recommendation用户

发布于 2019-07-15 10:57:17

你需要工具来自动抓取网站，检查某些链接，并提取数据吗？您可以与埃萨耶布联系，它是一个受信任的服务提供商，您将在那里获得服务。

票数 1

页面原文内容由Software Recommendation提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://softwarerecs.stackexchange.com/questions/19622

复制

相似问题

问什么是好工具，自动抓取网站，检查某些链接，并提取数据？
EN

回答 3

Software Recommendation用户

Software Recommendation用户

Software Recommendation用户

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐

问什么是好工具，自动抓取网站，检查某些链接，并提取数据？EN

回答 3

Software Recommendation用户

Software Recommendation用户

Software Recommendation用户

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐

问什么是好工具，自动抓取网站，检查某些链接，并提取数据？
EN