我正在使用Python中的Selenium webdriver进行web抓取项目。谢谢
浏览 19提问于2011-11-30得票数 5
回答已采纳
1回答
我正在寻找一个系统，以提取主题或简单的关键字从一个网页，只有从指定的网页，没有跟随所包含的链接。要分析的页面属于不同的站点，特别是我想分析一个人在Facebook上共享的链接，并从这些页面中提取主题或简单的关键字。非常感谢。
浏览 5提问于2014-04-11得票数 0
1回答
我有一个非常具体的urls列表，我需要从其中抓取数据(不同的选择器/字段)。总共有大约1000个来自大约300个不同网站的链接，它们具有不同的结构(选择器/xpath)。我在网上寻找解决方案，可以看到人们推荐Python和Scrapy。虽然我对这些了解不多，并且仍然在努力理解，但我从网络上发现的似乎如果我使用Scrapy/Python来做这件事，看起来我将不得不为每个链接创建一个单独的爬虫(至少是具有不同结构的)。我想要提取的示例链接和字段如下所示，其中&q
浏览 0提问于2018-08-22得票数 2
我刚从Beautifulsoup开始，我想从网站name、brand和price中提取变量，但不让它正常工作。
不工作的...but
有人建议如何将所有name、brand和price信息提取到数据格式列表中吗
浏览 1提问于2017-11-08得票数 0
回答已采纳
3回答
我有一个问题，那就是从网站获取信息到我的python项目中(当项目正在运行时)。我还没有写过任何代码，因为我是这种编程的初学者。我想问你，我需要哪些模块以及如何使用它们，如果你们中的一些人可以，我将感谢一些代码的例子。
浏览 1提问于2020-09-18得票数 0
1回答
web数据抽取
、、、
作为我工作的一部分，我计划从网络资源(网络抓取)中提取数据。我想从我公司的10公里半径附近提取信息。我想知道我应该使用哪个图书馆。网络抓取是唯一的方法吗？我们能从谷歌地图中提取信息吗？
浏览 2提问于2017-10-17得票数 0
回答已采纳
2回答
我想从网站上获取数据。我想要易趣上不同商品的价格。我想把这些产品和它们的价格放在我的数据库里。纳奇在这里会有帮助吗？如果不是的话，我更喜欢哪种刮刀/爬行？
浏览 5提问于2014-06-17得票数 0
回答已采纳
4回答
我想知道是否有可能“自动化”输入条目以搜索表单并从结果中提取匹配的任务。我经常使用R和Python进行数据分析(我的灵感来自于RCurl上的一篇文章)，但对web协议了解不多……这样的事情是可能的吗(比如使用Python的BeautifulSoup?)我只是对学习web抓取和web抓取工具感兴趣，就像完成这个特定的任务一样……耽误您时间，实在对不起!
浏览 1提问于2009-07-23得票数 8
回答已采纳
3回答
我想创建或找到一个用Python编写的开源网络爬虫(爬虫/机器人)。它必须找到并跟踪链接，收集元标签和元描述，网页的标题和网页的网址，并将所有的数据放入一个MySQL数据库。
浏览 4提问于2011-08-11得票数 6
回答已采纳
我运行了大量Python工具，主要用于抓取网站或从各种web中提取数据。我希望不再使用命令行，而是通过web界面运行这些工具。我的目标是设置用户可以对网站进行身份验证，通过web表单输入参数，单击以运行工具，并将返回的json数据保存到数据库以供以后分析。
浏览 7提问于2022-09-02得票数 0
1回答
我正在为一个使用的研究项目抓取网站。我已经收集了几千份记录，并把它们放在了excel中。本质上，我想提取一个文本的子字符串(例如，" python“从一篇文章标题”对虚拟人的python介绍“中提取)。文章标题被刮掉并存储在excel中的一个单元格中。我想提取“皮宏”放到另一个牢房里。我需要一些建议，如果它是更好地进行提取，而抓取或脱机在excel。由于这是一个研究项目，所以不需要实时速度。我想节省我的精力
浏览 4提问于2014-08-27得票数 0
回答已采纳
1回答
谷歌每日搜索趋势
、、
我教自己网络抓取，并希望从谷歌每日搜索趋势：数据将包括搜索关键字，他们的排名，搜索频率的基础上，每天。什么是从网站中提取数据的有效方法，或者更一般的，这类网站？我很高兴学习除R之外的任何其他工具，并且
浏览 0提问于2018-09-18得票数 1
回答已采纳
我想从一个包含许多医生和医院名称的网站中提取数据，我想做一些评估，所以我决定使用搜索栏，但不幸的是，似乎无法得到我想要的结果！
我怎么能这么做？
浏览 3提问于2018-06-11得票数 2
回答已采纳
我已经搜索了其他问题/教程，但无法获得如何抓取新闻网站的要点，特别是针对评论部分。理想情况下，我希望告诉python抓取多个页面，并将所有注释作为.txt文件返回。
浏览 2提问于2013-03-29得票数 0
1回答
我的任务是从特定网站的各种网页中提取信息。现在，要提取的信息可以是产品名称、产品id、价格等形式。信息是使用自然语言以文本形式给出的。此外，我还被要求使用一些机器学习算法来提取这些信息。我考虑使用NER (命名实体识别)，并在自定义训练数据上对其进行训练(我可以使用抓取的数据进行准备，并根据需要手动标记整数/数据)。我想知道这个模型是否
浏览 2提问于2018-05-19得票数 0
4回答
出于好奇，我想看看是否可以使用jQuery读取一个HTML，这样我就可以使用它输出一些html元素的值。我正在寻找一些功能，比如Firebug提供的功能，即Firebug允许我在任何网页上使用$()，所以我想实现的是：
我需要加载它们中的每一个，并使用jQuery，我想提取一些与某些因此，可以使用Python加载每个文件，然后以某种方式使用jQuery解析HTML。我不知道用什么术语来描述这个需求，但是有
浏览 1提问于2010-10-31得票数 0
回答已采纳
我正在使用selenium python，我想知道如何在24小时内有效地抓取超过50,000个数据点。例如，当我在网页'insight.com‘上搜索产品时，抓取器大约需要3.5秒来搜索产品并获取其价格，这意味着对于大量数据，抓取器需要几天时间。从使用线程同时查找多个产品的一部分，我还可以如何加速这个过程？我只有一台笔记本电脑，将不得不同时抓取其他六个类似的网站，因此不想要太多的线程，计算机的运行速度将显着减慢。人们如何实现
浏览 28提问于2020-06-18得票数 2
是否可以获取此数据的列表：阿姆斯特丹所有餐馆的名单。如果可能的话，还有详细的地址等等。非常感谢！
浏览 1提问于2020-09-17得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
