我刮过以下网站:使用Selenium的。我正在搜集所有的表格数据。它运行得很好，但是运行脚本需要相当长的时间。因此，我开始搜索替代方案，并在StackOverflow上使用API向服务器发送请求，但经过几个小时的尝试和搜索(例如，我放弃了)，因为我没有得到一些东西：
import json
data
浏览 4提问于2017-11-25得票数 1
我正在尝试获取网页的文本数据，就像它在我的浏览器上的样子一样。我的问题是，我还使用了一个网页的扩展，它的给定数据(由于它而显示的文本)也要被收集。我知道urllib，但它只收集正常的网页数据，而不是扩展生成的数据。那么，如何收集这些数据有什么帮助吗？另外，我想问的是，这是否可能？
浏览 12提问于2020-08-15得票数 0
1回答
我有一个学校项目，我必须列出我国家政府(.gov.pt)的所有网站，我正在努力想出实现这一目标的最好方法……有人能帮帮我吗？我的老师建议要么创建一个网络爬虫，要么手动搜索网站，基本上我们可以使用任何我们想要实现的东西
浏览 1提问于2019-03-13得票数 0
2回答
对于给定的python版本，平台，除了抓取conda网站之外，有没有办法检查在conda上是否有可用的包(使用python)？
我们的目标是使用python代码进行检查，而不是通过抓取或命令行抓取。
浏览 0提问于2018-02-12得票数 0
1回答
抓取部分将在python中编码，结果将在PHP中显示。结果应该在PHP中异步显示，而python正在抓取页面。在这两种语言之间异步交换数据的首选方法是什么？
谢谢!
浏览 3提问于2017-05-04得票数 1
回答已采纳
1回答
我需要学习高级python编程技能才能使用python进行web抓取吗？或者，我应该看一些关于网络抓取的教程，同时学习使用python。我对python没有任何经验，因为我是Laravel开发人员，这是我第一次在web抓取中做这样的工作。
浏览 0提问于2019-11-04得票数 -1
2回答
我正在尝试从有经验的人那里获取更多的信息，一般来说，我正在使用Python库进行web抓取。与此同时，我注意到一些人正在使用simple Bash，并使用wget, curl, sed, grep, awk等命令进行web抓取。与使用Python库进行web抓取相比，这些命令在脚本编写方面似乎要干净得多。
你对此有什么看法？您认为使用python库比使用Bash有什么优势吗？或者甚至使用Python和Bash来完成web抓取？
浏览 1提问于2017-03-03得票数 0
1回答
我是一个python程序员初学者，我想抓取所有的体育新闻在网站。我创建了一个python请求来加载更多的项目。我使用了chrome中的inspect元素来查看。我的python代码如下所示：import jsonsession.trust_env = False
print(response.json()){'error': &#
浏览 2提问于2018-11-28得票数 0
3回答
我目前正在开发一个网络爬虫在PHP中，它仍然是一个简单的，但我想知道的是，我怎样才能使我的爬虫在后台爬行页面，而不使用我的带宽，我必须使用一些cron作业，我想它自动存储在数据库中的数据。<?php ini_set('max_execution_time', 4000);
$to_crawl = "http://hootp
浏览 2提问于2015-08-06得票数 0
1回答
我需要从一个具有大约20,000行的html表中抓取数据。然而，该表被分成200页，每页有100行。问题是，我需要单击每一行中的一个链接来访问所需的数据。
浏览 2提问于2015-07-01得票数 2
我有python代码，可以刮课程的细节，如course_title，评级，学生数量等，但我想课程链接以及。谁能帮助我如何从coursera获取每个课程的URL。
浏览 0提问于2020-08-12得票数 0
2回答
我知道使用Python的Beautiful Soup抓取HTML的基础知识。但是，页面会进行AJAX调用，以获取球员上场时间的数据。(我使用firebug识别了网络调用)。我的问题是:有没有可能使用python来“抓取”这些信息？我需要什么工具，除了HTML我还应该知道什么？(我目前正在阅读有关JavaScript和AJAX的文章)。更新:几天后，我提出了一个在Python语言中结合使用Selenium和PhantomJS的解决方案。基本上，我使用Selenium转到每个链接，等待页面加载，然后抓
浏览 0提问于2013-11-02得票数 0
我可以使用python、alteryx或sas或任何选项来解析此文件。我们几乎没有其他rest api需要解析。因此，寻找自动化的过程。请推荐一个解决方案。
浏览 37提问于2019-06-19得票数 0
回答已采纳
这些网站只是抓取了Google Play吗？但是，即使他们刮掉了Google Play，如果连搜索结果都还没有返回应用程序，他们怎么能这么快找到新的应用程序呢？
浏览 19提问于2020-10-23得票数 4
我是一名研究人员，我有一个基于Android网络的移动应用分析项目。为了分析包含如此多android apk文件的数据集，我想提取应用程序网页中使用的HTML或HTML5 API。我可以提取应用程序中使用的urls，但我不知道如何加载或查找在运行时将在应用程序web内容中加载哪些web和javascript API。在应用程序中，我们可能有javascript库、Jquery等，它们也很重要。简而言之，我如何才能找到应用程序中使用了哪些we
浏览 6提问于2017-05-10得票数 0
2回答
我正在寻找一种方法来做网页抓取后，在其搜索框中键入。让我用一个例子更好地解释:我正在寻找一个R函数，它直接在amazon主页上写入单词"notebook“，这样我就可以随后对生成的页面进行web抓取。也许我可以用Python来做？感谢大家的帮助。
浏览 2提问于2021-01-25得票数 1
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频活动推荐
腾讯云开发者
