1回答
我正在使用'axios‘从网站抓取数据()重点是，我想在没有任何与爬行相关的库的情况下做到这一点。找到了解决它的方法！
浏览 10提问于2021-05-29得票数 0
回答已采纳
我试图通过在Chrome中查看网站的HTML并使用Nokogiri抓取数据来抓取网站。问题是有些标签是动态生成的，当使用open-uri时，它们不会与open(url)请求一起出现。有没有办法“强制”一个网站动态生成它的内容，以便像open uri这样的工具读取？
浏览 5提问于2013-07-07得票数 5
我正在使用Ruby on Rails和机械化库来抓取商店网站。问题是很多时候我不能抓取某些元素。然而，当我在网站上“查看源代码”时，我可以看到这一点。例如，沃尔玛的类别(在这种情况下是“健康”)是不可推卸的。我相信这是因为它是动态生成的HTML (例如，从javascript)。为了解决这个问题，我需要一个浏览器来处理web请求。我也在亚马逊EC2上使用linux机器。安装用于UI抓取</e
浏览 0提问于2011-12-13得票数 2
回答已采纳
1回答
如何从网站收集联系信息？
、、、、
有没有人知道从网站收集联系方式的网络爬虫工具？说我有一个www.web/联系人。我想拿出地址，电话号码等等。我一直在研究两个工具: java的cralwer4j开源jar和。但是我发现在我的场景中使用它有点困难。
任何建议都会很好。谢谢
浏览 1提问于2015-03-19得票数 0
回答已采纳
1回答
我希望从我的网站创建公共信息。我的网站是安全的身份验证，但有关用户的部分信息可以共享在比方网址。为10k+用户生成页面并使用robot.txt听起来非常繁重。有没有办法可以让动态内容被抓取？作为参考，facebook和linkedin等网站也在做同样的事情。但空间可能是这里真正的问题！特别是，我正在寻找的web服务器配置，将有助
浏览 2提问于2016-12-11得票数 0
Selenium有没有什么库或替代方法可以从动态(javascript渲染的)网站上抓取数据？
我遇到的问题是，当我在selenium中使用webdriver时，许多网站可以很容易地检测到。我已经做了一些事情，比如在我的webdrver中更改了我的cdc_变量，但我仍然被检测到了。我一直在研究使用硒不被检测到的方法，但似乎不可能做到。因此，我正在寻找一种不使用Se
浏览 2提问于2020-05-24得票数 0
1回答
我目前正在为一个网站建立一个网络刮板。然而，我有道德上的顾虑:这个网站提供免费的服务，他们通过广告赚钱。因此，让抓取的内容在没有广告的情况下可见会伤害我正在抓取的网站的经济性。puppeteer是否会像普通浏览器一样加载广告，从而为网站提供商带来收入？
浏览 22提问于2020-03-06得票数 0
回答已采纳
3回答
我有一个由我的大学托管的小网站。策略是没有服务器端脚本语言(例如PHP等)启用，因此网站要么是静态的，要么可以使用客户端脚本(例如javascript等)。我也不能触摸服务器/配置它/安装东西。无论如何，我想添加一些来自其他网站(即谷歌学者引用)的数据，这些数据是我设法用Python+lxml动态抓取的。有没有办法动态查询这些
浏览 0提问于2012-04-02得票数 0
回答已采纳
1回答
我有多个网站存储在数据库中不同的抓取时间，如每5/10分钟为每个网站。我已经创建了爬行和运行与cron的蜘蛛。它将从数据库中获取所有网站，并对所有网站进行并行爬行。如何实现以不同的时间抓取存储在数据库中的每个网站？有没有办法用scrapy处理这个问题？
浏览 2提问于2018-09-19得票数 3
3回答
我想浏览一下谷歌一个私人小组的讨论列表。这是一个多页列表，我可能会在以后再看一遍，所以脚本听起来像是可行的方法。我的ruby脚本嵌入在帖子的末尾。对身份验证查询的响应是200-OK，但响应头中没有cookie
浏览 2提问于2010-04-02得票数 10
回答已采纳
2回答
我有一个带有id=mydiv的div，在这个div中，我有一些内容，我正在动态地从数据库中抓取它。
有没有办法在不使用.load() ajax方法的情况下使用按钮来刷新或重新加载我的div的内容？
浏览 0提问于2012-11-09得票数 0
回答已采纳
3回答
无法使用HTML抓取导入数据
、、、、
所以我正在做一个python项目，我决定做一个超市比较的东西。我已经决定从现有的超市比较网站上提取价格。我使用这个网站学习：import requestspage =注意--我是HTML抓取的新手，对python有基本的了解，但我决定有一点挑战。
提前谢谢。
浏览 3提问于2018-10-12得票数 0
我有一个功能刮刀，从数据库中抓取大量网站，并将结果读取到相同的数据库中。我从数据库中获取域，并手动附加。在网址上。即使这个url不正确，绝大多数站点都可以正确地重定向爬行器，但是对于一些站点，我得到了一个DNSLookup错误，因为没有重定向，即使该站点明显存在并且可以通过浏览器访问。我的问题是，有没有办法重试获得DNSLookup错误的抓取，但使用不同的URL？
浏览 0提问于2019-04-08得票数 1
2回答
我有一个两部分的问题。
首先，我正在使用Scrapy编写一个基于爬行器的网络爬行器。我的目标是抓取一个有数千条(可能是数十万条)记录的网站。这些记录从起始页往下埋了2-3层。所以基本上我让爬虫从某个页面开始，爬行直到它找到特定类型的记录，然后解析html。我想知道的是，有什么方法可以防止我的爬行器使站点过载？有没有可能在不同的请求之间增加或暂停？其次，与之相关的是，有没有<
浏览 0提问于2011-12-17得票数 6
回答已采纳
我现在有一个应用程序，允许用户从网站拉取信息。不幸的是，我没有任何访问该网站的API，它只是我屏幕抓取的东西。理想情况下，用户每天会从网站上抓取一次信息。当performFetchWithCompletionHandler被调用时，它检查设置的时间，如果该时间是当前时间，它将执行抓取。不幸的是，performFetchWithCompletionHandler不是
浏览 2提问于2013-11-21得票数 1
我有一个父实体，它绑定了大量的子实体。
在linq to sql中，有没有一种方法可以只获取父实体，而不附加其他子实体？
浏览 0提问于2012-05-31得票数 1
回答已采纳
我要做的就是抓取网页'‘。在这种情况下，当标签估计(在下面的可比较和估计部分)被选中时，google地图下面的数据被动态加载。此数据在页面源代码中不可见，但同时在开发人员工具窗口(上下文菜单，检查元素)中可见。
我使用的是Selenium和Python 2.7。有没有办法访问这些数据？或者有没有办法访问所有的元素？
浏览 0提问于2014-05-09得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
腾讯会议
云直播
对象存储活动推荐
腾讯云开发者
