我注意到，来自蜘蛛和爬虫的访问产生了对该API的数千次调用，而我正在为这些调用收费。有没有办法阻止显示由API生成的内容的网页部分，即只有实际的访问者才能看到它，并且在抓取网页时不会生成API调用？
浏览 1提问于2016-10-23得票数 2
我正在使用js爬虫来抓取网站，现在我遇到了CNN，的那一部分(基于某种原因动态生成的urls)。事情是爬虫，不要真正接触脚本-我应该如何解决它？除了我的node.js爬虫之外，我还应该编写自己的代码吗？是否有先进的爬虫知道如何处理这种动态行为？
浏览 1提问于2016-07-23得票数 2
回答已采纳
例如：
这是故意改变的吗？是否有不同的方法将命令设置为null？注意，cli发出的REST调用没有改变。它仍然发送命令："“重置app命令。
浏览 1提问于2015-04-23得票数 1
回答已采纳
我有一个web爬虫，我使用phantomjs来解析页面，我想得到html，但我总是在html代码之前在输出中得到这种类型的错误。ReferenceError: Can't find variable: collapse_content_selector
http://staticloads.com/js/toggle.js
浏览 0提问于2013-10-19得票数 26
回答已采纳
我正在尝试用ABOT在c#.i中制作网络爬虫，我搜索了很多例子，并添加了ABOT网络爬虫。从那我只能得到日志输出而不是超文本标记语言页面输出。我想得到超文本标记语言页面输出only.because，超文本标记语言输出是超文本标记语言敏捷工具的输入。帮助我从ABOT网络爬虫在C#中获得超文本标记语言输出。谢谢。
浏览 4提问于2013-09-12得票数 5
1回答
我想抓取网站和写入输出到Solr与我的应用程序。我的爬虫使用卡夫卡把爬行的网站对象的一个主题和水槽将重定向输出到Solr。有多个爬虫产生数据卡夫卡。我的问题是:当一个爬虫想要爬一个网站，其他爬虫不应该尝试爬行它。如何在分布式环境中与它们通信？
浏览 0提问于2017-06-01得票数 2
1回答
向机器人隐藏代码
、、、、
有没有一种方法只对爬虫隐藏页面的特定部分？那么，有没有办法对机器人隐藏某些部件，但在未来不会对用户隐瞒？不是整页，只是部分。但没有理由不让智能js阅读爬虫来隐藏它。麦芽酒
浏览 6提问于2014-10-16得票数 0
回答已采纳
我正在阅读angular的服务器端渲染文档，因为它们提到服务器端渲染是帮助爬虫。我知道在服务器端渲染爬虫可以获得整个dom，但爬虫也可以与组件交互，那么它如何帮助爬虫呢？
浏览 18提问于2019-09-15得票数 0
constructor(){ } return "M2";}
输出：
ReferenceError:这不是定义在B(爬虫:4:1)在REPLServer.defaultEval :1:9在REPLServer.defaultEval (repl.js:262:27)在绑定(domain.js:287:14)在REPLServer.runBound
浏览 0提问于2016-07-05得票数 2
回答已采纳
1回答
我要做个爬虫。对于http请求，我曾经这样做过。', function () { }); http.request(options, callback).end(); throw er; // Unhandled 'error' eventError: getaddrinfo ENOTFO
浏览 2提问于2015-01-18得票数 1
回答已采纳
登录后，我查看了facebook中的html代码，他们似乎对JS文件做了很多请求(根据firebug，多达20个)。所以，虽然我知道facebook需要加载许多JS和CSS文件(而不是一个JS和一个CSS文件)，但我的问题是更通用的网站和网络爬虫的状态。我们应该担心这些技术(通过ajax加载主要内容)会影响网络爬虫(googlebot和朋友)吗？我想提高性能，加载“稍后需要”的内容(text/js/css)似乎是个好主意，但如果爬虫不能使用(当然是内
浏览 2提问于2013-03-18得票数 3
如何使用爬虫来点击执行js代码的链接，这个链接没有HREF属性。爬虫可以通过客户端在页面上执行js代码吗？
浏览 82提问于2021-02-03得票数 0
我正在研究一个网站爬虫机器人，从中提取特定的信息。我至少需要在html文件上运行"on document ready“javascript函数，这样才能生成内容并获得它。我该怎么做呢？我看到一个叫"rhino“的命令，但它似乎只适用于.js文件，该文件是一个html文件。正如你可以猜到的，它里面包含html和JS。我们的计划是:下载html文件，编辑它们的"on document ready“js函数，获取输出，传递下一个，重复。
浏览 82提问于2019-02-11得票数 0
回答已采纳
1回答
问题是爬虫找不到规范的站点，因为它是通过Angular动态加载的。有没有可能绕过这个限制，比如在Angular项目的索引站点中放置对所有对象的引用？更清楚地说：object的详细视图: mysite.com/#/ detail /object1
如果我根据当前显示的对象动态添加对amp页面的引用，爬虫将找不到amp
浏览 1提问于2017-09-18得票数 0
我使用爬虫在aws胶水中创建了一个表，然后在s3中添加了一个具有不同模式的分区，然后再次运行该爬虫。
当我从分区视图中查看分区的模式时，它会显示新的模式，但是该表的模式保持不变。
浏览 2提问于2018-06-27得票数 2
回答已采纳
我的问题是：
SSR将如何与搜索引擎爬虫工作，以了解我的文章存在？所以，如果我要搜索“我的网站条款”或“我的网站条款栏”，它如何知道这些不同的文章存在？
浏览 2提问于2017-03-01得票数 2
回答已采纳
1回答
使用AWS Glue，我知道每当模式更改时，爬虫就会创建一个新的表。当我们的模式发生变化时，这导致了爬行器创建了许多新表，正如我们所期望的，但并不完全符合我们的要求.最终，我们希望爬虫检测最新的模式，并将该模式应用于我们正在s3桶中爬行的所有数据，只输出一个表。我们(可能是错误的)假设通过使用Avro，这不会成为一个问题，因为爬虫可以将具有给定默认值或空值的新模式字段应用到旧数据(使用Avro的好处)，并且只输出一个表，然后我们可以使用AWS Athena进行查询在AWS中是否有一种方法可以对s3桶中的所
浏览 0提问于2018-02-09得票数 14
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
