我正在为一个客户建立一个亚马逊附属网站，使用亚马逊产品API从他们的目录中获取数据。我需要关于如何去对待其他搜索引擎爬虫机器人的建议。有什么好方法可以尽可能地避免由于机器人爬行而
浏览 17提问于2016-09-16得票数 1
1回答
我考虑使用IIS动态IP限制模块来增加DoS (拒绝服务)攻击的难度。但我不确定谷歌机器人这样的搜索引擎机器人会如何运作。
有什么想法吗？
浏览 0提问于2012-02-28得票数 5
1回答
在bing内每秒计算请求
、、、
在中，我能够设置Google爬行我的站点的速度，并告诉我一些细节，比如每秒的请求和请求之间的秒数。在必应网站管理员工具中，我只能选择当它爬到网站上时，我能爬到多高的位置。有人知道如何将爬行速率图转换为每秒的请求吗？我这么问是因为我想
浏览 0提问于2016-03-30得票数 1
我的网站页面从机器人获得8到10倍的流量，而不是从真正的用户。我在日志里看到了将近90个不同的机器人。从定义上来说，它们都是“好机器人”。主要是搜索引擎爬行器、搜索引擎搜索引擎索引器(如ahrefs和数字广告网络)。我的问题是成本。我使用Google和Places，并在每个API</e
浏览 0提问于2019-04-26得票数 2
2回答
30个属性过滤器，就可以有许多它们的组合，因此可以以指数方式增加Google的所有可用URL数量，例如：www.domain.com/product-category/filter2/filter4或www.domain.comGoogle的流量给我们带来了很大的打击，因为现在只有30 this的流量是持续的--仅对Google来说就有30 this，现在从我们的领域索引大约有1亿页(在这个过滤功能之前，我们有大约5000
浏览 0提问于2020-04-02得票数 3
回答已采纳
3回答
分布式速率限制
、、、、
我有多个服务器/工作者在处理API请求的任务队列。(使用Memcached和Celery作为队列的Django) API请求被限制为每秒10个请求。如何对其进行速率限制，使请求总数(所有服务器)不超过限制？
我已经看过了一些相关的速率限制问题，<e
浏览 0提问于2012-12-17得票数 6
在我的robots.txt文件中，我列出了不允许在我的站点上索引的机器人列表，其余的我必须允许所有其他机器人，但是我想知道这两条规则之间的真正区别：Disallow:
这是
浏览 0提问于2011-09-22得票数 4
以下设置：Cloudflare作为CDN在我添加Cloudflare和SSL之前，它可以正常工作，没有任何缺陷。造成这一问题的更可能的原因是什么？如何进行最佳调试？
浏览 0提问于2014-11-25得票数 5
回答已采纳
我们经常收到关于Google (自定义搜索JSON )在我们的网站上无法运行的报告：// API callback"error奇怪的是，当这种情况发生时，我们不应该再访问搜索引擎，相反，它只是在一段时间后才重新开始工作；这些都是非常临时的锁定。
有没有办法通过验证查询/请求的数量？如果是这样的话，请告诉
浏览 6提问于2020-04-22得票数 0
1回答
当我尝试在我的网站页面上使用Fetch作为Google时，Googlebot会部分地获取它，当我检查爬行日志时，告诉我我的一些资产是暂时无法到达的：📷
我该怎么办？
浏览 0提问于2017-07-25得票数 2
回答已采纳
我只是在做一个Node.js项目，它使用Instagram API通过关注用户特定的标签来提高用户的点赞/评论和追随者数量，并自动在用户之间创建喜欢和评论的有机纽带。或者你也可以把它叫做Instagram机器人。
然而，Instagram API的速度和用户限制让我对一些东西产生了好奇。因为我认为Instagram从来不会接受他们的API</em
浏览 0提问于2016-03-28得票数 1
如果我把我的网站<meta name="robots" content="nofollow" />，这是否防止传递果汁到我的网站上的所有链接(内部和外部)？meta中的nofollow与rel="nofollow"有什么不同吗？
浏览 0提问于2013-06-20得票数 2
回答已采纳
1回答
我给两个地点打电话。从xml文件中，我得到了位置的长和长。先是最近的咖啡馆，然后是最近的学校。我做了两次这个函数verander(纬度，经度)。我知道这听起来很傻，但我真的很想知道他们是否是减少这些谷歌地图请求的后门。在应用于Maps API的使用限制的上下文中，什么构成
浏览 2提问于2013-07-04得票数 2
回答已采纳
5回答
我有一个巨大的网站，有500万页。目前Google每天索引大约10,000页。这是非常缓慢的，我仍然有很多的网页，我无法得到索引。有人知道爬行速度的上限是多少吗？
浏览 0提问于2013-09-09得票数 3
回答已采纳
Googlebot经常在我的网站上获取页面。这让我的网站变慢了。我不想让Googlebot爬得太频繁。在我的内部页面中添加rel="nofollow“。所以Googlebot不会爬行和索引它们。添加“不允许”：/mySomeFolder/到robots.txt和Googl
浏览 0提问于2012-12-18得票数 2
2回答
我在一个有15个子站点和13个不同模式页面的大项目中。目前，该网站是基于ui.route的所有网页和我的数据集的$http角请求。经过在搜索控制台上的测试和试用，它看起来就像谷歌没有看到我的所有页面，除了主页和来自$http请求的数据没有出现。我做错什么了？到目前为止我所做的是：<base
浏览 5提问于2017-01-31得票数 2
回答已采纳
2回答
数据抓取时更改代理
、、、、
我用JSOUP库在Java中编写了一个数据抓取软件。我正在发布一些数据，并从提交的页面中获得结果。一切都是完美的，但是他们最近更新了网站，现在经过300-500的结果，这个页面对我来说是不可用的，它在接下来的几个小时内被破坏了。当我手动更改代理时：System.setProperty("http.proxyPort", proxyPort)
浏览 2提问于2016-08-15得票数 1
回答已采纳
3回答
我有一个sitemap.xml索引，其中包含3个XML文件，大约有120页用于索引。一年过去了，我仍然有1/3的索引。所有索引最重要的页面都在第一个站点地图文件中，但是Google从每个站点地图文件中获取了类似的数量。我已经将爬行率设置为GWT中的最大值。
浏览 0提问于2014-02-23得票数 1
回答已采纳
我们可以在robot.txt中告诉机器人爬行或不爬行我们的网站。另一方面，我们可以在Google网站管理员中控制爬行速度( Google机器人抓取网站的数量)。我想知道是否可以通过robots.txt限制爬虫活动
我的意思是接受机器人来抓取页面，但要根据时间、页面或大小限制它们的存在！
浏览 3提问于2011-10-17得票数 14
回答已采纳
我需要设置一个云任务队列，将HTTP请求发送到第三方API。外部API每分钟只能接受几个请求，我希望设置对云任务的速率限制，以便任务以非常慢的速度流动:每15秒不超过一个请求。从医生那里，我可以看到：max_dispatches_per_second max_concurre
浏览 14提问于2021-12-09得票数 1
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
