腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
Cloudflare
边缘缓存忽略爬网程序
、
、
在这两种情况下,第一个请求预热缓存,第二个请求直接从
Cloudflare
获得服务。 然而,通过我的日志,我注意到像Bing、Yahoo和Google这样的
爬虫
似乎不会预热缓存。当我在浏览器中或通过Curl访问之前被
爬虫
击中的urls时,随后的请求也会命中我的原始服务器(根据我的服务器日志)。这是计划大小(常规还是企业版)的问题,是糟糕的配置,还是
Cloudflare
特殊情况
爬虫
用户代理?
浏览 11
提问于2016-06-08
得票数 2
1
回答
只允许
cloudflare
访问我的网站,并阻止所有访问、机器人或
爬虫
访问我的IP地址
、
、
、
我有个问题,我在我的域名上使用了
cloudflare
DNS。我的VPS 30.xxx.xx端口4490我在看
cloudflare
的文档。他们推荐我在服务器上添加IPTABLES的以下选项https://developers.
cloudflare
.com/fundamentals/get-started&
浏览 0
提问于2022-09-23
得票数 0
1
回答
用于facebook
爬虫
的
Cloudflare
CIDR符号
、
、
、
我正在使用作为CDN提供商,不幸的是,当有人想要分享网站上的文章时,我对facebook
爬虫
有问题,而打开的图表没有正确地加载消息: 注意需要注意如果你是在个人连接上,比如在家里,你可以在你的设备上运行反病毒我很确定这是因为我使用
cloudflare
挑战通道给用户在访问网站之前。我读过一些IP的建议,比如在这个线程()上,但是
cloudflare
的问题是,可接受的IP范围的CIDR表示法是only /16和/24。
浏览 7
提问于2015-10-17
得票数 1
回答已采纳
1
回答
我应该启用
cloudflare
爬虫
提示与Yoast SEO?
、
、
、
我是否也应该启用
CloudFlare
爬虫
提示,这会导致安全问题吗?我看到必应搜索控制台也推广它。
浏览 0
提问于2023-02-06
得票数 0
1
回答
使用
CloudFlare
页面规则重定向到HTTPS时,Facebook共享调试器会出错
、
、
、
、
为了将HTTP重定向到HTTPS,我在
CloudFlare
中创建了一个页面规则:Always Use HTTPS 这是可行的,并输入站点的HTTP版本重定向到
浏览 2
提问于2016-07-13
得票数 2
回答已采纳
1
回答
Cloudflare
数据隐私和政策?
、
我担心
cloudflare
数据隐私政策。在他们的网站上写着这是否意味着他们可以读取和使用我们的数据,并可能将其出售给第三方?如果用户通过https进行post请求,像
cloudflare
这样的反向代理提供者能够在代理点劫持我们的数据吗? 如有任何建议,将不胜感激。
浏览 0
提问于2017-03-24
得票数 0
回答已采纳
1
回答
当页面尚未被缓存时,如何加速Drupal 8(清除缓存后的第一次访问)?
D8有令人敬畏的核心缓存,在第二、三、三等访问中打开页面的速度非常快。我想继续使用VPS,所以请使用我的服务器来加快drupal 8的速度?
浏览 0
提问于2016-08-16
得票数 0
3
回答
PHP抓取使用
cloudflare
的网站
、
、
、
所以我试着用curl来做,问题是:我的
爬虫
应该做类似这样的事情: 转到->页面,等待5秒
cloudflare
重定向->卷曲页面。更具体地说:它只爬行
cloudflare
重定向页面。(所以我得到了一个重定向到主机的页面,
cloudflare
在前面。
浏览 8
提问于2015-07-02
得票数 3
1
回答
为什么在windows和linux中一个api调用会返回不同的东西?
、
、
我正在尝试从一个网站的api检索一些数据。它在我的Windows个人电脑上运行良好,但是当我在GCP中使用另一个带有Ubuntu的虚拟机时,它崩溃了import requests answer = requests.get(url)print(url.txt)200 '{"order_book":{"asks":
浏览 53
提问于2021-05-29
得票数 1
1
回答
CloudFlare
的分析是否支持对单个文件的下载统计?
、
、
我计划使用
CloudFlare
与我们的网站,但我需要确保我仍然可以提供一些文件的下载统计数据,这将不可避免地被缓存。 我找不到任何涉及特定文件的内容,而不是一般的页面访问。这与
CloudFlare
的分析和我们目前使用的分析方法相结合是否可能?
浏览 0
提问于2017-06-12
得票数 4
回答已采纳
1
回答
Akamai和
CloudFlare
IP显示为请求IP
、
、
最近,我看到
CloudFlare
和Akamai在一个面向公众的网站的日志中以请求in的身份出现。用户代理可疑;Mozilla/5.0。是否有新的机器人/
爬虫
利用这些网络?我想堵住交通,但不确定是否会有潜在的商业影响。 如有任何反馈,将不胜感激。
浏览 4
提问于2022-03-31
得票数 1
1
回答
将网站移动到新服务器-更新的DNS - web
爬虫
仍然通过IP访问旧站点。
、
、
在短暂的预定停机期间,我照常复制了内容,并完成了DNS切换(通过
Cloudflare
),并且大多数流量都遵循它--所有实际用户都能够访问该站点的一个新位置,并且似乎是大多数web
爬虫
请求。然而,我仍然有网络
爬虫
试图访问我的网站在旧的IP。我的意思是,特别是IP地址--尽管他们试图抓取现在存在于新服务器上的有效路径。
爬虫
是否有按服务器IP进行索引的约定? 有没有办法让他们看看这个新网站?我是否应该主动尝试用自定义HTTP错误代码重定向它们?
浏览 0
提问于2015-11-18
得票数 0
1
回答
我的短链接服务比有更多的点击量。这怎麽可能?
、
我把
cloudflare
放在我的短链接域的前面,以减少攻击并减少一些不好的流量。也许使用云彩可能是个坏主意。但是,在一天结束时,我不认为在我重定向的每个url上应该有3x-5x的差异。
浏览 0
提问于2016-06-27
得票数 0
1
回答
Heritrix单站点刮擦,包括所需的场外资产
、
、
我认为需要帮助编译Heritrix决定规则,尽管我愿意接受Heritrix的其他建议: 我需要刮一整份的网站(在
爬虫
-beans.cxml种子列表),但不刮任何外部(场外)页面。例如,呈现页面所需的CDN内容可能托管在外部域(可能是AWS或
Cloudflare
),因此我需要下载该内容,并跟踪所有域上的链接,但是不要遵循指向当前域范围以外页面的任何链接。
浏览 6
提问于2015-05-26
得票数 3
回答已采纳
1
回答
从谷歌网络
爬虫
中得到404个错误,这些错误不在我的网站上?
、
、
在看了一些关于这方面的问题后,他们都没有回答我的问题,那就是:我从谷歌
爬虫
中得到了非常奇怪的404个错误,它们出现在我的网站管理员工具账户中。请记住,我有一个Azure即付即用帐户,它位于我的
CloudFlare
帐户后面。我已经联系了
CloudFlare
,他们让我和MS谈谈这件事。我一周前在Azure论坛上发布了这篇文章,但目前还没有回复。
浏览 3
提问于2015-01-03
得票数 0
1
回答
Blogger/Blogspot如何将Http重定向SEO违规
、
在我博客的SEO分析报告中,我发现这个违规信息超过了上千次。Search engines can only pass page rankings and other relevant data through a single redirection hop. Us
浏览 1
提问于2019-01-16
得票数 3
回答已采纳
1
回答
Python: urllib.error.HTTPError: HTTP错误525:原始SSL握手错误
、
、
我使用Python3在一个网站上用urllib.request.build_opener爬行多个网页。每个web_page_url如下所示:_masterOpener.addheaders = [('Cookie', some_cookie)]content = request.read() 当爬行前几百页
浏览 1
提问于2018-02-11
得票数 1
回答已采纳
1
回答
无法在Lambda中创建AWS胶水爬行器,Lambda由Step函数触发
、
、
、
、
该查询成功运行,并在给定的S桶中生成结果 要在Lambda中创建AWS
爬虫
,下面是我在Lambda (NodeJS)中的代码: };}; Problem createCrawler是一个异步调用,La
浏览 2
提问于2021-08-14
得票数 1
2
回答
浏览器限制会影响网页
爬虫
吗?
、
、
return Redirect("/h"); return View(); 问题:如果我限制一些浏览器访问我的主视图,它也会限制对网络
爬虫
的访问吗
浏览 0
提问于2013-02-21
得票数 0
回答已采纳
3
回答
Bot调用我的php脚本太快了
、
我有一个爱好网站,其中一个php脚本显示一个html页面显示特定姓氏的信息。我有能力显示10万多个姓氏的信息。因此,脚本的调用如下所示,以生成http输出:脚本访问一个数据库来获取姓氏的一些数据。该脚本大约需要20 to才能执行。所以,我在日志里看到了这样的东西:/surname.php?surname=Jones 200 /surna
浏览 0
提问于2021-01-06
得票数 6
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
一键禁用 AI 模型爬虫机器人,Cloudflare 推出防火墙服务
Cloudflare申请上市
用CloudFlare加密网站流量
Cloudflare新服务---云端JavaScript
Cloudflare 推出 Cloudflare One for AI,旨在帮助企业安全使用生成性 AI 工具
热门
标签
更多标签
云服务器
ICP备案
对象存储
实时音视频
云直播
活动推荐
运营活动
广告
关闭
领券