3.4 当网站遭受恶意爬取怎么办原创

大家好，欢迎大家来到腾讯云开发者社区腾讯云h one团队共同打造的h one一站式玩转网站加速与防护实战营的第三章第4节。我是腾讯云产品经理马乐新，今天我们来讲解如何使用h one防范网站遭受恶意扒取。首先是背景介绍。网站倒爬是指未经网站所有者允许，通过自动化工具大量获取网站数据的行为。这种行为不仅可能导致敏感数据泄露，还会给企业带来直接的业务损失，同时增加服务器负担。最常见的道爬类型是数据抓取，把网站的内容批量复制走，有些倒爬专门盯着价格信息，实时监控竞争对手的定价策略。还有一些更恶劣的行为，比如内容剽窃，把别人的原创内容复制后据为己有。

更危险的是账户劫持，通过自动化工具尝试登录用户账户，威胁用户的信息安全。倒爬最基本的是各种爬虫脚本。比如用Python编写的脚本或者SCY这样的框架。对于更复杂的网站，也有攻击者使用slina或者puppy care这样的自动化工具模拟真实用户的浏览行为。有些技术高超的倒爬者，会直接滥用网站的API，绕过前端限制直接获取数据。为了躲避检测，道扒还常常使用大量的代理IP。倒爬带来的危害首先是数据泄露，辛苦积累的客户信息、商业机密可能瞬间落入竞争对手之手。其次是直接的收入损失。当您的独特内容被复制到其他网站时，原本属于您的流量和收入就被分流了。最后，也不能忘了性能影响。大量的爬虫请求会占用您的服务器资源，影响正常用户的访问体验。

最后，一旦用户发现自己的隐私信息被泄露，您的企业信誉可能会受到严重损害。接下来介绍I one强大的boot管理功能。H one的boot管理功能可以为您的站点提供强大的道爬防护。智能分析功能通过综合识别机制，自动将请求分为正常BOT、疑似BOT和恶意BOT请求。基础特征管理功能，通过精准控制已知BOT有效减有效的防止未经授权的访问和恶意行为。客户端画像分析功能基于腾讯多年积累的威胁情报，将客户端分为5种风险类型。主动特征识别功能，通过cookie校验、会话跟踪和客户端行为校验，可以有效识别高级的自动化工具。自定义BOT规则支持多种匹配条件、组合和处置方式，适用于需要精细化管理的场景。

接下来，让我们深入了解BOT基础特征管理的核心功能。One boot特征管理内置大量公开的boot特征库，可以精准管控搜索引擎爬虫和限制特定商业化工具访问。H one会定期更新特征库，确保覆盖新出新的boot类型，保持对新型boss的识别和管控功能。这个功能允许我们有效管控来自数据中心的请求。很多情况下，这类请求可能代表着大规模的自动化操作。其次，它能够精确识别和处理搜索引擎的BOT请求，助力网站防范恶意爬虫，又确保有意的搜索引擎爬虫能够正常访问。对于来自商用或开源工具的请求，H one也具备精细的控制功能。这些工具可能被用于自动化操作，而这些操作并不总是符合我们的利益。

Boot基础管理支持自定义防护策略，这意味着我们可以根据自己网站的独特需求来细调防护措施，实现更精准的控制。让我们来看一个实际的例子。比如您经营的电商站点shop dot dot com.最近你推出了一款限量版运动鞋，但发现每次上新鞋子都在几秒钟内被抢购一空。并且你的客户服务团队收到大量投诉，说真正的顾客根本没有机会购买。经过调查，你发现有人使用自动购物车工具来抢购，能够在眨眼间完成选择商品到下单到付款的全过程，远超普通用户的操作速度。这时，BOT技术管理。就能派上用场。接下来为大家进行操作演示。首先定位到boot管理卡片。

单机基础特征管理中的UV特征规则。你会看到一个规则列表，每个规则都有一个规则ID，对应着不同类型的自动化工具。找到自动购物机器人。选择处置方式为javascript挑战。这意味着，当系统检测到有自动购物车工具试图访问你的网站时，会直接进行教script挑战。如果想一次性处理多个类似的工具，可以使用批量配置功能。可以选择多个相关的规则ID。统一进行处置方式的配置。单击确定，规则将部署生效。让我们回到PPT。通过这样的设置，就能有效防止自动购物车工具的滥用，使真正的顾客有公平的机会来购买，而非被机器人抢先一步。

恶意BOT通翅通过代理池、僵尸设备、网络或者特定设备发起请求。I one的客户端画像分析，通过使用腾讯近20年的网络安全经验和大数据情报积累，实时判定IP状态，采取打分机制量化风险值，精准识别来自恶意动态IP的访问。准确识别高危客户端，每24小时更新最新威胁情报，并提供不同IP地址的威胁置信度报告。按照不同类型攻击的客户端提供5种风险类型和置信度，您可以通过自定义每个危险置信度的防护策略来帮助您管控多种。类别高危客户端的访问，减少业务风险，有效拦截恶意行为。当访问请求来到您的网站客户端，画像分析会立即开始工作。他会检查这个请求的来源IP，是否曾参与过可疑活动，是否使用了代理服务器，或者是否表现出其他的异常行为。

客户端画像分析支持自定义防护策略，您可以根据自己网站的特点和需求来精细化设置规则。比如您运营着一个叫apiexample.com的站点。这个网站有一个登录页面。有一天，这个登录页面的访问流量激增。您仔细查看后发现大量登录尝试在短时间内失败了。并且这些尝试来自很多不同的IP地址，主要是普通的家庭宽带网络，并且每个地址仅尝试了1次或2次。这种情况就像是有一群人，每个人手里有一把钥匙，轮流来试图打开你的门。这种行为模式很可能是黑客在使用一种叫做秒拨IP的技术，试图暴力破解你网站的登录密码。那么，如何应对这种情况呢？

接下来为大家进行操作演示。首先定位到boot管理卡片。开启客户端画像分析。单机编辑。客户端画像分为网络攻击、网络代理、扫描器、账号接管攻击、恶意BOT。您可以针对不同类型的客户端自定义，根据客户端画像置信度来选择相对应的处置方式。以当前场景为例，秒爆IP属于典型的网络代理类型客户端。在观察到站点受到较高的分散IP高频访问时，您可以拦截较高置信度的。网络代理客户端，并对中等置信度的客户端设置为观察。

单击确定，规则将部署生效。通过使用客户端画像分析，您可以更精准的识别和管控高风险访问。这不仅能有效防止数据被恶意扒取，还能保护您的服务器资源，确保网站为真实用户提供最佳的访问体验。H one不仅能分析已受到的客户端请求，识别其头部和IP特征，还提供了主动特征识别功能。这项功能通过cookie校验、会话跟踪和客户端行为校验，能更深入的识别访问者是否为自动化工具。主动特征识别有两个显著优势。首先，它能识别高级模拟工具，如headless c.其次，相比传统的capture验证，主动特征识别对用户体验的影响极小，并同时能够提供更好的boot识别效果，就像一个无形的安检系统。

这项功能特别适用于具有高价值业务的网站，如涉及账户管理、支付等服务的平台。主动特征识别主要包括两种方式。Cookie校验和绘画跟踪，为每个访客分配动态绘画令牌，验证请求中cookie的合法性，同时识别被篡改的绘画信息和异常的cookie采集行为。客户端行为校验，通过注入javascript代码。来分析客户端的运行环境和交互行为，可有效区分真实用户和自动化用户。让我们两来看两个具体的应用场景。假设媒体站.media.com仅允许at five.客户端和浏览器获取站点内容并且合法的客户端均应支持cookie。因此需要拦截不支持cookie的客户端，包括劫持了其他访客绘画的爬虫。对于恶意篡改cookie的客户端，使用静默方式进行对抗，保持连接但不再响应请求。

接下来进行操作演示。首先定位到boot管理卡片。单击主动特征，识别下方的添加规则。配置判断条件以及处执行处置。以当前场景为例，可以配置匹配字段为请求路径正则匹配，且请求方式等于get的请求。配置执行处置操作为cookie校验和绘画跟踪，校验方式为更新cookie并校验。对于未携带cookie或cookie过期的请求，配置触发阈值为10秒内300次执行处置为拦截。

对于携带不合法cookie的请求，执行处置为静默。氨基保存并发布，规则将部署生效。让我们回到PPT。接下来我们来看第二个场景，加固电商站点密码，重置页面和API。假设你运营这一个名为shop do do com的电商站点。最近你发现有人在大量尝试重置用户密码，这可能是黑客在进行账号接管攻击。您可以这样应用主动特征识别。为密码重置页面。和相关API添加特殊规则，启用客户端行为校验。设置较高的工作量证明强度，这就要求访问解决一个小谜题。对真人来说很简单，但对自动化工具来说就困难得多。如果发现客户端没有启用javascript，这可能是简单的自动化工具，在短时间内频繁请求时就故意放慢响应速度。

这就像是你怀疑有人在猜密码，所以每次都故意等一会儿才告诉他猜错了，大大降低了猜测的效率。对于那些行为非常可疑的请求采取静默处理，不再理会他的任何动作。通过这样的设置，你可以有效保护用户的账户安全，同时并不影响正常用户找回密码的体验。接下来为大家进行操作演示。首先定位到boot管理卡片。单击主动特征，识别下方的添加规则。以当前场景为例，可配置匹配字段为请求路径等于account for god password到XHTML。配置执行处置操作为客户端行为校验。工作量证明校验强度为高。执行方式为延迟100ms后执行。

对于客户端未启用javascript及未完成检测的请求，在10秒内超过10次的话。执行处置为长时间等待后响应。对于客户端检测超时的，请求执行处置为静默。对于BOT客户端，执行处置为静默。单击保存并发布。规则将部署生效。让我们回到PPT。主动特征识别敏锐智能却又不引人注目，为你的网站构筑一道几乎无形但异常有效的防线，让你能在保护网站安全的同时，为真实用户提供流畅的体验。接下来介绍自定义BOT规则。当您在已有的boot管理策略基础上，需要针对特定boot行为或特征定制精细化策略时，自定义boot规则可以为您提供灵活的匹配条件。

例如客户端IP头部信息请求方法、静态特征识别和客户端画像分析结果等。同时可结合按权重随机选择处置动作的处置策略，帮助您创建精细的管理策略，有效管理boot访问站点带来的风险。让我们通过几个具体的场景来深入理解自定义boot规则的应用。想象一下，您正在监控网站的安全状况，突然发现登录接口遭受大量的异常访问。经过分析，您发现这些请求主要来自1.1.1.024网段的多个代理客户端，他们正常是使用不同类型的客户端进行密集的登录尝试，这种情况下，我们需要快速反应，以保护系统安全。您可以设置以下方案。进入boot管理界面，添加一条新的自定义规则。

设置规则，匹配条件为客户端IP匹配1.1.1.024网段，且user agent包含curl。这是一种常用的命令行工具，经常被用于自动化脚本。将处置方式设为静默，这意味着系统会保持与这些客户端的TCP链接，但不再响应他们的HTTP请求。这种方法既能有效阻止攻击，又能消耗攻击者的资源，降低他们继续攻击的能力。接下来是操作演示。首先定位到boot管理卡片。单击自定义规则下的添加规则。配置判断条件为客户端IP匹配可疑网段，且user agent包含可疑自动化工具。

配置处置方式为禁木。单击保存并发布，规则将部署生效。让我们回到PPT。场景2，平衡安全与用户体验的登录页面保护。在保护用户账户安全的时候，我们也不想过度影响正常用户的体验。这就需要一种更加灵活的策略。您可以创建一个新的自定义规则，针对被识别为账号接管攻击较高置信度的客户端，设置两种处置方式，20%的概率使用托管挑战，80%的概率使用短时间等待后响应。这种组合策略既能有效阻止大规模的自动化攻击，又不会对所有用户都施加繁琐的验证步骤。

对于可疑的访问，系统会随机决定是直接要求验证还是稍微延迟响应，这种不确定性会大大增加攻击者的难度，同时对普通用户的影响相对较小。接下来是操作演示。首先定位到boot管理卡片。单击自定义规则下方的添加规则。在当前场景下，可以配置判断条件为请求客户端。特征请求客户端画像等于账号接管攻击。较高置信度。选择执行处置。为两种。第一种为托管挑战，权重占比为20%。第二种为短时间等待后响应，权重占比为80%。单击保存并发布，规则将部署生效。

让我们回到PPT。场景，三是优化BOT智能分析，适应特殊访问方式。有时，合法用户的访问方式也可能会被误判为可疑行为。例如，当用户通过本地代理如socks代理访问网站时，他们的user agent和TLS指纹可能会不匹配。这在正常情况下会被标记为可疑。如果您的网站允许这种访问方式，我们需要调整策略以避免误判。您可以按照以下方式配置，首先确保BOT智能分析功能已开启。接着创建一个新的自定义规则。将规则条件设置为BOT智能分析特征等于TRS指纹不一致。将处置、放置、处置方式设置为放行。这样，即使检测到TLS指纹不一致，系统也会允许这些请求通过，从而避免误拦截合法用户。

接下来是操作演示。首先定位到boot管理卡片。确保boss智能分析已开启。单击自定义规则下方的添加规则。在当前场景下配置判断条件为boss智能分析特征。等于TLS指纹不一致。执行处置选择为放行。单击保存并发布，规则将部署生效。让我们回到PPT。通过这些精细化的自定义规则，我们可以在保护网站安全的同时，为不同类型的用户和访问场景提供最适合的处置方式。这种灵活性使得我们能够在日益复杂的网络环境中始终保持对boss行为的有效管控，同时确保真实用户的良好体验。

以上就是网站安全防护实战第4节如何使用h one BOT管理功能防范网站倒爬攻击的全部内容，感谢大家观看。在下一讲中，我们将为大家带来如何使用h one防范网站漏洞攻击。