背景信息
通过 BOT 与业务安全,可在 BOT 管理中开启并配置对应模块内容,并结合 BOT 流量分析与访问日志进行观察和分析,根据流量分析提供的会话状态信息进行精细化策略设置,保护网站核心接口和业务免受 BOT 侵害。
BOT 管理各模块说明如下:
模块 | 说明 |
BOT 场景化 | 依托腾讯云多年 BOT 治理的专家经验,针对 BOT 中常见的秒杀、爬文案/爬内容和登录等场景,支持检测 1000+ 爬虫类型,从前端对抗、威胁情报、AI 策略、智能统计、动作策略、会话管理、合法爬虫和自定义规则等维度基于专家经验进行设置,解决客户配置难的问题,简单易用,轻松上手。 |
多端 BOT 防护 | 以可信设备标识为基础,提供设备风险识别与多端安全防护能力,覆盖 iOS、Android、HarmonyOS、小程序、H5 等多端场景。启用后,可获得端侧设备指纹采集、运行环境检测、设备风险评分,以及与 BOT 引擎联动的完整防护能力,用于应对恶意设备伪造、自动化工具攻击、薅羊毛、恶意注册、刷单等风险场景。 |
前端对抗 | 通过客户端动态安全验证技术,为每次业务请求生成一个动态的唯一会话令牌或请求签名,检测客户端对 Web 或 HTML5 页面访问中可能存在的机器人和恶意爬虫行为,保护网站业务安全。 |
威胁情报 | 依托腾讯近二十年的网络安全经验和大数据情报能力,通过实时判定 IP 状态、采取打分机制、量化风险值,精准识别来自恶意动态 IP、IDC 的访问,同时智能识别恶意爬虫特征,解决来自恶意爬虫、分布式爬虫、代理、撞库、薅羊毛等风险访问。 |
AI 策略 | 基于人工智能技术与风控实践经验,通过分析访问流量数据并构建 AI 评估模型,识别和区分不同类型的恶意自动化访问行为,以应对高级持续性威胁与隐蔽性威胁。 |
智能统计 | 基于大数据分析统计,根据客户的用户群体的流量特征自动分类,自动识别存在异常的恶意流量,通过大数据分析自动调整恶意流量阈值,解决来自常规 BOT、高频 BOT 的风险访问,并通过自动调整统计模型,解决大部分的 BOT 行为绕过问题。 |
UA 策略 | 基于人工智能技术和风控实战沉淀,通过识别 User-Agent 类型及特征,帮助用户对浏览器、移动端、自动化工具、BOT 等多种客户端类型进行分类与观测。用户可全局管理各类 UA 检测规则,并在流量分析、访问日志等维度查看相关命中情况,从而辅助 BOT 与业务安全防护,提升对异常访问的识别与响应能力。 |
动作策略 | 通过威胁情报、AI 策略、智能统计对网站的访问请求进行综合性打分,打分范围在 0~100 分,分数越高 BOT 的可能性越高、其访问对网站产生的危害/压力则越大。通过分数智能识别访问行为的风险程度,可根据配置不同分数段的动作,实现风险访问的精准拦截。同时,支持通过配置生效范围,对符合该生效范围的请求数据进行相应的精准处置。 |
会话管理 | 通过配置该功能,可指定会话 Token 所在的位置,在同一 IP 下区分识别不同用户的访问行为,在不影响其他用户的情况下,精准处置存在异常访问行为的用户。 |
合法爬虫 | 通过配置该功能,可使合法爬虫(如搜索引擎、订阅机器人)正常获取网站数据,使网站可以正常被索引。 |
自定义规则 | 通过该功能,可精准处置符合行为配置的爬虫、对应特征的访问请求。同时,支持通过配置生效范围,对符合该生效范围的请求数据进行相应的精准处置。 |
BOT 白名单 | 支持从 HTTP 报文的会话特征、请求特征、Cookie、HTTP 头部、生效范围、IP 特征、User-Agent、Referer、会话设置等多个特征进行组合,通过特征匹配对特定公网用户的访问进行加白。 优先级从高到低顺序:BOT 白名单 > 场景1(优先级1) > 场景2(优先级2)> …… > 场景 n(优先级 n)。 |
误杀风险与缓解措施
防护模块上线后,部分正常业务请求可能被误判为 BOT 流量。以下整理了实际使用中常见的误拦截场景及处理方式,供上线前排查参考。
各防护模块上线时建议先以监控模式运行,通过流量分析确认命中流量的性质后再切换为拦截。直接启用拦截在业务接入初期误伤概率较高。
模块 | 误拦截场景 | 处理方式 |
前端对抗 | 服务端间 API 回调、自动化接口脚本(非浏览器调用)被前端 JS 检测拦截;接口响应体 Content-Type 非 text/html 时前端对抗无法正常工作 | 将对应接口路径加入前端对抗白名单;确认客户端类型为浏览器/H5 后再启用 |
威胁情报 | 企业办公网出口、业务 IDC 出口 IP 被情报库标记为 IDC 流量 | 启用前确认业务是否存在 IDC 侧访问;若存在,关闭 IDC 网络识别开关或将业务 IDC 地址段加入信任列表 |
AI 策略 | 格式固定的 API 回调请求因缺少浏览器行为特征被 AI 模型误判为异常 | 在 AI 策略页面将对应 URL 加入白名单 |
智能统计 | 定时任务、监控探针等高频正常访问被统计模型标记为异常 | 将检出等级调整为智能推荐,或降低对应检出项的灵敏度;必要时将特定访问源加入白名单 |
动作策略 | 新业务上线初期流量未被模型充分学习,可能出现高分误拦 | 新场景先设为监控模式,观察1~3天命中流量后再切换为拦截 |
自定义规则 | 阈值设置过严,导致符合相同特征的正常请求被拦截 |
前提条件
1. 已购买 WAF 包年包月实例,并开通 BOT 流量管理。
开启 BOT 管理
1. 登录 Web 应用防火墙控制台,在左侧导航栏中选择 BOT 管理 > BOT 规则配置 > BOT 管理。
2. 在 BOT 管理页面,左上角选择需要防护的域名,开启 BOT 管理。
BOT 管理:开启后可为当前域名配置 BOT 规则。单击查看流量将跳转至当前选择域名的 BOT 流量分析界面。
客户端安全:开启后可为当前域名配置 BOT 多端防护。客户端安全详情请查看 多端防护。
生效场景:展示当前域名下开关处于开启状态的 BOT 防护场景数量。
场景总数:展示当前域名下总计配置的 BOT 防护场景数量,包含生效状态为开启及关闭的所有场景。
当前全局策略:展示当前域名下针对全局范围生效的最高优先级的场景名称。
防护模块
可按需开启并配置前端对抗、智能分析、会话管理、合法爬虫、BOT 白名单等防护模块。各模块既可在全局设置中统一配置(应用于当前域名下的全部场景),也可在场景化管理中针对单个场景单独配置。具体操作请参见 防护模块。
配置模式
BOT 管理默认支持简易模式和多场景模式两种配置模式,以满足不同用户的配置需求。
简易模式:如该域名只需针对全部路径快速上线兜底防护策略,建议使用简易模式,支持快速开启专家预置规则集、前端对抗及智能分析功能,监控业务中的 BOT 流量,可以观察命中流量后再调整为拦截模式。
多场景模式:如该域名需针对不同的路径上线不同的个性化防护配置,建议使用多场景模式,支持针对不同的路径配置、不同的业务场景(秒杀、防扫描、防爬等)启用不同的专家预置基础规则集和自定义规则集,可以观察命中流量后再调整为拦截模式。