背景信息
BOT 流量分析通过采集 BOT 流量管理中的数据,可以快速了解选中并开启了 BOT 流量分析的域名受 BOT 影响的情况,快速得知当前域名的 BOT 分类趋势、处置趋势、BOT 得分分布、请求量 TOP 统计以及 URL 易受侵害的资产 URL 列表,并可以通过单击查看详情,查看对应访问源的 BOT 详情,发现对应访问源的访问特征,以及访问源 BOT 异常的情况。
在 BOT 流量详情中,可以快速发现已开启 BOT 流量分析功能中,流量 TOP10的访问源,如果配置了会话设置,还可以查看到访问流量 TOP10的会话访问信息,快速查看选中访问源的详情与日志。同时,可以通过定向检索对应的访问源/IP 的信息。
前提条件
操作步骤
1. 登录 Web 应用防火墙控制台,在左侧导航栏中选择 BOT 流量分析 > BOT 流量详情。
2. 在 BOT 流量详情页面,单击左上角“全部域名”下拉框,选择要查看的域名。
3. 在 BOT 流量详情页面,可以通过时间或筛选器,搜索全部域名或某个域名的 TOP10流量信息,并可以快速进入相关的日志中。
4. 在BOT 流量详情页面,选择所需访问源,单击查看详情,即可进入该访问源的详情页面。
查看概览
在详情页面的概览模块中,展示访问源风险值与命中策略信息,并可以通过查看访问日志、加白名单、加黑名单、加自定义规则,对该访问源进行快速定向处置。
字段说明:
IP 地址与标签:访问源的 IP 基础信息及命中的标签信息。
最后一次请求得分:该访问源最近一次访问时,BOT 识别出来的访问分数以及当前访问风险的情况。
会话次数:展示最近的一次连续会话中,该访问源访问网站的总次数,该总次数统计与右侧 BOT 动作统计数会有不同,此处展示当前访问源在最近一次访问会话的会话次数。
访问目的:展示该访问源的访问域名。
异常特征:展示该访问源出现异常特征的模块。
命中模块:最近一次产生处置动作时,产生动作的模块。
策略 ID:展示该访问源命中的策略 ID。
查看访问日志:可跳转至访问日志页面,查看该访问源的访问详情。
加白名单:可将该访问源加入白名单。
加黑名单:可将该访问源加入黑名单。
添加自定义规则:可添加该访问源的自定义规则。
查看 BOT 得分与占比
在详情页面的 BOT 得分与占比模块中,展示在已选中的访问时间段内,访问源的 BOT 动作占比与 BOT 的得分分布。通过 BOT 得分分布可以快速发现当前访问源整体的威胁程度。
查看 BOT 信息
在详情页面的 BOT 信息模块中,展示了访问源 BOT 的基础特征信息、请求特征信息、威胁情报信息、AI 评估信息、智能统计、会话等特征信息。通过这些特征信息,可以快速发现当前访问请求存在异常,发现不同访问源中的不同的地方,快速定向处置此类 BOT。
基础会话信息
在基础会话信息页签,展示当前访问源的 IP 基础信息以及基础会话信息,当展示的维度为会话 ID 维度时,不展示 IP 基础信息。
字段说明:
IP 基础信息
访问源 IP:当前访问源的 IP 地址。
城市:当前访问源的归属城市。
IP 地区:当前访问源归属的国家。
IP 类型:当前访问源的 IP 类型。
IP 所有者:当前访问源的 IP 所有者。
会话基础信息
会话平均速度:当前访问源在最新的一次会话中的会话平均速度,为会话请求总次数/会话持续时间,单位为:次/分钟。
会话总次数:当前访问源在最新的一次会话中的会话总次数。
是否存在 Robots.txt:当前访问源在最新的一次会话中,当前访问源是否访问过 Robots.txt 文件,通常访问此文件的会话均为爬虫机器人的会话。
会话持续时间:当前访问源在最新的一次会话中,最近一次会话的访问持续时长。
请求特征信息
在请求特征信息页签,展示当前会话请求中请求特征信息、Cookie 信息、User-Agent 信息、Referer 信息、Query 信息。
字段说明:
信息类型 | 信息名称 | 信息详情 |
请求特征信息 | URL 重复比 | 会话请求中 URL 重复比例,取值范围0 - 1,根据实际业务情况,进行参数配置,过高或过低为疑似异常(根据实际情况进行判断)。 |
| URL 种类 | 会话请求中 URL 去重后条目数。会话请求中 URL 去重后条目数。 |
| URL 最小深度 | 会话请求中 URL 的最小层级。会话请求中 URL 最小的栏目层级。 |
| URL 最大深度 | 会话请求中 URL 的最大层级数。会话请求中 URL 最大的栏目层级。 |
| URL 平均深度 | 会话请求中 URL 的平均层级数。会话请求中 URL 平均的栏目层级。 |
| URL 数量 | 会话请求中的访问的 URL 总数(未去重)。 |
Cookie 信息 | Cookie 是否滥用 | 多种不同的 UA 使用相同的 Cookie。 |
| Cookie 存在性 | 会话请求中 Cookie 是否存在。 |
| Cookie 重复性 | 会话请求中 Cookie 的重复比例,取值范围0 - 1。 |
| Cookie 有效率 | 会话请求中 Cookie 能正常解析的比例。 |
| 出现最多的 Cookie | 会话请求中出现最多的 Cookie。 |
| 出现最多的 Cookie 比例 | 会话请求中出现最多的 Cookie 占比。 |
User-Agent 信息 | User-Agent 类型 | 会话请求中访问用户的 User-Agent 类型。 |
| User-Agent 存在性 | 会话请求中,判断 HTTP 头部字段是否存在 User-Agent。 |
| User-Agent 随机性指数 | 会话请求中 UA 的随机分布情况,取值范围0 -1,指数越高越异常。参考值阈值:超过0.6疑似异常,指数超过0.92基本确定为异常。 |
| User-Agent 种类 | 会话请求中 UA 去重后的数目,过多疑似异常(根据实际情况进行判断),对非代理 IP 有效。 |
| User-Agent 有效比 | 会话请求中 UA 的存在比例,取值范围0 - 1,过低疑似异常(根据实际情况进行判断)。 |
| 出现最多的 User-Agent | 会话请求中,HTTP User-Agent 字段出现最多的值。 |
| 出现最多的 User-Agent 占比 | 会话请求中,HTTP User-Agent 字段出现最多的值在总体流量中所占的比例。 |
| User-Agent 相似性比例 | 会话请求中,HTTP User-Agent 字段出现最多的值与其余访问请求的相似度。 |
Referer 信息 | Referer 重复比 | 会话请求中 Referer 的重复比例,取值范围0 - 1,对浏览器访问有效,过高疑似异常(根据实际情况进行判断)。 |
| Referer 存在比 | 会话请求中 Referer 存在比例,取值范围0 - 1,对浏览器访问有效,过低疑似异常(根据实际情况进行判断)。 |
| Referer 有效比 | 会话请求中 Referer 有效比例,取值范围0 - 1,对浏览器访问有效,过低疑似异常(根据实际情况进行判断)。 |
| Referer 是否滥用 | 在同一会话请求内多种不同的 UA 使用相同的 Referer。 |
| 出现最多的 Referer | 会话请求中,HTTP Referer字段出现最多的值。 |
| 出现最多的 Referer 的比例 | 会话请求中,HTTP Referer 字段出现最多的值在请求中的占比。 |
Query 信息 | 请求参数比 | 会话请求中 GET 请求参数(Query 内容)或 POST 请求参数(Body 内容)重复比例,取值范围0 - 1,根据实际业务情况,进行参数配置,过高或过低疑似异常(根据实际情况进行判断)。 |
| 请求参数种类 | 会话请求出现最多的参数,包括 GET 请求参数(Query 内容)或 POST 请求参数(Body 内容)。 |
威胁情报
在威胁情报页签,如果当前访问源 IP/会话 ID 命中了威胁情报的相关信息,将会展示访问源的 IDC 详情以及命中的威胁情报信息。
IDC 详情:如果访问源的信息中包含 IDC 的,会展示当前的 IDC 信息。
威胁情报:如果访问源的 IP 信息中包含威胁情报信息的,会展示当前访问源的威胁情报命中的标签以及命中的标签对应的释义。
AI 评估
在 AI 评估页签,会展示当前会话请求中,各个维度的异常特征信息异常度以及对应指标特征值,展示内容请求包含请求特征异常信息、Cookie 异常信息、User-Agent 异常信息、Referer 异常信息、Query 异常信息。在 AI 评估中 AI 得出的异常度大于0,即为 AI 评估发现异常的特征参数。
智能统计
在智能统计页签,会展示当前会话请求中,最新一次智能统计出来的各个维度的异常特征信息以及对应特征的当前的特征值,以及正常的客户端的特征阈值为多少。
字段说明:
信息名称 | 信息详情 |
会话平均速度异常 | 当前会话的平均速率特征值出现异常。若会话平均速率异常则会展示当前会话的异常值数量,并且会展示当前域名中,异常访问会话该特征的临界值。 |
User-Agent 种类异常 | 当前会话的 User-Agent 种类特征值出现异常。若会话 User-Agent 种类异常则会展示当前会话的 User-Agent 种类异常值数量,并且会展示当前大盘中,异常访问会话该特征的临界值。 |
URL种类异常 | 当前会话的 URL 种类特征值出现异常。若会话 URL 种类异常则会展示当前会话的 URL 种类异常值数量,并且会展示当前大盘中,异常访问会话该特征的临界值。 |
会话持续时间异常 | 当前会话的持续时间特征值出现异常。若会话持续时间异常则会展示当前会话的异常持续时间,并且会展示当前大盘中,异常访问会话该特征的临界值。 |
会话总次数异常 | 当前会话的总次数特征值出现异常。若会话总次数异常则会展示当前会话的异常访问总次数的数量,并且会展示当前域名中,异常访问会话该特征的临界值。 |
会话管理
在会话管理页签,会展示当前会话访问的 IP 地址,以及在每个 IP 地址中的访问次数,并可通过当前的访问信息,查看当前的会话 ID 的历史访问 IP 的访问日志。
说明:
当配置了会话设置,并且流量中包含会话设置的内容的情况下,会展示会话管理选项。