文档中心>日志服务>实践教程>检索分析>Flowlog 网络流日志分析

Flowlog 网络流日志分析

最近更新时间:2024-07-15 09:57:01

我的收藏
网络流日志(Flow Logs,FL) 为您提供全时、全流、非侵入的流量采集服务,可将采集的网络流量进行实时的存储、分析,适用于故障排查、合规审计、架构优化、安全检测等场景,让您的云上网络更加稳定、安全和智能。
您可以创建指定采集范围(例如弹性网卡、NAT 网关、云联网跨地域流量)的网络流日志,来采集该范围内传入/传出的流量。

前提条件

已将网络流日志采集至日志服务(Cloud Log Service,CLS),详见 操作详情
如果您当前暂未将网络流日志采集至日志服务,还可以使用日志服务免费提供的Demo日志主题来体验该功能,操作步骤详见 使用 Demo 日志快速体验 CLS

日志字段说明

云联网跨地域流量的网络流日志
其他类型的网络流日志
流日志将记录特定捕获窗口中,按“五元组 + 流量源地域 + 流量目的地域”规则过滤的网络流,即只有在捕获窗口中符合规则的网络流日志,才能记录为云联网跨地域流量的网络流日志记录。
五元组 + 流量源地域 + 流量目的地域
五元组即源 IP 地址、源端口、目的 IP 地址、目的端口和传输层协议这五个量组成的一个集合。
流量源地域指云联网跨地域流量发出的地域。
流量目的地域指云联网跨地域流量到达的地域。
捕获窗口
即一段持续时间,在这段时间内流日志服务会聚合数据,然后再发布流日志记录。捕获窗口大约为1分钟,推送时间约为5分钟。
字段
数据类型
说明
version
text
流日志版本。
region-id
text
记录日志的地域。
ccn-id
text
云联网唯一标识,如需确定云联网的信息请 联系我们
srcaddr
text
源 IP。
dstaddr
text
目标 IP。
srcport
text
流量的源端口。该字段仅对 UDP/TCP 协议生效,当流量为其他协议时,该字段显示为“-”。
dstport
long
流量的目标端口。该字段仅对 UDP/TCP 协议生效,当流量为其他协议时,该字段显示为“-”。
protocol
long
流量的 IANA 协议编号。更多信息,请转到分配的 Internet 协议 编号。
srcregionid
text
流量源地域。
dstregionid
text
流量目的地域。
packets
long
捕获窗口中传输的数据包的数量。当“log-status”为“NODATA”时,该字段显示为“-”。
bytes
long
捕获窗口中传输的字节数。当“log-status”为“NODATA”时,该字段显示为“-”。
start
long
当前捕获窗口收到第一个报文的时间戳,如果在捕获窗口内没有报文,则显示为该捕获窗口的起始时间,采用 Unix 秒的格式。
end
long
当前捕获窗口收到最后一个报文的时间戳,如果在捕获窗口内没有报文,则显示为该捕获窗口的结束时间,采用 Unix 秒的格式。
action
text
与流量关联的操作:
ACCEPT:通过云联网正常转发的跨地域流量。
REJECT:因限速被阻止转发的跨地域流量。
log-status
text
流日志的日志记录状态:
OK:表示数据正常记录到指定目标。
NODATA:表示捕获窗口中没有传入或传出网络流量,此时“packets”和“bytes”字段会显示为“-1”。
流日志将记录特定捕获窗口中,按五元组规则过滤的网络流。
五元组
即源 IP 地址、源端口、目的 IP 地址、目的端口和传输层协议这五个量组成的一个集合。
捕获窗口 即一段持续时间,在这段时间内流日志服务会聚合数据,然后再发布流日志记录。捕获窗口大约为5分钟,推送时间约为5分钟。流日志记录是以空格分隔的字符串,采用以下格式,字段无固定顺序: version account-id interface-id srcaddr dstaddr srcport dstport protocol packets bytes start end action log-status
字段
说明
version
流日志版本。
account-id
流日志的账户 AppID。
instance-id
弹性网卡所属实例 ID。
interface-id
弹性网卡 ID。
region-id
地域 ID。
az-id
可用区 ID。
vpc-id
私有网络 ID。
subnet-id
子网 ID。
direction
流量访问方向(云服务器访问外部为 out,外部访问云服务器为 in)。
cross-region
若为跨地域上报,此处为实际采集地域,非跨地域上报,显示为0。
srcaddr
源 IP。
dstaddr
目标 IP。
srcport
流量的源端口。当流量为 ICMP 协议时,该字段表示 ICMP 的 id。
dstport
流量的目标端口。当流量为 ICMP 协议时,该字段表示 ICMP 的 type(高8bit)+code(低8bit)组合。
protocol
流量的 IANA 协议编号。更多信息,请转到分配的 Internet 协议 编号。
packets
捕获窗口中传输的数据包的数量。
bytes
捕获窗口中传输的字节数。
start
捕获窗口启动的时间,采用 Unix 秒的格式。
end
捕获窗口结束的时间,采用 Unix 秒的格式。
action
与流量关联的操作:
ACCEPT:安全组或网络 ACL 允许记录的流量。
REJECT:安全组或网络 ACL 未允许记录的流量。
log-status
流日志的日志记录状态:
OK:表示数据正常记录到指定目标。
NODATA:表示捕获窗口中没有传入或传出网络流量,此时“packets”和“bytes”字段会显示为“-1”。
SKIPDATA:表示捕获窗口中跳过了一些流日志记录。可能是内部容量限制或内部错误引起的。

预置仪表盘

CLS 已将常用的云联网及弹性网卡流日志统计预置为仪表盘,您可通过这些仪表盘快速了解当前网络状态。
在仪表盘右上角单击编辑仪表盘可基于预置仪表盘进行编辑。



构建更适用您的专属仪表盘。




配置告警

例如为云联网中国香港-硅谷线路配置了带宽上限100Mbps,需监控当前带宽使用情况,连续10分钟带宽大于等于95Mbps 时触发告警,以便在必要时对带宽上限进行调整。
1. 进入创建告警策略页面,操作步骤详见 配置告警策略
2. 在执行语句中输入以下语句,时间范围选择1分钟,统计近1分钟内的中国香港-硅谷线路带宽使用情况。该执行语句的结果中 bandwidth 即为1分钟带宽,单位为 Mbps。
log-status:OK AND srcregionid:ap-hongkong AND dstregionid:na-siliconvalley | select sum(bytes)/60.00*8/1000/1000 as bandwidth
3. 触发条件如下,即带宽大于等于95Mbps 时,满足告警条件。
$1.bandwidth > 95
4. 执行周期:固定频率,每1分钟执行一次。
5. 告警通知-告警频率:持续10个周期满足触发条件则始终触发告警,即连续10分钟带宽大于等于95Mbps 时触发告警。
针对预置仪表盘中的图表,还可以单击右上角的“添加到监控告警”将该图表中的指标添加到告警策略中。