企业安全体系架构分析：开发架构之开源WAF延申
在前几期过多的介绍体系化方面的事情，让大家有个基本的概念，能将一些安全设备、安全理念相关联起来，这一期准备给干货——开源WAF的搭建。
其实网上开源WAF是有很多的，搭建方式比较简单，但只限于搭建，而没有分析调整的后续使用方法，这一点其实是实际使用中大家最关心也是最迫切需要的，下面就分享一下我的开源WAF构建与使用。
一、选用
其实在选用方面是需要进行多方面对比的，有业务需求方面的，有安全本身的，出于我们业务和架构的考虑，在这里我们使用的是modsecurity V3作为主体WAF框架，OWASP TOP 10作为主要策略，同时还覆盖自定义策略，当然这里就不放开了。
二、评估
评估modsecurity主要是评估服务器性能、安全性、速率、误报率。
服务器性能方面由于WAF的特性是需要串联到链路中的，所以在这里是放在nginx代理服务器上，4核8G的服务器，对于量不大的nginx来说已经是高配了。
从安全性角度来说，为什么使用V3，而不是V2.9，实际上我在搭建的时候V3是才推出的，稳定性来说是V2.9更胜一筹，但是考虑到V2.9本身的漏洞（I/O DoS）以及后期日志分析（不支持json），最终是使用了V3。
从速率的角度考虑，由于是挂在nginx的模块，所以速率方面不需要太担心。
从误报率的角度来说，任何的WAF都会存在误报，但是modsecurity的高自由调整策略是我特别习惯的一个特性。
综上选用modsecurity V3作为WAF主体。
在这里每位安全工程师、架构师都应该根据自己业务特性、业务逻辑、自身需求去选用WAF，不要盲从。我写这篇文章只是想给没有任何思路做开源安全的人一些思路。
三、搭建
搭建环节我就不再阐述了，请大家仔细阅读GitHub：https://github.com/SpiderLabs/ModSecurity
四、分析
这块是我重点想说的，由于modsecurity原先是apache的组件，后应广大网友要求，增加了nginx版的modsecurity，但是原先的waffle（效果展示）却并没有适配nginx，我曾研究过nginx的waffle，虽然最终可以使用，但是体验并不是特别好，在这里我将介绍我的日志分析体系构建。
1.了解modsecurity日志记录机制
Modsecurity V3的日志支持分布式日志记录和集中式日志记录，支持json格式的记录，详见GitHub。
2.选用日志传输工具
由于需要传输json日志，并考虑性能问题，这里使用filebeat作为日志传输工具。
3.选用日志展示工具
由于考虑到性能问题，这里采用分布式部署ELK（elasticsearch、logstash、kibana）作为展示工具
4.落实
首先调整Modsecurity V3记录分布式json日志，代码如下：
# -- Audit log configuration -------------------------------------------------
# Log the transactions that are marked by a rule, as well as those that
# trigger a server error (determined by a 5xx or 4xx, excluding 404,
# level response status codes).
#
SecAuditEngine On
SecAuditLogRelevantStatus "^[0-9]+"
#SecAuditLogRelevantStatus "^(?:5|4(?!04))"
# Log everything we know about a transaction.
SecAuditLogParts ABCDEFGHIJKZ
SecAuditLogFormat JSON
# Use a single file for logging. This is much easier to look at, but
# assumes that you will use the audit log only ocassionally.
#
SecAuditLogType Concurrent
SecAuditLog /opt/modsecurity/audit.log
# Specify the path for concurrent audit logging.
SecAuditLogStorageDir /opt/modsecurity/data
详细解释每个参数：
SecAuditEngine //日志引擎，on为开启日志记录，off为关闭日志记录
SecAuditLogRelevantStatus //日志状态记录，”^[0-9]+”为记录所有响应码的日志，"^(?:5|4(?!04))"为只记录400-599响应码的日志，不包括404日志
SecAuditLogParts //日志体，详见github
SecAuditLogFormat //日志格式，这里启用json格式，如果记录普通格式删除该参数
SecAuditLogType //日志存储类型，concurrent为分布式存储
SecAuditLogStorageDir //分布式日志存储路径
SecAuditLog //集中式存储路径之后我们安装ELK，详细安装方法与介绍详见：
https://www.jianshu.com/p/e7362ccfe7e3?tdsourcetag=s_pctim_aiomsg
将filebeat传输指向logstash集群服务器，通过logstash筛选规则放入elasticsearch中，通过kibana查询展示WAF日志：
Filebeat配置参数：
filebeat.prospectors:
# Each - is a prospector. Most options can be set at the prospector level, so
# you can use different prospectors for various configurations.
# Below are the prospector specific configurations.
- input_type: log
# Paths that should be crawled and fetched. Glob based paths.
paths:
- /opt/modsecurity/data/*/*/*
json.keys_under_root: true
encoding: utf-8
document_type: mod_security
close_eof: true
scan_frequency: 5s
clean_*: true
详细解释每个参数：
input_type //输入类型为log
Paths //传输的日志路径
json.keys_under_root //json值放于根节点上
Encoding //编码类型，这里UTF-8到日志展示时基本不会出现乱码，如果为GBK极有可能出现乱码情况
document_type //文档类型，这里自定义
close_eof //关闭文件处理程序
scan_frequency //配置扫描文件频率
clean_* //清除缓存
将日志传输到logstash服务器。
Logstash配置：
这里使用3个配置文件，input是定义输入，output是定义输出，filter是定义日志过滤，我们先从input看：
Input定义很简单，只是单纯监听本机5044端口作为logstash的输入口，与filebeat传输配置中的端口对应。
Output中设置elasticsearch服务器的信息与主键的定义，在这里特别提示，主键名称要带logstash-，因为kibana展示中如果要展示ip定位的话，只有开头带logstash的键才可以用这个功能。
Filter文件中定义message为json格式，定义geoip（用于展示ip定位）
传递到kibana展示效果如下：
5.根据机制分析日志
自带的kibana日志比较乱，这时候我们自己搭建日志的分析模板，选择上图左侧参数可以只展示参数值，全部建立好模板后如下：
其中几个参数需要进行解释：
Time //传输时间
geoip.city_name //ip定位城市名
geoip.country_name //IP定位国家
transaction.host_ip //访问者ip
transaction.host_port //访问端口
transaction.messages //触发阻断规则信息
transaction.request.body //请求体（POST）
transaction.request.headers.Host //访问域名或IP
transaction.request.method //请求方式
transaction.request.uri //请求URI
transaction.response.http_code //响应码6.建立展示模板
建立一个dashboard，详细见Kibana使用：
五、监控告警
Kibana可以接收邮件告警与zabbix告警联动，因为我的zabbix告警绑定了企业微信与微信，zabbix触发告警内容时微信会收到消息，比邮件告警更加直接，所以采用的是kibana zabbix联动告警的方式，详细配置见：https://github.com/Yelp/elastalert
触发告警搜索规则：
transaction.messages:* //有告警信息
transaction.messages:* & transaction.response.http_code:403 //有阻断信息以上是我的搭建分析分享。后期带来关于自动化安全扫描的分享。
*本文原创作者：煜阳yuyang，本文属于FreeBuf原创奖励计划，未经许可禁止转载
腾讯云开发者
