“中国会员电商第一股”云集的反爬虫攻防战 | 产业安全专家谈

云集成立于2015年，是一家由社交驱动的精品会员电商，被誉为“中国会员电商第一股”，数据资源积累量十分庞大。在数据的维护管理方面，过去云集主要采用自建IDC方式部署，迁移到公有云后，服务器和人工维护的成本大幅降低，最“疯狂”的时候，一个运维人员可以直接管理一两千台的云主机，这在过去是难以想象的画面。

数据管理究竟该选择云服务器还是自建IDC？选择公有云后，数据安全问题该如何保障？电商行业备受困扰的网络爬虫问题，公有云是否有对应的解决方案？针对以上问题，本期产业安全专家谈邀请到云集运维负责人吴兆荣，与大家分享云集在反爬虫攻防方面的实战经验。

Q1：相比数据本地部署，公有云部署具有哪些优势？

吴兆荣：首先，相比以往的自建实例，腾讯云SaaS产品拥有较大价格优势，实践过程中，相同配置的服务，会有30%以上的成本节约。

其次，SaaS产品具备灵活性高、弹性伸缩等特点。电商是一个流量有明显波峰波谷的行业，过度储备我们的服务器资源，会造成资源浪费。按照以往的操作，主机购买、部署、测试、验证，需要花费大概一周的时间，而SaaS产品最后会将时间缩减到30分钟。

Q2：数据“上云”提升效率的同时，有哪些令人头疼的网络安全问题？

吴兆荣：云服务器有其独有的灵活优势，云平台自身有一定的安全保障，云租户和云平台的安全能力是共担的。虽然不用担心基础设施被攻击，但是业务侧本身对外开放，所以被攻击的可能性也更大。

在业务侧的安全方面，云租户一般要承担主要责任。电商行业的商品信息、交易信息、会员信息等重要信息的价值很高，往往是黑灰产重点盯上的目标。会员信息防止泄漏，商品信息防爬虫，应用服务防CC攻击，营销活动防“羊毛党”等，都是电商行业普遍关注的安全问题。

上述信息数据的攻击者们，往往来源于竞争对手与黑灰产团伙，只要攻击成功，获利就很可观。因此，相对于其他行业，电商行业面临的网络攻击，主要有集中性、长期性、多变性、技术先进性等特征。

Q3：云集是如何对抗这些问题的？

吴兆荣：从宏观上，我们构建了纵深防御的体系，从外到内覆盖了DDoS、防火墙、WAF、主机安全、SOC等多个安全产品。同时，我们也会从多个维度进行防护，避免木桶效应造成的防御短板，采取监控、识别、处理、优化的链路防护思路，对抗网络层DDoS攻击。

从腾讯云的平台上，腾讯云会给我们这样的“大客户”赠送一些免费防御额度，一定程度上可以缓解网络层的DDoS攻击。腾讯云WAF作为网站应用流量的出入口，在面对HTTP Flood的DDoS攻击（俗称的CC攻击）时有更好的防御效果。同时，WAF还支持BOT防御、SQL 注入、XSS 跨站脚本、木马上传、非授权访问等问题。

总之，我们认为，网络安全体系的建设并不是静态的，而是不断动态进化的，需要与攻击者来回对抗，不断进化提升防御的水平。腾讯云原生安全产品的易用性、快速响应，还有协同联动能力都很不错，是能够适应动态多变的网络环境的。

Q4：云集每年在网络安全上投入占IT投入比大约多少？

吴兆荣：云集每年在网络安全上的投入会占到服务器成本的10%-15%。网络安全对于电商平台至关重要，所以对于这方面的投入，我们认为这个比例是物有所值的。

Q5：面对网络安全的各种威胁，哪些安全产品/服务会让您“眼前一亮”？

吴兆荣：腾讯云WAF产品比较刷新我之前对WAF的认识。相比于之前用过的传统硬件WAF产品，腾讯云WAF，无论是架构还是功能丰富度都远超我们的预期。目前，我们正在使用腾讯云的CLB-WAF（负载均衡型WAF），是去年底推出的旁挂式WAF。

做过运维的伙伴都知道一个痛点：网关式安全产品不敢随便用。因为安全产品自身的不稳定性问题有可能导致业务故障，做旁路镜像时无法及时拦截威胁。而腾讯云CLB-WAF的旁挂式架构就没有这个烦恼。简单来说，旁挂式架构的原理是：CLB将业务请求镜像给WAF集群，同时等待WAF集群反馈可信状态来决定放行还是拦截，如果WAF集群出现问题，一旦超时，CLB就会自动放行，不会影响业务转发，这样既解决了稳定性问题，又能及时拦截威胁，对于我们来说是眼前一亮的方案，目前已运行大半年，完全没有因为WAF问题对我们业务造成影响。

Q6：网络爬虫是电商行业的一大顽疾，你们是否有受到这方面的困扰？

吴兆荣：电商行业是爬虫受害最严重的行业之一。针对电商行业的爬虫，它有专业性高、变化多端的特点。相信电商行业大部分客户，都会有这类的困扰。

目前云集的反爬虫策略，还处于不断摸索、不断进步的阶段。云集反爬虫主要依赖腾讯云WAF的BOT管理模块，它基于AI分析引擎，通过流量画像匹配用户爬虫，从而建立模型和行为标签，提供给我们爬虫和IP情报，快速识别爬虫行为，从而进行相关的干预。

腾讯云WAF近期推出了“情报IP”功能，我们试验下来效果非常明显。只要某个电商客户出现过爬虫攻击行为，该爬虫就会自动加入到我们的情报IP中。当我们再次遇到这类爬虫，WAF就会进行自动封禁。目前看来，这个功能在业内还是比较创新的，我们非常期待它长期的效果。