网站被YisouSpider蜘蛛大量爬满了 导致云加速CDN大量消耗

最近，主机邦的一位客户遇到了一件难题，网站CDN的流量消耗贼快，几乎几分钟就消耗掉了1G流量了，但是显示网站请求并没有明显增加，怀疑是被刷流量了。

主机帮查看后，发现百度云防护的流量三天就消耗了差不多1T，可谓消耗巨大，虽然百度云防护月流量3T，但是也经不起这样消耗啊。

于是我们感觉联系百度云的技术查看，发现有接近一半的流量都是一个UA名为YisouSpider的爬虫消耗的，YisouSpider是神马搜索的蜘蛛UA，但不确定是否有冒充神马的，神马也没有提供蜘蛛的IP段。

所以，我们利用百度云防护自定义访问策略，设置UA拦截，包含YisouSpider这个UA拦截了。

再观察，流量果然下来了。

这里也给使用CDN的同学提醒，很多时候流量消耗都是一些爬虫消耗的，我们一定要观察日志，看看请求来自哪里，适当对于一些无用的爬虫进行限制请求，以免影响服务器稳定性和消耗CDN流量。