最近,有位客户联系上主机帮,咨询网站服务器CPU经常满了需要怎么处理?
主机帮首先让客户提供下近期的网站日志给我,这边给他分析情况。
我们打开kimi AI工具,把客户发来的网站日志上传至AI分析。
然后咨询:帮分析下哪个时间段访问高 还有最高的是哪个UA 得出答案如下图:
可以看出,访问最高的除了百度和谷歌的UA外,其它的都是一些恶意的网页爬虫,这些爬虫的访问并发非常高,会使服务器资源占满,为了不影响服务器访问,我们通过百度云防护创建Web防护规则,把以上的爬虫拦截,如下图:
其中主机邦把几个典型的恶意爬虫UA拦截处理,AhrefsBot、Barkrowler、SemrushBot、python四个包含的拦截。
确认拦截后,网站果然恢复了,目前网站不仅要面临黑客的攻击,还要面临大量的爬虫抓取,这些爬虫非常消耗服务器,所以我们要把那些没有任何好处的爬虫拦截了,利用百度云防护WEB应用防火墙不仅可以拦截黑客入侵,还可以防御DDOS、CC攻击,还支持自定义访问策略,可针对IP、UA、URI等字段拦截策略,同时企业版还支持bot AI防护,有效解决各种网站安全问题,有需要的同学可以咨询下。