实操使用百度云防护拦截网页爬虫抓取

最近,有位客户联系上主机帮,咨询网站服务器CPU经常满了需要怎么处理?

实操使用百度云防护拦截网页爬虫抓取插图

主机帮首先让客户提供下近期的网站日志给我,这边给他分析情况。

我们打开kimi AI工具,把客户发来的网站日志上传至AI分析。

实操使用百度云防护拦截网页爬虫抓取插图1

然后咨询:帮分析下哪个时间段访问高 还有最高的是哪个UA 得出答案如下图:

实操使用百度云防护拦截网页爬虫抓取插图2

可以看出,访问最高的除了百度和谷歌的UA外,其它的都是一些恶意的网页爬虫,这些爬虫的访问并发非常高,会使服务器资源占满,为了不影响服务器访问,我们通过百度云防护创建Web防护规则,把以上的爬虫拦截,如下图:

实操使用百度云防护拦截网页爬虫抓取插图3
实操使用百度云防护拦截网页爬虫抓取插图4

其中主机邦把几个典型的恶意爬虫UA拦截处理,AhrefsBot、Barkrowler、SemrushBot、python四个包含的拦截。

确认拦截后,网站果然恢复了,目前网站不仅要面临黑客的攻击,还要面临大量的爬虫抓取,这些爬虫非常消耗服务器,所以我们要把那些没有任何好处的爬虫拦截了,利用百度云防护WEB应用防火墙不仅可以拦截黑客入侵,还可以防御DDOS、CC攻击,还支持自定义访问策略,可针对IP、UA、URI等字段拦截策略,同时企业版还支持bot AI防护,有效解决各种网站安全问题,有需要的同学可以咨询下。

给TA打赏
共{{data.count}}人
人已打赏
0 条回复 A文章作者 M管理员
    暂无讨论,说说你的看法吧
在线客服
主机帮
我们将24小时内回复。
2024-12-22 00:20:17
您好,有任何疑问请与我们联系!
您的工单我们已经收到,我们将会尽快跟您联系!
[QQ客服]
176363189
当幸福来敲门
[小黄]
17307799197
[企业邮箱]
sudu@yunjiasu.cc
取消

选择聊天工具: