现在做网站不仅要防御CC攻击,还要防御AI爬虫抓取网页,这些AI爬虫危害非常大,不仅大量抓取影响你的网站服务器稳定,还盗取你网站的内容生成自己的答案。
为此,我们有必要针对AI爬虫进行拦截处理。
今天主机帮教大家如何有效拦截这类AI爬虫。
1.首先登陆百度云防护(没有百度云防护的可以联系主机帮购买),开启资源列表-接入配置,开启WEB防护
这个功能可以有效防御SQL注入、XSS、文件上传、网页挂马等黑客入侵行为。
2.Web防护规则-创建Web防护规则
(1开启CC攻击防护
这个功能不仅可以拦截大规模CC攻击,还可以自动拦截一些大规模爬虫抓取。
(2开启自定义访问策略,针对UserAgent设置拦截
如OpenAI的网络爬虫:GPTBot
3.创建完防护模板后,我们重新进入接入配置,开启自定义防护设置
4.如果您购买了百度云防护企业版,也可以直接开启BOT防御功能,该功能可根据情报自动拦截恶意爬虫。
我们来看实战效果,客户的某文学网站经常被网络爬虫抓取,自从使用了百度云防护后,已经得到了有效拦截。