百度云防护如何拦截AI网络爬虫

现在做网站不仅要防御CC攻击,还要防御AI爬虫抓取网页,这些AI爬虫危害非常大,不仅大量抓取影响你的网站服务器稳定,还盗取你网站的内容生成自己的答案。

为此,我们有必要针对AI爬虫进行拦截处理。

百度云防护如何拦截AI网络爬虫插图

今天主机帮教大家如何有效拦截这类AI爬虫。

1.首先登陆百度云防护(没有百度云防护的可以联系主机帮购买),开启资源列表-接入配置,开启WEB防护

百度云防护如何拦截AI网络爬虫插图1

这个功能可以有效防御SQL注入、XSS、文件上传、网页挂马等黑客入侵行为。

2.Web防护规则-创建Web防护规则

(1开启CC攻击防护

百度云防护如何拦截AI网络爬虫插图2

这个功能不仅可以拦截大规模CC攻击,还可以自动拦截一些大规模爬虫抓取。

(2开启自定义访问策略,针对UserAgent设置拦截

百度云防护如何拦截AI网络爬虫插图3

如OpenAI的网络爬虫:GPTBot

百度云防护如何拦截AI网络爬虫插图4

3.创建完防护模板后,我们重新进入接入配置,开启自定义防护设置

百度云防护如何拦截AI网络爬虫插图5

4.如果您购买了百度云防护企业版,也可以直接开启BOT防御功能,该功能可根据情报自动拦截恶意爬虫。

百度云防护如何拦截AI网络爬虫插图6

我们来看实战效果,客户的某文学网站经常被网络爬虫抓取,自从使用了百度云防护后,已经得到了有效拦截。

百度云防护如何拦截AI网络爬虫插图7

给TA打赏
共{{data.count}}人
人已打赏
0 条回复 A文章作者 M管理员
    暂无讨论,说说你的看法吧
在线客服
主机帮
我们将24小时内回复。
2024-11-01 14:35:45
您好,有任何疑问请与我们联系!
您的工单我们已经收到,我们将会尽快跟您联系!
[QQ客服]
176363189
当幸福来敲门
[小黄]
17307799197
[企业邮箱]
sudu@yunjiasu.cc
取消

选择聊天工具: