近几年AI盛行,国内的AI层出不穷,据统计国内起码几百个AI,而且这些AI所需的内容均来自互联网各大网站网站,AI的爬虫每天大量爬取网页内容,进而生成自己的内容,这就是导致网站每天要应对几百个AI爬虫的抓取,服务器直接卡慢,甚至崩溃,因此,网站bot防护非常重要。
百度云防护企业版已经支持 BOT 识别管理功能。在创建完企业版实例会后,可以在『WAF控制台-配置中心-BOT规则』中,点击『设置』对 BOT 识别功能进行设置。
策略设置
支持客户自定义设置BOT识别功能。
生效路径
生效路径可以是一个路径,也可以是一个页面。
基础策略
基础策略为单条策略。
- 情报策略:情报策略支持『IP情报』和『设备情报』。
IP情报:包括 IP地域情报库 和 IP动态情报库。1)IP地域情报包括:海外IP情报、IDC IP情报、基站IP情报。2)IP动态情报包括:高危IP情报、爬虫IP情报、NAT出口IP情报。
设备情报:用户唯一设备指纹,持续维护跟踪。
复合策略
多条基础策略的组合,支持语法,支持与或,支持条件嵌套。
结果透传
将评估结果附在请求的HTTP Header中,以Abymg字段进行传递。
score为结果评分,0安全、1~9低风险、10+高风险。riskinfo 为每条策略评估详情。
例:Abymg: {“score”:0,”riskInfo”:{“spider”:0,”ipIDC”:10}}。