gptbot

近日，乌克兰一家专注于人体3D模型的网站 Trilegangers 遭遇了严重的流量攻击，导致其服务器瘫痪。该网站为3D艺术家和游戏开发者提供丰富的人体3D模型数据，但因 OpenAI 的爬虫 GPTBot 的频繁抓取而陷入困境。 据 Trilegangers 的工作人员透露，尽管网站在使用协议中明确禁止未经授权的抓取和使用，但由于未正确设置 robots.txt 文件来阻止爬虫的访问，最终导致服…

最近，一位做文库的站长反馈，网站服务器经常无缘无故的宕机，CPU被占满。 主机邦查询后发现客户网站出现大量爬虫访问，最多的是gptbot、amazonbot、PanguBot、BLEXBot、DataForSeoBot、SemrushBot这几个访问最多，一天能请求进来几十万次，简直疯狂。 这些爬虫大多是一些AI爬虫或者数据分析网站的爬虫，对网站没有任何用处，因此，可以利用百度云防护进行拦截。 操…