全球约 42% 的网站流量来自爬虫机器人

根据 Akamai Technologies 最新的报告，机器人占据了整体网站流量的42%，其中65% 的机器人属于恶意类型。

报告指出，随着对盗取网站数据的需求增加，电子商务行业受到了高风险机器人流量的严重影响。尽管一些机器人对业务有利，但网页抓取机器人被用于竞争情报和间谍活动，库存囤积，冒名网站创建等恶意行为，这对企业的利润和客户体验产生了负面影响。

报告还发现，企业面临着来自恶意或有益目的的抓取所带来的技术影响，如网站性能下降、网站指标污染、来自钓鱼网站的凭证受损攻击、计算成本增加等。

报告还提供了对抗网页抓取机器人的缓解策略，并展示了一个案例研究，说明一旦建立对抗这些机器人的防御措施，网站运行得更快、更有效。

主机吧之前的网站就是一堆的爬虫机器人，时不时就来一下，导致服务器CPU经常飙升100%，为此还利用百度云防护进行了恶意搜索拦截，现在服务器清净很多，也快很多。