网站访问蜘蛛过多 导致负载状态一直100%,怎么办?

网站访问蜘蛛过多 导致负载状态一直100%,怎么办?插图

蜘蛛过多,导致负载状态一直100%,又不想升级服务器,怎么办?360和头条的蜘蛛同时来,但是过几个小时蜘蛛不来了又恢复了。

来归来啊,你是一条收录都没有,站长平台也没有看到索引量和收录,但是基本天天来,导致服务器一直负载状态一直100%。

这个有没有办法解决?难道禁止他们来吗?还是让他一直这样,还还还还是是是有其他的解决方法?

遇到这个问题我们可以尝试通过搜索引擎站长平台来调节蜘蛛的抓取频次。

百度站长平台-抓取频次-当前抓取频次过大如何解决?-抓取频次上限调整

网站访问蜘蛛过多 导致负载状态一直100%,怎么办?插图1

360搜索站长平台-蜘蛛压力-手动调整最大抓取频率

网站访问蜘蛛过多 导致负载状态一直100%,怎么办?插图2

头条搜索站长平台-抓取频次-抓取频次上限调整

网站访问蜘蛛过多 导致负载状态一直100%,怎么办?插图3

调整后等个一两天看看,是不是恢复正常了,如果还是这样,建议屏蔽掉一些搜索引擎蜘蛛,比如360和头条搜索引擎蜘蛛,往往都会给服务器带来非常大的压力,可以通过网站请求日志查看一些访问较为频繁的IP,然后用防火墙进行拦截。

有条件的话,可以考虑用CDN进行抓取缓解。相关链接

给TA打赏
共{{data.count}}人
人已打赏
0 条回复 A文章作者 M管理员
    暂无讨论,说说你的看法吧
在线客服
主机帮
我们将24小时内回复。
2024-11-22 00:27:32
您好,有任何疑问请与我们联系!
您的工单我们已经收到,我们将会尽快跟您联系!
[QQ客服]
176363189
当幸福来敲门
[小黄]
17307799197
[企业邮箱]
sudu@yunjiasu.cc
取消

选择聊天工具: