今天,一位客户联系到主机吧反馈使用这边高防IP后,百度抓取不了,显示加载中。
我们先是让客户到百度站长平台用抓取诊断检测,发现百度站长平台抓取的是源IP的,也就排除了高防IP拦截百度蜘蛛的问题。
由于客户使用的源服务器也是跟我们买的,用的是景安的服务器,我们又提交了工单,让景安的技术进行检测。
技术反馈如下:
您好,检测服务器是没有限制百度和站长工具进行抓取的,测试对IP地址检测可以显示正常内容,这边又对您的域名进行检测时发现,第一次使用浏览器访问时,您的网站title处会先显示正在加载中,然后才会显示正常页面,再次刷新就不会出现了,反复使用世界之窗,火狐浏览器,谷歌浏览器,360安全浏览器测试均有此现象,此问题可能与您的程序设计有关,建议您检查一下,或者您可以使用其他的程序文件放进去测试一下。
这个情况有点类似于百度云加速的强力防护模式的5秒安全检测,主机吧怀疑是开启软件防火墙导致的,于是咨询客户是否在服务器开启有软件防火墙,结果还真是,客户启用了宝塔面板里的CC防火墙,而且还启用了严格模式,也就导致了百度蜘蛛抓取的是一个跳转页。
找到问题后客户马上把防火墙关了,果然抓取正常了。
从这件事中,让我们警惕,别乱开防火墙,特别是网上那些软防,其大多数都是误杀拦截很严重的软件,很多都是对正常访问进行限制才能防得住CC攻击的,可能会对你的业务造成严重损失,像今天这位客户,就是因为百度抓取不到,显示加载中,现在网站流量几乎没有了,所以选用防护服务的时候,一定要谨慎!