相信不少博主都有遇到过网站内容被人采集,网站被爬虫恶意抓取的经历,网站内容更新就被对方网站采集发布了。今天主机吧来教大家如何解决网站被自动采集程序(注意:上方法只适合那些自动采集程序,手动采集的无法解决)
我们需要用到京东云星盾商业版,主机吧代理购买只需1520元一年,优惠地址https://zhujib.com/jdxingdun.html
接入成功后,上操作:
1.进入安全规则-防火墙设置-开启BOT识别模式
BOT识别模式是可以拦截恶意爬虫抓取网站。
2.开启浏览器完整性检查功能
浏览器完整性检查功能可能评估访问者浏览器的 HTTP 标头,以检查是否存在威胁。如果发现威胁,将显示认证页面。
3.开启Web应用程序防火墙,进入进入安全规则-托管规则开启
托管规则中也有拦截恶意爬虫的规则
4.如以上方法还是无法解决,我们可以通过手添加防火墙规则进行拦截。
进入安全规则,防火墙规则,创建防火墙规则
可创建根据对方采集的IP、请求方法、UA、来源域名等方法进行拦截,具体大家可以查看网站请求日志来进行操作。