好经验

最近，一位做文库的站长反馈，网站服务器经常无缘无故的宕机，CPU被占满。 主机邦查询后发现客户网站出现大量爬虫访问，最多的是gptbot、amazonbot、PanguBot、BLEXBot、DataForSeoBot、SemrushBot这几个访问最多，一天能请求进来几十万次，简直疯狂。 这些爬虫大多是一些AI爬虫或者数据分析网站的爬虫，对网站没有任何用处，因此，可以利用百度云防护进行拦截。 操…

周末，给客户做爬虫封禁处理，总结了下以下几个非常频繁的恶意爬虫，大家可以看着封禁，只有好处，没有坏处。 以下是关于这些爬虫的介绍： GPTBot 开发商：OpenAI 发布时间：2023年8月7日 功能特点：GPTBot是OpenAI推出的一款网络爬虫机器人，该工具能够在注重版权的基础上，使用透明的方式收集网页信息，来训练OpenAI旗下的各AI模型。和其他所有网络爬虫一样，它从互联网上搜集能够用…

最近，有位客户做下载站的同学向主机邦反馈，其网站上有几百M一个的文件，能缓存吗？ 我们都知道百度云防护对单个文件缓存有限制的,单个文件最大缓存100M，而超过100M是无法缓存的。 那么超过100M的文件，使用了百度云防护CDN会出现无法下载的情况吗？ 答案是否定的，超过100M后，百度云防护将不会缓存这个文件，而是当用户请求到百度云防护后CDN节点会直接请求回源，届时会相当于用户直接请求回源服务…

DDoS攻击（分布式拒绝服务攻击）是一种通过大量流量淹没目标服务器或网络，使其无法正常提供服务的网络攻击。根据攻击的目标和方法，DDoS攻击可以分为以下几种主要类型： 1. 流量型攻击（Volumetric Attacks） UDP Flood：攻击者发送大量的UDP数据包到目标服务器，耗尽其带宽资源。 ICMP Flood：也称为Ping Flood，攻击者发送大量的ICMP请求（如Ping请求…

在当今数字化时代，CDN（内容分发网络）服务已经成为企业提升网站访问速度和用户体验的重要工具。然而，选择合适的CDN服务不仅需要考虑其性能和功能，还要关注其价格是否具有竞争力。在众多CDN服务提供商中，百度云防护以其卓越的性能和极具竞争力的价格脱颖而出，成为许多企业的首选. 百度云防护的套餐流量及价格 百度云防护提供了多种套餐，以满足不同规模企业的需求。以下是其主要套餐的流量及价格情况： 专业版：…

有客户问网站主要服务于北京用户，而服务器也部署在了北京，因经常遭到CC攻击，所以想咨询主机帮，使用什么产品好防御CC攻击，要求节点是在北京的，因为这样北京客户访问快。 主机邦推荐使用百度云防护 Web应用防火墙 WAF 来防御CC攻击。 因为百度云防护使用的就是北京节点，而且是BPG多线节点，全国各地访问速度都不差，特别是北京线路访问非快。 百度云防护拥有完善的CC攻击功能。 支持被动防御和主动防…

最近，主机邦的一位客户遇到了一件难题，网站CDN的流量消耗贼快，几乎几分钟就消耗掉了1G流量了，但是显示网站请求并没有明显增加，怀疑是被刷流量了。 主机帮查看后，发现百度云防护的流量三天就消耗了差不多1T，可谓消耗巨大，虽然百度云防护月流量3T，但是也经不起这样消耗啊。 于是我们感觉联系百度云的技术查看，发现有接近一半的流量都是一个UA名为YisouSpider的爬虫消耗的，YisouSpider…

接入百度云防护后，请求会有一些安全规则，而网站后台添加内容是很容易触发安全规则的，触发安全规则会使后台添加内容添加不上，无法访问，显示被拦截等情况，因此，我们最好是把网站的后台地址添加白名单，这样后台添加内容就不会触发安全规则。 操作方法很简单，如下： 1.创建Web防护规则 进入百度云防护控制面板配置中心-Web防护规则-创建Web防护规则，如已经创建有的可以直接编辑修改 2.开启并添加白名单规…

黑客组织IntelBroker是一个频繁发起网络攻击并因此臭名昭著的组织。以下是对该组织的详细介绍： 一、基本信息 名称：IntelBroker 活动时期：自2022年出现以来，持续活跃至今 主要活动：大规模网络攻击，窃取并出售各大知名公司的敏感数据 二、攻击案例 IntelBroker曾对多个知名企业和政府机构发起网络攻击，并成功窃取了大量敏感数据。以下是一些典型的攻击案例： 苹果公司：2024…

阿里云的OSS流量挺贵的，想要省流量，最好的办法是给OSS套CDN，那么百度云防护是不错的选择，套餐流量大，而且不收HTTPS请求费用。今天主机邦就来教大家OSS如何接入百度云防护CDN。 1.首先创建一个私有Bucket，并复制Bucket 域名 登录阿里云OSS控制台，创建一个私有Bucket用于存放静态资源。如果已经创建有了，进入Bucket概览-访问端口 复制外网访问Bucket 域名，以…

今天，有位站长反馈服务器CPU满了，联系主机帮看下，主机邦查看日志后，发现该恶意请求的频率并不高，但是UA都一样的。 所以我们只能利用百度云防护拦截固定的UA请求，比如上图的 Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/124.0.0.0 Safari/537.36 …

有同学网站使用了腾讯云的COS对象储存来存储图片文件，不过腾讯云COS对象储存接入第三方CDN是需要特别设置的，今天主机帮就来教大家如何设置： 首先我们来看官方答案： 如需使用第三方CDN加速腾讯云COS，您可以配置COS存储桶的默认域名为CDN源站。具体操作步骤如下： 登录 对象存储控制台。 选择【存储桶列表】，然后选择需要配置的存储桶。 进入【存储桶详情】>【概览】>【域名信息】中…

在百度云防护WAF（Web应用防火墙）中，自定义访问策略中的"Get param"（获取参数）功能用于匹配HTTP GET请求中的查询字符串参数。 以下是如何使用"Get param"来设置自定义访问策略的步骤和示例： 1. 策略名称 在“策略名称”输入框中，输入一个1-40位字符的名称，可以是中文、英文或数字，符号仅限下划线（_）。这个名称用于标识你的策略…

在百度云防护Web应用防火墙（WAF）中，自定义访问策略是用于控制和保护Web应用免受恶意攻击的一种机制。通过设置访问策略，可以对进入Web应用的流量进行过滤和监控。以下是自定义访问策略中URI（Uniform Resource Identifier，统一资源标识符）的介绍： 1. 策略名称 定义：为策略指定一个名称，便于管理和识别。 要求：通常限制在1-40个字符，支持中文、英文及数字，符号仅限…

1. 本文目的 夸克搜索、UC浏览器搜索，本质上用的都是神马搜索。因此，神马搜索在国内移动搜索比重中，占有非常大的市场，作为站长，一定要做好神马搜索的优化。本文提供神马搜索在网站收录、优化上的官方说法，帮助站长合理、持续的优化网站，共同促进移动搜索的发展。 2. 为何要建移动站 移动互联网井喷式发展，用户访问移动资源的需求越来越强，目前用户访问移动互联网的时间已经超过了PC。建立移动站，获取更多移…

JA3 指纹是一种用于识别 SSL/TLS 客户端的方法，它通过分析客户端在 TLS 握手过程中发送的 Client Hello 消息来生成一个独特的标识。这个标识可以用来区分不同的客户端应用程序、版本甚至设备个体。 JA3 指纹的生成过程如下： 从 Client Hello 数据包中提取以下字段的十进制值： TLS 版本 支持的密码套件列表 扩展列表 支持的椭圆曲线列表 支持的椭圆曲线格式列表 …

在Web应用防火墙（WAF）中设置Referer字段的策略通常是为了识别和过滤来自特定来源的请求，以防止恶意流量或爬虫访问网站。Referer字段是HTTP请求头的一部分，它指示了用户是从哪个页面点击链接到达当前请求的页面的URL。 在WAF中设置Referer字段的策略，你可以按照以下步骤操作： 策略名称：为你的策略命名，如“BlockMaliciousReferers”。 模式：选择“匹配”模…

头条搜索UA介绍 头条搜索的爬虫UA为“Bytespider”首写字母为大写，例如： PC Mozilla/5.0 (compatible; Bytespider; https://zhanzhang.toutiao.com/) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.0.0 Safari/537.36 Android Mozilla/…

就在昨天，主机邦的一个网站无缘无故502了，主机邦登陆宝塔后台发现服务器云盘空间居然满了，要知道买的云服务器有50G的空间容量哈，即使装了系统和Web环境，也不过才10G，还有40G去哪了？！ 一开始主机帮以为是网站空间的缓存导致的，结果查询www目录，发现只要几百M，也就是整个网站程序只有几百M，那就不是网站生成的缓存了，然后我们通过查询网站请求日志，发现网站正被自动化软件请求。 150.138…

最近，主机帮接到了一位反馈，用的阿里云虚拟主机的带宽显示满了，怀疑是有攻击。 主机帮联系客户提供了虚拟主机的访问日志，发现这个客户在网站上放了非常大的视频播放，这些视频有人点击的时候就会导向虚拟主机的带宽占满了。 查到原因主机帮曾建议客户把视频网站放到阿里云OSS上，不仅可以提升视频播放速度，而且不影响虚拟主机带宽。 但客户考虑到成本问题，并没有迁移出来，结果晚上的时候，服务器显示500了。 客户…

一、引言 网络爬虫，作为互联网信息检索的重要工具，其种类和数量繁多。本文旨在深入介绍主流搜索引擎和工具的爬虫，并重点提供它们的用户代理（UA）字符串，以帮助网站管理员更好地识别和管理这些爬虫。 二、主流网络爬虫蜘蛛及其UA字符串 Googlebot（谷歌爬虫） 简介：Googlebot是谷歌的搜索引擎蜘蛛，其市场份额占据主导地位。 UA字符串示例：Mozilla/5.0 (compatible; …

最近，主机帮发现旗下的一个云加速网站越来越卡，明明没有什么流量，但是服务器越来越卡。 查询访问日志后，发现一个名叫SemrushBot的爬虫一直在抓取网站，频率非常高，可以说到了丧心病狂的地步。 主机帮查了下，这个SemrushBot 是 SEMrush 的蜘蛛爬虫。 SEMrush是一家老牌的提供搜索引擎优化数据的公司，而SemrushBot 这个爬虫就是他们专门收集互联网网站数据的，对国内网站…

最近，有小伙伴的wordpress网站被黑，跳转了非法链接。 由于主机邦一直都是用wordpress，之前也遇到这类问题，今天主机邦就来谈谈如何解决。 首先，遇到被黑不要慌，一般是网站存在某个漏洞导致的。 我们先操作： 1.先恢复之前备份 如果你的网站之前有无毒的备份，可以先恢复之前的备份，如果没有看下条。 2 更换上传更新最新版的wordpress的 到wordpress下载最新的版本，然后手动…

最近，有位客户联系上主机帮，咨询网站服务器CPU经常满了需要怎么处理？ 主机帮首先让客户提供下近期的网站日志给我，这边给他分析情况。 我们打开kimi AI工具，把客户发来的网站日志上传至AI分析。 然后咨询：帮分析下哪个时间段访问高 还有最高的是哪个UA 得出答案如下图： 可以看出，访问最高的除了百度和谷歌的UA外，其它的都是一些恶意的网页爬虫，这些爬虫的访问并发非常高，会使服务器资源占满，为了…