好经验

1. 本文目的 夸克搜索、UC浏览器搜索，本质上用的都是神马搜索。因此，神马搜索在国内移动搜索比重中，占有非常大的市场，作为站长，一定要做好神马搜索的优化。本文提供神马搜索在网站收录、优化上的官方说法，帮助站长合理、持续的优化网站，共同促进移动搜索的发展。 2. 为何要建移动站 移动互联网井喷式发展，用户访问移动资源的需求越来越强，目前用户访问移动互联网的时间已经超过了PC。建立移动站，获取更多移…

JA3 指纹是一种用于识别 SSL/TLS 客户端的方法，它通过分析客户端在 TLS 握手过程中发送的 Client Hello 消息来生成一个独特的标识。这个标识可以用来区分不同的客户端应用程序、版本甚至设备个体。 JA3 指纹的生成过程如下： 从 Client Hello 数据包中提取以下字段的十进制值： TLS 版本 支持的密码套件列表 扩展列表 支持的椭圆曲线列表 支持的椭圆曲线格式列表 …

在Web应用防火墙（WAF）中设置Referer字段的策略通常是为了识别和过滤来自特定来源的请求，以防止恶意流量或爬虫访问网站。Referer字段是HTTP请求头的一部分，它指示了用户是从哪个页面点击链接到达当前请求的页面的URL。 在WAF中设置Referer字段的策略，你可以按照以下步骤操作： 策略名称：为你的策略命名，如“BlockMaliciousReferers”。 模式：选择“匹配”模…

头条搜索UA介绍 头条搜索的爬虫UA为“Bytespider”首写字母为大写，例如： PC Mozilla/5.0 (compatible; Bytespider; https://zhanzhang.toutiao.com/) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.0.0 Safari/537.36 Android Mozilla/…

就在昨天，主机邦的一个网站无缘无故502了，主机邦登陆宝塔后台发现服务器云盘空间居然满了，要知道买的云服务器有50G的空间容量哈，即使装了系统和Web环境，也不过才10G，还有40G去哪了？！ 一开始主机帮以为是网站空间的缓存导致的，结果查询www目录，发现只要几百M，也就是整个网站程序只有几百M，那就不是网站生成的缓存了，然后我们通过查询网站请求日志，发现网站正被自动化软件请求。 150.138…

最近，主机帮接到了一位反馈，用的阿里云虚拟主机的带宽显示满了，怀疑是有攻击。 主机帮联系客户提供了虚拟主机的访问日志，发现这个客户在网站上放了非常大的视频播放，这些视频有人点击的时候就会导向虚拟主机的带宽占满了。 查到原因主机帮曾建议客户把视频网站放到阿里云OSS上，不仅可以提升视频播放速度，而且不影响虚拟主机带宽。 但客户考虑到成本问题，并没有迁移出来，结果晚上的时候，服务器显示500了。 客户…

一、引言 网络爬虫，作为互联网信息检索的重要工具，其种类和数量繁多。本文旨在深入介绍主流搜索引擎和工具的爬虫，并重点提供它们的用户代理（UA）字符串，以帮助网站管理员更好地识别和管理这些爬虫。 二、主流网络爬虫蜘蛛及其UA字符串 Googlebot（谷歌爬虫） 简介：Googlebot是谷歌的搜索引擎蜘蛛，其市场份额占据主导地位。 UA字符串示例：Mozilla/5.0 (compatible; …

最近，主机帮发现旗下的一个云加速网站越来越卡，明明没有什么流量，但是服务器越来越卡。 查询访问日志后，发现一个名叫SemrushBot的爬虫一直在抓取网站，频率非常高，可以说到了丧心病狂的地步。 主机帮查了下，这个SemrushBot 是 SEMrush 的蜘蛛爬虫。 SEMrush是一家老牌的提供搜索引擎优化数据的公司，而SemrushBot 这个爬虫就是他们专门收集互联网网站数据的，对国内网站…

最近，有小伙伴的wordpress网站被黑，跳转了非法链接。 由于主机邦一直都是用wordpress，之前也遇到这类问题，今天主机邦就来谈谈如何解决。 首先，遇到被黑不要慌，一般是网站存在某个漏洞导致的。 我们先操作： 1.先恢复之前备份 如果你的网站之前有无毒的备份，可以先恢复之前的备份，如果没有看下条。 2 更换上传更新最新版的wordpress的 到wordpress下载最新的版本，然后手动…

最近，有位客户联系上主机帮，咨询网站服务器CPU经常满了需要怎么处理？ 主机帮首先让客户提供下近期的网站日志给我，这边给他分析情况。 我们打开kimi AI工具，把客户发来的网站日志上传至AI分析。 然后咨询：帮分析下哪个时间段访问高 还有最高的是哪个UA 得出答案如下图： 可以看出，访问最高的除了百度和谷歌的UA外，其它的都是一些恶意的网页爬虫，这些爬虫的访问并发非常高，会使服务器资源占满，为了…

国内的AI工具出来已经一年多了，很多站长都是拿来写文章，做伪原创，这些都是比较浅的AI使用方法。 今天主机邦教大家一个比较实用的方法，利用AI工具来分析你的网站日志。 一般来说我们的网站都有保存日志，格式为.log的文件。 我们只需要把.log日志文件上传至AI网站，然后问你想知道的东西就行了。 首先我们打开kimi.ai,这是目前主机邦知道的唯一支持上传.log文件的AI。 然后点上传文件，把网…

假如我的域名 www.zhujib.com 是给电脑用户用的，域名m.zhujib.com是给移动用户用的 如何让电脑客户端访问自动跳转到 www.zhujib.com 移动客户端访问自动跳转m.zhujib.com? 1.使用服务器端重定向 你可以通过配置服务器端的重定向规则来实现这一功能。以下是使用Apache和Nginx服务器的配置示例。 Apache配置 在Apache服务器中，你可以使用…

京东云星盾在开启遭遇攻击模式或者JS挑战的时候，是会把搜索引擎的蜘蛛拦截的，因为遭遇攻击模式或者JS挑战的时候，是需要人机验证的，而搜索引擎蜘蛛并不具有人机识别的能力。 解决办法是把各大搜索引擎的蜘蛛访问UA加入白名单，这样通过些UA访问过来的，就不会有拦截，缺点，如果有人假冒这些UA对网站进行访问，那么也是不会有任何拦截，所以各类同学根据自己的需求看着来弄。 操作方法： 1.进入点击进入安全规则…

AI术语中什么是JEPA JEPA（Joint Embedding Predictive Architecture）是一个由Meta AI公司开发的自监督学习模型，它主要用于图像处理和计算机视觉任务。JEPA的设计灵感来源于人类和动物的学习方式，即通过观察世界来获取知识，而不需要人类标记的训练数据。 JEPA的工作原理 JEPA的核心思想是通过创建一个内部世界模型来进行学习，该模型将图像转换为抽象…

什么是LLM LLM的定义 LLM（Large Language Model，大型语言模型）是一种基于深度学习的自然语言处理技术，可以从大规模语料库中学习自然语言的结构和规律。 LLM的应用场景 LLM技术在多个领域都有广泛应用，包括但不限于： 文本生成：生成连贯、有逻辑的文本内容。 自动问答：根据给定的上下文回答自然语言问题。 智能客服：提供高效的客户支持和互动。 机器翻译：进行高质量的翻译工作…

全球存在许多恶意网络爬虫，它们未经授权或违反服务条款，擅自对目标网站进行大量、高频的数据抓取行为，对网络安全构成严重威胁。以下是对部分恶意网络爬虫的名称、来源以及User Agent（UA）的盘点： 恶意网络爬虫名称及来源 AhrefsBot：来自Ahrefs网站，用于网站分析和SEO研究。 AwarioBot：来自Awario网站，用于社交媒体监测和数据分析。 BLEXBot：来源不详，但通常与…

一些用户的网站或者子域名网站可能需要内部访问，不希望别人访问这个域名，而百度云防护的区域黑名单设置可能有效拦截除指定省份外的访问请求。 具体操作如下，创建Web防护规则，找到区域黑名单开启，并点设置 比方说我只给广西访问，其它地区选中，拉黑即可 然后，其它地区访问会显示被拦截。

最近一段时间，总有站长反馈，服务器无缘无故状态满了，但安全CDN又识别不出来。 为此，主机帮还特地查询了下客户网站发生CPU爆满时的请求日志，发现 在同一时间网站出现小规模的请求，而且请求的链接都不是固定的，连UA都是不一样的，而且请求量很小，根本达到不到百度云防护CC攻击拦截的阀值。 通过采用了百度云防护企业版的bot防护功能，该功能不仅能对已知恶意爬虫进行拦截，还可以自动识别新的爬虫IP，还支…

近几年AI盛行，国内的AI层出不穷，据统计国内起码几百个AI，而且这些AI所需的内容均来自互联网各大网站网站，AI的爬虫每天大量爬取网页内容，进而生成自己的内容，这就是导致网站每天要应对几百个AI爬虫的抓取，服务器直接卡慢，甚至崩溃，因此，网站bot防护非常重要。 百度云防护企业版已经支持 BOT 识别管理功能。在创建完企业版实例会后，可以在『WAF控制台-配置中心-BOT规则』中，点击『设置』对…

最近，主机邦的一位客户反馈网站被大量CC攻击，而百度云防护毫无反应。 为此主机帮特地去看下该用户设置的Web防护规则，发现这个用户设置了一个非常长的检测IP访问频率设置。 检测时长高达1个小时！ 要知道几乎没有用户连续访问一个网站高达一个小时，而且这一个小时还设置了可以访问120次，这不是相当于对所有用户不做访问频率限制嘛。 正常的频率限制应该设置极短的时间内的检测，比如2秒内不超过3次请求 需要…

设置全站缓存可以减少服务器回源次数，大大减轻服务器CPU带宽压力，适用于纯静态不需要登陆的网站。 今天小编来教大家设置全站缓存： 1.登陆京东云星盾管理页面-页面规则 2.点创建页面规则 3.设置缓存规则 URL：域名/* 比如主机邦zhujib.com/* *是通配符，表示这个域名下的所有URL地址 规则：缓存级别：缓存所有内容（一定要选这个，否则将无法全站缓存） 边缘缓存TTL：1小时 （这个…

最近，有一位客户联系上主机邦，需要解决网站漏洞问题，原因他们公司的网站因为被当地网安扫描到有高危安全问题，被要求整改，但由于他们公司的网站是找别人做的，没有程序员，不知道如何修改，所以联系上主机邦，看怎么处理。 可别小看了这个整改通知，这个整改具有强制性的，根据《中华人民共和国网络安全法》第五十九条，网络运营者不履行网络安全保护义务的，由有关主管部门责令改正，给予警告；拒不改正或者导致危害网络安全…

网站被入侵可能会带来一系列严重的后果，具体包括但不限于以下几个方面： 数据泄露：黑客可能窃取网站上的敏感信息，如用户个人信息、密码、交易记录等。这些信息一旦落入不法分子手中，可能导致用户隐私泄露、身份盗用、财产损失等问题。 网页篡改：黑客可能修改网站的源代码，导致网站显示错误信息、恶意广告或重定向到其他恶意网站。这不仅影响用户体验，还可能损害网站的声誉和品牌形象。 服务器资源耗尽：黑客可能利 用网…

最近，WordPress 官方版进行了更新，最新版本的6.7已经更新了，不过国内使用WordPress的可能有些麻烦，因为后台根本无法自动更新，一直显示下载中。 原因是WordPress 6.7版本太大，国内服务器下载慢，往往因为下载超时导致无法更新。 这个时候怎么办呢？ 主机邦的操作是手动下载，只需要官方下载6.7版本到本地服务器上。 WordPress 6.7官方链接https://downl…