Google 搜索引擎使用一系列机器人来检查您的网站和所有其他网站的内容。 SEO 给这些机器人起了不同的名字；包括谷歌蜘蛛、爬虫和… Google 需要庞大的基础设施来管理这些抓取工具，以便抓取首页上的数十亿个网站。但关键是，即使谷歌如此伟大，它仍然面临着局限性。例如，谷歌不能无限期地使用其爬虫来检查和索引网页；这就是所谓的爬网预算概念的出现： 您将在本文中学到的 是标题的显示 什么是蠕变预算？ 什么是蠕变预算？ 正如我所说，谷歌没有无限的基础设施和设施来检查所有网站；因此，它必须在两者之间建立平衡，以便其机器人充分访问所有站点并索引新内容。 Google使用蠕变预算来创造这种平衡： 事实上，“抓取预算”是指抓取机器人在某个时间点为您的网站考虑的预算金额，并根据该预算访问该网站以进行索引和检查页面。 例如，Frein Academy 的网站抓取预算可能是每月 100 次。就像财务预算一样，如果我们粗心地使用这个蠕变预算；一段时间以来，出现了问题，我们的页面出现了索引问题！因此，作为网站管理员或 SEO，您在预算前有 2 项任务： 蠕变预算管理， 增加蠕变预算。 在我详细解释这两个概念之前；我们先来说一下Google是如何确定每个网站的抓取预算的问题： 由 Google 确定网站抓取预算 Google 确定网站预算为了确定每个网站应该有多少关注度以及应该有多少预算，Google 会关注两件事： 我们网站的托管资源（主机是指存储网站信息的地方。） 我们在网站上的活动量和内容制作。
现在让我们看看每个的定义
1_站点主机资源（抓取限制/主机负载） 在负面SEO文章中，我解释了 香港手机号码列表 这种无良SEO的技术之一是ddos攻击。在这种技术中，一个人在一系列机器人的帮助下突然进入您的站点，并且您的主机由于资源不足且无法容忍如此多的输入而停止工作。 当 Google 机器人访问您的网站时，可能会发生完全相同的情况！每个爬虫在进入您的各个页面时都会不断向您的托管服务器发送请求。 这种情况下，如果网站的主机电量很少，请求数增多，就可能完全不可用！因此，第一步，Google会关注您的资源量，并确保为您的网站考虑的抓取预算不会造成任何问题。但是使用什么解决方案来了解您网站的主机有多强大呢？ 检查网站主机在机器人抓取过程中出现问题的次数， 检查主服务器上的站点数量。 第一点无需解释，但第二点：看，托管公司借助特殊软件将大型服务器分成较小的部分（主机）并提供给客户。与此同时，主服务器上的站点越多；主机资源较少。因此，Google 还会检查您服务器上的主机总数，以确保您的托管资源量。 2_抓取需求/抓取调度 至此，我们已经了解Google关注我们主机或服务器的资源量来确定第一阶段的抓取预算。但这个搜索引擎感兴趣的下一个话题是：需求正在攀升。
这个因素表明我们的网站有多么值得抓取
简单来说：！ 这意味着，我们的网站上发布了 俄罗斯 电话号码列表 多少新内容，Google 希望为其考虑抓取预算？我们网站在网络上的重要性和可信度如何？ 现在让我再解释一下： Google搜索引擎通过查看外部链接（反向链接）来检查网站的受欢迎程度，并检查内部页面的强度并确定抓取预算率。 此外，为了确定应该多久访问一次网站并对内容进行索引，它会考虑一段时间内网站上有多少新内容？你们的内容更新了多少？ 最后，网站页面的类型决定了其抓取预算的金额。例如，通常情况下，类别页面需要更多预算，因为其中的内容不断更新，但产品页面需要较少预算，因为很少有人更新它们。 好了，到目前为止您已经了解了有关抓取预算的所有内容。最好在本文的其余部分中了解您应该在网站上遵循的详细信息和要点。当然，我建议我们在此之前回顾一下一个重要问题的答案： 我们为什么要关心抓取预算？ 我们为什么要关心抓取预算？ 我用两个小故事来回答这个问题。事实上，我讲这些故事的目的是让您知道，如果我们的蠕变预算很小，我们可能会面临哪些问题： 1_ 内容盗窃 第一个故事与大约 4 年前的一个商店网站的 SEO 项目有关。在这个项目中，网站经理抱怨我们连续生产了3个月的内容，但结果却没有一个SEO页面。我通过简短的检查发现了问题： 网站抓取预算低，内容一发布就没有被索引，同时，其中一位竞争对手的SEO在这个网站上设置了机器人，一旦有新内容发布，他就复制并放置它在他的网站上，具有较高的爬行预算和速度。