如何管理检索预算并提高您在搜索中的影响力

通常大家会认为检索预算(Crawl Budget )是我们无法控制的事情。或者更确切地说，根本不考虑检索预算是很常见的。然而，随着我们的网站变得越来越大，检索预算成为我们在搜索中存在的主要影响因素。在本篇文章中，我们的 SEO 专家们将讨论检索预算的重要性，并分享一些有关管理网站检索预算的实用建议。

什麽是检索预算？

检索预算是 Google 愿意花费在检索您的网站上的资源量。可以说您的检索预算等于每天检索的页面数，但事实并非如此。有些页面比其他页面消耗更多资源，因此即使预算保持不变，爬网页面的数量也会有所不同。

在分配检索预算时，Google 一般会看四件事：你网站的受欢迎程度、更新率、页面数量和处理检索的能力。但即使它是一种复杂的算法，您仍然可以干预并帮助 Google 管理它检索您网站的方式。

为什麽检索预算很重要？

检索预算决定了您的网页在搜索中出现的速度，这里的主要问题是检索预算与您网站的更新率之间可能存在不匹配。如果发生这种情况，您将在创建或更新页面的那一刻与它出现在搜索中的那一刻之间经历越来越长的延滞。

您没有获得足够的检索预算的一个可能原因是 Google 认为您的网站不够重要。所以它可能被认为是垃圾网页，或判定提供非常糟糕的用户体验，也有可能两者皆是。在这种情况下，除了发布更好的内容并等待您的声誉提高之外，您应该是无能为力。

您没有获得足够的检索预算的另一个可能原因，是您的网站充满了检索陷井。在某些技术问题上，爬虫可能会陷入循环回圈，无法找到您的页面，或者不鼓励访问您的网站。在这种情况下，您可以采取一些措施来显着提高您的检索能力，我们将在以下内容进一步讨论它们。

你应该担心你的检索预算吗？

如果您正在运行具有频繁更新率（从每天一次到每周一次）的大型或中型网站，检索预算可能会成为一个重要问题。在这种情况下，缺乏检索预算可能会造成永久性索引延滞。在启动新网站或重新设计旧网站时，这也可能是一个问题，并且很快就会发生很多变化，尽管这种类型的检索延滞最终会自行解决。无论网站的大小如何，最好至少对其进行一次可能的检索问题审核。如果您正在运行一个大型网站，那麽现在就立刻去做，如果您正在运行一个较小的网站，那麽不急，只需将它放在您的待办事项列表中即可。

如何优化您的检索预算？

您应该做很多事情来鼓励搜索爬虫造访，检索您网站的更多页面，并更频繁地运行此操作。以下是最大化检索预算功能的操作列表：

01向 Search Console 提交网站地图

网站地图是一个文本档，其中包含您希望在搜索中被检索和索引的所有页面。如果没有网站地图，Google 将无法发现您网站上内部链接包含的页面。这样一来，Google 需要一段时间後才能了解您网站的范围，并决定哪些发现的页面应该被编入索引，哪些不应该被编入索引。通过网站地图，Google 可以准确地知道您的网站有多大以及哪些页面要被索引。甚至可以选择告诉 Google 每个页面的优先级别，以及它的更新频率。借助所有这些信息，Google 可以为您的网站设计最合适的检索模式。值得一提的是，Google 将网站地图视为由你推荐，而不是必须，您也可以忽略您的网站地图，并为您的网站选择不同的检索模式。

现在，您可以通过多种方式创建网站地图。如果您使用的是 CMS 平台，例如 Shopify，那麽您的网站地图可能会自动生成并且已经在 yourwebsite.com/sitemap.xml 上可用。其他 CMS 平台肯定会有提供网站地图服务的 SEO 插件。同一个网站有多个网站地图也很常见。有时这样做是为了方便，更容易管理主题相似的页面，有时它是出于必要。网站地图文本档限制为 50K 页面，如果您有一个更大的网站，您将被迫创建多个网站地图以复盖全部页面。

02解决检索冲突

一个常见的检索问题是 Google 认为该页面应该被检索但无法访问。在这种情况下，可能会发生两种情况，首先是该页面不应被检索，并且错误地提交给了 Google。在这种情况下，您必须通过从网站地图中删除该页面或通过删除该页面的内部链接，或可能两者兼而有之来取消提交该页面。其次是页面应该被检索，但访问被错误拒绝。在这种情况下，您应该检查会阻止访问的原因，象是 robots.txt、4xx、5xx、重定向错误等，并逐一解决问题。

无论哪种情况，这些混合信号都会将 Google 逼入死胡同，并且非必要地浪费您的检索预算。寻找和解决这些问题的最佳方法是在 Google Search Console 中查看您的函盖范围报告。 Google Search Console 的错误选项专门用于检索冲突，并为您提供错误数量、错误类型和受影响页面的列表。

03隐藏不应该被检索的页面

另一种类型的检索冲突是页面被错误地检索和索引。这显然是在浪费您的检索预算，但更重要的是，这也可能会造成安全问题。如果您使用错误的方式来阻止检索，则可能意味着您的某些私人页面已被编入索引并且现在可以公开使用。

要寻找此类页面，最好还是使用 Google Search Console 及其函盖范围报告，您将获得检索的页面数，以及可疑问题和受影响页面的列表。这些页面最常见的问题是它们被 robots.txt 文档阻止。网站管理员仍然要经常使用 robots.txt 来阻止页面被编入索引。同时，Google 将 robots.txt 说明视为建议，并可能决定在搜索中仍显示已屏蔽页面。要解决这些问题，请查看页面列表并决定是否要将它们编入索引。如果没有，您必须使用 noindex 元标记完全阻止爬虫，然后从搜索中删除页面。如果是，您必须从robots.txt 文档的 disallow 指令中指示删除该页面。

04隐藏非必要资源

通过告诉 Google 忽略非必要资源，您可以节省大部分的检索预算。GIF、影片和图象等内容可能会占用大量内存，但这类数据通常用于装饰或娱乐，对于理解页面内容可能不是那麽重要。要阻止 Google 检索这些非必要的资源，请使用您的 robots.txt 文档禁止它们。您可以按名称禁止单个资源或是禁止整个文档类型。

05避免长重定向链

如果连续出现不合理数量的 301 和 302 重定向，搜索引擎将在某个时候会停止跟踪重定向，并且可能无法检索目标页面。更重要的是，每个重定向的 URL 都浪费了您的检索预算。请确保您连续使用重定向不会超过两次，并且仅在绝对必要时才使用。要获取带有重定向的页面的完整列表，请咨询您的 SEO 专家，针对具有 302 重定向的页面和具有 301 重定向的页面获取重定向页面整理出完整列表，针对具有长重定向链的页面获取具有超过 2 个重定向的 URL 列表。

06管理动态 URL

有些内容管理系统会生成大量的动态 URL，但所有这些 URL 可能都指向同一个页面，正常情况下，搜寻引擎机器人会将这些 URL 视为单独的页面。因此，您可能既浪费了检索预算，又可能滋生出重复内容问题。如果您网站的搜寻功能或 CMS 将参数添加到不影响页面内容的 URL，请确保通过在 Google Search Console 帐户中管理这些参数，让 Google 知道它，并决定是否允许搜索用户查看该页面。

07解决重复内容问题

重复的内容意味着有两个或多个页面具有非常相似的内容。这可能由于多种原因而发生，动态 URL 就是其中之一，还有 A/B 测试、www/非 www 版本、http/https 版本、内容联合以及某些 CMS 平台的细节。具有重复内容的问题是您浪费双倍的预算来检索相同的内容。要解决重复内容问题，您首先必须找到重复页面。请咨询您的 SEO 专家寻找重复的标题和元描述，尤其是元描述是具有相同内容的页面的一个很好的指针。如果找到任何确实相似的页面，那麽您必须确定哪个是主要页面，哪个是重复页面。现在转到重复页面并将此 canonical 代码添加到 head 部分，这样，Google 将忽略重复页面并专注於检索主页。

08优化网站结构

尽管内部链接与您的检索预算没有直接关系，但 Google 表示直接从您的首页链接的页面可能被认为更重要并且被更频繁地检索。一般来说，将您网站的重要区域与任何页面保持距离不超过 3 次点击是一个不错的建议。在您的网站选单或页脚中包含最重要的页面和类别。对于较大的网站，例如博客和电子商务网站，包含相关贴文/产品和特色贴文/产品的部分，可以极大地帮助您将目标网页放在那里，无论是对于用户还是搜索引擎。

礼貌请求索引

如果您刚刚发布或更新了令人惊叹的内容，并且迫不及待地等待 Google 检索它，请使用 Google Search Console 的请求索引功能。您所要做的就是将您的 URL 复制到顶部的 URL 检查字段中，单击 Enter，然后请求索引。即使页面已经编入索引，但您可能刚刚更新它，实际上也可以这样做。此功能的效果不是立竿见影的。与 Google 的一切一样，这个请求更象是一个非常礼貌的向 Google 推荐。

总结

如您所见，搜索引擎优化不仅仅与“有价值的内容”和“信誉良好的链接”有关。当您网站表面看起来很漂亮时，可能是时候去内部深处进行一些爬虫搜寻了，这肯定会在提高您网站的搜索性能方面创造奇迹。现在您已经掌握了驯服搜索引擎爬虫所需的所有工具与知识，请继续在您自己的网站上对其进行测试，并与我们的 SEO 专家分享结果！