摘要
抓取预算是一个经常被忽略的至关重要的SEO概念。网站SEO必须要记得定期学习抓取预算，不要因为这样忙而忽略，简而言之，爬网预算可以而且应该被优化，在过去的几年中，将更改作为概念进行细化。什么是抓取预算抓取预算只是搜索引擎的抓取工具（例如，抓取工具和漫游器）遍历你的域页面的频率。这种频率的概念是在Googlebot不会过度占用
抓取预算是一个经常被忽略的至关重要的SEO概念。网站SEO必须要记得定期学习抓取预算，不要因为这样忙而忽略，简而言之，爬网预算可以而且应该被优化，在过去的几年中，将更改作为概念进行细化。
什么是抓取预算
抓取预算只是搜索引擎的抓取工具（例如，抓取工具和漫游器）遍历你的域页面的频率。
这种频率的概念是在Googlebot不会过度占用你的服务器的尝试与Google总体上搜寻你的域的总体愿望之间的暂时平衡。
抓取预算优化只是你可以专门采取的一系列步骤，以提高搜索引擎的漫游器访问你网页的速度。
他们访问的次数越多，进入页面更新索引的速度就越快。因此，你的优化工作将花费更少的时间来把握并开始影响你的排名。
为什么会忽略抓取预算优化？
正如Google明确解释的那样，爬网本身并不是排名因素。因此，仅此一项就足以阻止某些SEO专业人员甚至不必考虑爬网预算。
但是，如果你是一个中等规模的域，那么你实际上不必对爬网预算太在意。（实际上，如果你确实拥有数百万个页面，则应考虑剪切某些内容，这通常对你的域是有益的。）
SEO是一个非常小的，渐进式更改的过程，需要照顾许多指标。在很大程度上，我们的工作是确保尽可能优化数千个微小的小事情。
此外，正如Google的John Mueller 指出的那样，尽管它本身并不是一个大的爬网因素，但它对转化和整个网站的健康状况都是有利的。
综上所述，我认为重要的是要确保你的网站上没有任何东西正在损害你的抓取预算。
1.允许在Robots.Txt中爬行你的重要页面
这是不费吹灰之力，自然而然的第一步，也是最重要的一步，可以通过人工方式或使用网站审核工具来管理robots.txt，尽可能使用robotstxt工具，使你更加方便和有效的管理你的网站。
你只需将robots.txt添加到你选择的工具中，即可在几秒钟内允许/禁止抓取你域中的任何页面。然后，你只需上传编辑后的文档，
这个操作不难的，任何人都可以手工完成。不过我觉得对于一个非常大的网站，可能需要经常进行校准，让工具来帮助你变得容易得多。
2.当心重定向链
这是网站健康的常识性方法，理想情况下，你将能够避免在整个域上甚至只有一个重定向链。
老实说，对于大型网站而言，这是一项不可能完成的任务，301和302重定向必将出现。
但是，这些链接在一起的一堆肯定会损害你的爬网限制，以至于搜索引擎的爬网程序可能会简单地停止爬网而不会进入需要索引的页面。
在这里进行一两个重定向，可能不会对你造成太大损害，虽然这样，也值得每个优化人员需要注意的事情。
3.尽可能使用HTML
现在，如果我们在谈论Google，那么必须说其爬虫在抓取JavaScript方面特别好一些，但在抓取Flash和XML并建立索引方面也有所改进。
另一方面，其他搜索引擎还不存在。因此，我个人觉得应尽可能使用HTML，这样你就不会因为任何爬虫而损失被检索的机会。
4.不要让HTTP错误占用你的检索预算
从技术上讲，404和410页影响用你的抓取预算，影响抓取还不是最惨的，最严重的就是会影响你的用户体验，如果是这样搜索引擎就会认为你的网站存在用户体验缺陷，会降低你的网站评价，在抓取、索引、权重上都会受到一定程度的负面影响，最终影响到网站从搜索引擎获取的流量，这就是为什么修复所有4xx和5xx状态代码确实是双赢的原因。
5.注意URL参数
请始终记住，抓取工具会将单独的网址视为单独的页面，这浪费了宝贵的抓取预算。
同样，让Google知道这些URL参数将是双赢的局面，既可以节省抓取预算，又可以避免引起对重复内容的担忧。因此，请确保将它们添加到你的Google Search Console帐户中。
6.更新你的站点地图
定时管理你的网站地图，机器人将更好在你的网站爬行，更轻松地了解内部链接的位置。
仅使用适用于你的站点地图的URL。另外，请确保它对应于robots.txt的最新上传版本。
7.Hreflang标签至关重要
为了分析你的本地化页面，搜寻器使用hreflang标签。而且，你应该尽可能清楚地告诉Google有关页面的本地化版本。
首先，请使用页面标题中的。其中“ lang_code”是受支持语言的代码。
对于任何给定的URL，都应使用 元素。这样，你可以指向页面的本地化版本。
结论
因此，如果你想知道抓取预算优化对于你的网站是否仍然很重要，答案显然是肯定的。
对于每位SEO专业人员而言，抓取预算过去是，过去曾经是，而且可能会很重要，希望这些技巧将帮助你优化抓取预算并提高SEO性能。
主题测试文章，只做测试使用。发布者：佰搜SEM，转转请注明出处：https://baidusem.com/493.html
