如何在 Google Search Console 中修复“已发现 - 当前未编入索引”
“Discovered – currently not indexed” “已发现 – 当前未编入索引”是 Google Search Console 的状态。这意味着 Google 知道给定的页面,但没有抓取它,并且它目前没有被编入索引。
“已发现 – 当前未编入索引”URL 有三个原因:内容质量、内部链接和抓取预算。
每个问题都有不同的解决方案。让我们来看看它们。
文章目录
“已发现 - 当前未编入索引”状态是什么意思?
“已发现 – 当前未编入索引”“Discovered ‐ currently not indexed”意味着两件事。第一,Google 找到了您的页面。 第二,Google 目前尚未抓取您的页面并将其编入索引。
Google 的 Search Console 帮助页面提到了原因:
通常,Google 想要抓取 URL,但预计这会使网站过载;因此,Google 重新安排了抓取。这就是报表上的上次爬网日期为空的原因。来源:Google 的指数覆盖率报告
这并不意味着你的内容永远不会被抓取和索引。正如 Google 的文档所述,Google 稍后可能会返回抓取您的页面,而无需执行任何操作。
但是,Google 重新安排抓取只是导致此问题的几个可能原因之一。
让我们探讨一下 “已发现 – 当前未编入索引 ”的每个可能原因,以及如何解决它们以改善你的 SEO。
“已发现 - 当前未编入索引”URL 的 7 种解决方案
1. 修复内容质量问题
Google 无法抓取和索引网络上的所有内容。每个站点都必须满足质量标准才能参与竞选。Google 将专注于抓取质量较高的页面,并且可能会完全跳过抓取低质量页面。
因此,如果你的内容未被抓取和索引,则可能需要解决其质量问题。
这不仅适用于报告为“已发现 – 当前未编入索引”的页面; 它也可能与整个网站的质量有关。 来自 Google 的 John Mueller 提到,“已发现 – 当前未编入索引”可能是由全站内容质量问题引起的。
无法确切知道 Google 如何评价网站的质量。但是你可以做几件事来开始解决这个问题。
- 阅读 Quality Rater 指南。(传送门:看不懂Google 的质量评分者指南——那就看这篇)
- 确保每个受影响的页面都包含唯一的内容。
阅读质量评估者指南
我建议你查看 Google 的 Quality Rater Guidelines。质量评估者指南详细介绍了如何对网页内容的质量进行评级。
我关于 Quality Rater Guidelines 的文章总结了这些指南。通读它以帮助你了解 Google 定义的优质 Web 内容。然后,你可以将 Google 的质量理念应用于你的页面。
如果你难以向 Google 充分展示你的专业知识,请联系我们以获取我们的 E-E-A-T SEO 服务。
确保拥有独特的内容
如果 Google 认为你的 URL 是重复的,它可能会忽略它们。由于 Google 的资源有限,因此它非常重视抓取 (和索引) 最有价值的 URL。这需要拥有针对特定用户意图的独特内容。
检查受影响的 URL 以确保:
你不会意外生成具有不同 URL 模式的 URL,[…]诸如 URL 中的参数、大写、小写等内容,所有这些都可能导致本质上重复的内容。如果我们发现了很多这样的重复 URL,我们可能会认为我们实际上不需要抓取所有这些重复的 URL,因为我们已经有一些该页面的变体。
总结一下 John Mueller 所说的,请仔细检查你的网站是否有重复内容。 如果你有很多类似的 URL,请考虑使用规范标签。 这些标签告诉 Google 只将你页面的主要版本编入索引。
请记住,Google 可以忽略不正确创建的规范标签。如果 Google 忽略了你的 canonical 标签,你可以通过 GSC 中的 “Duplicate, Google chosen different canonical than user” 状态来发现它。
浏览受影响的 URL 列表,并确保每个页面都包含唯一的内容。
这将增加你的页面被抓取和编入索引的可能性。此外,它还将提高你网站的质量并提高用户满意度。
2. 遵循内部链接最佳实践
Googlebot 会跟踪内部链接来发现你网站上的不同页面并了解它们的联系。内部链接还有助于传播 PageRank,这是排名中使用的页面重要性信号。
假设 Google 没有找到足够的指向 URL 的链接。在这种情况下,它可能会因为指向其重要性的信号不足而跳过抓取。Google 可能会认为内部链接不佳的页面并不重要。因此,这些页面可能处于“已发现 – 当前未编入索引”状态。
正确的内部链接涉及连接您的页面以创建逻辑结构。这种结构允许搜索引擎和用户了解页面的层次结构以及它们如何连接。
通过正确使用内部链接,既可以帮助 Googlebot 找到你的所有内容,又可以提高其排名靠前的机会。在修复 “已发现 – 当前未编入索引” 的上下文中,在内部链接到未被抓取和编入索引的页面可以提高它们被 Google 选中的几率。
内部链接的一些最佳实践包括:
- 确定你的核心内容并将其他页面链接到它
- 在内容中应用上下文链接
- 根据层次结构链接页面,例如,将核心页面链接到补充页面,反之亦然
- 不要用链接向你的网站发送垃圾邮件
- 不要过度优化锚文本
- 合并指向相关产品或帖子的链接
- 向无意的孤岛页面 添加内部链接
想了解更多?查看我们关于内部链接的文章。
可以联系 Nat 进行内部链接优化。
在继续之前,请先了解抓取预算优化的重要性
抓取预算是 Googlebot 可以和希望在网站上抓取的页面数量。
决定网站抓取预算的因素包括:
- 抓取速率限制 – Google 可以抓取的页面数量。速率限制会根据你的服务器的功能进行调整。
- 抓取需求 – Google 想要抓取的页面数量,具体取决于页面的重要性。页面的受欢迎程度和页面更新的频率决定了重要性。
任何网站都可能遇到抓取预算问题。但是,它们在大型网站中很普遍。网站越大,由于抓取预算不足而出现未抓取页面的可能性就越大。
“已发现 – 当前未编入索引”通常是爬网预算问题的结果。这很简单 – 如果抓取需求太低或抓取速度有限,你的某些页面将不会被抓取。
许多因素都可能导致抓取预算问题,包括:
- 不良的内部链接
- 允许 Google 抓取低质量内容
- 没有站点地图或站点地图不足
- 实施重定向时的错误
- 服务器过载
- 重资源网站
我们已经了解了内部链接的重要性。现在,让我们解决导致抓取预算问题的其他因素。
3. 阻止 Google 抓取和索引低质量页面
让 Google 不受限制地浏览你的整个网站有两个负面后果。
首先,Googlebot 会访问网站上的每个页面,直到它用完其抓取预算。如果 Googlebot 抓取的是质量低下的网页,则可能会在到达你最重要的网页之前达到抓取限制。
其次,如果你让 Google 抓取和索引低质量的页面,它可能会较少考虑你整个网站的质量。 这可能会损害你的排名,但也会降低抓取需求,从而造成抓取预算问题的恶性循环。
低质量的页面包括:
- 过时的内容
- 网站内搜索框生成的页面
- 重复内容
- 通过应用过滤器生成的页面
- 自动生成的内容
- 用户生成的内容
如果你已经在为未编入索引的内容而苦苦挣扎,你应该阻止 Google 抓取这些页面并将其编入索引。
阻止低质量页面抓取 robots.txt 文件,并使用noindex 元标记来阻止编入索引。
需要确定索引策略?查看我们的文章,了解如何为你的网站创建索引策略。
4. 创建优化的站点地图
优化后的站点地图可以指导 Googlebot 完成抓取和索引编制过程。它本质上是 Google 用来浏览您的内容的地图。
但是,如果你的站点地图没有得到适当的优化,可能会对你的抓取预算产生负面影响,并导致 Googlebot 错过你的重要内容。
站点地图应包含:
- 使用 200 (OK) 状态代码响应的 URL
- 没有 meta robots 标签的 URL 会阻止它们被编入索引
- 仅页面的规范版本
下面的屏幕截图是 XML 站点地图索引文件的示例。
5. 修复重定向
你需要避免重定向链和循环。
重定向链是指你希望将流量从页面 A 重定向到页面 B,但不必要地先重定向到页面 C。
重定向循环是指你创建一个在同一页面上开始和结束的重定向链,将用户和机器人困在一个无限循环中。
重定向链和循环都会强制 Google 向您的服务器发送多个不必要的请求,从而减少你的抓取预算。
而且,如果你的重定向无法正常工作,它们可能会在 Google Search Console 中处于“重定向错误”状态。
为避免将抓取预算花在不必要的重定向上,请不要链接到重定向的页面。 相反,更新它们,使它们指向 200 OK 页面。
6. 修复超负荷的服务器
爬取问题可能是因为你的服务器过载(响应速度比预期的慢)。 如果 Googlebot 由于你的服务器过载而无法访问某个网页,它将缩减其抓取活动(抓取需求)。这可能会导致您的某些内容无法被抓取。
Google 将来会尝试重新访问你的网站,但整个索引过程会延迟。
你应该咨询你的托管服务提供商,了解你网站上的任何服务器问题。
同时,在 Google Search Console 上检查你的抓取统计报告。打开报告,选择你的域,然后单击 核心网页指标。或者尝试使用PageSpeed Insights,这将显示你的服务器加载需要多长时间。你可能会注意到总爬网请求数与平均响应时间之间存在相关性。
7. 修复资源密集型网站
何时优化“已发现 - 当前未编入索引”页面
在某些情况下,状态为“已发现 – 当前未编入索引”的 URL 不需要更新。如果出现以下情况,您无需执行任何操作:
- 受影响的 URL 数量很少,并且它们会随着时间的推移而被抓取和编入索引。
- 该报告包含不应被抓取或编入索引的 URL,例如,带有 canonical 或 ‘noindex’ 标签的 URL,或者被 robots.txt 阻止的 URL。
首先检查你的 URL 是否应该被抓取至关重要。某些网页被报告为“已发现 – 当前未编入索引”是正常的。但是,如果:
- URL 数量增加
- 基本 URL 处于“已发现 – 当前未编入索引”状态
然后,你需要检查和优化受影响的 URL,因为这可能会导致排名和流量大幅下降。
网址检查工具
一旦你决定更新你的内容和 URL,你就可以请求通过 Google 的 URL 检查工具将特定页面编入索引。
在 Google Search Console 上打开 URL 检查工具。将要索引的 URL 粘贴到页面顶部的搜索栏中。
然后单击 “请求编入索引” 按钮。
使用 URL 检查工具请求索引并不能保证给定页面会被抓取和索引。它只会向 Google 发送一个信号,表明你希望以高优先级抓取该页面并将其编入索引。
结束语
URL 中的“已发现 – 当前未编入索引”是由网站质量、内部链接和抓取预算问题引起的。
以下是可以帮助你的页面被抓取和索引的关键点:
- 检查受影响网页的质量和原创性
- 应用内部链接,尤其是重要页面
- 使用 robots.txt 阻止 Googlebot 抓取低质量的网页
- 制定专注于最重要页面的索引策略
- 优化你的抓取预算,以便 Google 有更多资源来抓取这些页面。